【Debian】 Nexenta OS 【OpenSolaris】
Nexenta Core Platform 2.0 2009.05.25 userland が GNU tools なのは邪悪だと思う StormOSが正式リリースされたら独立スレ立てるよ StorでほくほくZFS使う→4T以上欲しくなる→Core2入れてみる→CLIコマンド覚える→Core3入れてみる→dedupすげええええ ということで非常にいい感じのバックアップNASが出来たw dev版のStorでやれる程度ちょっと調べたらCoreのCLIで出来る感触。もちろんGUIほしいけどね。 あぁあれだ、inst先が全容量ミラーになるのはなんとかならんのか インスコ手順とか ttp://www.yislab.com/nexenta.html あと、自宅鯖板にもNexentaスレあるんだね ubuntuでお腹いっぱいです。 Unixの本流がLinuxになってしまったから、SolarisもBSDも人気が出ないことは避けられない。 OSは、品質とか機能じゃなくて、人気で選ぶモノになってしまった 品質や機能より、問題が出ない(形でバグがあっても回避して運用できる)ことが 重視されるようになったからかな。 その場合はたくさん人柱が立って問題が出ないような使い方の情報が出回ってる方が うれしくなる。あまり利用者がいない状態で「品質がいい」という主張が、逆に 「あまりユーザいないから秘孔突かれてないだけじゃね?」と思われる時代に なったと。 その「品質がいい」というところに客観的なデータが示せていない。 主観で語るようになったUnixユーザーの悲哀が感じられる。 議論を煮詰める中で「じゃあそれを裏付ける具体的データを出して下さい」 という話になってデータを出すならわかるけど、ちょっと話が出ただけの段階で いきなりデータをずらずら並べるというのも唐突だろう。 元々 Nexenta は OpenSolaris 系 distro の中でも傍流だったのは 否めないし、distro としての OpenSolaris がもう今後は出てこないという ことになってからは OpenIndiana が主流になったっぽいからねぇ。 とりあえず、NexentaStor のユーザとして Korea Telecom がいるらしいけど。 http://nexenta.com/corp/blog/2010/10/04/cloud-and-scaling-and-nexentastor/ もったいぶらずにデータをもっているのなら出しなさい。 ファイルシステムの比較でもすればいいのか? Nexenta OS がなぜ Solaris カーネル + Ubuntu ユーザランドという構成に なっているか考えると、ユーザランドの使い勝手は Linux 系 distro の方が 優れる面があるのも否定できない、一方カーネル特にファイルシステム=ZFS については Solaris が優れている(Nexenta はストレージソリューションの ベンダーなので、特にこの部分に関心を持っていたと思われる)ためだろうう。 Linux 上の Btrfs もがんばって開発してるんだろうが、現状ではまだまだ production 用途でガンガン使うには不安が払拭できない状態だろう。 というと「データを出せ」と言われるかも知れないが、ならば Btrfs を production 用途でガンガン使っている事例があるなら教えてほしい。 >>117 つか、btrfsってまだRAID1相当までしか実装されてないからね。 仮に安定性があってもストレージサーバとしてわざわざ採用する意義がないし。 btrfsがガンガン使われているという証拠もないし、使われていないという証拠もない。 どっちを信じるかはあなた次第 フリーソフトの悪口を書いてはいけないというのがIT業界の 暗黙のしきたりなので何が本当かは永久に謎なのだ。 人気があってそこそこ品質の悪いソフトが儲かる。だって、保守が売れるし、調査費用がでるし、工数がかかるから、人件費も貰える。 よくわかってるね。保守無しじゃ怖くて使えないよね。 ほうらね、品質はそこそこ悪い方がソフトは儲かるっていうことについてはみんな 黙っちゃうでしょ。業界のふれて欲しくない真実なんだよなあ。 完成度上がるとOSって死ぬよね会社ごと ユーザが枯れたものをありがたがらないというか 枯れたOSはパッチが必要ないので保守費を払う必要し。 フリーソフトなら無料なので尚可。 NexentaStorを試そうとvmwareのイメージを落とした。 しかしシステム部分に4GBもあって、さらにsyspoolが大きいせいでか、apt-get upgrade出来ない。 それなら普通のNexentaでいいのではと思い始めたが、間違ってる? NexentaStorを自分で入れたらいいのか? updateの間違いではという突っ込みはなしだ… ディスクスペースが足りないと言われる。 >>130 ファイルサーバー専用だから、わざわざシステムをアップデートする必要はないと言いたいの?でも、他のパッケージを新規で入れたいわけではないし、最初から入っているコア部分のアップデートがupgrade出来ないのは何なの?と思いましたよ。syspoolがデカ過ぎ? >>131 >ファイルサーバー専用だから、わざわざシステムをアップデートする必要はないと言いたいの? 誰がそんな事を言ったんだ(w むしろファイルサーバー専用という事が聞きたかっただけだ。EONがお勧めだよ。 よくわからんが、NexentaStorはUSBメモリでも快適に動作したが、NexentaをUSBメモリに入れたらかなり動作が重くて使い物にならなかった。 >>132 ありがとう。EONは知らなかったので調べて試してみる。 >>134 ただしEONは最小限OpenSoarisみたいなイメージ。 NexentaStorみたいなかっこいいGUIは無い。 >>89 Debian, Ubuntuが広く使われてるから、そのユーザーの中でzfsを使いたい人には最高だと思うんだけどね。Solarisは2.6しか知らんが、パッチどころか、zipだったかな、解凍ソフトを自分でインストールしてこりゃタイヘンだと思ったな… せめてUbuntu 10.04ベースになってくれればなぁ。 職場で取引のあるベンダーにNexentaを推しているんだが、営業もSEも食いついて来ないね。 KernelがSolarisって話した時点で思考停止するのか興味が失せたような顔になるw >>139 kernelとか言わなきゃいいんじゃね? Nexenta OSって名前じゃなく、debian GNU/kSolarisって名前なら それだけで世間の食いつきが千倍はよくなってた筈。 そういえばDebian GNU/kFreeBSDって出来たんだね。中のZFSも15から早晩18, 22と追いつくだろうし、そっちに惹かれるな… Ubuntu 12.04 GNU/kSolaris出たら乗り換えるのに。 じゃあ今までの Debian GNU/Linux は Debian GNU/kLinux ってこと? >>141 つか、Nexentaはユーザランドが全然GNUじゃないじゃん 最早 Debian Ubuntu/kSolaris だな。 >>151 なるほど そもそも Linux の実体とはカーネルだけですからね 一点教えて欲しいのだけど、 以下のような構成でHDD1が壊れて再インストールした際に、 残りのディスクは一台ずつimportすれば復旧出来る認識であってる? ・HDD1(160GB/zfs root) ・HDD2(2TB/raidz) ・HDD3(2TB/raidz) ・HDD4(2TB/raidz) >>153 1台ずつじゃなくて、プール名でのimportじゃねーの? nexenta-on-sourceつかって、自前コンパイルしたことある人いるかな? NCP3.0.1のnexenta-on-sourceでコンパイルすると 3.0.0のバイナリが出来るっぽい。 最新のリポジトリからコンパイルしてみたりしてるんだけど、上手いことパッケージができない orz >>151 >GNU/Linuxシステム(GNU/Linuxオペレーティングシステム、略してGNU/Linux)は、 >Linuxカーネルを中心にGNUプロジェクトによるソフトウェアなどを追加して一般のオペ >レーティングシステム(OS)としての機能を持たせたものである。 どう読めばそんな解釈になるんだ? GNUソフトとLinuxカーネルを組み合わせてOSとしてまとまった物をGNU/Linuxと呼ぶ。 「GNU/Linux」とわざわざ書いてるのに何でカーネルその物を指す事になるんだ馬鹿 GNU/Linuxという呼称はGNUの押し売りだから。 リーナスもじゃぁそれでいいよ、と言ってるだけ。 その決定に従わないといけない理由は無いし法的拘束力も持たない カーネルがLinuxでGNUのツール類を含んでいてもGNU/Linuxと 名乗らず単にLinux OSとしてもなんら問題は無い。 GNU/Linuxって表記してる時点で***その表記中の***GNUはGNUツール群、LinuxはLinuxカーネルを表してる ってことに変わり無いだろう。>>158 >>161 GNU/Linuxと表記してる時点でGNUツールとLinuxカーネルを使ってるオペレーティングシステム uname -o カーネルだけならLinux uname -s カーネルとカーネルのリリースバージョン uname -sr libcにGNU libc(glibc)を使う時のbinutilsとgccのtarget triplet [cputype]-[foo]-[kernel api]-[gnu] i686-pc-linux-gnu となる これでlibcを構築すると[libc]/[kernel api] glibcのソースに #define UNAME_SYSNAME "$uname_sysname" があり この$uname_sysnameに "GNU/Linux" という値が渡される newlibやuClibcやdietlibはsysnameはあるがuname_sysnameでunameをコールしないので uname -o は unknown となる。 AndroidはLinuxじゃないと言い張ってるような奴がunix板にもいるとは驚きだ >[cputype]-[foo]-[kernel api]-[gnu] >i686-pc-linux-gnu となる 例えば i686-pc-linux-gnu となる i686-foo-linux-gnu とすれば gccはi686-foo-linux-gnu-gcc --- 言葉足らずだった --- GNU/LinuxのGNUとはlibcの事でlibcにglibc以外、カーネルをLinuxにして 上位アプリケーション層にGNUツールを多用してもlibcソースを弄らない限り GNU/Linuxにはならない。 NexentaだとGNU/SunOSになるの? Nextenta入れてないんで教えてちょんまげ eucでコピーしてしまったファイル名の文字コードをutf-8に変換したいんですが どうすればいいのでしょうか? convmvとか追加できるリポジトリありますか? いつになったら setup appliance upgrade でアップグレードできるようになるのー ネタ投下 NexentaCoreで、ローカルHDDのStripeのシーケンシャルで1GB/s超えるの何台か試しててみた (実際には10台構成で一番パフォーマンスと容量稼げれるの調べてた) ちょっと長いので複数レスで 機器構成はこんな感じ CPU Intel Xeon X3430 Motherborard SuperMicro X8SIA-F Memory DDR3 ECC Reg 1066 8GB x2 SAS Card LSI SAS 9211-8i x2 HDD Hitachi HTS725032A9A364 x1 (システム) HDD ST32000542AS x12 (データ) HDD OCZ-VERTEX2 x1 (ZIL) 上段が書込で下段が読込 rzid0 10disk zil=none sync=standard 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 172.482 seconds, 623 MB/s 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 118.597 seconds, 905 MB/s rzid0 10disk zil=on sync=standard 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 160.833 seconds, 668 MB/s 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 107.543 seconds, 998 MB/s rzid0 10disk zil=on sync=always 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 651.956 seconds, 165 MB/s 819212+0 records in 819212+0 records out 107375755264 bytes (107 GB) copied, 101.959 seconds, 1.1 GB/s rzid0 12disk zil=none sync=standard 107375755264 bytes (107 GB) copied, 135.414 seconds, 793 MB/s 107375755264 bytes (107 GB) copied, 111.699 seconds, 961 MB/s rzid0 12disk zil=on sync=standard 107375755264 bytes (107 GB) copied, 137.056 seconds, 783 MB/s 107375755264 bytes (107 GB) copied, 94.5409 seconds, 1.1 GB/s rzid0 12disk=on zil sync=always 107375755264 bytes (107 GB) copied, 650.655 seconds, 165 MB/s 107375755264 bytes (107 GB) copied, 89.1089 seconds, 1.2 GB/s おまけ rzid0 8disk zil=none sync=standard 107375755264 bytes (107 GB) copied, 200.98 seconds, 534 MB/s 107375755264 bytes (107 GB) copied, 157.039 seconds, 684 MB/s rzid0 8disk zil=on sync=standard 107375755264 bytes (107 GB) copied, 206.048 seconds, 521 MB/s 107375755264 bytes (107 GB) copied, 144.314 seconds, 744 MB/s rzid0 8disk zil=on sync=always 107375755264 bytes (107 GB) copied, 653.034 seconds, 164 MB/s 107375755264 bytes (107 GB) copied, 133.252 seconds, 806 MB/s 最初のベンチのが見にくくてごめん 基本インストール後のデフォルトの設定 echo zfs_txg_timeout/W0t2 | mdb -kw だけ弄ってます zilだけは本体のAHCIに繋いでますが、zpool組んでるHBAはLSIの方で分散するようにしてます sync=alwaysのときはzilの速度で律速されちゃいますね。 dd if=/dev/zero of=/rzpool/test bs=128k count=hoge でやった関係で、sandforceの圧縮が効いてる状態なので150MB/sくらいでてますが、 通常だと60MB/sくらいが限界です。 あと、10台でのRAIDZ2とか同様にベンチ取ってるんですが、見たい人います? 乙 10本とかでRAIDZはどうなんだろうとは思ってたけど、stripeオンリーなら ディスク増やせば増やす程速度あがるもんなのね。基本的な事しらんかった。 もしかしてパリティありでもディスク数に比例して速度はあがり続けるのかな? >あと、10台でのRAIDZ2とか同様にベンチ取ってるんですが、見たい人います? という事で期待age >>175 パリティ有りでも速度上がりますよ。 recordsizeが128kでつくってるんですが、 RAIDZだと データ2台+パリティ1台 データ4台+パリティ1台 データ8台+パリティ1台 って作りかたした方が良いみたいです。 RAIDZ2だとパリティ2台・RAIDZ3だとパリティ3台 Sunのブログにも書いてありました。 国内だと意外とこれ気にしてないBlogの書き込みが多いのが・・・ 少ない台数での計測はしてないので、またやってみようかと。 個人で普通に使われてる方の7台くらいまでのRAIDZ3とかあたりまで。 うちは、コストパフォーマンスと信頼性とパフォーマンスで10台のRAIDZ2で行こうと思ってますが。 って、ことで今回測ったのを全部上げときます。 改行減らしたのでちょっと見にくいかも rzidz 9disk zil=none sync=standard 107375755264 bytes (107 GB) copied, 196.033 seconds, 548 MB/s 107375755264 bytes (107 GB) copied, 156.482 seconds, 686 MB/s rzidz 9disk zil=on sync=standard 107375755264 bytes (107 GB) copied, 202.732 seconds, 530 MB/s 107375755264 bytes (107 GB) copied, 130.954 seconds, 820 MB/s rzidz 9disk zil=on sync=always 107375755264 bytes (107 GB) copied, 668.026 seconds, 161 MB/s 107375755264 bytes (107 GB) copied, 147.301 seconds, 729 MB/s rzidz2 10disk zil=none sync=standard 107375755264 bytes (107 GB) copied, 194.102 seconds, 553 MB/s 107375755264 bytes (107 GB) copied, 153.917 seconds, 698 MB/s rzidz2 10disk zil=on sync=standard 107375755264 bytes (107 GB) copied, 199.149 seconds, 539 MB/s 107375755264 bytes (107 GB) copied, 148.802 seconds, 722 MB/s rzidz2 10disk zil=on sync=always 107375755264 bytes (107 GB) copied, 697.82 seconds, 154 MB/s 107375755264 bytes (107 GB) copied, 149.023 seconds, 721 MB/s rzidz3 11disk zil=none sync=standard 107375755264 bytes (107 GB) copied, 200.391 seconds, 536 MB/s 107375755264 bytes (107 GB) copied, 131.458 seconds, 817 MB/s rzidz3 11disk zil=on sync=standard 107375755264 bytes (107 GB) copied, 209.996 seconds, 511 MB/s 107375755264 bytes (107 GB) copied, 153.123 seconds, 701 MB/s rzidz3 11disk zil=on sync=always 107375755264 bytes (107 GB) copied, 703.802 seconds, 153 MB/s 107375755264 bytes (107 GB) copied, 128.195 seconds, 838 MB/s rzidz 5disk + stripe zil=none sync=standard 107375755264 bytes (107 GB) copied, 174.329 seconds, 616 MB/s 107375755264 bytes (107 GB) copied, 162.514 seconds, 661 MB/s rzidz 5disk + stripe zil=on sync=standard 107375755264 bytes (107 GB) copied, 176.913 seconds, 607 MB/s 107375755264 bytes (107 GB) copied, 146.656 seconds, 732 MB/s rzidz 5disk + stripe zil=on sync=always 107375755264 bytes (107 GB) copied, 669.213 seconds, 160 MB/s 107375755264 bytes (107 GB) copied, 149.27 seconds, 719 MB/s rzidz2 6disk + stripe zil=none sync=standard 107375755264 bytes (107 GB) copied, 183.205 seconds, 586 MB/s 107375755264 bytes (107 GB) copied, 174.629 seconds, 615 MB/s rzidz2 6disk + stripe zil=on sync=standard 107375755264 bytes (107 GB) copied, 186.545 seconds, 576 MB/s 107375755264 bytes (107 GB) copied, 139.735 seconds, 768 MB/s rzidz2 6disk + stripe zil=on sync=always 107375755264 bytes (107 GB) copied, 679.659 seconds, 158 MB/s 107375755264 bytes (107 GB) copied, 137.285 seconds, 782 MB/s あと、テストでRAIDZの3台/5台構成、RAIDZ2の4台/6台構成、RAIDZ3の5台/7台構成 mirrorストライプの2/4/6/8/10/12台構成・ストライプの2-9台構成測ってみます。 運用入っちゃうとこんなこと出来なくなるので、出来る間にやっておきますw >>176-178 乙乙 raidz3で11diskとか凄いな。しかも結構な速度が出るもんだね。 ウチはEONでraidz5diskで組んでるけどwriteがCPUで頭打ちになっちゃってるな。 ただ読み込みも100MB/s超がやっとだから他にボトルネックが存在してるんだろうけど。 >>179 乙ありです。 RAIDZ3でもスピードは出るんですが、resilvereが鬼のように時間かかるようになりますのでご注意を。 2Tx10台のRAIDZ2使用率が80%超えてる状況で体験したときは、一週間くらいかかりましたから。 個人用ストレージのそんなに対してアクセスのない状況でそれですからね。 実際シーケンシャルだけだから、randomが絡むとどーなるかが測ってみたいんですが・・・ fioでやればできそうなんだけど、スキルが足らないのですよ orz 台数増えればパリティ計算の量が増えるので、CPUが速くないとパフォーマンス上がらないですね。 前はXeon X3430 ではなくて、Athlon X4 605e だったんですが、ここまでパフォーマンスでなかったです。 2Tx10台のRAIDZ2で300MB/sくらいだった気が。 >>180 ZFSも万能じゃないですね〜。まだ実用上resilveredした事なかったけど、そんなに時間かかるとは・・・ 1GB程度のwriteでCore2Duo2.8GHzでもCPU負荷が100%に張り付くので、CPU食うな〜と思ってたら、 Athlon X4 605eでもパフォーマンス出ないとは・・・ 次のファイルサーバ組む時はCPUはよく考えま〜す^^; GPU統合のCPUならパリティ演算をGPUユニットにやらせると良さそうだ >>181 resilvered中でも一応読込はパフォーマンス出ます 書き込みはzilを外だししてなかったら、多分すげー遅くなりますがw resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、 そのグループ複数作りstripeしてやるのが良いんじゃないかーと思います。 容量稼ぎながらパフォーマンス出すとなるとですが。 Sunの資料や、個人的な経験則ですけど。 やっぱり、台数増えるとパリティ計算の量が増えるのと、パリティディスクの量が増えると 計算量が増えるので。 あと、今回のzfsのスピードですが、CPUだけの話でも無いとは思います。 Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。 XeonとAthlon系でのIO周りのアーキテクチャの違いもありそうですし。 今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand なので帯域が一気に増えるから、なるべく速度だしたいんですよ。 iSCSIを使用するかSRPを使用するかのパフォーマンスのチェックもしたいですしw そちらの環境のお話ですが、 C2Dの2.8G使用サーバへのWriteが1GBファイルを書き込みってことですかね? ネットワーク越しか、ローカルでの話かがいまいちわからんのですが、100%張り付きは どっか別にボトルネックがあるのではないかと。ローカルで測ってみてどのくらいでます? 参考までに、FreeBSDベースの物でZFSguruってソフトがあるんでsが、それのベンチ を見てると、C2D E8400でraidzされてるののローカルディスクへのベンチで300MB/s くらいでWrite出来てるっぽいです。 http://hardforum.com/showthread.php?t=1546137&page=4 >>182 確かにそれが実現されると大分CPU側に余裕が出来そうですね。 似たようなアプローチでzfs ver31の暗号化はSandyBridgeだとCPUで処理できるんでしたっけ? >>183 >書き込みはzilを外だししてなかったら、多分すげー遅くなりますがw な、なるほど。zilとか全然考えてなかったですが、これからNFS or iSCSIでVMイメージも格納しようと思ってるので検討しようかと。 >resilveredは、業務で使うならraidz/raidz2の台数を少なめの5台とか6台にし、 いまんとこ業務でそんな大容量ストレージを使う予定が無いですが、必要になったら参考にさせてもらいます〜 >Xeonの方はCPU直結のPCIe x16のスロットの方へHBA使っての接続だったりしますし。 >今回自宅の環境のSANのアーキテクチャを変更してるんですが、1GbE->InfiniBand あ、あのどんだけ金かけてるんですか?(汗 回答不要 ウチの環境については、ちゃんと書いてなかったですがメインはセレ430、メモリ8GB、WDの2TB×5。 Express5800 110GeにメモリとHDD換装しただけの物ですね。もちろんセレ430がすんごいボトルネックでネットワーク越しにCrystalDiskMark使ってみた。 Sequential Read : 51.228 MB/s Sequential Write : 38.991 MB/s Random Read 512KB : 47.131 MB/s Random Write 512KB : 40.691 MB/s 上でread100MB/s出るとか書いてたけど勘違いだったみたい。 リアルタイムで見てると、瞬間的に出る程度。 で、検証用でCore2DuoE7400(2.8GHz×2)、メモリ8GB、zpool用で寒村640GB×3を積んでるのがあるんだけど、 こっちでもIdleが0に張り付くって話でした。 しかしローカルと、ネットワーク越しの速度測ろうとして起動したら、何故かIdleが20前後のまま・・・ prstatで見てもCPU食ってる原因わからず。 時間のある時に試してみますわ〜 >>185 OS自体がサポートしているバージョンが、あげたいバージョンをサポートしてない、という意味ならyes >>185 NexentaCoreでsyspoolのバージョン上げるって意味だったらNO grubをバージョンアップ後にリブートするまでにローダをバージョンアップしないと駄目。 うちは、これに気づくまでえらいはまりました。 NexentaStorの方だったらどうなるんだろう? 今は使ってないのでよくわからないです。 どっちでも、外部公開用のプールなら問題なし。 >>187 さんが答えてる前提だけど >>186 NFS or iSCSIですと、多分ZIL Diskがないと逆にIOPS稼げないかと iSCSIでの書き込み見てると細かいブロック単位でのIOが頻発するので、 zilが別になってないと、単純にDiskIOSPに引っ張られて遅くなります。 なので、小さいIOが速いSSDが推奨なんですわ zil diskに分離しちゃうと上のベンチででてますけど、書き込み速度が SSDの速度で律速されちゃいます。 逆に zil offって手段もありますけど、まだそのテストまでたどり着いてません ネットワーク環境はヤフオクなりebayなりで安い中古・新品で揃えてるんで、 たぶん想像されてる金額とは桁が一つ以上違うと思いますw サーバ関係は、ML110G6とかのいわゆる安鯖で組んでるので、そっちもそんなに 所詮、給料やっすいサラリーマンなんでw セレ430 だと完全にCPUがボトルネックですねw うちのベンチ中のintrstatですけど、複数CPUあると割り込みを各CPUにわけて くれるのでCPUをQuadなりに変更をお勧めします device | cpu0 %tim cpu1 %tim cpu2 %tim cpu3 %tim -------------+------------------------------------------------------------ ahci#0 | 0 0.0 0 0.0 0 0.0 134 0.2 hermon#0 | 0 0.0 0 0.0 0 0.0 0 0.0 igb#0 | 0 0.0 1 0.0 1 0.0 0 0.0 mpt_sas#0 | 0 0.0 5334 4.1 0 0.0 0 0.0 mpt_sas#13 | 0 0.0 0 0.0 6534 4.9 0 0.0 C2Dの方は https://defect.opensolaris.org/bz/show_bug.cgi?id=12799 の感じかなー? /etc/power.confのcpupmをcpupm enable poll-modeへ変更して pmconfig実行してみるとどうでしょう? この前のベンチの続き (量があるのは勘弁してください) raidほげ ほげdiskの何も付いてないのはzil diskなしのsync=standardです。 raid0 1disk 34359738368 bytes (34 GB) copied, 458.454 seconds, 74.9 MB/s 34359738368 bytes (34 GB) copied, 297.087 seconds, 116 MB/s raid0 1disk sync=standard 34359738368 bytes (34 GB) copied, 463.082 seconds, 74.2 MB/s 34359738368 bytes (34 GB) copied, 297.507 seconds, 115 MB/s raid0 1disk zil sync=always 34359738368 bytes (34 GB) copied, 471.431 seconds, 72.9 MB/s 34359738368 bytes (34 GB) copied, 296.483 seconds, 116 MB/s raid0 2disk 34359738368 bytes (34 GB) copied, 233.72 seconds, 147 MB/s 34359738368 bytes (34 GB) copied, 151.109 seconds, 227 MB/s raid0 2disk sync=standard 34359738368 bytes (34 GB) copied, 237.421 seconds, 145 MB/s 34359738368 bytes (34 GB) copied, 150.979 seconds, 228 MB/s raid0 2disk zil sync=always 34359738368 bytes (34 GB) copied, 249.648 seconds, 138 MB/s 34359738368 bytes (34 GB) copied, 148.128 seconds, 232 MB/s raid0 3disk 34359738368 bytes (34 GB) copied, 152.936 seconds, 225 MB/s 34359738368 bytes (34 GB) copied, 100.948 seconds, 340 MB/s raid0 3disk sync=standard 34359738368 bytes (34 GB) copied, 154.478 seconds, 222 MB/s 34359738368 bytes (34 GB) copied, 101.407 seconds, 339 MB/s raid0 3disk zil sync=always 34359738368 bytes (34 GB) copied, 208.019 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 98.7654 seconds, 348 MB/s raid0 4disk 34359738368 bytes (34 GB) copied, 114.403 seconds, 300 MB/s 34359738368 bytes (34 GB) copied, 76.7184 seconds, 448 MB/s raid0 4disk sync=standard 34359738368 bytes (34 GB) copied, 120.013 seconds, 286 MB/s 34359738368 bytes (34 GB) copied, 77.2663 seconds, 445 MB/s raid0 4disk zil sync=always 34359738368 bytes (34 GB) copied, 207.679 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 74.1959 seconds, 463 MB/s raid0 5disk 34359738368 bytes (34 GB) copied, 99.9385 seconds, 344 MB/s 34359738368 bytes (34 GB) copied, 63.9826 seconds, 537 MB/s raid0 5disk sync=standard 34359738368 bytes (34 GB) copied, 101.852 seconds, 337 MB/s 34359738368 bytes (34 GB) copied, 64.6448 seconds, 532 MB/s raid0 5disk zil sync=always 34359738368 bytes (34 GB) copied, 207.193 seconds, 166 MB/s 34359738368 bytes (34 GB) copied, 62.2817 seconds, 552 MB/s raid0 6disk 34359738368 bytes (34 GB) copied, 81.4244 seconds, 422 MB/s 34359738368 bytes (34 GB) copied, 55.0418 seconds, 624 MB/s raid0 6disk sync=standard 34359738368 bytes (34 GB) copied, 84.7693 seconds, 405 MB/s 34359738368 bytes (34 GB) copied, 54.275 seconds, 633 MB/s raid0 6disk zil sync=always 34359738368 bytes (34 GB) copied, 207.767 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 52.2964 seconds, 657 MB/s raid0 7disk 34359738368 bytes (34 GB) copied, 72.3546 seconds, 475 MB/s 34359738368 bytes (34 GB) copied, 47.5575 seconds, 722 MB/s raid0 7disk sync=standard 34359738368 bytes (34 GB) copied, 73.1588 seconds, 470 MB/s 34359738368 bytes (34 GB) copied, 47.1805 seconds, 728 MB/s raid0 7disk zil sync=always 34359738368 bytes (34 GB) copied, 206.957 seconds, 166 MB/s 34359738368 bytes (34 GB) copied, 44.9982 seconds, 764 MB/s raid0 8disk 34359738368 bytes (34 GB) copied, 63.6645 seconds, 540 MB/s 34359738368 bytes (34 GB) copied, 42.4252 seconds, 810 MB/s raid0 8disk zil sync=standard 34359738368 bytes (34 GB) copied, 63.5911 seconds, 540 MB/s 34359738368 bytes (34 GB) copied, 42.2853 seconds, 813 MB/s raid0 8disk zil sync=always 34359738368 bytes (34 GB) copied, 207.937 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 40.0296 seconds, 858 MB/s raid0 9disk 34359738368 bytes (34 GB) copied, 56.2284 seconds, 611 MB/s 34359738368 bytes (34 GB) copied, 38.4057 seconds, 895 MB/s raid0 9disk zil sync=standard 34359738368 bytes (34 GB) copied, 56.7143 seconds, 606 MB/s 34359738368 bytes (34 GB) copied, 37.5948 seconds, 914 MB/s raid0 9disk zil sync=always 34359738368 bytes (34 GB) copied, 207.622 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 35.6792 seconds, 963 MB/s raid0 10disk sync=standard 34359738368 bytes (34 GB) copied, 49.5412 seconds, 694 MB/s 34359738368 bytes (34 GB) copied, 35.3997 seconds, 971 MB/s raid0 10disk zil sync=standard 34359738368 bytes (34 GB) copied, 50.1924 seconds, 685 MB/s 34359738368 bytes (34 GB) copied, 35.551 seconds, 966 MB/s raid0 10disk zil sync=always 34359738368 bytes (34 GB) copied, 207.413 seconds, 166 MB/s 34359738368 bytes (34 GB) copied, 32.6684 seconds, 1.1 GB/s raid0 11disk sync=standard 34359738368 bytes (34 GB) copied, 45.0803 seconds, 762 MB/s 34359738368 bytes (34 GB) copied, 32.3663 seconds, 1.1 GB/s raid0 11disk zil sync=standard 34359738368 bytes (34 GB) copied, 45.9531 seconds, 748 MB/s 34359738368 bytes (34 GB) copied, 31.5008 seconds, 1.1 GB/s raid0 11disk zil sync=always 34359738368 bytes (34 GB) copied, 207.854 seconds, 165 MB/s 34359738368 bytes (34 GB) copied, 29.9955 seconds, 1.1 GB/s raid0 12disk sync=standard 34359738368 bytes (34 GB) copied, 41.6123 seconds, 826 MB/s 34359738368 bytes (34 GB) copied, 31.4201 seconds, 1.1 GB/s raid0 12disk zil sync=standard 34359738368 bytes (34 GB) copied, 42.2312 seconds, 814 MB/s 34359738368 bytes (34 GB) copied, 29.9809 seconds, 1.1 GB/s raid0 12disk zil sync=always 34359738368 bytes (34 GB) copied, 207.171 seconds, 166 MB/s 34359738368 bytes (34 GB) copied, 28.2279 seconds, 1.2 GB/s 貼り付けてとんでもない量になることに気がついたので、アップローダに上げました。 興味ある方はそちらから落としてください。 一部重複してる部分があります。 http://www1.axfc.net/uploader/File/so/69008 う〜ん、syspoolがディスク全量食っちゃうのは何とかならんのかな>インストーラー ディスク2台にミラー構成でinst出来るのはよいのだが、せめてパーティション切って欲しい。 そんな大量にディスク載っけられるわけでも無し。 ZILをSSDに設定する方法を教えて下さい。 先週触り始めたばかりです。あとパフォーマンス上こういう点に注意しろみたいなのがあったら 教えてください。 >>195 パーティション切れるようにって要望が上がってたような。 たしかに、1Disk1パーティションは無駄になっちゃう容量が大きくて嫌よね。 >>196 NexentaCoreかStoreか解らないけど、Coreの方なら # zpool add <pool名> log <ssd device> の指定で行けるかと。 Storeの方は、今環境ないのでちょっとすぐには解らないな。 前にSotreを使ってたときは、特に悩む事なくWebUIから設定した気がする。 パフォーマンス的なのは、どういう用途で使うかによってチューニング変ってくるから 具体的な構成書くと良いと思う。 ただ、使ってる感じチューニングしなくても、他のSolarisOSのものに比べてもスピード でてるから、あんまり弄らなくていいと思う。 >197 ありがとうございます。Storの方です。キャッシュでSSDに組み込むというは見つけたんですが。 もう少し探してみます。 StorからCoreに移行したのはGUIよりCUIってことでしょうか? >>198 あー、もしかしてzfs触るのは初めてかな? log -> ZIL (書込キャッシュ) cache -> L2ARC (読込キャッシュ) なので、用語知らなかったら解らないかも。 マニュアルで画面確認したら、Volumeの作成の画面とかにある、 Add to log >> ってボタンがZILの追加です。 Stor辞めたのは、StorがInfiniBandのサポートしてなかった為ですね。 WebUIがあっても設定出来なければ意味ないので。 あとは、元々Debian使ってるので単純に自分で解りやすかったってのもあります。 >>197 StorはOSやOIより何もしなくてもパフォーマンス出るよね どの辺いじってあるのか差分取ってみたいけど時間無いわ Storもadminでsshから入ればdebianそのものだと思うんだがStorだと出来ないこととかあるっけ? ま構成をいじりすぎるとweb UIとずれが生じるけども。 >>200 Storだけじゃなくて、Coreもパフォーマンスでてるのよね。 Coreと他の比べたけど、zfs関連のパラメータの違いが有ったのはSolaris 11 EAだけだった。 InfiniBandのSRPの管理とかがweb UIからできなった。 Web UIはSRP以外はいけるんだけどねー。FCとかiSCSIとか 結局手作業になるので、うちはNexentaCore + napp-itでおちついた >>201 なるほ そうなのか、なんぞチューニングパラメータかと思ったが、カーネル部分でいじってあるのかな ぶっちゃけOIが出るまでOSよりよほどメンテされてた感があるので細部に手が入ってるのかも Nexentastor+iSCSI Fedoraからマウントしてベンチ取ってみた(4k random write) (Disk statsに複数あるのはmultipathだから) fio --filename=/store/benchmark/benchfio -rw=randwrite -bs=4k -size=5G -numjobs=4 -runtime=10 -group_reporting -name=file1 file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1 ... file1: (g=0): rw=randwrite, bs=4K-4K/4K-4K, ioengine=sync, iodepth=1 fio 1.55 Starting 4 processes file1: Laying out IO file(s) (1 file(s) / 5120MB) Jobs: 4 (f=4): [wwww] [100.0% done] [0K/419.8M /s] [0 /105K iops] [eta 00m:00s] file1: (groupid=0, jobs=4): err= 0: pid=10719 write: io=3978.5MB, bw=407349KB/s, iops=101837 , runt= 10001msec clat (usec): min=4 , max=600085 , avg=36.50, stdev=729.01 lat (usec): min=4 , max=600085 , avg=36.59, stdev=729.01 bw (KB/s) : min= 447, max=230968, per=26.01%, avg=105959.17, stdev=26963.27 cpu : usr=3.02%, sys=43.23%, ctx=884074, majf=0, minf=107 IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0% submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0% issued r/w/d: total=0/1018475/0, short=0/0/0 lat (usec): 10=8.55%, 20=85.36%, 50=5.84%, 100=0.12%, 250=0.03% lat (usec): 500=0.01%, 750=0.01%, 1000=0.01% lat (msec): 2=0.01%, 4=0.01%, 10=0.03%, 20=0.03%, 50=0.02% lat (msec): 100=0.01%, 250=0.01%, 500=0.01%, 750=0.01% 続き Run status group 0 (all jobs): WRITE: io=3978.5MB, aggrb=407349KB/s, minb=417125KB/s, maxb=417125KB/s, mint=10001msec, maxt=10001msec Disk stats (read/write): dm-5: ios=0/146166, merge=0/0, ticks=0/1516756, in_queue=1518373, util=60.93%, aggrios=0/83296, aggrmerge=0/65438, aggrticks=0/821096, aggrin_queue=821516, aggrutil=61.32% dm-2: ios=0/83296, merge=0/65438, ticks=0/821096, in_queue=821516, util=61.32%, aggrios=0/20824, aggrmerge=0/0, aggrticks=0/200813, aggrin_queue=200917, aggrutil=22.44% sdc: ios=1/20665, merge=0/0, ticks=0/200678, in_queue=201615, util=17.42% sdf: ios=1/20632, merge=0/0, ticks=0/217119, in_queue=216605, util=22.44% sdm: ios=0/21000, merge=0/0, ticks=0/209421, in_queue=209418, util=18.46% sdl: ios=1/21000, merge=0/0, ticks=0/176034, in_queue=176030, util=15.81% >>203 速いな〜、今の構成だとローカルでもうちはそんなに出ない。 NexetaStor側のハード構成とかpoolの構成はどんな感じなんでしょ? poolは1TBx10(raidz2)+SSD(ZIL) nmc@nexenta:/$ zpool list NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT dset 9.06T 878G 8.21T 9% 1.00x ONLINE - CPU Xeon(R) CPU E31240 @ 3.30GH Memory size: 16109 Megabytes ストレージを集約しようとしてるので、少々オーバースペック気味になってます。 詳細ありがとうございます。 うちと似たような構成なんだけどこの差は何なんだろう。 Diskが10台のRaidZ2+ZILで、CPUがX3460とメモリが32GBくらいの差なんですが・・・。 環境の違いはvolblocksizeが4kなのとシンプロビジョニング使ってる所がネックなのか >>209 LSI9211-8iのカードは初期状態でRAID対応Firmwareが入ってたと思うんですが ZFS的には非RAIDなFirmwareに上書きした方がいいのでしょうか。 ちなみに私の環境 NEC GT110b MEM : 1GB ECC x4 SATA1 : 160GB (GT110b標準) : NexentaStor C.E. 3.1.1 9211-8i : Port1-6 : TOSHIBA MK3265GSX 2.5/320GB/5400rpm 9211-8i : Port7 : ANS-9010 16GB (ZIL) 9211-8i : Port8 : 無し (L2ARC用に東芝SSDを予定) >>210 うちはIT(HBA)Firmに書換はしてます。 RAIDファームではないのは以下のサイトの記述みたので。 http://ftp-admin.blogspot.com/2009/10/zfsraid.html あと、海外のサイトとかでもIT Firmに書換してる事例が多かったのもあります。 そちらの環境のZILがANS-9010って速そうなんですが、実際どの位速度でてます? 9211-8iとIntelのオンボードSATAを混ぜてます。 ファームは書き換えてませんね。 他のマシンから9260-8iをひっぺがしてみようかと考えましたが、MSMとか使えませんよね。 9201-16iの方がいいかな。 カードは同じなんですね。 オンボードだけで sata6Gが6個もあるへんなITXがあったので使ってますが、 早くない。 3Tx3と最小構成なのでしょうがないかなあ。 3Tもう一本くらい買いたいけど今はムリだ〜〜〜〜〜 >>212 NexentaでもMSMは動きそうな気はしますが、必要な物入れるのが大変そうです。 楽なのは9201-16iだと思いますよ。もしくは、SASエクスパンダー入れるかですね。 >>213 J&WのAMDのITXですかね? うちは拡張カード刺すつもりだったので、最初からATXにしました。 速くないって、どのくらいなんでしょ? ZIL用のSSD追加すると結構パフォーマンス 変りますよ−。 >214 asusの E35M1-I です。deluxなしのやつ。 速度はのちほど。 ZILは手持ちのを一度つけたんですが腐ってたみたいで時々挙動不審になるので 別のを注文中です。 CDMなので、比較にならないでしょうが、こんなもんです。 raidz1 WDC 3Tx3 syspoolは Crucial M4 128G 圧縮なし。 cacheなし、 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 59.181 MB/s Sequential Write : 65.651 MB/s Random Read 512KB : 58.378 MB/s Random Write 512KB : 39.962 MB/s Random Read 4KB (QD=1) : 7.255 MB/s [ 1771.3 IOPS] Random Write 4KB (QD=1) : 6.275 MB/s [ 1532.1 IOPS] Random Read 4KB (QD=32) : 61.498 MB/s [ 15014.2 IOPS] Random Write 4KB (QD=32) : 2.126 MB/s [ 519.1 IOPS] Test : 1000 MB [X: 11.6% (631.1/5454.7 GB)] (x2) Date : 2011/11/09 21:28:31 OS : Windows 7 SP1 [6.1 Build 7601] (x64) 214(207)ですが、うちでCDM取るとこんな感じです。 Nexentaとの接続がInfiniBandのうえにARC上に乗っかってるので、読込はこれくらいでます。 書込はスペックからするとおっっっそいっすね。これでもZILにPX-128M2P使ってるんですが。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 1154.275 MB/s Sequential Write : 123.507 MB/s Random Read 512KB : 968.508 MB/s Random Write 512KB : 113.761 MB/s Random Read 4KB (QD=1) : 66.573 MB/s [ 16253.1 IOPS] Random Write 4KB (QD=1) : 17.650 MB/s [ 4309.0 IOPS] Random Read 4KB (QD=32) : 899.634 MB/s [219637.1 IOPS] Random Write 4KB (QD=32) : 36.698 MB/s [ 8959.5 IOPS] Test : 1000 MB [D: 41.7% (4273.6/10239.9 GB)] (x5) Date : 2011/11/10 0:26:01 OS : Windows Server 2008 R2 Datacenter Edition (Full installation) SP1 [6.1 Build 7601] (x64) 高速化したいときはZILとL2ARC? どの程度速くなるものなんでしょう >>218 用途はiSCSIのTargetでしょうか? 用途によって変ってくるので何とも言えないです。 ZILをSSDへ独立させてやると、SSDの最高書込速度の7〜8割くらいの速度はでます。 細かいブロックサイズ(4KBとか)になると、SSDのそのブロックサイズでの速度くらいまで落ちますが。 一般的な話だと、読込高速化(L2ARC)か書込高速化(ZILデバイス追加)って感じです。 通常、読込高速化はメモリを増やしまくればL2ARCはいらない気がしますけど。 DB系を動かすとなると、L2ARCがあった方が断然速くなると思います。 書込はZILをdisableにすると速くはなりますよ。 標準設定だと、ZILはstandard設定なのでそれをdisabledにするとパフォーマンスはでます。 電源断が起こると、下手すると巻き戻りが起こりますけど。 あと、自分が弄ってきた経験上は、最終的に書込むDiskの速度が遅いとZILのデバイスがいくら速くとも、 Diskの速度に引っ張られます。 現行のzilの動作ですけど、どーなってるんだろうと思って一回テストしてみたんですが、 sync = always (常にZILを書く) sync = standard (同期書込時だけZILを書く) sync = disabled (同期書込時もZILを書かない) になってるっぽいです。 あら。スレあったんだ。前探したときは見つけられなかったんだが NexentaStor community edition で 1Tx3 で RaidZ を組んで1年半。 NexentaStor は場違いであればお許しを。 >>220 全然スレ違いじゃないと思うよw このスレはNexentaStor使ってる人の方が多いしw Coreの方を使ってるのは、自分以外は誰かいるんだろうかw そういや、illimosベースの4.0のベータテスターの募集してたけど、 誰か突撃した人はいるんだろうか? FreeBSD の ZFS と nexenta の ZFS の性能的な違いとかって 両方使っている人がいたら感想を教えてもらえるとありがたいです >>222 以前FreeBSD(ZFSGuru)とnexentaで比較やったんだけど、結果が残ってない orz GbE+iSCSIのサーバとかで使うんだったら、差は殆どないかと。 Nexenta の一時バックアップを、VM 上に作った FreeBSD 9RC でとってみたが、 ZFS としての使い勝手は当たり前だが同等。 ハードが異なるので比較はできないがメモリをたっぷり割り当てている分には違いは出なかった Nexenta のほうで、Dedup ON にしているとメモリが足りないと警告が出るが、 FreeBSD では出なかった。出ないからと言って、メモリが足りないわけではないだろうけど FreeBSD側の枯れ具合いくらいなのかな,違いは. 当方は,えんたーぷらいずってわけでもないので あとはスピードとかだったのだけどまあ zfsにあまりスピードを求めるというのも違うきもする… 206です。 出勤前にCDMでベンチ取ってみました。 遅いですねえ、>>217 にはとても及ばず。 1GbなiSCSIじゃこんなものですかね。 ----------------------------------------------------------------------- CrystalDiskMark 3.0.1 x64 (C) 2007-2010 hiyohiyo Crystal Dew World : http://crystalmark.info/ ----------------------------------------------------------------------- * MB/s = 1,000,000 byte/s [SATA/300 = 300,000,000 byte/s] Sequential Read : 175.891 MB/s Sequential Write : 89.339 MB/s Random Read 512KB : 125.079 MB/s Random Write 512KB : 52.436 MB/s Random Read 4KB (QD=1) : 7.264 MB/s [ 1773.4 IOPS] Random Write 4KB (QD=1) : 9.104 MB/s [ 2222.6 IOPS] Random Read 4KB (QD=32) : 165.056 MB/s [ 40296.8 IOPS] Random Write 4KB (QD=32) : 23.892 MB/s [ 5833.0 IOPS] Test : 1000 MB [D: 0.1% (0.1/100.0 GB)] (x5) Date : 2011/11/21 5:36:02 OS : Windows Server 2008 R2 Enterprise Edition (Full installation) SP1 [6.1 Build 7601] 自分が使ってるNexentaCoreがEOLに orz NexentaStorはEOLじゃないからそっち使ってる人は安心してねん。 Coreは元々フリーで無保証って書いてたから仕方無い。 Ubuntuの8.04 Desktopベースだから、大元のサポートが今年の4月に切れてるしな。 iCoreへの移行で人手が足らないのもあるんだろうなー NexentaStorのEEとCEはちゃんとサポートしてるから信用はして良いと思うが。 >>231 DebianとかUbuntuみたいにアップグレードできるようにするみたいだから、再インスコまではしなくて良いと思うよ。 ComunityEdition も、今年に入ってから Upgrade に失敗するようになったな あぁつぶれたのか。そうかそうか。じゃぁしょうがないね。> 235 ttp://www.nexentastor.org/boards/1/topics/4587 日本時間18日深夜に直った模様。 うちも直ったわ(当たり前だが そしてupdateパッケージがあるな。rebootしたくねーんだがどうしようか Coreはillumos+debianのIllumianになったみたいね NexentaStorでiostat -EnしてもSerial Numberが全部空っぽなんだが、私だけ? NexentaStor Version 3.1.3 Released: Download today zfs+crossbow鯖を立てたくてOiかNexentaStor/Coreのどれかを検討中です。 zfsは問題ないとして、Nexentaのcrossbow対応状況ってどんなもんでしょ? >>241 NexentaStorは、NASの専用なのでCrossbowは簡単には出来ないと思う。 元々Solaris系触った事あるならOIで、Debian系になれてるならillumianかな。 NexentaCoreはサポートが切れてるのでお勧めしない。 後継のillumianを使ったほうが良いと思う。 >>242 なるほどありがとうございます。illumian検討してみます。 myriの10GBase-cx4カードが思いがけず入手できそうで、 Crossbowで内部的に繋ぎこんでなんちゃって10GBaseスイッチにできないかな〜と Nexentastor.orgでOpenStrageSummit記念の自作コンテスト開催中。10/25〆切 http://www.nexentastor.org/boards/12/topics/7912 公式ではなくてコミュニティの内輪イベントみたい。 自作PC晒しスレのノリなんだけど、自分は英語で文章書けないから無理ぽ。 公式フォーラムに、 内部ベータは通ったから、近いうちに公開ベータ出せるんじゃね?来週あたりか? って書き込みあったんだけど、NexentaStor4.0期待していいの? illumosベースのベータ版が出たみたいだね New Public Beta: NexentaStor Community 4.0 milestone 20 http://nexentastor.org/boards/13/topics/8785 4.0のmilestone24出た 出たのはいいんだがフォーラムの投稿記事読んでると、Nexenta社やコミュニティの先行きが不安になってくる。 ZFS on Linuxに皆流れていってるのかな? >ZFS on Linuxに皆流れていってるのかな? Free-BSD じゃないかね? 0.6.1でRH系のレポできたから一斉に行ったんじゃないの BSDなら今更行くかだし 3.1.5 release. 4.0も開発は進んでるから期待してろよ、とかなんとか。 誰でも簡単にパソコン1台で稼げる方法など 参考までに、 ⇒ 『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。 グーグル検索⇒『宮本のゴウリエセレレ』 S163JK23NW 知り合いから教えてもらったパソコン一台でお金持ちになれるやり方 時間がある方はみてもいいかもしれません グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』 HH2H0 INPEXを今日売ったのにね 相関図載せられて本質を見失う奴も多いから知らぬ存ぜぬを突き通すんだろ チェックリスト増やしてないと思ってたけど ソンフン本国だと自サーバーにクレカ情報はどうでもいいだろ アイスタ素直にS安なればいいのにね 煽ってた 半年前の3タテの時いなかったけど金取れないかと思う read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる