【10GbE】10Gigabit Ethernet 8【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
>>114
別物。
PCIeだけでなく、DisplayPort、USB3.1gen2のプロトコルが使えて、エンコードが64b/66b (PCIeは128b/130b)。
給電は最大100W。 >>112
ヤフオクで3000円台でMellanox ConnectX-3 CX353A がたくさん出てる。
多分FDRで40Gbpsのやつ。多分。
QSFPのDACを安く買って直結したらいい。ebayとか。 TB3直結じゃなくてNIC+DACで直結のほうがいいだろ >>118
返信ありがとうございます。
QSFPいいですね。
5Mのダイレクトアタッチケーブルをebay探しましたが、7000円強、fs.comで買うのと大差無いように思います。
良いケーブルあれば推薦お願いします。 消費電力と発熱考慮して ConnectX-4 Lxかな fiberjp.comってどう？
QSFP5mで4500円くらい sas qsfp+って…
そもそもqsfp+モジュール自体4000以上だからな。
7000円なら充分安いと思ってもいいんじゃない？ >>125
SAS用は普通にConnectXとかで使えるよ。
別のSAS用ケーブルだが私の環境では実際にConnectX-2 10GイーサネットのQSFPで10G出てる。
ただ、このリンクの商品が40Gまでいけるかどうかは仕様を見ないと分からない。
ちょっとそのケーブルの型番で調べたらこんな書き込みが。多分40Gいけそう。
https://forums.servethehome.com/index.php?threads/cheap-40g-qsfp-dac-cables.10789/
当たり前だが自己責任で。 >>124-126
レスサンクス。ebayで買ってみました。
ケーブルの端子を確認しましたが、両方QSFPっぽいですね。
3400円×2+1500円で40G環境が揃うのは中々良いです。
月末には揃うと思います。
3400円のカードの状態が良いと嬉しいですが、動作に関して書いてない…… >>127
たぶん、同じところから落札したことあるけど
プチプチが内側に貼られた緩衝付き封筒にダイレクトに入れて発送される
動作は問題なく動いた >>126
いや、使えるには使えるんだろうが…
10Gなら最初から10G買えばいいんだがsas qsfpケーブルっていうと24Gbpsなんだよね。
http://www.aim-ele.co.jp/products/qsfp/
今時nvmeとか40Gbps程度使うデバイスあるからあと5000円程度なら出しても良かったんじゃないかと。 >>127
月末は厳しいんじゃないですかね。10月中旬ぐらいじゃないかなと。
40G環境ということですが、パソコンの方も高スペックを要求されますが大丈夫ですか？
40Gはちょっとやそっとの環境では出ませんよ。 >>130
40Gはrdma使えば楽勝。
rdmaはsmb directだとwindows server+windows entの組合わせになるから少しハードル高いかも。
思い切ってクライアントもwindows serverにすればいいかも、だな。 >>128
なるほど。楽しみです。
>>129
sasの規格で使うと24Gbpsなのでは。
恐らくこれと同じ中身なので
https://addonnetworks.com/product/X6559-R6-AO
>>130
Chinapostの中でもまともな方法で来るようで、
見込みがSep30-Oct17になってますね。10月初旬が妥当かもしれません。
PCはcore i7 7700K メモリ64GとRyzen 2400G メモリ32Gで繋ぎます。
7700KはNVMeですが、RyzenがNASのため省エネを目的に
M.2がNVMeではなく、SATAが付いてます（1W〜2W位下がる）。
ですので、最大で6G出れば問題ありません。
このボードは6Wらしいですが、休止や
スペックダウン設定で省エネが出来ると素晴らしいですね。
（CPUやメモリではないので、項目が無いとは思いますが） >>131
クライアントがWindows10 pro、NASがUbuntuです。
windows10 proの問題でsmb directは厳しい予感です。
オクでwindows2012 serverは中古の横流し（シール）が安く出てますね。
2016か2019が欲しい所ですが……。特に2019のコンテナ関連は魅力的です。 >>132
省電力目的で6Gbpsで十分なら、PCIeの x4 で動かして、40Gじゃなくて10Gでリンクさせればいいんじゃないかな。
それで少し電力が減ると思う。 windows serverはとりあえず評価版でしょ。
2012R2(2012は知らない)以降なら180日の評価を6回も延長させてくれるからね。
自分はたまたまwindows proをsa付きで延長中なのでsmb directの恩恵を受けてますが、やっぱり速いのは気持ちいいですよ。
尚、windows serverでintelのssd/nvme使用者にはintel casが無償で使用できます。
複数フォルダにキャッシュを設定できるのでoptane900Pと40Gbps併せてカッ飛びnas構築できますよ。 >>132
ひたすらNASに読み書きし続けるのでなければ、NASのSSDの消費電力ケチる意味無いと思うのだが。
NVMeのSN750(1TB)でもアイドル時100mWとかだし。
ストレージが遅かったらQSFP+の意味無いだろ。 >>134
良さそうですね！届いたら早速試してみます。
>>135
仮想環境（k8s）の関係でUbuntuが外せないのです。
Winodowsのdockerはk8sが起動しないバグが2年前から変わっていないので……。
2019でk8s関係をネイティブサポートするらしいので、興味あります。
>>136
元々SN700（500G）を使っていて、消費電力の関係で
Samsungの192G SATAに変えた経緯があります。
また、NASのデータ部分をSATA SSD 512G 4枚でRAIDZを組んでいます。
B450Mの廉価マザボだと、NVMeは1か所だけなので速度重視だと
NASとしての容量に難ありなのが難しい所です。 QSFPのボード届いたが、ubuntuのドライバのインストールでコケる。
mellanoxのドライバがinfinibandのソフト内包でかなり特殊なのが原因のようだが……。
認識はしてるので、ネイティブのドライバでケーブル刺すだけで動くと嬉しいが、どうなるやら >>138
MLNX_OFEDのこと？
手間だけど、Windows機にインストールして、ファームウェアのアップデートや設定するといいよ。 >>139
レスサンクス。windowsで試しましたが、PSIDのミスマッチエラーが出ます。
入手したconnectx3はIBM1100110019ですが、ファームウェアの対象はMT_110111019だと。
IBMへのOEM供給品のようですね……。 IBM のファームを見つけて更新しました。しかし、2.33で止まってます。
自社の同一機種は2.42なのに(´・ω・｀) こういうベンダーごとのファームからmellanoxファームへの書き換えってなんかライセンス的にグレーだったりするかな？
そういう問題がなければ俺もここの上の方で相談したり
>>142
の上げてるようなサイト見ながら一通りやったのでやったことQiitaかなんかにまとめてもいいかなと。 HPの649281-B21だと、サポートサイトに2.36.5000があるから、その辺は楽ですね
私がファームを更新する時は、Debianパッケージのmstflintを使ってます >>142
レスサンクス。読んで試してみます。
型落ち中古とはいえ、3400円でQSFPは良いですね。
消費電力も6Wで、RJ45、10Gの半分。
RJ45は使用の限界に来てる感じだ >>149の方法で最新の二つ前まで行けました。
サンクス。共通ファームの最新traballのアドレスがあれば最新も可能なのだが……。
PSIDも書き換えられるが、同等製品のPSIDが不明なので試してない。 WindowsでRDMA対応無しだと40Gbps出すのは難しいのかな
今connect X-3 ENで10Gなんだけど
3400円カードの話題が出てたので速くなるなら変えてみたいと思ってる直結おじさんです 今使ってるネットワーク越しの書き込みが約1000MB/s以下なら
10GのNICの性能を生かしきれてないので、替える必要は無いですよ。 >>151
それこそヤフオクでwindows server2012が
1000円で売ってるから入れて試せばいいのでは。
2016以後も4000円くらいで売ってるが、VLの横流しだろうから
MSで規制入ると使えなくなる。
お試し期間で2年くらい使うか。 >>152
そうなんですか
今のPCは4コアのi3ですが、大体800MB/s程度です
これだと挿し替えても変わらないと言う事なんですね
>>153
録画PCからtsを持ってこようとしてるのでOSは変えたくないんです
後出しでごめんなさい
もう少し考えてみます。ありがとうございました >>154
> 今のPCは4コアのi3ですが、大体800MB/s程度です
> これだと挿し替えても変わらないと言う事なんですね
そうですね。
iperf等で速度を計ると理論値1250MB/sのちょっと下ぐらいは出ると思います。この場合はストレージの速度がボトルネックです。
もし800MB/s程度だったら、NICが故障してるか、マザー等がボトルネックになってると思います。
計ってみてください。 >>155
iperf3で計測したところ、一番良い値でも965MB/sが最高でした
やはりどこかにボトルネックがあるようです >>156
そうですか。以下のスイッチで3本同時に計測したらどうなりますか？
> -P, --parallel n n個のコネクションを同時に接続する。デフォルトは1つ。
それでも1100を超えないなら、どこがボトルネックなのか一つ一つ見ていく必要がありますね。マザーのPCIeが怪しそうですが。 >>156
送信側受信側それぞれのnicのパラメータを弄ればなんとかなるんじゃないかな。
jumbo frameは当然最大値。
割込み加減を最大にしたり無効にしたりでかなり変わる。
因みにウチの環境でiperfなら40G NICで大体20Gくらい。
core i3 4coreなら同じくらいでるかと。
因みにQSFPなNIC、って40GのFDRならNICとして使うなら10Gになるんじゃない？
40GでNICとして接続したいなら56Gを買わないとダメじゃないかな、と。 それはFDRではなくQDRでしょ。
オクのはFDRだから問題ない >>157
やってみました
平均すると合計で1000MB/sあたりです
何回かに一回は1000MB/sを上回ることがあり、1150MBまで出たのを確認しました
>>158さんのおっしゃるようにパラメーターをいじっていないのがダメなのかもしれません
今はjumbo frame以外は初期値のままです Qitaに書き換え方法をうpしてくれた人thx
>>143の人かな >>163
まあ、それぐらいなら問題ないと思います。
何がボトルネックか調べる方が大変だと思います。最大値が一定でなく揺れてるのは原因の特定が難しそうです。
ほっとくのがいいと思います。
色々調べたり、設定を変えてもストレージが一番大きなボトルネックなので。
ストレージを変えたときにまた考えたらいいと思います。800MB/sは十分高速なストレージなので、数年後でしょうが。 どうしてもボトルネックを調べたい場合は計測時間を3分とか長めに設定して
最大値を安定させると数字から分かることもあります。
短い時間だと分かりにくいですよ。
ただ、NIC等の発熱には気を付けてください。 connectex2だと、QSFP+の2枚組が1500円だな。安すぎ。
Windowsならデフォルトでドライバも入って普通に使えそう。
富士通になってるが、OEM品ね。
こうなってくると、QSFP+のハブが欲しくなってくるw
安いのないかな。 >>166
3分で試したところ1本では800MB/sあたりで変わらず
3本の方は1150MBに収束していきました
とりあえずこのままで、交換は速いSSDに変えたときにまた考えてみます
ありがとうございました >>168
1150MB/sですか。それだったら問題ないですね。
ストレージ以外のボトルネックは無いと言っていいと思います。
SMBのアクセスはiperfで3本ぐらいのアクセスと同じぐらいの速度出ますから。
かなりいいPCだと思いますよ。 >>170
ヤフオクでconnectx 3 cx353aを3380円で売ってる業者。
今見たら消えてるが、入札無しで流れたっぽい。また復活するのでは。 トランシーバー+光ケーブルより、ダイレクトアタッチケーブルの方が消費電力少ないんだな。逆かと思ってた 裏の型番がA3C40124124 Fujitsuになってるカードね。中身はconnectx2 vpi single qsfp QSFP+とSFP+を繋ぎたい時ってどうすればいいの PCIeは発表→約2年→制定→約2年→製品化のペースだね。
帯域消費は10GbitEtherが固定消費するだろう。
5Gで10Gbpsから最終20Gbpsになるから、それをカバーできる帯域が必要になるよ。 PCIe x4スロットで40Gbps NICが出来るのはいつ？ スロットに切り欠きがあれば今も実現できる。
100GbpsNICになるけどpcie4.0 x4なら50Gbpsまで可能。 その前にThunderbolt 3(USB4)転用しそう >>182
それでいいならpcie3.0 x4だな。
thunderbolt3自体はそれで接続されてるから。 USB4が出たらPCIeカード外付け機とか出るのだろうか？ もうちょっと簡便なUSB感覚で使える光ケーブル作れんものか、、、、 現状のPCI 3.0用に出るとは考えづらいな
出ても帯域x4とかx8(2ポート)とか要るし
USB4が普及する頃にはマザー買い替えじゃない? USB4.0って光ケーブル規格あるんだな。
https://ja.wikipedia.org/wiki/Thunderbolt
しかし、60ｍというのもまた微妙だのう、、、
100ｍにしてErherと共用とかにしてほしかった。 USB3.1gen2のケーブル長制限が1mまでだからもう限界に来ている ケーブル・コネクタ・ケーブルボックス・パッチパネル等の性能に応じて自動的に減速するような規格が必要 RDMA対応はWin10 Pro無印に降りて来ないかな
10Gが普及しそうな時にこの足かせはないわ >>190
とりあえず待つだけ無駄だから。
待ってるお前には10proに降りてきたところで使えない。
と、言ってみる。
実際、10pro ws/entもクライアントとしてしかrdmaは使えない。
つまり10だけじゃどうにもならない。
使うやつはwindows serverも評価版利用して既に体験している。 >>185
光USBケーブルあるよ
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/usb-optical-cables.html
光Thunderboltケーブルも
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/thunderbolt-optical-cables.html
直輸入扱いだけど日本からも買える
ttps://www.soundhouse.co.jp/search/index?s_maker_cd=2658&s_category_cd=206&i_type=cm LANもUSBもHDMIもDPもeSATAも、全部光MPOコネクタに統一すればいいよ 光と共に給電できるようなケーブルにして欲しいもんだ。 QSFPとケーブル届いて、問題なく動いた。サンクス。
といいつつ、Ubuntuで設定をethernetにできず苦戦中。
windows↔windowsは問題ないのだが……。 >>195
PC起動時のアレ(Ctrl + Bで入るやつ)で設定すれば？ SPF28ってSPFにpそのまま刺さって通信できるんだな知らんかった 10GbE導入したいです。
ずばり、最も省電力なNICはどれでしょうか？ >>200
消費電力気にするなら10GBASE-T(RJ-45)は問題外で、10GBASE-SR(SFP+)か長さが足りるならDAC(SFP+)で接続だな
Intel X710-DA2かMellanox MCX311A-XCAT
Intelの方が若干省電力か ビットレート当たりの消費電力が低くなれば、
消費電力自体が上がってもむしろ省電力でしょ？ >>197
ありがとうございます。
ctrl+Bが不勉強で調べきれませんでした。
何かサイト等で例示いただけると嬉しいです。 >>204
biosを一旦csm有効にして挿しているpciスロットからのメニュー表示を有効にすればわかる。 csmが廃止されたら至る所で問題が起こるんだろうなぁ。 >>205
CSMを有効にしましたが、その先が分からず悩ましいです。ethernetはダメですが、IBでは動いてるので、それで使えという啓示でしょうかw
mellanoxのubuntuサポートがイマイチなのが一つの原因で、公式文書中のyumなど、red hatの内容を転載しただけの文書が多いので調べても怪しい。フォーラムも機能してないし。
一番詳しいのがarch linuxのサイト。いつも感心するレベルだが、誰が書いてるのだろう。 ubuntuでまともに動かないのはカーネルが新しくてドライバが対応してないのが原因っぽい。debian系も頑張って欲しい linuxで、メーカーがバイナリ配布してるドライバを使うのと、
カーネルにマージされてるソースコードのドライバの両方あるときに、
どっちつかうのがいいの？ >>207
本来ならboot時にmellanoxのnicについてメッセージが表示され、ctrl+Bを押せと表示される。
もしかしたらpcieスロットからのbootrom起動が無効になってない？ >>210
何も出ないですね。設定をどこでするべきなのか……。
>>211
入れてますが変化なしです。
asrockの安いマザーだとUEFIの設定が少ないので駄目なのか、それともデュアルブートで使ってるgrubが邪魔しているのか。難しい。 >>212
os boot前の話だからubunts関係無い。
寧ろbios設定に入る前。
delキー押せばbios設定画面に入れるところまでctrl+Bを連打してみるしかないな。 >>213
レスサンクス。ロゴ表示前ですね。
何度か試してみましたが、変化なしです。
昔のBIOSのように認識してるハードが出る画面になればわかりやすいのですが、UEFIに設定項目が無いのが厳しい処です。 ■ このスレッドは過去ログ倉庫に格納されています
