【10GbE/25GbE/40GbE等】次世代Gigabit Ethernet 4
光イーサネットについて語るスレ
基本的にsfp+,qsfp,CX4、光ファイバーが対象ですが、10GbEもSFPモジュールやハブの型番とか環境を併記したうえで書き込む権利があります。
◆警告◆
貧民の2.5GbEと5GbEは対象外
もちろん1GbEや100Mは対象外
過去スレ
【10GbE/25GbE/40GbE等】次世代Gigabit Ethernet
https://mevius.5ch.net/test/read.cgi/hard/1604333692/
【10GbE/25～400GbE等】次世代Gigabit Ethernet 2
https://mevius.5ch.net/test/read.cgi/hard/1637063968/
【10GbE/25GbE/40GbE等】次世代Gigabit Ethernet 3
https://mevius.5ch.net/test/read.cgi/hard/1659025391/ こんなところでただで情報仕入れようとしている根性が気に食わんし
常識人ぶって、なんとかですね。っていうのもなんだかな 質問です教えて下さい、10G環境にしようとMellanox ConnectX-3か4で使えるモジュール調べるとベンダーロックないからciscoのでも動くらしいんですがfs.comや10Gtecにはmellanox互換のモジュールがあるんでmellanox互換を使うほうが良いんでしょうか、何が違うんでしょう
いきなりの質問ですみませんが調べても分からなかったのでよろしくお願いします >>21
sfp+モジュールの中に記録されているベンダー情報が違うだけ
そこを見てintel等の nicはベンダーロックインを掛けている
10Gのsfp+だと何かの間違いでintel nic買う可能性があるかも、ということでintel対応モジュールにする、とか、hpの保守流れ品に期待してhp対応モジュールにする、って感じで買えばいいかと
intel対応モジュールだろうがhp対応モジュールだろうがmellanoxなら関係ないからね >>20
心が狭くてセコビッチ
女の子に「◯◯って超ケチだよね〜」って言われてるタイプ >>22
回答ありがとうございます
ベンダー情報が違うだけなんですね、Intelにしておくのも良さそうです
本当に助かりました、ありがとうございました。 >>23
20の頭には「業務用なのに」ってのが省かれていると思って一般家庭なんで厚かましく質問させてもらいました。 奥行き50cmくらいあるスイッチングハブを2つの耳だけで固定できるもんなの？
ずっと疑問なんだけど ラックの内側両サイドに取り付けて機器を下から支えるL字型の部品がある レールない機器もあるよね
コンパクトならいいけどさ ここで云うコンパクトってコンパクトでは無いだろうな
奥行き300mmくらいだろうか >>26
クソ重たい機器でなければ、2Uなら余裕、1Uだと少し傾く
ただし、取り付ける時に超苦労するし、機器故障で取り外すなんてことになったら大事 NFS over RDMA やろうとすると、スイッチも対応してるやつを買わなきゃならない？
スイッチ高いよね LANケーブル1本あたりの消費電力
10BASE-T ほぼゼロ
100BASE-TX 0.4W
1000BASE-T 1W
10GBASE-T 10W >>33
ありがとうございます
スイッチ対応無しで使えるのかな？
ちょっと調べてみます。 >>35
仕事先のGPUサーバーとファイルサーバーの切り分けを考えてます >>36
少なくともsmbdirectはcrs504で使えてる
その設定もvlanくらいしかやってない
パケロス時の対応は対応スイッチに分があるが輻輳とかしなければパケロスなんて発生しないだろ、たぶん >>38
ありがとうございます
nvmeのSSDでどれぐらい速度出てますか？
crs504はポート数が足りないので他を探してみよう
nvidiaのスライドだとspectrumがadaptive flow optimizationしてるから速いと書かれてたけど、くっそ高い >>39
とりあえずPrimoCacheで提供されるキャッシュに対する共有とPCIe3.0x4にNVMex2をRAID0で接続した際の共有へのベンチを貼っておく
ttps://imgur.%43om/G8TvD9y これですね。
ttps://imgur.com/G8TvD9y >>40
キャッシュ無しだと28Gbpsぐらいですね。
SSDってローカルだと50Gbpsぐらい出るけど、リモートだとそれぐらいに落ちるんですね >>42
書き込みが安定しない…
NVMeの方はPCIe3.0x4にasm2824経由で2つ接続しているのでシーケンシャルならローカルでもこれが限界かな、と
感覚的なとこだけど100Gのシーケンシャルならrdma有無に関わらず帯域MAXまでいけた記憶がある
rdma使うとランダムがかなり早くなったような >>43
なんで100GBシーケンシャルだとRDMA無しで帯域Maxまでいけるんたろ?
Smbだといけるのかな？
100GBで16ポート以上は高いから、25GBでボンディングするのが良いかな？
どうせ一回のバッチで200GBぐらいしか読まないし。 >>44
ちょっと気になったんでOSをProにエディション変更して計測してみた
上り25G、下り50Gくらいだった
勘違いスマン
https://i.imgur.com/KW1bfYD.jpeg
NIC
サーバ:hp P06250-B1(connectx-6)
クライアント:connecx6-dx ありがとうございます
writeの方が速いのはキャッシュに収まるからかな？
connectx6使ってるんだ
お高いですよね
>>47 >>48
個人用だからジャンク上等でebayから買ってる
P06250-B1は送料込2万かな
>>49
そこはrdma有無の違いかな、と こういう 48x 25Gb SFP28、8x 100Gb QSFP28 のスイッチって 100Gb QSFP28 ポートにサーバーを直接接続出来ますか？
銅線の知識しか無いのでアップリンクはクロスケーブルでって思うのですが、光にクロスケーブルあるのか、それとも勝手に認識してくれるのか、よくわかりません。
詳しい方教えて下さい。
https://www.fs.com/jp/products/157444.html 二本の光ケーブル？
それさえもわかっていない光ケーブル・スイッチの初心者なので、アップリンクにサーバーつなげるか教えて下さい。 >>51
光ケーブルは延長時以外クロスだよ
lcケーブルなら明記されてない限りクロスになってる
mpoケーブルならtype-bを買えばok >>53
アップリンクってただ定義されてるだけで普通に使えるよ
もちろんサーバを接続してもok >>55
ありがとうございます。助かります。
ダウンリンクと同じように普通のケーブルでOKなんですか？ >>56
ok
で、なんかめちゃ高いやつ買おうとしてるみたいだけど一旦25G/40G環境で構築してもいいんじゃない？
たぶんアクセス元、先はnvmeだとは思うけどこれだと3GB/sくらいが精一杯だよ
自分の環境もそんな感じ
100Gはベンチ回した際にニヤニヤするための環境だよね
https://i.imgur.com/hXYHMu8.jpeg PCIe3と4のNVMeのSSDでスピード変わるのかな？
ローカルだと変わるけどRDMAで >>58
ありがとうございます。
25G/40Gで安いの探したのですがあまりなくて、これが安かったです。
ブレイクアウトケーブルで25Gや10Gにすれば良いのですよね？
https://www.fs.com/jp/products/158185.html >>60
40Gなら↓が安いけどね。
https://www.getic.com/product/cloud-router-switch-326-24s-2q-rm
40Gは2portだけどファンアウトケーブルで10Gを4つ束ねて40Gとして使えるみたい
リリースされた時にサポートに聞いただけだから念のため問い合わせはした方がいいとは思う >>59
>>58はクライアントのメモリキャッシュから共有のメモリキャッシュに対するアクセス
もちろんRDMA
PCIe4.0にすれば少しは早くなるかも、くらいじゃないか？ 8000円で投げ売りされていたarubaのクラウドスイッチ届いたけど10gtekとかfsのdacやトランシーバー使えるのね
意外だったわよ ホワイトボックススイッチならもっと性能いいの買えるかもよ 最近の connectx で40Gが無いのはなんで？ 25Gはあるんだよね
ケーブルあたりの転送速度が古いからか 10/40
25/100
50/200
と四本束ねの規格と一緒に出してっからな 100GbE使ってる人はどれ使ってんの？SR4？
CWDM4使ってる人いたら使用感教えて欲しい >>70
SFP28で規格化されてるけど製品としては見たことないのでペーパーローウンチかな あるよ
coonectx-4 lx 4131A-GCATとか
因みにQSFP28は1/10/40/50/100Gに対応するね 
