【10GbE】10Gigabit Ethernet 8【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
PCIeは発表→約2年→制定→約2年→製品化のペースだね。
帯域消費は10GbitEtherが固定消費するだろう。
5Gで10Gbpsから最終20Gbpsになるから、それをカバーできる帯域が必要になるよ。 PCIe x4スロットで40Gbps NICが出来るのはいつ？ スロットに切り欠きがあれば今も実現できる。
100GbpsNICになるけどpcie4.0 x4なら50Gbpsまで可能。 その前にThunderbolt 3(USB4)転用しそう >>182
それでいいならpcie3.0 x4だな。
thunderbolt3自体はそれで接続されてるから。 USB4が出たらPCIeカード外付け機とか出るのだろうか？ もうちょっと簡便なUSB感覚で使える光ケーブル作れんものか、、、、 現状のPCI 3.0用に出るとは考えづらいな
出ても帯域x4とかx8(2ポート)とか要るし
USB4が普及する頃にはマザー買い替えじゃない? USB4.0って光ケーブル規格あるんだな。
https://ja.wikipedia.org/wiki/Thunderbolt
しかし、60ｍというのもまた微妙だのう、、、
100ｍにしてErherと共用とかにしてほしかった。 USB3.1gen2のケーブル長制限が1mまでだからもう限界に来ている ケーブル・コネクタ・ケーブルボックス・パッチパネル等の性能に応じて自動的に減速するような規格が必要 RDMA対応はWin10 Pro無印に降りて来ないかな
10Gが普及しそうな時にこの足かせはないわ >>190
とりあえず待つだけ無駄だから。
待ってるお前には10proに降りてきたところで使えない。
と、言ってみる。
実際、10pro ws/entもクライアントとしてしかrdmaは使えない。
つまり10だけじゃどうにもならない。
使うやつはwindows serverも評価版利用して既に体験している。 >>185
光USBケーブルあるよ
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/usb-optical-cables.html
光Thunderboltケーブルも
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/thunderbolt-optical-cables.html
直輸入扱いだけど日本からも買える
ttps://www.soundhouse.co.jp/search/index?s_maker_cd=2658&s_category_cd=206&i_type=cm LANもUSBもHDMIもDPもeSATAも、全部光MPOコネクタに統一すればいいよ 光と共に給電できるようなケーブルにして欲しいもんだ。 QSFPとケーブル届いて、問題なく動いた。サンクス。
といいつつ、Ubuntuで設定をethernetにできず苦戦中。
windows↔windowsは問題ないのだが……。 >>195
PC起動時のアレ(Ctrl + Bで入るやつ)で設定すれば？ SPF28ってSPFにpそのまま刺さって通信できるんだな知らんかった 10GbE導入したいです。
ずばり、最も省電力なNICはどれでしょうか？ >>200
消費電力気にするなら10GBASE-T(RJ-45)は問題外で、10GBASE-SR(SFP+)か長さが足りるならDAC(SFP+)で接続だな
Intel X710-DA2かMellanox MCX311A-XCAT
Intelの方が若干省電力か ビットレート当たりの消費電力が低くなれば、
消費電力自体が上がってもむしろ省電力でしょ？ >>197
ありがとうございます。
ctrl+Bが不勉強で調べきれませんでした。
何かサイト等で例示いただけると嬉しいです。 >>204
biosを一旦csm有効にして挿しているpciスロットからのメニュー表示を有効にすればわかる。 csmが廃止されたら至る所で問題が起こるんだろうなぁ。 >>205
CSMを有効にしましたが、その先が分からず悩ましいです。ethernetはダメですが、IBでは動いてるので、それで使えという啓示でしょうかw
mellanoxのubuntuサポートがイマイチなのが一つの原因で、公式文書中のyumなど、red hatの内容を転載しただけの文書が多いので調べても怪しい。フォーラムも機能してないし。
一番詳しいのがarch linuxのサイト。いつも感心するレベルだが、誰が書いてるのだろう。 ubuntuでまともに動かないのはカーネルが新しくてドライバが対応してないのが原因っぽい。debian系も頑張って欲しい linuxで、メーカーがバイナリ配布してるドライバを使うのと、
カーネルにマージされてるソースコードのドライバの両方あるときに、
どっちつかうのがいいの？ >>207
本来ならboot時にmellanoxのnicについてメッセージが表示され、ctrl+Bを押せと表示される。
もしかしたらpcieスロットからのbootrom起動が無効になってない？ >>210
何も出ないですね。設定をどこでするべきなのか……。
>>211
入れてますが変化なしです。
asrockの安いマザーだとUEFIの設定が少ないので駄目なのか、それともデュアルブートで使ってるgrubが邪魔しているのか。難しい。 >>212
os boot前の話だからubunts関係無い。
寧ろbios設定に入る前。
delキー押せばbios設定画面に入れるところまでctrl+Bを連打してみるしかないな。 >>213
レスサンクス。ロゴ表示前ですね。
何度か試してみましたが、変化なしです。
昔のBIOSのように認識してるハードが出る画面になればわかりやすいのですが、UEFIに設定項目が無いのが厳しい処です。 >>214
>>>213
>昔のBIOSのように認識してるハードが出る画面になればわかりやすいのですが、
それを有効にするのがcsmだったりその中で設定するopromとかなんだが…
出てこないってことは表示しない設定なのかもね。
toolで、その辺設定できたような… >>215
EFUIの全項見たつもりですが、変化なしでした。安マザーなので項目がないのでしょうか。
>>216
ありがとうございます。configurationの項目が少なく、ethernetの項目が無いのです。カーネルが新しいのでドライバを入れられないのが原因のようです。
>>217
ロゴなしにしてもasrockのロゴが消えるだけで、背景含めて変わらずなので困ってます……。
今フォーラムで対策を公式の人に聞いてますが、OEM品なので、何処まで対応してくれるやら……。 >>218
> configurationの項目が少なく、ethernetの項目が無いのです。カーネルが新しいのでドライバを入れられないのが原因のようです。
そりゃ1ポートモデルだったら少ないのは当然です。
ethの項目が無いのもethにしないと出てこないのは当たり前です。
2の1のmstflintはインストールできましたか？
2の2の自分のデバイスの値は何ですか？
2の3の
mstconfig ?d 自分のデバイスの値 s LINK_TYPE_P1=ETH
(例 mstconfig -d 00:06.0 s LINK_TYPE_P1=ETH
)
これの結果は？ 文字化けした
2の3の
mstconfig -d 自分のデバイスの値 s LINK_TYPE_P1=ETH
(例 mstconfig -d 00:06.0 s LINK_TYPE_P1=ETH )
これの結果は？ mstconfig -d 01:00.0 s LINK_TYPE_P1=ETH
Device #1:
----------
Device type: ConnectX3
PCI device: 01:00.0
Configurations: Next Boot New
-E- Device doesn't support LINK_TYPE_P1 configuration
(´・ω・｀) >>222
mstflint -d 01:00.0 q
mstconfig -d 01:00.0 q
これの結果は？ ファームウェアが古いのが理由じゃないかな？
ファームウェアとmstのツールのバージョン違いが原因かも >>225
ありがとうございます。
ファームはqiitaに書いてあった方法で2.40まで上げています。
最新は2.42ですが、OEM品なので細工なしだと2.4から上げられないのです。
また、windowsでは問題なく、ubuntu固有の問題である事から、
Ubuntuのethernetドライバが2018年4月から更新されておらず、カーネル4.6か4.8までしか対応していないためインストールで落ちるのが原因と考えています（現在カーネル5.0、windowsではドライバインストールの問題なし）。 カーネルのバージョンを下げればドライバが入る気がしますが、他のアプリに影響ありそうで躊躇しています……。 >>226
別hdd/ssdでwindows入れてそっちでモード変更とかしてみたら？
たぶんpc入れ替えてもそのまま使えるかと。 >>227
このページではUbuntu の最新バージョン19.04にも対応してるらしいが。こいつのカーネルは5でしょ？
https://www.mellanox.com/page/products_dyn?product_family=26&;mtag=linux_sw_drivers
MLNX_OFED Documentation Rev 4.7-1.0.0.1
https://docs.mellanox.com/display/MLNXOFEDv471001/Installing+Mellanox+OFED
このページをUbuntuで検索したらいろいろ出てくるけど。 >> 226
おそらく同じところから買った同じカードをいじってるところ
まず、II/Ether ドライバに関しては(229 が紹介してくれているOFEDドライバにしかない機能をどうしても使いたい
という状況じゃなければ) すでに mainline kernel に取り込まれているので 外から持ってこなくても標準の mlx4
ドライバーで動くので余計なことしなくていい(そこの問題じゃない)
で、mstconfig -d 01:00.0 s LINK_TYPE_P1=ETH ができない問題だが、それは IBMのOEM firmware なままなせい
(IBM OEM 品ではそこの設定を塞いである) or version が古いせい。
手元にあるカードは PSID いじって generic firmware (OEM 版ではなく mellanox の) 2.42 にあげてしまったが
少なくともそいつでは ちゃんと LINK_TYPE_P1 設定できるし、ETH にするとドライバーがちゃんと mlx4_core が
mlx4_en sub driver をロードして (Infiniband ではなく) ether として認識するのは確認済。
どうしても IBM OEM firmware のままにしたいというのであれば、mlx4_core には port_type_array という
パラメータがあって、firmware 側での指定を無視してドライバーで強制的に Infiniband/Ethernet を指定できる
ようになってるのでそれを指定してみれば? (これは確認してない)
0がdefault (firmwareの設定に従う)、1がIB 2がEthernet らしい。
/etc/modprobe.d/mlx4.conf とかファイルを用意して 中に
options mlx4_core port_type_array=2,4
と書いて保存して reboot かな
http://www.mellanox.com/related-docs/prod_software/Mellanox_EN_for_Linux_User_Manual_v4_0.pdf
にまぬあるある II/Ether ドライバ てなんやねん IB/Ether ドライバーね 要は通信用のドライバーは
ひとまず 標準で kernel にあるやつ使え 余計なことすんな てこと mlx4.conf 書いたあとに reboot する前に initrd の更新必要かも
update-initramfs -u
な まあ、そういうことするより flintでfirm書き込むときに--allow_rom_change つけるだけでMellanox版が書き込めるから
後々そっちの方が楽だけどね >>233
-allow_psid_change な Cascade Lake-X”こと第10世代Core Xシリーズプロセッサでようやく
Intel製2.5Gigabit Ethernetコントローラ(i225)が採用
まだまだ一般向けPCで10GbEが標準で採用されるのは先になりそうね
https://pc.watch.impress.co.jp/docs/news/1210470.html >>234
どっちでもいけるのかな？
さっき--allow_rom_changeで富士通をMellanoxに書き換えやったよWindows版でヘルプにも--allow_rom_change出る
flint -v
flint, mft 4.12.0-105, built on Apr 29 2019, 15:27:47. Git SHA Hash: a197f325c62a04fbaa3dc8f8447ef0a17d649743 >>236
allow_psid_changeの方が古いオプションみたいだ 機能的には同じで 互換性のためにundocumented
のまま オプション自体は残してある模様
どっちでもいけるけど今は allow_rom_changeを使うのが正しそう >>235
ますはXeonからじゃね
次が次世代Core-Xで5G、その次ぐらいには載せてくるんじゃないかな
余裕なかったら次世代で載せてくるかもね
AMDも似たようなことしそうだし
インテルも差別化要素ないとね まずは土台がしっかりしないと10Gが生かせないからね
PCIe 4.0でやっと10Gがx1の帯域で使えるようになる
まずはそっちの方を急いでほしい
あとチップセットCPU間の帯域をx8ぐらいに増やしてほしいな >>218-237
レスサンクス。
ご指摘の通り、Ubuntuのドライバが原因ではなく、ファームが原因でした。
Windows10はソフト側からEthernet設定していたので動いたようです。
IBMは2.2台だとLINK_TYPE_P1オプションが無いため、2.40へ汎用ファームで上げると
設定を引き継ぐためLINK_TYPE_P1が消えていました。
Qiitaに書いてあった方法でPSIDを書き換えて、Mellanoxとして2.42にアップデートした所、
以前話のあったBIOSでのPCIEによるCtrl+Bの選択肢も出るようになりました。
IBM版は機能を潰してあるようですね……。
ただ、1ポートなのに
LINK_TYPE_P1 ETH(2)
LINK_TYPE_P2 VPI(3)
LOG_BAR_SIZE 3
BOOT_PKEY_P1 0
などとポートが二つあるようなコンフィグが気持ち悪いです、これは仕様でしょうか？
MCX353A-FCBTのファームを入れたので、1ポートの設定になると思ったのですが……。 税抜2.5万円の10ギガビットLAN対応スイッチングハブ、ASUS「XG-U2008」 - エルミタージュ秋葉原
http://www.gdm.or.jp/pressrelease/2019/1003/322380 >>240
おめでとう！
MCX353A-FCBTは実測どのくらいでんのかね？
お互いMCX456A-ECAT( 2 x 100Gbe )の直結でiperf3すると、平均30Gb/sくらいだった。(2ポートをbroadcastのlinux bondしてる。)
ちなみにCPU(メモリ)は2台ともRyzen3900X(DDR4-2400)。
Ryzen3900X(DDR4-2400) <-> Ryzen1700(DDR4-1866)だと22Gb/sまで落ち込む。CPUよりメモリかlinux bridge(mtuが1500まで)かなぁ。。。
mtuを9000にしたいけど、ovs(mtu 9000出来る)はovs bondでbroadcastするやり方わかんねぇから使えない。。。 約3年前だな。当時は10G2ポートとは言え安いので出た話題になったけど、
3年もたてば流石に今更感が強い。今なら10G4ポート以上でこの値段じゃないとインパクト無いよな XG-U2008の実売がいくらになるのかわからんが2.5万なら、
ほぼ同じ値段のネットギアの方がいい。こっちはマルチギガ対応だし
https://kakaku.com/item/K0001046296/
でもまぁ2ポートってのがそもそも使い道薄いよね
SFP+だけど8ポートのCRS309-1G-8S+INがさほど値段変わらず買えちゃうからな >>243
超ハイスペックのマシンですね。
MCX456A-ECATはCPU側のPCIe 3.0 x16 (最大実効帯域 約126Gbps)で使われているんですか？
それでその速度しか出ないのなら、 x4のスロット (最大実効帯域 約31.5Gbps)で動かしても帯域足りそうですね。 >>248
rdma使うとiperfより速度出るからx4じゃもったいないね。
ストレージとのバランス考えるとx8がいいよね。
x8のnvmeはかなりレアだけど。 >>248
豪華だけどスイッチ買う金無いから3台直結よ。
PCIe3.0 x16で使ってます。BIOSでもx16に設定済み。
あとethtoolで見る限り、100Gbで接続出来てる。
指摘の通り、ホント帯域的にはPCIe3.0 x4で充分だわ。RDMAに期待。。。
ConnectX-4はovs offload(たぶんCPU負荷軽減)ついてるし、なんとかovs使ったうえでmtu9000にしたい。。ovs bond にbroadcastさえあればっ！ PCIe3.0 x16で繋いでもチップとCPUはPCIe3.0 x4で繋がっているんだからそこがネックになって速度出ないのでは？
zen2ならPCIe4か >>251
チップセットを通さずにx16を使っているという話では？ >>253
来てほしいのは10Gbpsで4ぽーとなのよね･･･ QSFP+の4ポートhub出ないかな。
出るわけないか。中古が安いだけだし
idleが低いPCに2ポート×2で組むのが一番安上がりなのだろうか。
それだとidle30W、5万位か。市販NAS買うよりは高性能だが >>235
NTTも1G超のフレッツ光始めたりしてね それぞれのデータレートを考えると
1000BASE-T = 125MB/s
2.5GBASE-T = 312.5MB/s
5GBASE-T = 625MB/s
10GBASE-T = 1250MB/s
25GBASE-T = 3125MB/s
40GBASE-T = 5000MB/s
PCI Express 2.0 = 500MB/s
PCI Express 3.0 = 984.62MB/s
PCI Express 4.0 = 1969.23MB/s
PCI Express 5.0 = 3938.46MB/s
USB 3.2 Gen 1x1 = 500MB/s
USB 3.2 Gen 2x1 = 1212.12MB/s
USB 3.2 Gen 2x2 = 2424.24MB/s
USB4 Gen 3x2 = 4848.48MB/s
だから、10GBASE-TはPCI Express 4.0でx1に収まるのね 4.0はAMDでCPU直結だけだから
チップセットに4.0x1が降りてくるのは何年後かな なんか俺の勘違いみたいだな
しばらく自作から離れてたから時間が止まってたわ >>261
時間止まってたじゃなくて勘違いでしょ？PCIe4.0対応のCPU(Zen2)とチップセット(X570)の登場は同時期じゃん。 あまりイジメないでおくれ
core2オジサンからRyzenオジサンに転生したから
当時はグラボだけ2.0で他は1.0だったのよ
だからRyzenも同じかと
あの頃はメモコンがチップセット管轄とか
1.0x4を2.0x2に変換するブリッジチップでUSB3.0とSATA6Gを増設とか変態な事してたからその印象に引っ張られた
老害は消えますね^^ AMDのデスクトップCPUの場合、チップセット経由はx4、
CPU直結だとx8、x16もいける
200Gbps NICとかにはx16必須でしょう チップセットによるマザーボードのx1スロットの帯域を調べたけど
PCI Express 2.0
Intel
6シリーズ〜9シリーズ
H110、H310
AMD
700シリーズ〜900シリーズ(740、740Gを除く)
SB800シリーズ〜SB900シリーズ
A50シリーズ〜A80シリーズ
300シリーズ〜400シリーズ
PCI Express 3.0
Intel
100シリーズ〜300シリーズ(H110、H310を除く)
PCI Express 4.0
AMD
X570
これだと4.0どころか3.0に移行するのも時間がかかりそうだな >>263
寧ろそんな事やってたっけ？と興味深かったが。
こういう話を聞いて老害とかマイナス印象にとるのは5ch住人の特徴だよな。 CPU直結はグラボとM.2で使うからNICに回す余裕はないなあ Connectx-4をeBayで買ったんだけど全く動かない
問い合わせたらマザーが悪いの一点張り
最近のマザーでデバイスが全く見つからないとかいうのってあるの？
Z390とIBM x3550の両方とも見たけどUEFIのレベルですら見つからず
今刺さってるConnectx-3は全然問題なく見つかって正常に動いてるんだけどね >>272
ある。
マジである。あった。
挿すスロット変えてみたり、
bios後〜OS起動前のHCA画面でCtrl + Bんとこで設定リセットして再起動したら直ったりした。 >>272
UEFIで動かんのはわからんね。
とりあえず何かの設定でlegacy入れた方がいい。 BIOS上ですら見つからないのでCTRL+Bの設定すら出ないんだけどなあ
CMOSクリアまでやるべきだったのかな >>274
csmに切り替えても一切出てこなかった
SASとかは全部出てくるので間違ってないと思う
もちろんlegacyも試した >>272
osからは何かしら認識されてないか？
それすらされてないとどうにもならない。
認識されてればFWのインストールでなんとかなるかも。 ■ このスレッドは過去ログ倉庫に格納されています
