【10GbE】10Gigabit Ethernet 8【10GBASE-T等】

**不明なデバイスさん** · 2019/08/21(水) 19:48:42.15

10ギガビットイーサ(10GBASE-*)について語るスレ
価格がこなれてきた10GBASE-T(UTP)は勿論、CX4、光ファイバー等も対象です。

過去スレ
【10GbE】10Gigabit Ethernet 6【10GBASE-T等】
https://mevius.5ch.net/test/read.cgi/hard/1533077761/
【10GbE】10Gigabit Ethernet 5【10GBASE-T等】
https://mevius.2ch.net/test/read.cgi/hard/1515779986/
【10GbE】10Gigabit Ethernet 4【10GBASE-T等】
http://mevius.5ch.net/test/read.cgi/hard/1493036840/
【10GbE】10Gigabit Ethernet 3【10GBASE-T等】
http://echo.5ch.net/test/read.cgi/hard/1476100955/
【10GbE】10Gigabit Ethernet 2【10GBASE-*】
http://echo.5ch.net/test/read.cgi/hard/1422464742/
【10GbE】10Gigabit Ethernet【10GBASE-*】
http://peace.5ch.net/test/read.cgi/hard/1208537897/

※前スレ
https://mevius.5ch.net/test/read.cgi/hard/1553105861/

**不明なデバイスさん** · 2019/09/16(月) 21:57:54.17

>>131
クライアントがWindows10 pro、NASがUbuntuです。
windows10 proの問題でsmb directは厳しい予感です。

オクでwindows2012 serverは中古の横流し（シール）が安く出てますね。
2016か2019が欲しい所ですが……。特に2019のコンテナ関連は魅力的です。

**不明なデバイスさん** · 2019/09/16(月) 22:02:57.70

>>132
省電力目的で6Gbpsで十分なら、PCIeの x4 で動かして、40Gじゃなくて10Gでリンクさせればいいんじゃないかな。
それで少し電力が減ると思う。

**不明なデバイスさん** · 2019/09/16(月) 22:08:14.56

windows serverはとりあえず評価版でしょ。
2012R2(2012は知らない)以降なら180日の評価を6回も延長させてくれるからね。
自分はたまたまwindows proをsa付きで延長中なのでsmb directの恩恵を受けてますが、やっぱり速いのは気持ちいいですよ。

尚、windows serverでintelのssd/nvme使用者にはintel casが無償で使用できます。
複数フォルダにキャッシュを設定できるのでoptane900Pと40Gbps併せてカッ飛びnas構築できますよ。

**不明なデバイスさん** · 2019/09/16(月) 22:10:46.57

>>132
ひたすらNASに読み書きし続けるのでなければ、NASのSSDの消費電力ケチる意味無いと思うのだが。
NVMeのSN750(1TB)でもアイドル時100mWとかだし。
ストレージが遅かったらQSFP+の意味無いだろ。

**不明なデバイスさん** · 2019/09/16(月) 22:31:42.29

>>134
良さそうですね！届いたら早速試してみます。

>>135
仮想環境（k8s）の関係でUbuntuが外せないのです。
Winodowsのdockerはk8sが起動しないバグが2年前から変わっていないので……。
2019でk8s関係をネイティブサポートするらしいので、興味あります。

>>136
元々SN700（500G）を使っていて、消費電力の関係で
Samsungの192G SATAに変えた経緯があります。

また、NASのデータ部分をSATA SSD 512G 4枚でRAIDZを組んでいます。
B450Mの廉価マザボだと、NVMeは1か所だけなので速度重視だと
NASとしての容量に難ありなのが難しい所です。

**不明なデバイスさん** · 2019/09/18(水) 22:39:09.78

QSFPのボード届いたが、ubuntuのドライバのインストールでコケる。
mellanoxのドライバがinfinibandのソフト内包でかなり特殊なのが原因のようだが……。

認識はしてるので、ネイティブのドライバでケーブル刺すだけで動くと嬉しいが、どうなるやら

**不明なデバイスさん** · 2019/09/18(水) 22:56:53.33

>>138
MLNX_OFEDのこと？

手間だけど、Windows機にインストールして、ファームウェアのアップデートや設定するといいよ。

**不明なデバイスさん** · 2019/09/19(木) 02:07:00.97

>>139
レスサンクス。windowsで試しましたが、PSIDのミスマッチエラーが出ます。
入手したconnectx3はIBM1100110019ですが、ファームウェアの対象はMT_110111019だと。

IBMへのOEM供給品のようですね……。

**不明なデバイスさん** · 2019/09/19(木) 02:21:26.61

IBM のファームを見つけて更新しました。しかし、2.33で止まってます。

自社の同一機種は2.42なのに(´・ω・｀)

**不明なデバイスさん** · 2019/09/19(木) 10:30:44.97

>>141
おそらくMellanox純正ファームウェアにできます。
IBMやDELL OEMのファーム書換(というかPSIDの書換？)についての投稿です。参考になれば。
https://forums.servethehome.com/index.php?threads/flash-oem-ibm-mellanox-connectx-3-en-with-stock-firmware.8689/

またファームを書き換える際、必ずmlxburnのコマンドを確認して実施して下さい。
http://www.mellanox.com/pdf/MFT/MFT_for_Windows_user_manual.pdf

**不明なデバイスさん** · 2019/09/19(木) 10:53:59.17

こういうベンダーごとのファームからmellanoxファームへの書き換えってなんかライセンス的にグレーだったりするかな？

そういう問題がなければ俺もここの上の方で相談したり
>>142
の上げてるようなサイト見ながら一通りやったのでやったことQiitaかなんかにまとめてもいいかなと。

**不明なデバイスさん** · 2019/09/19(木) 12:48:10.10

HPの649281-B21だと、サポートサイトに2.36.5000があるから、その辺は楽ですね
私がファームを更新する時は、Debianパッケージのmstflintを使ってます

**不明なデバイスさん** · 2019/09/19(木) 12:50:28.21

バージョン違った、2.42.5000だ

**不明なデバイスさん** · 2019/09/20(金) 08:28:20.95

>>142
レスサンクス。読んで試してみます。

型落ち中古とはいえ、3400円でQSFPは良いですね。
消費電力も6Wで、RJ45、10Gの半分。

RJ45は使用の限界に来てる感じだ

**146** · 2019/09/20(金) 13:32:03.14

試そうとしてみたが、ファームウェアのtarballが見つからない。
https://forums.servethehome.com/index.php?threads/looking-for-a-connectx-3-custom-firmware-package.18476/
ここを見ると直リンクしてるが、どうやって探しているのだろう。

フォーラムで聞くしかないだろうか……。

**146** · 2019/09/20(金) 13:37:06.79

以前はここから探せたようだ
http://www.mellanox.com/page/custom_firmware_table
今はトップページに飛ばされる。

困った……。

**146** · 2019/09/20(金) 14:05:26.52

少し前のはここにあった
https://forums.servethehome.com/index.php?threads/dell-mellanox-connectx-3-to-arista-7050-no-link.18369/#post-178015

**146** · 2019/09/20(金) 14:38:15.12

>>149の方法で最新の二つ前まで行けました。
サンクス。共通ファームの最新traballのアドレスがあれば最新も可能なのだが……。
PSIDも書き換えられるが、同等製品のPSIDが不明なので試してない。

**不明なデバイスさん** · 2019/09/20(金) 19:29:22.76

WindowsでRDMA対応無しだと40Gbps出すのは難しいのかな
今connect X-3 ENで10Gなんだけど
3400円カードの話題が出てたので速くなるなら変えてみたいと思ってる直結おじさんです

**不明なデバイスさん** · 2019/09/20(金) 20:47:53.87

今使ってるネットワーク越しの書き込みが約1000MB/s以下なら
10GのNICの性能を生かしきれてないので、替える必要は無いですよ。

**不明なデバイスさん** · 2019/09/20(金) 21:22:42.78

>>151
それこそヤフオクでwindows　server2012が
1000円で売ってるから入れて試せばいいのでは。

2016以後も4000円くらいで売ってるが、VLの横流しだろうから
MSで規制入ると使えなくなる。
お試し期間で2年くらい使うか。

**不明なデバイスさん** · 2019/09/20(金) 22:05:19.05

>>152
そうなんですか
今のPCは4コアのi3ですが、大体800MB/s程度です
これだと挿し替えても変わらないと言う事なんですね

>>153
録画PCからtsを持ってこようとしてるのでOSは変えたくないんです
後出しでごめんなさい

もう少し考えてみます。ありがとうございました

**不明なデバイスさん** · 2019/09/20(金) 22:54:48.13

>>154
> 今のPCは4コアのi3ですが、大体800MB/s程度です
> これだと挿し替えても変わらないと言う事なんですね

そうですね。
iperf等で速度を計ると理論値1250MB/sのちょっと下ぐらいは出ると思います。この場合はストレージの速度がボトルネックです。
もし800MB/s程度だったら、NICが故障してるか、マザー等がボトルネックになってると思います。
計ってみてください。

**不明なデバイスさん** · 2019/09/21(土) 00:03:39.78

>>155
iperf3で計測したところ、一番良い値でも965MB/sが最高でした
やはりどこかにボトルネックがあるようです

**不明なデバイスさん** · 2019/09/21(土) 00:35:50.90

>>156
そうですか。以下のスイッチで3本同時に計測したらどうなりますか？

>　-P, --parallel n n個のコネクションを同時に接続する。デフォルトは1つ。

それでも1100を超えないなら、どこがボトルネックなのか一つ一つ見ていく必要がありますね。マザーのPCIeが怪しそうですが。

**不明なデバイスさん** · 2019/09/21(土) 00:38:02.02

>>156
送信側受信側それぞれのnicのパラメータを弄ればなんとかなるんじゃないかな。
jumbo frameは当然最大値。
割込み加減を最大にしたり無効にしたりでかなり変わる。

因みにウチの環境でiperfなら40G NICで大体20Gくらい。
core i3 4coreなら同じくらいでるかと。

因みにQSFPなNIC、って40GのFDRならNICとして使うなら10Gになるんじゃない？
40GでNICとして接続したいなら56Gを買わないとダメじゃないかな、と。

**不明なデバイスさん** · 2019/09/21(土) 05:09:35.71

それはFDRではなくQDRでしょ。
オクのはFDRだから問題ない

**不明なデバイスさん** · 2019/09/21(土) 08:13:56.99

そか。IBはイマイチわからんのに変なこと書いてみてすまんな。
因みに>>158はユーザーマニュアルのMCX353A-TCBT あたりが40 Gb/s FDR10 IB, 10GigE sin-gle-port QSFP+を見て書いた。

http://www.mellanox.com/related-docs/user_manuals/ConnectX-3_VPI_Single_and_Dual_QSFP_Port_Adapter_Card_User_Manual.pdf

**不明なデバイスさん** · 2019/09/21(土) 09:42:05.41

FDR10とFDRは別物ですよ。
https://www.hpc-sol.co.jp/support/20110805_infiniband_bandwidth.html

**不明なデバイスさん** · 2019/09/21(土) 09:58:17.09

なるほど了解です。

**不明なデバイスさん** · 2019/09/21(土) 10:10:49.67

>>157
やってみました
平均すると合計で1000MB/sあたりです
何回かに一回は1000MB/sを上回ることがあり、1150MBまで出たのを確認しました

>>158さんのおっしゃるようにパラメーターをいじっていないのがダメなのかもしれません
今はjumbo frame以外は初期値のままです

**不明なデバイスさん** · 2019/09/21(土) 11:17:51.29

Qitaに書き換え方法をうpしてくれた人thx
>>143の人かな

**不明なデバイスさん** · 2019/09/21(土) 11:21:23.57

>>163
まあ、それぐらいなら問題ないと思います。
何がボトルネックか調べる方が大変だと思います。最大値が一定でなく揺れてるのは原因の特定が難しそうです。
ほっとくのがいいと思います。
色々調べたり、設定を変えてもストレージが一番大きなボトルネックなので。

ストレージを変えたときにまた考えたらいいと思います。800MB/sは十分高速なストレージなので、数年後でしょうが。

**不明なデバイスさん** · 2019/09/21(土) 11:33:37.55

どうしてもボトルネックを調べたい場合は計測時間を3分とか長めに設定して
最大値を安定させると数字から分かることもあります。
短い時間だと分かりにくいですよ。
ただ、NIC等の発熱には気を付けてください。

**不明なデバイスさん** · 2019/09/21(土) 22:14:16.50

connectex2だと、QSFP+の2枚組が1500円だな。安すぎ。

Windowsならデフォルトでドライバも入って普通に使えそう。

富士通になってるが、OEM品ね。

こうなってくると、QSFP+のハブが欲しくなってくるw
安いのないかな。

**不明なデバイスさん** · 2019/09/22(日) 10:14:30.90

>>166
3分で試したところ1本では800MB/sあたりで変わらず
3本の方は1150MBに収束していきました
とりあえずこのままで、交換は速いSSDに変えたときにまた考えてみます
ありがとうございました

**不明なデバイスさん** · 2019/09/22(日) 17:48:16.64

>>168
1150MB/sですか。それだったら問題ないですね。
ストレージ以外のボトルネックは無いと言っていいと思います。
SMBのアクセスはiperfで3本ぐらいのアクセスと同じぐらいの速度出ますから。
かなりいいPCだと思いますよ。

**不明なデバイスさん** · 2019/09/22(日) 22:11:39.75

>>167
安いな
どこ？

**不明なデバイスさん** · 2019/09/22(日) 22:37:25.46

>>170
ヤフオクでconnectx 3 cx353aを3380円で売ってる業者。
今見たら消えてるが、入札無しで流れたっぽい。また復活するのでは。

**不明なデバイスさん** · 2019/09/22(日) 22:41:37.22

トランシーバー+光ケーブルより、ダイレクトアタッチケーブルの方が消費電力少ないんだな。逆かと思ってた

**171** · 2019/09/23(月) 00:35:01.23

裏の型番がA3C40124124 Fujitsuになってるカードね。中身はconnectx2 vpi single qsfp

**171** · 2019/09/23(月) 00:35:18.73

124123の間違い

**不明なデバイスさん** · 2019/09/24(火) 03:58:01.51

QSFP+とSFP+を繋ぎたい時ってどうすればいいの

**不明なデバイスさん** · 2019/09/24(火) 04:12:04.14

>>175
分岐ケーブル買ってきて3本余らす

**不明なデバイスさん** · 2019/09/24(火) 10:22:15.87

>>175
qsfp+ sfp+アダプタ使う

**不明なデバイスさん** · 2019/09/24(火) 12:02:10.51

>>176
>>177
そんな簡単なのね

**不明なデバイスさん** · 2019/09/24(火) 17:53:12.19

PCIeは発表→約2年→制定→約2年→製品化のペースだね。
帯域消費は10GbitEtherが固定消費するだろう。
5Gで10Gbpsから最終20Gbpsになるから、それをカバーできる帯域が必要になるよ。

**不明なデバイスさん** · 2019/09/24(火) 19:52:38.60

PCIe x4スロットで40Gbps NICが出来るのはいつ？

**不明なデバイスさん** · 2019/09/24(火) 22:53:31.42

スロットに切り欠きがあれば今も実現できる。
100GbpsNICになるけどpcie4.0 x4なら50Gbpsまで可能。

**不明なデバイスさん** · 2019/09/24(火) 23:45:00.41

その前にThunderbolt 3(USB4)転用しそう

**不明なデバイスさん** · 2019/09/25(水) 00:10:27.07

>>182
それでいいならpcie3.0 x4だな。
thunderbolt3自体はそれで接続されてるから。

**不明なデバイスさん** · 2019/09/25(水) 03:14:16.20

USB4が出たらPCIeカード外付け機とか出るのだろうか？

**不明なデバイスさん** · 2019/09/25(水) 08:48:07.52

もうちょっと簡便なUSB感覚で使える光ケーブル作れんものか、、、、

**不明なデバイスさん** · 2019/09/25(水) 08:52:54.89

現状のPCI 3.0用に出るとは考えづらいな
出ても帯域x4とかx8(2ポート)とか要るし
USB4が普及する頃にはマザー買い替えじゃない?

**不明なデバイスさん** · 2019/09/25(水) 09:02:23.66

USB4.0って光ケーブル規格あるんだな。
https://ja.wikipedia.org/wiki/Thunderbolt

しかし、60ｍというのもまた微妙だのう、、、
100ｍにしてErherと共用とかにしてほしかった。

**不明なデバイスさん** · 2019/09/25(水) 11:10:13.90

USB3.1gen2のケーブル長制限が1mまでだからもう限界に来ている

**不明なデバイスさん** · 2019/09/25(水) 17:52:17.16

ケーブル・コネクタ・ケーブルボックス・パッチパネル等の性能に応じて自動的に減速するような規格が必要

**不明なデバイスさん** · 2019/09/25(水) 19:42:49.96

RDMA対応はWin10 Pro無印に降りて来ないかな
10Gが普及しそうな時にこの足かせはないわ

**不明なデバイスさん** · 2019/09/25(水) 19:54:20.23

>>190
とりあえず待つだけ無駄だから。
待ってるお前には10proに降りてきたところで使えない。

と、言ってみる。
実際、10pro ws/entもクライアントとしてしかrdmaは使えない。
つまり10だけじゃどうにもならない。
使うやつはwindows serverも評価版利用して既に体験している。

**不明なデバイスさん** · 2019/09/25(水) 20:13:52.20

>>185
光USBケーブルあるよ
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/usb-optical-cables.html
光Thunderboltケーブルも
ttps://www.corning.com/optical-cables-by-corning/apac/jp/jp/products/thunderbolt-optical-cables.html

直輸入扱いだけど日本からも買える
ttps://www.soundhouse.co.jp/search/index?s_maker_cd=2658&s_category_cd=206&i_type=cm

**不明なデバイスさん** · 2019/09/26(木) 18:49:40.09

LANもUSBもHDMIもDPもeSATAも、全部光MPOコネクタに統一すればいいよ

**不明なデバイスさん** · 2019/09/26(木) 21:38:13.36

光と共に給電できるようなケーブルにして欲しいもんだ。

**171** · 2019/09/27(金) 00:17:40.33

QSFPとケーブル届いて、問題なく動いた。サンクス。

といいつつ、Ubuntuで設定をethernetにできず苦戦中。
windows↔windowsは問題ないのだが……。

**171** · 2019/09/27(金) 00:18:07.73

windowsからwindowsね。

**不明なデバイスさん** · 2019/09/27(金) 00:36:49.39

>>195
PC起動時のアレ(Ctrl + Bで入るやつ)で設定すれば？

**不明なデバイスさん** · 2019/09/27(金) 01:49:26.64

SPF28ってSPFにpそのまま刺さって通信できるんだな知らんかった

**不明なデバイスさん** · 2019/09/27(金) 02:19:23.88

>>198
SFPね

**不明なデバイスさん** · 2019/09/27(金) 02:56:05.50

10GbE導入したいです。
ずばり、最も省電力なNICはどれでしょうか？

**不明なデバイスさん** · 2019/09/27(金) 03:26:54.48

>>200
消費電力気にするなら10GBASE-T(RJ-45)は問題外で、10GBASE-SR(SFP+)か長さが足りるならDAC(SFP+)で接続だな
Intel X710-DA2かMellanox MCX311A-XCAT
Intelの方が若干省電力か

**不明なデバイスさん** · 2019/09/27(金) 04:12:32.13

ビットレート当たりの消費電力が低くなれば、
消費電力自体が上がってもむしろ省電力でしょ？

**不明なデバイスさん** · 2019/09/27(金) 04:37:31.78

>>199
thx最近紫外線気にしてん、、、

**171** · 2019/09/27(金) 06:25:40.30

>>197
ありがとうございます。
ctrl+Bが不勉強で調べきれませんでした。

何かサイト等で例示いただけると嬉しいです。

**不明なデバイスさん** · 2019/09/27(金) 08:04:59.35

>>204
biosを一旦csm有効にして挿しているpciスロットからのメニュー表示を有効にすればわかる。

**不明なデバイスさん** · 2019/09/27(金) 13:06:04.67

csmが廃止されたら至る所で問題が起こるんだろうなぁ。

**171** · 2019/09/28(土) 02:35:59.15

>>205
CSMを有効にしましたが、その先が分からず悩ましいです。ethernetはダメですが、IBでは動いてるので、それで使えという啓示でしょうかw

mellanoxのubuntuサポートがイマイチなのが一つの原因で、公式文書中のyumなど、red hatの内容を転載しただけの文書が多いので調べても怪しい。フォーラムも機能してないし。

一番詳しいのがarch linuxのサイト。いつも感心するレベルだが、誰が書いてるのだろう。

**171** · 2019/09/28(土) 04:41:14.93

ubuntuでまともに動かないのはカーネルが新しくてドライバが対応してないのが原因っぽい。debian系も頑張って欲しい

**不明なデバイスさん** · 2019/09/28(土) 04:57:01.38

linuxで、メーカーがバイナリ配布してるドライバを使うのと、
カーネルにマージされてるソースコードのドライバの両方あるときに、
どっちつかうのがいいの？

**不明なデバイスさん** · 2019/09/28(土) 06:50:26.40

>>207
本来ならboot時にmellanoxのnicについてメッセージが表示され、ctrl+Bを押せと表示される。
もしかしたらpcieスロットからのbootrom起動が無効になってない？

**不明なデバイスさん** · 2019/09/28(土) 08:29:20.26

biosでlegacy有効にしてみ。

**171** · 2019/09/28(土) 22:21:31.93

>>210
何も出ないですね。設定をどこでするべきなのか……。

>>211
入れてますが変化なしです。

asrockの安いマザーだとUEFIの設定が少ないので駄目なのか、それともデュアルブートで使ってるgrubが邪魔しているのか。難しい。

**不明なデバイスさん** · 2019/09/29(日) 08:59:26.31

>>212
os boot前の話だからubunts関係無い。
寧ろbios設定に入る前。
delキー押せばbios設定画面に入れるところまでctrl+Bを連打してみるしかないな。

**171** · 2019/09/30(月) 02:35:44.03

>>213
レスサンクス。ロゴ表示前ですね。

何度か試してみましたが、変化なしです。

昔のBIOSのように認識してるハードが出る画面になればわかりやすいのですが、UEFIに設定項目が無いのが厳しい処です。

**不明なデバイスさん** · 2019/09/30(月) 08:04:17.92

>>214
>>>213
>昔のBIOSのように認識してるハードが出る画面になればわかりやすいのですが、

それを有効にするのがcsmだったりその中で設定するopromとかなんだが…
出てこないってことは表示しない設定なのかもね。
toolで、その辺設定できたような…

**不明なデバイスさん** · 2019/09/30(月) 08:18:04.62

>>214
2 Port Type Management
http://www.mellanox.com/pdf/prod_software/Ubuntu_18_04_Inbox_Driver_User_Manual.pdf

**不明なデバイスさん** · 2019/09/30(月) 11:57:47.11

まずロゴ表示はオフにしようよ

**171** · 2019/09/30(月) 23:23:53.15

>>215
EFUIの全項見たつもりですが、変化なしでした。安マザーなので項目がないのでしょうか。
>>216
ありがとうございます。configurationの項目が少なく、ethernetの項目が無いのです。カーネルが新しいのでドライバを入れられないのが原因のようです。
>>217
ロゴなしにしてもasrockのロゴが消えるだけで、背景含めて変わらずなので困ってます……。

今フォーラムで対策を公式の人に聞いてますが、OEM品なので、何処まで対応してくれるやら……。

**不明なデバイスさん** · 2019/10/01(火) 10:49:35.99

>>218
> configurationの項目が少なく、ethernetの項目が無いのです。カーネルが新しいのでドライバを入れられないのが原因のようです。

そりゃ1ポートモデルだったら少ないのは当然です。
ethの項目が無いのもethにしないと出てこないのは当たり前です。

2の1のmstflintはインストールできましたか？

2の2の自分のデバイスの値は何ですか？

2の3の
mstconfig ?d 自分のデバイスの値 s LINK_TYPE_P1=ETH
(例 mstconfig -d 00:06.0 s LINK_TYPE_P1=ETH
)

これの結果は？

**不明なデバイスさん** · 2019/10/01(火) 10:51:40.53

文字化けした

2の3の
mstconfig -d 自分のデバイスの値 s LINK_TYPE_P1=ETH
(例 mstconfig -d 00:06.0 s LINK_TYPE_P1=ETH　)

これの結果は？

**171** · 2019/10/01(火) 23:04:24.40

>>220
レスサンクス。

インストールはできました。
00.01.0です。etheの設定はオプションがないと怒られます。

詳細はここに書きましたが、
案の定放置されてます……。
https://community.mellanox.com/s/question/0D51T00006vP6pHSAS/unable-to-use-connectx3-on-ubuntu-18-with-ethernet-because-there-is-no-linktypep1-option

**171** · 2019/10/01(火) 23:06:13.39

mstconfig -d 01:00.0 s LINK_TYPE_P1=ETH

Device #1:
----------
Device type: ConnectX3
PCI device: 01:00.0

Configurations: Next Boot New
-E- Device doesn't support LINK_TYPE_P1 configuration

(´・ω・｀)

**不明なデバイスさん** · 2019/10/01(火) 23:21:18.55

>>222
mstflint -d 01:00.0 q
mstconfig -d 01:00.0 q

これの結果は？

**不明なデバイスさん** · 2019/10/01(火) 23:25:13.08

あ、向こうにあるのね

**不明なデバイスさん** · 2019/10/01(火) 23:27:10.18

ファームウェアが古いのが理由じゃないかな？
ファームウェアとmstのツールのバージョン違いが原因かも

**171** · 2019/10/01(火) 23:39:23.38

>>225
ありがとうございます。
ファームはqiitaに書いてあった方法で2.40まで上げています。

最新は2.42ですが、OEM品なので細工なしだと2.4から上げられないのです。

また、windowsでは問題なく、ubuntu固有の問題である事から、
Ubuntuのethernetドライバが2018年4月から更新されておらず、カーネル4.6か4.8までしか対応していないためインストールで落ちるのが原因と考えています（現在カーネル5.0、windowsではドライバインストールの問題なし）。

**171** · 2019/10/01(火) 23:40:56.22

カーネルのバージョンを下げればドライバが入る気がしますが、他のアプリに影響ありそうで躊躇しています……。

**不明なデバイスさん** · 2019/10/02(水) 01:43:43.91

>>226
別hdd/ssdでwindows入れてそっちでモード変更とかしてみたら？
たぶんpc入れ替えてもそのまま使えるかと。

**不明なデバイスさん** · 2019/10/02(水) 10:16:21.15

>>227
このページではUbuntu の最新バージョン19.04にも対応してるらしいが。こいつのカーネルは5でしょ？
https://www.mellanox.com/page/products_dyn?product_family=26&;mtag=linux_sw_drivers

MLNX_OFED Documentation Rev 4.7-1.0.0.1
https://docs.mellanox.com/display/MLNXOFEDv471001/Installing+Mellanox+OFED
このページをUbuntuで検索したらいろいろ出てくるけど。

**不明なデバイスさん** · 2019/10/02(水) 11:06:32.42

>> 226

おそらく同じところから買った同じカードをいじってるところ

まず、II/Ether ドライバに関しては(229 が紹介してくれているOFEDドライバにしかない機能をどうしても使いたい
という状況じゃなければ) すでに mainline kernel に取り込まれているので外から持ってこなくても標準の mlx4
ドライバーで動くので余計なことしなくていい(そこの問題じゃない)

で、mstconfig -d 01:00.0 s LINK_TYPE_P1=ETH ができない問題だが、それは IBMのOEM firmware なままなせい
(IBM OEM 品ではそこの設定を塞いである) or version が古いせい。

手元にあるカードは PSID いじって generic firmware (OEM 版ではなく mellanox の) 2.42 にあげてしまったが
少なくともそいつではちゃんと LINK_TYPE_P1 設定できるし、ETH にするとドライバーがちゃんと mlx4_core が
mlx4_en sub driver をロードして (Infiniband ではなく) ether として認識するのは確認済。

どうしても IBM OEM firmware のままにしたいというのであれば、mlx4_core には port_type_array という
パラメータがあって、firmware 側での指定を無視してドライバーで強制的に Infiniband/Ethernet を指定できる
ようになってるのでそれを指定してみれば? (これは確認してない)

0がdefault (firmwareの設定に従う)、1がIB 2がEthernet らしい。

/etc/modprobe.d/mlx4.conf とかファイルを用意して中に

options mlx4_core port_type_array=2,4

と書いて保存して reboot かな

http://www.mellanox.com/related-docs/prod_software/Mellanox_EN_for_Linux_User_Manual_v4_0.pdf

にまぬあるある

**不明なデバイスさん** · 2019/10/02(水) 11:08:58.13

II/Ether ドライバてなんやねん IB/Ether ドライバーね要は通信用のドライバーは
ひとまず標準で kernel にあるやつ使え余計なことすんなてこと

**不明なデバイスさん** · 2019/10/02(水) 14:34:56.79

mlx4.conf 書いたあとに reboot する前に initrd の更新必要かも

update-initramfs -u

な