InfiniBandについて語るスレ
レス数が1000を超えています。これ以上書き込みはできません。
>950
確か、WinOFの4.70辺りのFirm当てたらRDMA使えるようになるはず。
質問者のカードだと多分いけるけど、MHZH29B-XTRはダメだった。
MHQH29B-XTRは行けたけど。 >>948
ないと思う。openMPIなりでセコセコ書くしかないかと。 そういやopenmpのほうはInfinibandに載るのかな？そんなライブラリがofedにあったようななかったような。
載るならMPIを意識せずに書けるね。遅いだろうけど。 Mellanoxのカスタムファームウェアダウンロードするページ無くなった？
oemに純正のあたるのかなぁ >>955
ちょっとこれちょっと気になりますねー
気になりますねー、これ。ちょっと気になりますねー
最近OEMのConnectX-2を買ったところなので私、すごく気になります HPのconnectX3買って56G対応のケーブル付けたらOEMファームでも56Gでリンクした。IBMブランドの00D9552は公式ファームにしても40Gのリンクだった。残念。 俺の使ってるHPのはデフォだとだめだったな
カスタムファームウェアで56G用のリンク設定書き込んだらいけた >955
自分が書いた時点では､まだカスタムファームは
http://www.mellanox.com/supportdownloader/
のページから落とせたけど､今確認すると無くなってるね｡
(こっそりみたいな感じでカスタムファームへのリンクあったんだけど)
カスタムファームはSTHのページからのリンクからは落とせるからそっちから落とすしかないかな｡
http://www.mellanox.com/downloads/firmware/disclaimer.php?download=/downloads/firmware/ConnectX3-rel-2_40_5030.tgz
は､まだ落とせるからこっちから落として､一回純正PSIDへ書換しやってやる必要がある｡
flind -d /dev/mst/mt4099_pci_cr0 q
で､PSIDがMT_1090120019(これ多分カードによるので注意) に書き換わってたら､
あとは､LinuxのMLNX_OFEDでFWバージョンアップしてやったら､最新のFWに書き換わってた｡
これは､あくまで自分でやって成功した事例なので､参考までに｡
>957
OEM先によっていけたりいけなかったりするのね｡
参考になりました｡
>958
HPでも駄目なやつあるんだ｡
自分でも､純正のカードとHPのOEMカードで設定の比較してみたけど､かなり違うよね｡
純正はConnectX3-rel-2_40_5030.tgz ベースで比較したけど､HPの設定項目が少なくて
えらい純正と差を付けてるなーと思った｡
HPのカードで､純正書換いけたカードリビジョン見てみるよ｡
カードのリビジョンによってはいけたりいけなかったり有るかもしれないので｡ MLNX OFED 4.2やっと公開か
これでDebian9に入れられる インフィニットバンドはケーブルが太すぎて取り回しがえらい
１０Ｇベースに走ってしまうわ 興味がある人だけどうぞ。ネット小遣い稼ぎ方法など。
グーグル検索⇒『工藤のジョウノウノウ』
YEDQIKDYF4 友達から教えてもらった自宅で稼げる方法
興味がある人はどうぞ
検索してみよう『ネットで稼ぐ方法 モニアレフヌノ』
CQR うるさい？何が？何がうるさいの？うるさいって？
何がうるさいの？うるさいって何が？ うぉーメラがNVidiaに買われたのか。
nvlinkのコンシューマ向けスイッチとかストレージプロトコル出るかな？ MCX354A-FCCTを3枚買ったった
使い道はこれから考える qsfp+ を導入したいと考えています。候補はQLOGIC 12200-18 です
Netgear の 1g sfp switch は持っているのですが、
ブレイクアウトケーブルを用いて、通信できるのでしょうか？ レスありがとうございます
Router が無いと swithing hub が使えない者です
RJ45 と qsfp+ を接続するにはどうすればいいんでしょうか？
CRS305 とトランシーバーを用いて stack させれば通信出来るのでしょうか？ >>976
とりあえず、qsfp+でrj45を使いたいならqsfp+からsfp+に変換するアダプタ挿してrj45モジュールを挿せばいいかと。
で、QLOGIC 12200-18ってinfinibandのSWだと思うんだけど、これってcrs305とかと接続できないじゃない？
mellanoxのnicみたいにinfinibandとetherのモード切り替えとかないですよね。 レスありがとうございます
infiniband 初心者で良く分かってませんでした
Mellanox MIS5023Q-1BFR ならqsfp+変換アダプタかまして通信できますでしょうか？ >>977
ebayあたりで安い中古探して40G環境作ろうとしてる？
とりあえず直結から始めたら？ そうです。
使う環境は、Windows,ESXi,NAS なのでswitch が欲しいです >>980
それらが各1台ずつで40G接続したいのがwindows-esxi間だけならsw無くても直結でいいだろ
ブロードバンドルータ
| 192.168.0.0/24
ESXi(仮想ルータ)
| 192.168.1.0/24
windows
上記構成でブロードバンドルータにwindowsに対するルーティングを仮想ルータ宛に書けばいい。
esxi上の仮想ルータはなんでも良くて面倒ならwindowsでもrouting and remote accessを有効にすればいい。
これでnasをブロードバンドルータに接続すればokかと。
そもそもESXiっていったらドライバあるの？から始まるわけだがその辺は大丈夫なのか？ その辺は調べました
ESXi は公式にサポートされています、FreeNASは動かしている人がいるようです
NAS の速度を主に改善したいと考え、懸案しています。
いずれはiSCSIで接続しようとしています。 うーん…
サポートされてるってカードのことだよね？
mellanoxだとは思うけどそれをinfinibandとして使うのか、イーサネットで使うのか？だな。
mellanoxでESXiのHCL確認するとenドライバ(イーサネットドライバ)しか出てこないと思うんだが…
イーサネットドライバ使う前提ならinfinibandスイッチは使わないかと。 大人しく 10G sfp+ LAN にしといたほうが無難ですかね？ infinibandを使いたいなら、それって何？くらいは調べないと。
wikipediaでも「非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。」とある。
インターコネクト用なんだから内部接続にしか使えないだろ。
逆に内部接続を高速化したいならアリかと。
ま、10G SFP+で問題ないならそっちの方がいいだろね。 欲しいカードは消費電力を考えて、Connetx-3 or AQC107 なんだけども
cost のことも考えて、アドバイス通り
infiniband で直結してみます。 長々とお付き合いいただきありがとうございました。
それを買わせて頂きます FDRの環境を仮構築した。
接続が速くなると、内部ストレージと外部ストレージの境目が曖昧になるね。
こりゃ楽しい。
使い道もなしに買ったけれど、これで一年くらい楽しめそうだ。 自動メトリックが効いていないのか1000BASE-Tで接続する時がある
手動設定しないとダメかな
2ndポートがactiveにならない問題もあるし、サブネットマネージャーの挙動は怪しいし、HCAは発熱激しいしホント楽しい
現在、IPoIBで実効速度は14Gbpsが限界
ボトルネック探しもしないといけない
皆さんは、実効速度はどのくらい出てらっしゃいますか？ infinibandではなくてスレチかもしれんがrdma繋がりということで。
こちらは2秒間隔での瞬間値でこんな感じ
読込36.9Gbps
書込32.3Gbps
connectx 4/4 lxをQSF+で直結、ストレージはGen4NVMeの例のやつ。
ファイルサーバはwindows server 2019でクライアントはwin10
シーケンシャルについてはローカルとほぼ同等の速度がでていて動画編集とかはかなり快適な感じです。
https://i.imgur.com/N7xhbaB.png おおおシーケンシャルならRWとも4000Mbyte/s超えますか
ネットワーク越しとは思えない爆速
ちなみにストレージはGen4NVMeの例のやつが思い当たらない
メーカーどこですか？ >>990
ConnectX2直結のIPoIBでiperf 30gbpsとか出てた記憶。(FreeBSD)
取り合えずCPUの省電力系の機能全OFFから確認。
CPUが熱いとかアイドル時の電気食い過ぎとか、全部無視すること。
両立出来ないので。
CPUはSandyクラスなら通信自体は実効値の限界は行くはず。
後はサービス側がどこまで頑張れるか。 >>992
今gen4.0のnvmeって一種類しかないよ。
ウチはcssd-m2b1tpg3vnf
>>993
ethernetの限界か、rdmaなしだと全然性能でない。
改めてiperf3やってみたけど7〜10Gbpsくらいしかでない。
まあsmbが早ければ困らないからいいんだけど。 このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 3438日 23時間 40分 16秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
