【10GbE】10Gigabit Ethernet 17【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
2.5、5、10ギガビットイーサ(10GBASE-*)について語るスレ
価格がこなれてきた10GBASE-Tは光ケーブルはもちろん、DACやRJ-45も対象です。
過去スレ
【10GbE】10Gigabit Ethernet 16【10GBASE-T等】
https://mevius.5ch.net/test/read.cgi/hard/1656134308/
【10GbE】10Gigabit Ethernet 15【10GBASE-T等】
01. https://mevius.5ch.net/test/read.cgi/hard/1648898823/
【10GbE】10Gigabit Ethernet 14【10G以下】
02. https://mevius.5ch.net/test/read.cgi/hard/1637052952/
【10GbE】10Gigabit Ethernet 13【10G以下】
03. https://mevius.5ch.net/test/read.cgi/hard/1617429181/
【10GbE】10Gigabit Ethernet 12【10GBASE-T等】
04. https://mevius.5ch.net/test/read.cgi/hard/1604362122/
【10GbE】10Gigabit Ethernet 11【10GBASE-T等】
05. https://mevius.5ch.net/test/read.cgi/hard/1594720220/
【10GbE】10Gigabit Ethernet 10【10GBASE-T等】
06. https://mevius.5ch.net/test/read.cgi/hard/1585234045/
【10GbE】10Gigabit Ethernet 9【10GBASE-T等】
07. https://mevius.5ch.net/test/read.cgi/hard/1576641447/
【10GbE】10Gigabit Ethernet 8【10GBASE-T等】
08. https://mevius.5ch.net/test/read.cgi/hard/1566384522/
【10GbE】10Gigabit Ethernet 7【10GBASE-T等】
09. https://mevius.5ch.net/test/read.cgi/hard/1553105861/
【10GbE】10Gigabit Ethernet 6【10GBASE-T等】
10. https://mevius.5ch.net/test/read.cgi/hard/1533077761/
【10GbE】10Gigabit Ethernet 5【10GBASE-T等】
11. https://mevius.2ch.net/test/read.cgi/hard/1515779986/
【10GbE】10Gigabit Ethernet 4【10GBASE-T等】
12. http://mevius.5ch.net/test/read.cgi/hard/1493036840/
【10GbE】10Gigabit Ethernet 3【10GBASE-T等】
http://echo.5ch.net/test/read.cgi/hard/1476100955/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured NIC他のパソコンに乗せ変えたら普通に動いたから故障ではなさそう 解決しました
マザーボードのBIOSのバージョンが古すぎたようです
アップデートして増えた設定項目適当にいじったら動いた よかった ルーター：ASUS RT-AX89X
スイッチ：Tplink TP-Link TL-ST5008F（アリエクウェブ設定中国語のみ）
PC NIC：10Gtek Broadcom BCM57810S
NAS ：Qnap TS-673 メモリー64GB SSDキャッシュPCIeにNVME1GB社外品
NAS NIC：PCIeにX520-DA2社外品
上記の環境で
[Read]
SEQ 1MiB (Q= 8, T= 1): 1658.644 MB/s [ 1581.8 IOPS] < 5044.47 us>
SEQ 1MiB (Q= 1, T= 1): 828.924 MB/s [ 790.5 IOPS] < 1264.26 us>
RND 4KiB (Q= 32, T= 1): 343.285 MB/s [ 83809.8 IOPS] < 381.02 us>
RND 4KiB (Q= 1, T= 1): 49.968 MB/s [ 12199.2 IOPS] < 81.87 us>
[Write]
SEQ 1MiB (Q= 8, T= 1): 1471.666 MB/s [ 1403.5 IOPS] < 5683.62 us>
SEQ 1MiB (Q= 1, T= 1): 629.212 MB/s [ 600.1 IOPS] < 1664.96 us>
RND 4KiB (Q= 32, T= 1): 247.319 MB/s [ 60380.6 IOPS] < 527.86 us>
RND 4KiB (Q= 1, T= 1): 43.436 MB/s [ 10604.5 IOPS] < 94.18 us>
ご参考まで そこそこ速度でてるけどpcとnas共にjumbo frameは9014にした？
NVMeがキャッシュになってるなら2GB/sくらい行ってもいいんじゃないかな、と スイッチがTP-LINKの時点でお察しだわな
２台使ったが使い物にならん 普通はするわな、TP-LINKをかますと20～30%スループットが落ちるな
まぁ、ラックに入れるから熱対策があまいのかもしれんがね QNAPの場合は14足さずにフレームサイズ9000じゃね 0827です
QnapのNASのPCIeの仕様を調べたらNvmeのSSDの接続仕様がGen2x４だったのと
X520-DA2がx8仕様カードなのにx4で刺さってる辺りが速度限界の原因かな？
OSはwindows11です。PC→NASの直接接続で速度測ってみるね スイッチはTP-Link TL-ST5008F（日本のTP-Linkのサイトには載ってない）
https://www.tp-link.com.cn/product_1649.html
ラックに入れるほど大きいスイッチではないよ
ジャンボフレーム9000は設定してるNASとPCとスイッチに >>835
ありがとうございます。
私も自前のファイルサーバでsmbマルチリンクのファイル転送速度が1600MB/s程度で頭打ちになります。
別プロトコルでは規格値の速度が出ているので、windowsクライアントにおけるsmb自体の限界により、これ以上はsmbダイレクトが必要になるのではと考えています。
試した環境は、
双方x710 da2 sfp+、双方conectx6 sfp28の2パターン。
接続は直結で2レーン。
インタフェースはcpu直結のpcie3-x8。
ファイルサーバーは双方自作windows。
smbダイレクト不使用環境のエクスプローラでのファイル転送が1600MB/s超え出来ている方がいるか知りたいです。 直結しようと思ったら・・・
PC→AOCケーブル→スイッチ→SFP+モジュール→LC-LCケーブル→SFP+モジュール→X520-DA2（NAS）
でX520-DA2がSFP+モジュールのベンダーロックかかってるからPCとの距離的（長いLC-LCケーブルが無い）に差し替えができず
LC-LCケーブルの長いケーブルを注文したよ >>832
2-3割性能落ちるとかスイッチで普通にあり得んけどね
おま環か型番も書いてないでメーカーで括ってるから程度の低い煽りとかかな？ >>840
そこまでTP-LINKに心酔しているとは思わななんだでね
S5500-4XHPP2XFを使ってチーミングで構築したが、速度が直結時（この時はチーミングなし）と比較して低下とメーカーに交換依頼
交換品も同等で、俺の担当期間が終わったから、後継に頼んでNETGEARを入れたら解決した
それだけ >>841
チーミングしたらって予め書けよ
スイッチング性能が足りないと思っちまったじゃないか >>842
チーミングの利点も知らんなら話にならんな
>>843
チーミングなしってわざわざ書いてあるだろうが、文章も読めないのかよ >>845
ファイルサーバはwindows server、クライアントはwindows server、pro workstaion、enterpriseのどれかじゃないとsmbdirectは使えないけど大丈夫？
proでもsmbdirectを有効にできるようかな見えるけど実際は有効にならない
因みにsmbdirectが有効になるとファイル転送してもタスクマネージャで表示されないからすぐにわかる 837です。
>>845
肝心のパフォーマンスの記事が無いんだよね…
smbdirect無しのsmbの限界値はどのくらいなんだろう。
自分の検証ではファイルエクスプローラー1600MB/s台、crystaldiskmarkだと2800MB/sで、smbdirect無しだとファイルエクスプローラーの性能が頭打ち。
おま環の限界値なのだろうか？ RDMA諸々とは別にSMBマルチチャネル使わないと1400ぐらいで頭打ちする smb multichannelじゃないけどsmbdirect offで計測してみた
キャッシュ相手へのアクセスだが読込みはだいぶ遅いしCPU使用率も高い
書込みは50Gbpsくらい出ていてCPU使用率も低い
パラメータ弄れば変わるような気がするけど、smbdirect onでは普通に性能出るのでここまで
https://i.imgur.com/37jE5h6.jpg >>848
ちなみにsmbマルチチャンネル未使用でも1600MB/sでした。
シングルの結果から、conectx6 sfp28のマルチチャンネルで3200MB/s行けるかなと思っていたので、sfp+のマルチチャンネルと速度が変わらずとても残念です。 >>849
参考になります。
ありがとうございます！
ファイルエクスプローラでの転送速度も同じくらい出るのか知りたいです！ >>853
重ね重ねありがとうございます！
100Gbpsの環境でしょうか。
smbdirect無しで2800GB/sなのでしたら、私の1600MB/s頭打ちはノーマルsmbのポテンシャルを活かしきれてなさそうですね。
…お手上げです。 >>854
100Gbpsです
windowsのパッチは最新にしている？
確か少し前までの大型パッチだとexplorerで性能が出ない、とかのバグがあったはず
win11限定かwin10も該当していたか忘れたけど >>855
WindowsUpdateは最新です。
あと違いがありそうなところだと、サーバーOSとの違いとかですかね。
私のは両方ともクライアントOSです。
smbdirectのサーバー側がworkstationでも良ければsmbdirect検討できるのですが。要件が厳しすぎです。 >>856
サーバー側は評価版でいいから敷居は低いけど？
サーバOSの評価版は評価期間180日で6回延長可能、つまり3年半つかえる。
ADも評価版で併せて作ればサーバ再構築でもユーザのIDを引き継げる
クライアントだと評価期間短くて使い物にならないけどサーバは割といけるよ >>857
試したことはあるのですが、記憶域プールのバージョンがクライアントOSと違うせいか互換性が無く、読み込めなくて。
容量が大きいので、作り直すのに二の足を踏んでます。 853さんの報告から、ノーマルsmbでもsfp28の速度を捌けそうな予感があるのでもう少し足掻いてみます。 >>860
因みに自分の環境のNASはPrimoCacheでライトバック有効にしてるんで純粋なNWアクセスになってる、と思う
確認するところはタスクマネージャーで帯域が2分されてるかどうか？
CPU使用率が高くなってないか？くらいかな
自分の別の環境で1Gを一つhubに、2.5Gを4つ直結にした環境でファイル転送したら1Gの1経路しか使わなかった、ということがあった
これは未だに謎
CPUも2スレッドくらいまでしか使ってくれないみたい
で、>>849の結果も読込みは2249MB/sなのにCPU使用率22%くらいまで上がってたのに対し、書込みは10%くらいのだった
楽しんで沼にハマって下さい >>861
色々とありがとうございます。
沼から抜け出せるよう頑張ります！ >>827です
環境を更新したのでご報告を
ルーター：ASUS RT-AX89X
スイッチ：Tplink TP-Link TL-ST5008F（アリエクウェブ設定中国語のみ）
PC NIC：1Mellanox ConnectX-4 10G 2ポート
NAS ：Qnap TS-673 メモリー64GB SSDキャッシュPCIeにNVME1TB社外品（前回1GBは記入ミス）
NAS NIC：PCIeにMellanox ConnectX-4 10G 2ポート（QNAP純正）
計測方法はNASに直結とスイッチ越しにNAS接続 結果は誤差の範囲でした
エクスプローラー上の表示でもリードは2GB/sを達成できました
ライトは下がりました
[Read]
SEQ 1MiB (Q= 8, T= 1): 2157.481 MB/s [ 2057.5 IOPS] < 3794.95 us>
SEQ 1MiB (Q= 1, T= 1): 962.564 MB/s [ 918.0 IOPS] < 1088.63 us>
RND 4KiB (Q= 32, T= 1): 220.356 MB/s [ 53797.9 IOPS] < 594.16 us>
RND 4KiB (Q= 1, T= 1): 58.471 MB/s [ 14275.1 IOPS] < 69.94 us>
[Write]
SEQ 1MiB (Q= 8, T= 1): 1156.193 MB/s [ 1102.6 IOPS] < 7223.04 us>
SEQ 1MiB (Q= 1, T= 1): 576.666 MB/s [ 550.0 IOPS] < 1816.91 us>
RND 4KiB (Q= 32, T= 1): 220.010 MB/s [ 53713.4 IOPS] < 594.73 us>
RND 4KiB (Q= 1, T= 1): 46.790 MB/s [ 11423.3 IOPS] < 87.41 us> >>864
乙
前回はconnecx6同士でも性能がちょっと低めだった、ってことだと思うけどconnectx4同士にしたら性能出た、ってこと？ 前回は
PC NIC：10Gtek Broadcom BCM57810S
NAS NIC：PCIeにX520-DA2社外品
でした ああ、connectx6は>>837か
とりあえずお疲れさん
因みにsmbdirectが効いていたりする？
効いてるとタスクマネージャーでネットワークに使用帯域が反映されないからすぐにわかるけど smbdirectは効いてない
SMBマルチのみです Connect‐X3をAlderlakeにWindows11で使おうとするとEコアを無効にしないとドライバーが読み込めないって言う話があるんだけど遭遇した人いる？ 25GBEで使える5万円以内のスイッチ
もしくはHUBをどなたかご存知でしたら教えて下さい >>872
25GはCRS510-8XS-2XQ-INが一番安いんじゃないか？
CRS504-4XQ-INでファンアウトケーブル使う手もあるかな、と ■ このスレッドは過去ログ倉庫に格納されています
