【10GbE】10Gigabit Ethernet 7【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
10ギガビットイーサ(10GBASE-*)について語るスレ
価格がこなれてきた10GBASE-T(UTP)は勿論、CX4、光ファイバー等も対象です。
過去スレ
【10GbE】10Gigabit Ethernet 6【10GBASE-T等】
https://mevius.5ch.net/test/read.cgi/hard/1533077761/
【10GbE】10Gigabit Ethernet 5【10GBASE-T等】
https://mevius.2ch.net/test/read.cgi/hard/1515779986/
【10GbE】10Gigabit Ethernet 4【10GBASE-T等】
http://mevius.5ch.net/test/read.cgi/hard/1493036840/
【10GbE】10Gigabit Ethernet 3【10GBASE-T等】
http://echo.5ch.net/test/read.cgi/hard/1476100955/
【10GbE】10Gigabit Ethernet 2【10GBASE-*】
http://echo.5ch.net/test/read.cgi/hard/1422464742/
【10GbE】10Gigabit Ethernet【10GBASE-*】
http://peace.5ch.net/test/read.cgi/hard/1208537897/ >>341
マケプレの安物は新品と偽って中古が来ることがある fs.comで互換性Genericなケーブル頼んだら
何のスイッチで使おうとしてるか教えて、だって。優しいなあ。
Moreover, I notice you bought generic compatible DAC. To assure the 100% compatibility, may I know the switch model for these cables?
So that I will ask tech team to test them in lab before shipment. 単にi2c romに焼く内容を決めたいだけでしょ。
microSDが刺せるようになっててユーザ側で書き換えできると面白いのに。 ハブは新品(QNAP QSW-1208-8C)を買ったけど、いろんなカードを安く集めて比較
したいというのもあって、カードとSFPはヤフオクで中古品をあさっています。
現在手元にあるカードは、
IBM ................. 49Y4252 (Emulex/BroadCom OCe10102) ×2
IBM ................. 49Y7951 (Emulex/BroadCom Oce11102) ×1
IBM ................. 95Y3766 (Emulex/BroadCom OCe11102) ×2
Intel ................. X520-SR2 (Intel 82599) ×1
SuperＭicro ................. AOC-STGN-I2S (Intel 82599ES) ×1
ですね。 落札価格はカード単体で2500円〜6000円くらい。 今のところ、どれも
問題なく使えています。
X520-SR2は、IntelのSFP×2付きで6000円でした。 HP MicroServer Gen8で使って
いましたが、AOC-STGN-I2Sの方が基板が小さいので、そちらへ交換しました。
SFPはfs.comの新品でもいいかなと思うけど、既にもう10個くらい持ってるから、
次にまとまった数を入手したい時に利用しようかなと。 LC/LC光ケーブルと、
DACケーブルは、10Gtek製のをAmazonで買っています。 面白い10Gカード？
(1)メラのconnectX2とか3とか
QSFP-SFP+アダプタで10gbeにもなるのが変態的でよい。
(2)myricomのSFP+のやつ
mdio_rwコマンドでi2cを読み書きできる。もっとも書けるsfpは少ない。
(3)broadcom br1860-2f
片方を10gbe、もう片方をfibrechannelに使える(fcoeではなく）。ただベンダロックあり。 broadcomじゃないや。brocade→qlogicだた。 ConnextX-2とかのRDMAってどうなんですかね？
対応するOSだったらかなり速度が向上するんでしょうか？
10GBeでRDMAに対応していて安価に買えるものってあまり無いような気がして。
あとほんの少し低消費電力らしいし。 rdma? smb direct? 昔ibスレに対応してるか判断コマンドとか
測定結果とかも書いたはずなんで適当にみてみて。
10gbeはどうせib qdrより遅いと思ってるのであんまりチェックする気はない。 >>349
Mellanox Adapters Comparison Tableでググると機能比較がある。
connectx3からしかないが、IBでなくNICでRDMAやるならconnectx3 pro以上じゃないとダメに見える。
俺はconnectx4 lxだから3 proはできるか知らない。
因みに速度向上は仮想マシンでSR-IOVとの合わせ技の時に効果は顕著に現れる。
仮想マシン経由でない場合は気にしなくてもいいかな、とは思う。 WindowsとLinuxを繋いでいるときでRDMAを活用する方法はあるのだろうか？
smbもnfsもiscsiもどちらかのOSがRDMAに対応していない >>350
そうなんですね。
infinibandスレ今少し見てきました。
IB QDRはいいですね。1200MB/sとかいいですね。
>>351
こちらの資料には
RDMA over Converged Ethernet（RoCEのことでしょうか？）
っていう記述がありますが、IPoIB利用の時でしょうかね？
http://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX-2_VPI_Card.pdf
実は最近安かったのでConnectX-2を2枚とケーブルを衝動的に買ってしまいまして、
なんとかFreeNASとWindows 10 Pro を10GBe接続したんですけど、
あまり速度が速くなくて色々調べてるんですが、
Windows 10 Pro だとSMBダイレクトには対応しているけどRDMAには対応してないので、SMBダイレクトは使えないとか。
IBモードにするのがいいですかね。
無いと思っていましたがひょっとしてあるかもと探してみたら、
OpenSMがFreeNASに最初から入っているかもしれない？のを見つけましたので、IBモードいけるんじゃない？と思ってます。
時間のある時にIPoIBにしてみたいと思います。 Win10も普通の10Proはダメだけど、Workstations以上のエディションなら
RDMA使えるんじゃなかったっけ？ 尼からX550-T1届いたよ
外箱にintelのシール無し
YottaMarkなし
Intelロゴ潰れてる
ブラケットに廃熱用の穴無し
どう見ても偽物です。本当にありがとうございました。 >>353
proだとsmb directは有効にならないね。
windowsはsr-iovにしろvmqにしろsmb directにしろチェックが有効になっていても本当に設定が有効に効いているのかは別だから注意。
実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。
が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない？
少なくともlinuxは>>352が書いているようにiscsi/nfsを、windowsはsmbのみをサポートしてるんで普通に通信させるしかない。
ま、>>176が言うように仮想マシンでなければ遅い理由は別にあるかと。
例えrdmaが使えても遅いのは変わらないと思うよ。 >>355
Unicaca製なんだろうね
ドライバーはIntelのが使えるの？ Unicaca製のX550シリーズにはIntelロゴなんてない >>357
PCに組み込まず返品処理したから分からん。
幸いにして尼発送だったので。
ロゴ潰れてるっていうのは基盤のシルクプリントのロゴね
ttps://m.imgur.com/gallery/ptvyCnx
多分これと同じ物
ttps://m.ja.aliexpress.com/item/32847184599.html?trace=wwwdetail2mobilesitedetail&productId=32847184599&productSubject=FANMI-PCI-E-X4-X550-T1-10G-Ethernet-Server-Adapter-Single-Port-RJ45-Converged-Network-Adapter 安い順にIntel NIC買ってひたすら返品するマシーンと化せば反省するのか?(誰が?) >>360
流石に懲りたしIntelNICに拘ってないからASUSのXG-C100Cポチったよ…
後さっきの画像見れなかったので
ttps://m.imgur.com/a/ptvyCnx mac miniが10GbEを11000円で付けれるんだけど熱凄いのかな >>356
> 実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。
でも、お高いんでしょう？
> が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない？
してるものだとばかり思ってました。
調べたらsambaの開発チームの人がLinuxのSMB direct用のカーネルを開発中らしいですね。
カーネルからいじらないと無理ならFreeBSD系はかなり先でしょうね。
このリンクにあるソースの進捗状況に「SMB directの読み込みはcomplete」と書いてありましたから、今年中にLinuxに対応するかも？
https://www.samba.org/~metze/presentations/2018/SDC/StefanMetzmacher_SDC2018-SMB-Direct-Status-rev1-presentation.pdf
まあ、遅いと言っても、infinibandのイーサネットモードで5Gbpsは超えてるのですけど、IPoIBでまだ上があるなら狙いたいなと。
SMBマルチチャンネルは今でも使えてて、5GBps+1GBpsでは使えてるんですけどね。 >>364
> このリンクにあるソースの進捗状況
このPDFファイルに書いてあるリンク先の
https://git.samba.org/?p=metze/samba/wip.git;a=shortlog;h=refs/heads/master3-smbdirect
に書いてあるソースの進捗状況です >>364
smbマルチチャンネルは同じ速度でリンクアップしてないと有効にならない、ってあったな。
> でも、お高いんでしょう？
pro workstationがsa無しで買えるかどうかはわからんがL+SAならそれを含めてenterpriseやLTSCまで使用できる。
10だと電話で申請が必要だけどkmsキーも使用可能だとかVLは使い勝手がいいよ。
windows server評価版をADにしてkmsキーを設定すればosインストール後ad参加するだけで認証できる。
windows serverの評価・勉強ができて一石二鳥。
因みに今だとL+SAで大体4万、SA更新に2万くらい。 >>366
SMBマルチチャンネルは同じ速度じゃなくてもいけるみたいですよ。
988Mbps + 4.7Gbpsですね。この時よりもちょっと速くて最終的に約1Gbps+5.2Gbps程度です。
https://imgur.com/A4onA8y
ここに測定した時のことをいろいろ書いてます
NAS・自宅サーバを自作するスレ その5
https://egg.5ch.net/test/read.cgi/jisaku/1510655652/618 >>367
10G+1Gの時は1Gには流れなかったような気がするんだけどなぁ。
ケーブルは4レーンのsdrですかね？
ケーブル変えるだけで爆速になりそうですね。 10GBASE-Tに対応可能なCAT6A準拠のRJ-45中継アダプター「ADT-EX-6ASTP」、サンワサプライが発売
サンワサプライ株式会社は、10GBASE-Tに対応可能なCAT6A LANケーブルを延長できるRJ-45中継アダプター「ADT-EX-6ASTP」を発売した。価格（税別）は1600円。
ケーブル構造はストレート全結線で、STPケーブル・UTPケーブルのいずれにも使用可能。同社では、使わなくなったLANケーブルや、
レイアウト変更などにより距離が合わなくなったLANケーブルを再活用できるとしている。
https://internet.watch.impress.co.jp/docs/news/1184602.html >>368
ケーブルはこれなんですけどね。ヤフオクですけど。
https://www.serverworlds.com/netapp-112-00177-sas-qsfp-to-qsfp-2m-cable/
SAS用ですけどQSFPって書いてあるからinfinibandも行けんじゃね？って思って買いました。失敗ですかね。
1Gbpsx4chで4Gbpsまでのデータレートなんですかね？
いいケーブルに替えると速くなりますかね？ qsfpケーブルの仕様はこんな感じだとか。
http://www.aim-ele.co.jp/products/qsfp/
sasってことで4x6Gbpsになるはずだけど1本だけしか有効になってないみたいだね。
そんことあるのかどうかは知らないけど。 >>363
省電力な10GbE ICが開発されたって聞かないから他と似たようなもんじゃないの
つまり熱いと思われ >>371
QSFPは知らなくて、写真だとサイズ感が判らないけど、それって普通に、Mini-SASの
External 接続用のケーブル(SFF-8088 to SFF-8088)じゃないですかね？
SATA/SAS用の、信号のみがHDD4台分収納されているやつ。 ただ、キー溝がないようにも
見えるからMini-SASじゃないか。
「sff-8436 to sff-8088」でググると、両端のコネクタだけ違う変換ケーブルもある
みたいだから、電気的特性は同じってことなのか？ >>363
1ポートは今は3Wぐらいのものでは。初めから設計に織り込まれていればどうということはない。 >>375
mac miniはAQC107だから6Wぐらいだよ
まあちゃんと考えて設計してればどうってこともないだろうが >>375
3wにするには28nmから14nmにシュリンクしないとな >>367
10Gと1GだとSMBマルチチャネルできないのですが、設定とかコツがあるのですかね。
10Gを1Gにリンク速度を下げると1G+1Gでマルチチャネルで動くのですが。 >>379
サーバー側とクライアント側にそれぞれ何を使ってますか？
私はFreeNAS11.2-U3 のsamba 4.9.4を使ってます。クライアントはWindows10 Pro 1803 64bit です。 >>379
デフォルトだと同じ速度の速いやつでしかされないよ
当たり前だけど、混ぜて使うと遅いのに足引っ張られるので有効にならない
コマンド叩いて設定すれば CRS305-1G-4S+IN、お安いのにルーターにもなるのね
しかし、電源LEDが常夜灯みたいに眩しい
設定色々細かく出来るけど、電源LEDの輝度を落とせないのかな
(時間が経過したら全LED消灯じゃなくて) >>382
養生テープでも貼っとけば？
アナログな解決策だが なかなかスイッチが安くならないですね
カードは安くなったのに まあ今の水準は8ポート3万とか4ポート2万とかそういうの。 >>380
追加で。
10Gと1Gでマルチチャンネルが出来ているのはこちらがヒントになるかもしれません。
https://www.samba.org/samba/history/samba-4.4.0.html
SMB3 Multi-Channel
（中略）
Samba has to report interface speeds and some capabilities to
the client. On Linux, Samba can auto-detect the speed of an
interface. But to support other platforms, and in order to be
able to manually override the detected values, the "interfaces"
smb.conf option has been given an extended syntax, by which an
interface specification can additionally carry speed and
capability information. The extended syntax looks like this
for setting the speed to 1 gigabit per second:
interfaces = 192.168.1.42;speed=1000000000
This extension should be used with care and are mainly intended
for testing. See the smb.conf manual page for details.
CAVEAT: While this should be working without problems mostly,
there are still corner cases in the treatment of channel failures
that may result in DATA CORRUPTION when these race conditions hit.
It is hence
NOT RECOMMENDED TO USE MULTI-CHANNEL IN PRODUCTION
-------
ということで、FreeNAS（FreeBSD）はother platformなので速度自動認識ができないのが理由かもしれません。
Linuxだと逆にsmb.conf に「両方10Gだよ。」とか書き込むと何かあるかも？NOT RECOMMENDEDですけど。 ASRockから発売される
11axと2.5GLanついてるマザーボードどうですかね？ >>389
x4とかの長いスロット足りないからASRockのにしたけど、これに縛られずマザー選んで 5GbE のPCIe x1
カード刺した方が良かったかなって思考になった。何だかんだ2.5倍分は速くはなるんで重宝はしてる。 蟹のUSB3.0 2.5GbEは少し前に出てたけどAquantiaの5GbEも出るか
PCでも使えるのかな >>393
普通に使えるっぽい
> テスト環境：
> 2台のWindows®コンピューター間でのファイル転送。互いに1台のQNA-UC5G1Tに接続。
> クライアントPC：Windows 10 Pro、Intel Core i7-6770 3.40GHz、64GB RAM、QNA-UC5G1Tアダプター、MTU 9000 >>394
ありがとう
Gen2じゃないのにパフォーマンスは割と一杯まで出てるみたいだし
米尼で79ドルで出てるから蟹と比べても割とありかもなぁ >>388
有益な情報ありがとうございます。
linuxホストなので試してみます。 >>386
CRS309-1G-8S+ とかの話よ？ 直結で構わないので、Intel X710-D4（NASがサポートしている4ポートNICはこれだけだった）に10GBASE-T SFP+モジュールを4個ぶっ刺して、10GBASE-T 4本繫げようと思ってるんだけど構成的に無謀？
スイッチを間に入れて、そこに10GBASE-T SFP+モジュールを刺した方が安定すんのかな？ 10GBASE-T SFP+モジュールは使ったことないから是非使ってレビューしてみてくれ
よさそうだったら俺も買うわ
まだうちでは使い道ないけど
ところで直結でNASに接続するとPCの電源切った時にNAS側でリンクダウンの警告がでて、
うざかったので無駄にスイッチを入れた記憶がある 直結のリンクダウンとかの動作は大丈夫
既にNAS-PCの両方にX550-T2載っけて直結してるので
今度更にPC増やすのでどうしたもんかなーと色々考えていたところ
全部SFP+で組むのが一番なのかなぁ… インテルドライバが10GBASE-T SFP+をサポートしてる気がしない。
ドライバソース読んでないので確実ではないが。
それより、X710-T4が動くんじゃないの？ >>402
X710-T4をNASがサポートしてないから困ってる
実際ドライバのバージョンを覗いてみたら古いんだよね
X710-T4をPCに刺すことも考えてはみたんだけど、まあもうちょい費用や構成を検討してみます ドライバがsfp+側関与してるの？ファームじゃなくて？ そんな高価なカードを買う人に言うことではないかもしれませんが、
普通のマザーやCPUではないんですよね？
普通のマザーボードのチップセット側にNICを刺した場合だと・・・
40Gbps NIC(X710等)
↓
PCIe 3.0(8.0 GT/s) x 8 lane
↓
Z390とか
↓
DMI3.0(8.0 GT/s) x4 .....(1)
↓
CPU
↓
Memory
ということになり、
(1) 3.938GB/sec(32GT/s)の速度がボトルネックになりますよね？
10Gbps=1.25GB/sec
30Gbps=3.75BB/sec
40Gbps=5.00GB/sec
なので、3本と同じぐらいになってしまいますね。
だからCPU側のPCI expressレーン16本を8と8に分けてグラフィックと40G NICに割り当てないといけないですかね？
普通じゃないCPUにPCI expressレーンが28本とか44本とか付いてるやつを使わないと40GクラスのNICは性能が頭打ちなんですかね。 LANチップにはAquantia AQC11Uを採用
対応OSはWindows 10/8.1/8/7に加え、Aquantiaの公式ページからドライバーをダウンロードすることで、macOSやLinuxでも動作するとしている >>403
X710-DA4ってDACのみサポートのような
ケーブルの種類:SFP+ Direct Attached Twin Axial Cabling up to 10m
としか書いてないし(他のモデルだとDACとFiberが併記されてるのがある) >>406
難しいこと考えずにお前がGPU用だと思っているスロットに10G〜50G NICを刺せばいい。
今時x16x8スロットがgpu専用ってことはないし、もっと言えばGPUがなければ起動しないわけではない。
OSのインストール、NW設定さえすればGPUがなくてもRDPなりSSHなりのリモートアクセスが可能。
つまり安物でも大丈夫。 >>409
x520-da2を見てみたが同じ表記だな。
そして自分はsfp+とdac両方使ってる。
気にしすぎだよ。 X710-DA2使ってるが、SFP+でも問題ないな >>399
>>406
>>410
直結で使うのならサーバーはいいとしてもクライアントでGPUを使えないのは痛くない？
まあ最近はCPU内蔵のGPUも良くなってきてるけど
直結ならFC、Infiniband、SAS?とかもいいんじゃないですか？NASが許せば
でも40Gを使い切るHDD帯域だとHDD一本が250MB/s(NAS用最高レベル？)だとして20Gbpsでも2500MB/sなので
HDD10本のストライプでギリギリ使い切る程度なので、20Gbpsあれば十分じゃないですか？
40Gbpsの帯域を潰すなら最低20本のHDDが必要な計算になりますよね
HDDじゃなくSSDを使うにしてもどちらも今度はストレージの帯域も問題になってきますよね
PCIeはストレージ、NIC両方CPU直結じゃないとダメでしょうから、
CPU側のPCIがx8を2ソケット以上に分けられるCPUとマザーが要りますか。
i9やXeonクラスのCPUのPCIe本数の多いもの以外は40Gとか要りますかね？ なんか相談されてない部分であーだこーだ外野から言われても困っちゃうんじゃないのかね そうですね。
直結といっても1対4の直結で、同時使用しないならどこのPCIに指しても同じですしね
失礼しました TB3なら2-3000円のケーブル一本で実現できるのに ヤフオクでちょうど「INTEL X710-da4 DELL OEM DDJKY 10gbase-T SFP+ モジュール2個、DACケーブル2本付属」のセットが出品されてたから、X710-DA4で10GBASE-T SFP+モジュールは正常動作するのかもね >>417
pciex3.0 x16をpciex3.0 x8 2つに分けられるマザーは普通にあるだろ。
新品でも2万以下からあるしcpuはcore iやryzenでもok。
pciex3.0 x8は64Gbpsだから50GbpsのNICもいける。
ストレージはnvmeを使うのが一般的でそれ程速度不要かもしれないが新品でない限り値段差は微妙なんだよね。
ま、別にxeonとか必須ではない、ということで。 X520にもDAモデルとかSRモデルLRモデルいろいろあったけど、SFPが付いてるかどうかの話だしな
ブラケットの型番が違う理由はわからんが SFP+放熱用のちょっとしたヒートシンクのありなし、とかはあるよ。 >>407
日本のショップでは間違いなく1万超えるんだろ？
おま国 一応ご報告
Intel X710-D4に10GBASE-T SFP+モジュールが使えるかFSCOMの技術者に聞いてみた
カスタム10GBASE-T SFP +モジュールを注文時に対応ブランド、モデル番号へIntel X710-D4を入力すればカスタマイズしてくれるって
（汎用モデルではなくカスタムモデルを案内された）
特に設定も必要もなく、10GBASE-Tケーブルにモジュールを接続し、Intel X710-DA4のポートに差し込めば使えるって
お騒がせしました〜（この構成にするかは別の話） >>426
元々FSCOMの製品使用が前提ではなく、FSCOMで扱っていたので問い合わせた結果ね 一体なにをカスタマイズするんだろ
vendor idを詐称？ MikroTikのスイッチってベンダーロックイン掛かっていないのでしょうか？
例えばintelのNICがあって、intel用のDACケーブル買ったらMikroTikのスイッチに挿して使えるもの？ >>429
ベンダーロックインは掛かっていないけど、SFP+モジュールの相性はあるみたいですね。 ベンダ偽装やってるんでしょ？
勝手にIntelのふりをするやつ
出荷前にメモリに書き込む、ベンダやシリアルナンバー等の情報をインテルに偽装してくれるんでしょう 10Gスイッチのファンて5V動作がほとんどですかね？うるさくて変えたい。 >>426
そういやintelはベンダロックイン掛けてたな。
それはそれで超大事なことだが10GBaseT sfp+モジュールが使えるかどうかはまた別の話だったから気にしなかった。 X540-T2 から mellanox ConnectX-4 Lx EN 25GbE に乗り換えて消費電力も熱も下がったのに速度上がってマジ快適
最初からメラにしときゃよかった そもそもインテルはX710-DA4がサポートするSFP+はSRとLRだけといってるのに
なぜ10GBASE-Tが使えるんだろう？ >>438
ちなみに別情報で、アライドのx510にFSCOMの汎用 対応互換10GBASE-T SFP+モジュールつけても大丈夫なようですね
ツイートしている人がいました >>440
10GBaseT sfp+モジュールの中でLDPCの処理をさせてNIC側に隠蔽してるんだろ。 ■ このスレッドは過去ログ倉庫に格納されています
