【10GbE】10Gigabit Ethernet 7【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
10ギガビットイーサ(10GBASE-*)について語るスレ
価格がこなれてきた10GBASE-T(UTP)は勿論、CX4、光ファイバー等も対象です。
過去スレ
【10GbE】10Gigabit Ethernet 6【10GBASE-T等】
https://mevius.5ch.net/test/read.cgi/hard/1533077761/
【10GbE】10Gigabit Ethernet 5【10GBASE-T等】
https://mevius.2ch.net/test/read.cgi/hard/1515779986/
【10GbE】10Gigabit Ethernet 4【10GBASE-T等】
http://mevius.5ch.net/test/read.cgi/hard/1493036840/
【10GbE】10Gigabit Ethernet 3【10GBASE-T等】
http://echo.5ch.net/test/read.cgi/hard/1476100955/
【10GbE】10Gigabit Ethernet 2【10GBASE-*】
http://echo.5ch.net/test/read.cgi/hard/1422464742/
【10GbE】10Gigabit Ethernet【10GBASE-*】
http://peace.5ch.net/test/read.cgi/hard/1208537897/ 勝手にIP?mac address?OUI?と全力で勘違いしてた。
調子こいてごめんなさい >>319
くそほど細いから安心しろ
5C同軸より圧倒的に細い >>321
サンキュー。
コネクタが5C同軸より小さい、でいいんだよね？ >>322
コネクタ頭はおなじか少しでかいくらいかな
2連LCと同じくらいっていえばわかりやすい？ SFP+初めて買ってみようと思うのだけどメーカーによって互換性とかあるのよく分からないな
購入予定の物にはCS4227が使われているのだけどそれにスイッチやケーブルも合わせなければいけないのだろうか >>323
ありがとう。
2連LCだと16φはやっぱりキツイかな。
ケーブルだけ買ってちょっと夢見ること検討するよ。 >>323
8芯のケーブルで自前で頭つけるかメカスプでつないじゃえ。 >>327
MTコネクタの8芯なら16mmの配管でも余裕そうなんだが地下配線用みたいで自作が必要みたい。
UTPのコネクタ付け程度なら自前でやるんだが光は知識がない上に難易度も価格も高いからな… >>325
成端した後、一時的にコネクタを熱収縮チューブで包んで処理し、ローションを塗りたくってPF管にヌルッと挿入。
最後まで通ったら熱収縮チューブを取り除く。 >>329
配線通しはあるからなんとかなるかも…だな。
で、ケーブルはまだfs.comに注文できてない。
注文者情報に県名書く欄なく躊躇しているんだよね。
そもそも日本語で住所記入していいのか…と。 個人宅。CRS309発注、到着待ち。サーバ間スイッチの予定。
既存のHP 1810-24Gv2からでは渡りが1Gになってしまうので
SFP+アップリンク付きアクセススイッチに入れ替えたくなった。
希望は1G*16ポート以上 + SFP+*1以上で、ファンレス。
fs.comのS3900-24F4Sなんかいいと思うのですが
同社のスイッチ使ったことある方いませんか。
https://www.fs.com/jp/products/72945.html ７日に初めてfs.comでSFP28ケーブル注文して今日届いた。在庫品は速いな。
在庫無い奴はまだ発送されてないが、同時に注文してもちゃんとバラバラに送ってくれるのね。
ここはマジで安いし商品もしっかりしてていいな。ステータスも常時更新されるし、
メールも日本語で来るしから安心感がある。今後も使うわ。
ちなみに住所は日本語で書いて全く問題ない。発送伝票には自動で翻訳されるようだｗ あと、ケーブル1本でもChinaPostとかじゃなくて、ちゃんとFedExで来るのがいいわ MikroTikの10G SWって、
Tested ambient temperature -40°C to 70°C
とかなってるんだけど、
これって航空機とか産業用とか軍事用のグレード？ 北欧とか、今日はちょっと寒いかなって日が-40℃とか。 Intel製NICが偽物多いってこと知らずに、尼でX550-T1を17,000で購入したんだけど、X550-T1って相場どんなもんなの？
やらかしたかなぁ・・・ >>339
下手に出処が分からない所ではなく、AliExpressでunicaca製の同製品買えば良かったのに… intel 10G nic って、amazonやソフマップ、ジョーシンが販売するやつの値段が7万3000円くらいなのに、
無名業者がマケプレで2万円以下で売ってるんだよな
なぜこんなにamazonとマケプレでここまで価格差があるのかは不明
2万円intel 10G nicは、NICチップ自体はちゃんとIntelのが使われてる模様だが、
カードがintel正規品かどうかはわからない 取りあえず尼で買った奴が明日届くから偽物っぽかったら返品するわ。 >>341
マケプレの安物は新品と偽って中古が来ることがある fs.comで互換性Genericなケーブル頼んだら
何のスイッチで使おうとしてるか教えて、だって。優しいなあ。
Moreover, I notice you bought generic compatible DAC. To assure the 100% compatibility, may I know the switch model for these cables?
So that I will ask tech team to test them in lab before shipment. 単にi2c romに焼く内容を決めたいだけでしょ。
microSDが刺せるようになっててユーザ側で書き換えできると面白いのに。 ハブは新品(QNAP QSW-1208-8C)を買ったけど、いろんなカードを安く集めて比較
したいというのもあって、カードとSFPはヤフオクで中古品をあさっています。
現在手元にあるカードは、
IBM ................. 49Y4252 (Emulex/BroadCom OCe10102) ×2
IBM ................. 49Y7951 (Emulex/BroadCom Oce11102) ×1
IBM ................. 95Y3766 (Emulex/BroadCom OCe11102) ×2
Intel ................. X520-SR2 (Intel 82599) ×1
SuperＭicro ................. AOC-STGN-I2S (Intel 82599ES) ×1
ですね。 落札価格はカード単体で2500円〜6000円くらい。 今のところ、どれも
問題なく使えています。
X520-SR2は、IntelのSFP×2付きで6000円でした。 HP MicroServer Gen8で使って
いましたが、AOC-STGN-I2Sの方が基板が小さいので、そちらへ交換しました。
SFPはfs.comの新品でもいいかなと思うけど、既にもう10個くらい持ってるから、
次にまとまった数を入手したい時に利用しようかなと。 LC/LC光ケーブルと、
DACケーブルは、10Gtek製のをAmazonで買っています。 面白い10Gカード？
(1)メラのconnectX2とか3とか
QSFP-SFP+アダプタで10gbeにもなるのが変態的でよい。
(2)myricomのSFP+のやつ
mdio_rwコマンドでi2cを読み書きできる。もっとも書けるsfpは少ない。
(3)broadcom br1860-2f
片方を10gbe、もう片方をfibrechannelに使える(fcoeではなく）。ただベンダロックあり。 broadcomじゃないや。brocade→qlogicだた。 ConnextX-2とかのRDMAってどうなんですかね？
対応するOSだったらかなり速度が向上するんでしょうか？
10GBeでRDMAに対応していて安価に買えるものってあまり無いような気がして。
あとほんの少し低消費電力らしいし。 rdma? smb direct? 昔ibスレに対応してるか判断コマンドとか
測定結果とかも書いたはずなんで適当にみてみて。
10gbeはどうせib qdrより遅いと思ってるのであんまりチェックする気はない。 >>349
Mellanox Adapters Comparison Tableでググると機能比較がある。
connectx3からしかないが、IBでなくNICでRDMAやるならconnectx3 pro以上じゃないとダメに見える。
俺はconnectx4 lxだから3 proはできるか知らない。
因みに速度向上は仮想マシンでSR-IOVとの合わせ技の時に効果は顕著に現れる。
仮想マシン経由でない場合は気にしなくてもいいかな、とは思う。 WindowsとLinuxを繋いでいるときでRDMAを活用する方法はあるのだろうか？
smbもnfsもiscsiもどちらかのOSがRDMAに対応していない >>350
そうなんですね。
infinibandスレ今少し見てきました。
IB QDRはいいですね。1200MB/sとかいいですね。
>>351
こちらの資料には
RDMA over Converged Ethernet（RoCEのことでしょうか？）
っていう記述がありますが、IPoIB利用の時でしょうかね？
http://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX-2_VPI_Card.pdf
実は最近安かったのでConnectX-2を2枚とケーブルを衝動的に買ってしまいまして、
なんとかFreeNASとWindows 10 Pro を10GBe接続したんですけど、
あまり速度が速くなくて色々調べてるんですが、
Windows 10 Pro だとSMBダイレクトには対応しているけどRDMAには対応してないので、SMBダイレクトは使えないとか。
IBモードにするのがいいですかね。
無いと思っていましたがひょっとしてあるかもと探してみたら、
OpenSMがFreeNASに最初から入っているかもしれない？のを見つけましたので、IBモードいけるんじゃない？と思ってます。
時間のある時にIPoIBにしてみたいと思います。 Win10も普通の10Proはダメだけど、Workstations以上のエディションなら
RDMA使えるんじゃなかったっけ？ 尼からX550-T1届いたよ
外箱にintelのシール無し
YottaMarkなし
Intelロゴ潰れてる
ブラケットに廃熱用の穴無し
どう見ても偽物です。本当にありがとうございました。 >>353
proだとsmb directは有効にならないね。
windowsはsr-iovにしろvmqにしろsmb directにしろチェックが有効になっていても本当に設定が有効に効いているのかは別だから注意。
実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。
が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない？
少なくともlinuxは>>352が書いているようにiscsi/nfsを、windowsはsmbのみをサポートしてるんで普通に通信させるしかない。
ま、>>176が言うように仮想マシンでなければ遅い理由は別にあるかと。
例えrdmaが使えても遅いのは変わらないと思うよ。 >>355
Unicaca製なんだろうね
ドライバーはIntelのが使えるの？ Unicaca製のX550シリーズにはIntelロゴなんてない >>357
PCに組み込まず返品処理したから分からん。
幸いにして尼発送だったので。
ロゴ潰れてるっていうのは基盤のシルクプリントのロゴね
ttps://m.imgur.com/gallery/ptvyCnx
多分これと同じ物
ttps://m.ja.aliexpress.com/item/32847184599.html?trace=wwwdetail2mobilesitedetail&productId=32847184599&productSubject=FANMI-PCI-E-X4-X550-T1-10G-Ethernet-Server-Adapter-Single-Port-RJ45-Converged-Network-Adapter 安い順にIntel NIC買ってひたすら返品するマシーンと化せば反省するのか?(誰が?) >>360
流石に懲りたしIntelNICに拘ってないからASUSのXG-C100Cポチったよ…
後さっきの画像見れなかったので
ttps://m.imgur.com/a/ptvyCnx mac miniが10GbEを11000円で付けれるんだけど熱凄いのかな >>356
> 実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。
でも、お高いんでしょう？
> が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない？
してるものだとばかり思ってました。
調べたらsambaの開発チームの人がLinuxのSMB direct用のカーネルを開発中らしいですね。
カーネルからいじらないと無理ならFreeBSD系はかなり先でしょうね。
このリンクにあるソースの進捗状況に「SMB directの読み込みはcomplete」と書いてありましたから、今年中にLinuxに対応するかも？
https://www.samba.org/~metze/presentations/2018/SDC/StefanMetzmacher_SDC2018-SMB-Direct-Status-rev1-presentation.pdf
まあ、遅いと言っても、infinibandのイーサネットモードで5Gbpsは超えてるのですけど、IPoIBでまだ上があるなら狙いたいなと。
SMBマルチチャンネルは今でも使えてて、5GBps+1GBpsでは使えてるんですけどね。 >>364
> このリンクにあるソースの進捗状況
このPDFファイルに書いてあるリンク先の
https://git.samba.org/?p=metze/samba/wip.git;a=shortlog;h=refs/heads/master3-smbdirect
に書いてあるソースの進捗状況です >>364
smbマルチチャンネルは同じ速度でリンクアップしてないと有効にならない、ってあったな。
> でも、お高いんでしょう？
pro workstationがsa無しで買えるかどうかはわからんがL+SAならそれを含めてenterpriseやLTSCまで使用できる。
10だと電話で申請が必要だけどkmsキーも使用可能だとかVLは使い勝手がいいよ。
windows server評価版をADにしてkmsキーを設定すればosインストール後ad参加するだけで認証できる。
windows serverの評価・勉強ができて一石二鳥。
因みに今だとL+SAで大体4万、SA更新に2万くらい。 >>366
SMBマルチチャンネルは同じ速度じゃなくてもいけるみたいですよ。
988Mbps + 4.7Gbpsですね。この時よりもちょっと速くて最終的に約1Gbps+5.2Gbps程度です。
https://imgur.com/A4onA8y
ここに測定した時のことをいろいろ書いてます
NAS・自宅サーバを自作するスレ その5
https://egg.5ch.net/test/read.cgi/jisaku/1510655652/618 >>367
10G+1Gの時は1Gには流れなかったような気がするんだけどなぁ。
ケーブルは4レーンのsdrですかね？
ケーブル変えるだけで爆速になりそうですね。 10GBASE-Tに対応可能なCAT6A準拠のRJ-45中継アダプター「ADT-EX-6ASTP」、サンワサプライが発売
サンワサプライ株式会社は、10GBASE-Tに対応可能なCAT6A LANケーブルを延長できるRJ-45中継アダプター「ADT-EX-6ASTP」を発売した。価格（税別）は1600円。
ケーブル構造はストレート全結線で、STPケーブル・UTPケーブルのいずれにも使用可能。同社では、使わなくなったLANケーブルや、
レイアウト変更などにより距離が合わなくなったLANケーブルを再活用できるとしている。
https://internet.watch.impress.co.jp/docs/news/1184602.html >>368
ケーブルはこれなんですけどね。ヤフオクですけど。
https://www.serverworlds.com/netapp-112-00177-sas-qsfp-to-qsfp-2m-cable/
SAS用ですけどQSFPって書いてあるからinfinibandも行けんじゃね？って思って買いました。失敗ですかね。
1Gbpsx4chで4Gbpsまでのデータレートなんですかね？
いいケーブルに替えると速くなりますかね？ qsfpケーブルの仕様はこんな感じだとか。
http://www.aim-ele.co.jp/products/qsfp/
sasってことで4x6Gbpsになるはずだけど1本だけしか有効になってないみたいだね。
そんことあるのかどうかは知らないけど。 >>363
省電力な10GbE ICが開発されたって聞かないから他と似たようなもんじゃないの
つまり熱いと思われ >>371
QSFPは知らなくて、写真だとサイズ感が判らないけど、それって普通に、Mini-SASの
External 接続用のケーブル(SFF-8088 to SFF-8088)じゃないですかね？
SATA/SAS用の、信号のみがHDD4台分収納されているやつ。 ただ、キー溝がないようにも
見えるからMini-SASじゃないか。
「sff-8436 to sff-8088」でググると、両端のコネクタだけ違う変換ケーブルもある
みたいだから、電気的特性は同じってことなのか？ >>363
1ポートは今は3Wぐらいのものでは。初めから設計に織り込まれていればどうということはない。 >>375
mac miniはAQC107だから6Wぐらいだよ
まあちゃんと考えて設計してればどうってこともないだろうが >>375
3wにするには28nmから14nmにシュリンクしないとな >>367
10Gと1GだとSMBマルチチャネルできないのですが、設定とかコツがあるのですかね。
10Gを1Gにリンク速度を下げると1G+1Gでマルチチャネルで動くのですが。 >>379
サーバー側とクライアント側にそれぞれ何を使ってますか？
私はFreeNAS11.2-U3 のsamba 4.9.4を使ってます。クライアントはWindows10 Pro 1803 64bit です。 >>379
デフォルトだと同じ速度の速いやつでしかされないよ
当たり前だけど、混ぜて使うと遅いのに足引っ張られるので有効にならない
コマンド叩いて設定すれば CRS305-1G-4S+IN、お安いのにルーターにもなるのね
しかし、電源LEDが常夜灯みたいに眩しい
設定色々細かく出来るけど、電源LEDの輝度を落とせないのかな
(時間が経過したら全LED消灯じゃなくて) >>382
養生テープでも貼っとけば？
アナログな解決策だが なかなかスイッチが安くならないですね
カードは安くなったのに まあ今の水準は8ポート3万とか4ポート2万とかそういうの。 >>380
追加で。
10Gと1Gでマルチチャンネルが出来ているのはこちらがヒントになるかもしれません。
https://www.samba.org/samba/history/samba-4.4.0.html
SMB3 Multi-Channel
（中略）
Samba has to report interface speeds and some capabilities to
the client. On Linux, Samba can auto-detect the speed of an
interface. But to support other platforms, and in order to be
able to manually override the detected values, the "interfaces"
smb.conf option has been given an extended syntax, by which an
interface specification can additionally carry speed and
capability information. The extended syntax looks like this
for setting the speed to 1 gigabit per second:
interfaces = 192.168.1.42;speed=1000000000
This extension should be used with care and are mainly intended
for testing. See the smb.conf manual page for details.
CAVEAT: While this should be working without problems mostly,
there are still corner cases in the treatment of channel failures
that may result in DATA CORRUPTION when these race conditions hit.
It is hence
NOT RECOMMENDED TO USE MULTI-CHANNEL IN PRODUCTION
-------
ということで、FreeNAS（FreeBSD）はother platformなので速度自動認識ができないのが理由かもしれません。
Linuxだと逆にsmb.conf に「両方10Gだよ。」とか書き込むと何かあるかも？NOT RECOMMENDEDですけど。 ASRockから発売される
11axと2.5GLanついてるマザーボードどうですかね？ >>389
x4とかの長いスロット足りないからASRockのにしたけど、これに縛られずマザー選んで 5GbE のPCIe x1
カード刺した方が良かったかなって思考になった。何だかんだ2.5倍分は速くはなるんで重宝はしてる。 蟹のUSB3.0 2.5GbEは少し前に出てたけどAquantiaの5GbEも出るか
PCでも使えるのかな >>393
普通に使えるっぽい
> テスト環境：
> 2台のWindows®コンピューター間でのファイル転送。互いに1台のQNA-UC5G1Tに接続。
> クライアントPC：Windows 10 Pro、Intel Core i7-6770 3.40GHz、64GB RAM、QNA-UC5G1Tアダプター、MTU 9000 >>394
ありがとう
Gen2じゃないのにパフォーマンスは割と一杯まで出てるみたいだし
米尼で79ドルで出てるから蟹と比べても割とありかもなぁ >>388
有益な情報ありがとうございます。
linuxホストなので試してみます。 >>386
CRS309-1G-8S+ とかの話よ？ 直結で構わないので、Intel X710-D4（NASがサポートしている4ポートNICはこれだけだった）に10GBASE-T SFP+モジュールを4個ぶっ刺して、10GBASE-T 4本繫げようと思ってるんだけど構成的に無謀？
スイッチを間に入れて、そこに10GBASE-T SFP+モジュールを刺した方が安定すんのかな？ 10GBASE-T SFP+モジュールは使ったことないから是非使ってレビューしてみてくれ
よさそうだったら俺も買うわ
まだうちでは使い道ないけど
ところで直結でNASに接続するとPCの電源切った時にNAS側でリンクダウンの警告がでて、
うざかったので無駄にスイッチを入れた記憶がある 直結のリンクダウンとかの動作は大丈夫
既にNAS-PCの両方にX550-T2載っけて直結してるので
今度更にPC増やすのでどうしたもんかなーと色々考えていたところ
全部SFP+で組むのが一番なのかなぁ… インテルドライバが10GBASE-T SFP+をサポートしてる気がしない。
ドライバソース読んでないので確実ではないが。
それより、X710-T4が動くんじゃないの？ >>402
X710-T4をNASがサポートしてないから困ってる
実際ドライバのバージョンを覗いてみたら古いんだよね
X710-T4をPCに刺すことも考えてはみたんだけど、まあもうちょい費用や構成を検討してみます ドライバがsfp+側関与してるの？ファームじゃなくて？ そんな高価なカードを買う人に言うことではないかもしれませんが、
普通のマザーやCPUではないんですよね？
普通のマザーボードのチップセット側にNICを刺した場合だと・・・
40Gbps NIC(X710等)
↓
PCIe 3.0(8.0 GT/s) x 8 lane
↓
Z390とか
↓
DMI3.0(8.0 GT/s) x4 .....(1)
↓
CPU
↓
Memory
ということになり、
(1) 3.938GB/sec(32GT/s)の速度がボトルネックになりますよね？
10Gbps=1.25GB/sec
30Gbps=3.75BB/sec
40Gbps=5.00GB/sec
なので、3本と同じぐらいになってしまいますね。
だからCPU側のPCI expressレーン16本を8と8に分けてグラフィックと40G NICに割り当てないといけないですかね？
普通じゃないCPUにPCI expressレーンが28本とか44本とか付いてるやつを使わないと40GクラスのNICは性能が頭打ちなんですかね。 LANチップにはAquantia AQC11Uを採用
対応OSはWindows 10/8.1/8/7に加え、Aquantiaの公式ページからドライバーをダウンロードすることで、macOSやLinuxでも動作するとしている >>403
X710-DA4ってDACのみサポートのような
ケーブルの種類:SFP+ Direct Attached Twin Axial Cabling up to 10m
としか書いてないし(他のモデルだとDACとFiberが併記されてるのがある) >>406
難しいこと考えずにお前がGPU用だと思っているスロットに10G〜50G NICを刺せばいい。
今時x16x8スロットがgpu専用ってことはないし、もっと言えばGPUがなければ起動しないわけではない。
OSのインストール、NW設定さえすればGPUがなくてもRDPなりSSHなりのリモートアクセスが可能。
つまり安物でも大丈夫。 >>409
x520-da2を見てみたが同じ表記だな。
そして自分はsfp+とdac両方使ってる。
気にしすぎだよ。 X710-DA2使ってるが、SFP+でも問題ないな >>399
>>406
>>410
直結で使うのならサーバーはいいとしてもクライアントでGPUを使えないのは痛くない？
まあ最近はCPU内蔵のGPUも良くなってきてるけど
直結ならFC、Infiniband、SAS?とかもいいんじゃないですか？NASが許せば
でも40Gを使い切るHDD帯域だとHDD一本が250MB/s(NAS用最高レベル？)だとして20Gbpsでも2500MB/sなので
HDD10本のストライプでギリギリ使い切る程度なので、20Gbpsあれば十分じゃないですか？
40Gbpsの帯域を潰すなら最低20本のHDDが必要な計算になりますよね
HDDじゃなくSSDを使うにしてもどちらも今度はストレージの帯域も問題になってきますよね
PCIeはストレージ、NIC両方CPU直結じゃないとダメでしょうから、
CPU側のPCIがx8を2ソケット以上に分けられるCPUとマザーが要りますか。
i9やXeonクラスのCPUのPCIe本数の多いもの以外は40Gとか要りますかね？ なんか相談されてない部分であーだこーだ外野から言われても困っちゃうんじゃないのかね そうですね。
直結といっても1対4の直結で、同時使用しないならどこのPCIに指しても同じですしね
失礼しました ■ このスレッドは過去ログ倉庫に格納されています
