【10GbE】10Gigabit Ethernet 7【10GBASE-T等】
■ このスレッドは過去ログ倉庫に格納されています
10ギガビットイーサ(10GBASE-*)について語るスレ 価格がこなれてきた10GBASE-T(UTP)は勿論、CX4、光ファイバー等も対象です。 過去スレ 【10GbE】10Gigabit Ethernet 6【10GBASE-T等】 https://mevius.5ch.net/test/read.cgi/hard/1533077761/ 【10GbE】10Gigabit Ethernet 5【10GBASE-T等】 https://mevius.2ch.net/test/read.cgi/hard/1515779986/ 【10GbE】10Gigabit Ethernet 4【10GBASE-T等】 http://mevius.5ch.net/test/read.cgi/hard/1493036840/ 【10GbE】10Gigabit Ethernet 3【10GBASE-T等】 http://echo.5ch.net/test/read.cgi/hard/1476100955/ 【10GbE】10Gigabit Ethernet 2【10GBASE-*】 http://echo.5ch.net/test/read.cgi/hard/1422464742/ 【10GbE】10Gigabit Ethernet【10GBASE-*】 http://peace.5ch.net/test/read.cgi/hard/1208537897/ 40GのNICが割と安くebayにあるんだがその結線に使用するMPOケーブルの大きさってどんなもんだろ? 16φや22φの配管に通せる代物だろか? 勝手にIP?mac address?OUI?と全力で勘違いしてた。 調子こいてごめんなさい >>319 くそほど細いから安心しろ 5C同軸より圧倒的に細い >>321 サンキュー。 コネクタが5C同軸より小さい、でいいんだよね? >>322 コネクタ頭はおなじか少しでかいくらいかな 2連LCと同じくらいっていえばわかりやすい? SFP+初めて買ってみようと思うのだけどメーカーによって互換性とかあるのよく分からないな 購入予定の物にはCS4227が使われているのだけどそれにスイッチやケーブルも合わせなければいけないのだろうか >>323 ありがとう。 2連LCだと16φはやっぱりキツイかな。 ケーブルだけ買ってちょっと夢見ること検討するよ。 >>323 8芯のケーブルで自前で頭つけるかメカスプでつないじゃえ。 >>327 MTコネクタの8芯なら16mmの配管でも余裕そうなんだが地下配線用みたいで自作が必要みたい。 UTPのコネクタ付け程度なら自前でやるんだが光は知識がない上に難易度も価格も高いからな… >>325 成端した後、一時的にコネクタを熱収縮チューブで包んで処理し、ローションを塗りたくってPF管にヌルッと挿入。 最後まで通ったら熱収縮チューブを取り除く。 >>329 配線通しはあるからなんとかなるかも…だな。 で、ケーブルはまだfs.comに注文できてない。 注文者情報に県名書く欄なく躊躇しているんだよね。 そもそも日本語で住所記入していいのか…と。 個人宅。CRS309発注、到着待ち。サーバ間スイッチの予定。 既存のHP 1810-24Gv2からでは渡りが1Gになってしまうので SFP+アップリンク付きアクセススイッチに入れ替えたくなった。 希望は1G*16ポート以上 + SFP+*1以上で、ファンレス。 fs.comのS3900-24F4Sなんかいいと思うのですが 同社のスイッチ使ったことある方いませんか。 https://www.fs.com/jp/products/72945.html 7日に初めてfs.comでSFP28ケーブル注文して今日届いた。在庫品は速いな。 在庫無い奴はまだ発送されてないが、同時に注文してもちゃんとバラバラに送ってくれるのね。 ここはマジで安いし商品もしっかりしてていいな。ステータスも常時更新されるし、 メールも日本語で来るしから安心感がある。今後も使うわ。 ちなみに住所は日本語で書いて全く問題ない。発送伝票には自動で翻訳されるようだw あと、ケーブル1本でもChinaPostとかじゃなくて、ちゃんとFedExで来るのがいいわ MikroTikの10G SWって、 Tested ambient temperature -40°C to 70°C とかなってるんだけど、 これって航空機とか産業用とか軍事用のグレード? 北欧とか、今日はちょっと寒いかなって日が-40℃とか。 Intel製NICが偽物多いってこと知らずに、尼でX550-T1を17,000で購入したんだけど、X550-T1って相場どんなもんなの? やらかしたかなぁ・・・ >>339 下手に出処が分からない所ではなく、AliExpressでunicaca製の同製品買えば良かったのに… intel 10G nic って、amazonやソフマップ、ジョーシンが販売するやつの値段が7万3000円くらいなのに、 無名業者がマケプレで2万円以下で売ってるんだよな なぜこんなにamazonとマケプレでここまで価格差があるのかは不明 2万円intel 10G nicは、NICチップ自体はちゃんとIntelのが使われてる模様だが、 カードがintel正規品かどうかはわからない 取りあえず尼で買った奴が明日届くから偽物っぽかったら返品するわ。 >>341 マケプレの安物は新品と偽って中古が来ることがある fs.comで互換性Genericなケーブル頼んだら 何のスイッチで使おうとしてるか教えて、だって。優しいなあ。 Moreover, I notice you bought generic compatible DAC. To assure the 100% compatibility, may I know the switch model for these cables? So that I will ask tech team to test them in lab before shipment. 単にi2c romに焼く内容を決めたいだけでしょ。 microSDが刺せるようになっててユーザ側で書き換えできると面白いのに。 ハブは新品(QNAP QSW-1208-8C)を買ったけど、いろんなカードを安く集めて比較 したいというのもあって、カードとSFPはヤフオクで中古品をあさっています。 現在手元にあるカードは、 IBM ................. 49Y4252 (Emulex/BroadCom OCe10102) ×2 IBM ................. 49Y7951 (Emulex/BroadCom Oce11102) ×1 IBM ................. 95Y3766 (Emulex/BroadCom OCe11102) ×2 Intel ................. X520-SR2 (Intel 82599) ×1 SuperMicro ................. AOC-STGN-I2S (Intel 82599ES) ×1 ですね。 落札価格はカード単体で2500円〜6000円くらい。 今のところ、どれも 問題なく使えています。 X520-SR2は、IntelのSFP×2付きで6000円でした。 HP MicroServer Gen8で使って いましたが、AOC-STGN-I2Sの方が基板が小さいので、そちらへ交換しました。 SFPはfs.comの新品でもいいかなと思うけど、既にもう10個くらい持ってるから、 次にまとまった数を入手したい時に利用しようかなと。 LC/LC光ケーブルと、 DACケーブルは、10Gtek製のをAmazonで買っています。 面白い10Gカード? (1)メラのconnectX2とか3とか QSFP-SFP+アダプタで10gbeにもなるのが変態的でよい。 (2)myricomのSFP+のやつ mdio_rwコマンドでi2cを読み書きできる。もっとも書けるsfpは少ない。 (3)broadcom br1860-2f 片方を10gbe、もう片方をfibrechannelに使える(fcoeではなく)。ただベンダロックあり。 broadcomじゃないや。brocade→qlogicだた。 ConnextX-2とかのRDMAってどうなんですかね? 対応するOSだったらかなり速度が向上するんでしょうか? 10GBeでRDMAに対応していて安価に買えるものってあまり無いような気がして。 あとほんの少し低消費電力らしいし。 rdma? smb direct? 昔ibスレに対応してるか判断コマンドとか 測定結果とかも書いたはずなんで適当にみてみて。 10gbeはどうせib qdrより遅いと思ってるのであんまりチェックする気はない。 >>349 Mellanox Adapters Comparison Tableでググると機能比較がある。 connectx3からしかないが、IBでなくNICでRDMAやるならconnectx3 pro以上じゃないとダメに見える。 俺はconnectx4 lxだから3 proはできるか知らない。 因みに速度向上は仮想マシンでSR-IOVとの合わせ技の時に効果は顕著に現れる。 仮想マシン経由でない場合は気にしなくてもいいかな、とは思う。 WindowsとLinuxを繋いでいるときでRDMAを活用する方法はあるのだろうか? smbもnfsもiscsiもどちらかのOSがRDMAに対応していない >>350 そうなんですね。 infinibandスレ今少し見てきました。 IB QDRはいいですね。1200MB/sとかいいですね。 >>351 こちらの資料には RDMA over Converged Ethernet(RoCEのことでしょうか?) っていう記述がありますが、IPoIB利用の時でしょうかね? http://www.mellanox.com/related-docs/prod_adapter_cards/ConnectX-2_VPI_Card.pdf 実は最近安かったのでConnectX-2を2枚とケーブルを衝動的に買ってしまいまして、 なんとかFreeNASとWindows 10 Pro を10GBe接続したんですけど、 あまり速度が速くなくて色々調べてるんですが、 Windows 10 Pro だとSMBダイレクトには対応しているけどRDMAには対応してないので、SMBダイレクトは使えないとか。 IBモードにするのがいいですかね。 無いと思っていましたがひょっとしてあるかもと探してみたら、 OpenSMがFreeNASに最初から入っているかもしれない?のを見つけましたので、IBモードいけるんじゃない?と思ってます。 時間のある時にIPoIBにしてみたいと思います。 Win10も普通の10Proはダメだけど、Workstations以上のエディションなら RDMA使えるんじゃなかったっけ? 尼からX550-T1届いたよ 外箱にintelのシール無し YottaMarkなし Intelロゴ潰れてる ブラケットに廃熱用の穴無し どう見ても偽物です。本当にありがとうございました。 >>353 proだとsmb directは有効にならないね。 windowsはsr-iovにしろvmqにしろsmb directにしろチェックが有効になっていても本当に設定が有効に効いているのかは別だから注意。 実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。 が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない? 少なくともlinuxは>>352 が書いているようにiscsi/nfsを、windowsはsmbのみをサポートしてるんで普通に通信させるしかない。 ま、>>176 が言うように仮想マシンでなければ遅い理由は別にあるかと。 例えrdmaが使えても遅いのは変わらないと思うよ。 >>355 Unicaca製なんだろうね ドライバーはIntelのが使えるの? Unicaca製のX550シリーズにはIntelロゴなんてない >>357 PCに組み込まず返品処理したから分からん。 幸いにして尼発送だったので。 ロゴ潰れてるっていうのは基盤のシルクプリントのロゴね ttps://m.imgur.com/gallery/ptvyCnx 多分これと同じ物 ttps://m.ja.aliexpress.com/item/32847184599.html?trace=wwwdetail2mobilesitedetail&productId=32847184599&productSubject=FANMI-PCI-E-X4-X550-T1-10G-Ethernet-Server-Adapter-Single-Port-RJ45-Converged-Network-Adapter 安い順にIntel NIC買ってひたすら返品するマシーンと化せば反省するのか?(誰が?) >>360 流石に懲りたしIntelNICに拘ってないからASUSのXG-C100Cポチったよ… 後さっきの画像見れなかったので ttps://m.imgur.com/a/ptvyCnx mac miniが10GbEを11000円で付けれるんだけど熱凄いのかな >>356 > 実際に有効にしたいならpro workstationかenterprise/enterprise ltscにする必要がある。 でも、お高いんでしょう? > が…freenas側はsmb direct(rdmaでのsmb)をサポートしてないんじゃない? してるものだとばかり思ってました。 調べたらsambaの開発チームの人がLinuxのSMB direct用のカーネルを開発中らしいですね。 カーネルからいじらないと無理ならFreeBSD系はかなり先でしょうね。 このリンクにあるソースの進捗状況に「SMB directの読み込みはcomplete」と書いてありましたから、今年中にLinuxに対応するかも? https://www.samba.org/ ~metze/presentations/2018/SDC/StefanMetzmacher_SDC2018-SMB-Direct-Status-rev1-presentation.pdf まあ、遅いと言っても、infinibandのイーサネットモードで5Gbpsは超えてるのですけど、IPoIBでまだ上があるなら狙いたいなと。 SMBマルチチャンネルは今でも使えてて、5GBps+1GBpsでは使えてるんですけどね。 >>364 > このリンクにあるソースの進捗状況 このPDFファイルに書いてあるリンク先の https://git.samba.org/?p=metze/samba/wip.git ;a=shortlog;h=refs/heads/master3-smbdirect に書いてあるソースの進捗状況です >>364 smbマルチチャンネルは同じ速度でリンクアップしてないと有効にならない、ってあったな。 > でも、お高いんでしょう? pro workstationがsa無しで買えるかどうかはわからんがL+SAならそれを含めてenterpriseやLTSCまで使用できる。 10だと電話で申請が必要だけどkmsキーも使用可能だとかVLは使い勝手がいいよ。 windows server評価版をADにしてkmsキーを設定すればosインストール後ad参加するだけで認証できる。 windows serverの評価・勉強ができて一石二鳥。 因みに今だとL+SAで大体4万、SA更新に2万くらい。 >>366 SMBマルチチャンネルは同じ速度じゃなくてもいけるみたいですよ。 988Mbps + 4.7Gbpsですね。この時よりもちょっと速くて最終的に約1Gbps+5.2Gbps程度です。 https://imgur.com/A4onA8y ここに測定した時のことをいろいろ書いてます NAS・自宅サーバを自作するスレ その5 https://egg.5ch.net/test/read.cgi/jisaku/1510655652/618 >>367 10G+1Gの時は1Gには流れなかったような気がするんだけどなぁ。 ケーブルは4レーンのsdrですかね? ケーブル変えるだけで爆速になりそうですね。 10GBASE-Tに対応可能なCAT6A準拠のRJ-45中継アダプター「ADT-EX-6ASTP」、サンワサプライが発売 サンワサプライ株式会社は、10GBASE-Tに対応可能なCAT6A LANケーブルを延長できるRJ-45中継アダプター「ADT-EX-6ASTP」を発売した。価格(税別)は1600円。 ケーブル構造はストレート全結線で、STPケーブル・UTPケーブルのいずれにも使用可能。同社では、使わなくなったLANケーブルや、 レイアウト変更などにより距離が合わなくなったLANケーブルを再活用できるとしている。 https://internet.watch.impress.co.jp/docs/news/1184602.html >>368 ケーブルはこれなんですけどね。ヤフオクですけど。 https://www.serverworlds.com/netapp-112-00177-sas-qsfp-to-qsfp-2m-cable/ SAS用ですけどQSFPって書いてあるからinfinibandも行けんじゃね?って思って買いました。失敗ですかね。 1Gbpsx4chで4Gbpsまでのデータレートなんですかね? いいケーブルに替えると速くなりますかね? qsfpケーブルの仕様はこんな感じだとか。 http://www.aim-ele.co.jp/products/qsfp/ sasってことで4x6Gbpsになるはずだけど1本だけしか有効になってないみたいだね。 そんことあるのかどうかは知らないけど。 >>363 省電力な10GbE ICが開発されたって聞かないから他と似たようなもんじゃないの つまり熱いと思われ >>371 QSFPは知らなくて、写真だとサイズ感が判らないけど、それって普通に、Mini-SASの External 接続用のケーブル(SFF-8088 to SFF-8088)じゃないですかね? SATA/SAS用の、信号のみがHDD4台分収納されているやつ。 ただ、キー溝がないようにも 見えるからMini-SASじゃないか。 「sff-8436 to sff-8088」でググると、両端のコネクタだけ違う変換ケーブルもある みたいだから、電気的特性は同じってことなのか? >>363 1ポートは今は3Wぐらいのものでは。初めから設計に織り込まれていればどうということはない。 >>375 mac miniはAQC107だから6Wぐらいだよ まあちゃんと考えて設計してればどうってこともないだろうが >>375 3wにするには28nmから14nmにシュリンクしないとな >>367 10Gと1GだとSMBマルチチャネルできないのですが、設定とかコツがあるのですかね。 10Gを1Gにリンク速度を下げると1G+1Gでマルチチャネルで動くのですが。 >>379 サーバー側とクライアント側にそれぞれ何を使ってますか? 私はFreeNAS11.2-U3 のsamba 4.9.4を使ってます。クライアントはWindows10 Pro 1803 64bit です。 >>379 デフォルトだと同じ速度の速いやつでしかされないよ 当たり前だけど、混ぜて使うと遅いのに足引っ張られるので有効にならない コマンド叩いて設定すれば CRS305-1G-4S+IN、お安いのにルーターにもなるのね しかし、電源LEDが常夜灯みたいに眩しい 設定色々細かく出来るけど、電源LEDの輝度を落とせないのかな (時間が経過したら全LED消灯じゃなくて) >>382 養生テープでも貼っとけば? アナログな解決策だが なかなかスイッチが安くならないですね カードは安くなったのに まあ今の水準は8ポート3万とか4ポート2万とかそういうの。 >>380 追加で。 10Gと1Gでマルチチャンネルが出来ているのはこちらがヒントになるかもしれません。 https://www.samba.org/samba/history/samba-4.4.0.html SMB3 Multi-Channel (中略) Samba has to report interface speeds and some capabilities to the client. On Linux, Samba can auto-detect the speed of an interface. But to support other platforms, and in order to be able to manually override the detected values, the "interfaces" smb.conf option has been given an extended syntax, by which an interface specification can additionally carry speed and capability information. The extended syntax looks like this for setting the speed to 1 gigabit per second: interfaces = 192.168.1.42;speed=1000000000 This extension should be used with care and are mainly intended for testing. See the smb.conf manual page for details. CAVEAT: While this should be working without problems mostly, there are still corner cases in the treatment of channel failures that may result in DATA CORRUPTION when these race conditions hit. It is hence NOT RECOMMENDED TO USE MULTI-CHANNEL IN PRODUCTION ------- ということで、FreeNAS(FreeBSD)はother platformなので速度自動認識ができないのが理由かもしれません。 Linuxだと逆にsmb.conf に「両方10Gだよ。」とか書き込むと何かあるかも?NOT RECOMMENDEDですけど。 ASRockから発売される 11axと2.5GLanついてるマザーボードどうですかね? >>389 x4とかの長いスロット足りないからASRockのにしたけど、これに縛られずマザー選んで 5GbE のPCIe x1 カード刺した方が良かったかなって思考になった。何だかんだ2.5倍分は速くはなるんで重宝はしてる。 蟹のUSB3.0 2.5GbEは少し前に出てたけどAquantiaの5GbEも出るか PCでも使えるのかな >>393 普通に使えるっぽい > テスト環境: > 2台のWindows®コンピューター間でのファイル転送。互いに1台のQNA-UC5G1Tに接続。 > クライアントPC:Windows 10 Pro、Intel Core i7-6770 3.40GHz、64GB RAM、QNA-UC5G1Tアダプター、MTU 9000 >>394 ありがとう Gen2じゃないのにパフォーマンスは割と一杯まで出てるみたいだし 米尼で79ドルで出てるから蟹と比べても割とありかもなぁ >>388 有益な情報ありがとうございます。 linuxホストなので試してみます。 >>386 CRS309-1G-8S+ とかの話よ? 直結で構わないので、Intel X710-D4(NASがサポートしている4ポートNICはこれだけだった)に10GBASE-T SFP+モジュールを4個ぶっ刺して、10GBASE-T 4本繫げようと思ってるんだけど構成的に無謀? スイッチを間に入れて、そこに10GBASE-T SFP+モジュールを刺した方が安定すんのかな? 10GBASE-T SFP+モジュールは使ったことないから是非使ってレビューしてみてくれ よさそうだったら俺も買うわ まだうちでは使い道ないけど ところで直結でNASに接続するとPCの電源切った時にNAS側でリンクダウンの警告がでて、 うざかったので無駄にスイッチを入れた記憶がある 直結のリンクダウンとかの動作は大丈夫 既にNAS-PCの両方にX550-T2載っけて直結してるので 今度更にPC増やすのでどうしたもんかなーと色々考えていたところ 全部SFP+で組むのが一番なのかなぁ… インテルドライバが10GBASE-T SFP+をサポートしてる気がしない。 ドライバソース読んでないので確実ではないが。 それより、X710-T4が動くんじゃないの? >>402 X710-T4をNASがサポートしてないから困ってる 実際ドライバのバージョンを覗いてみたら古いんだよね X710-T4をPCに刺すことも考えてはみたんだけど、まあもうちょい費用や構成を検討してみます ドライバがsfp+側関与してるの?ファームじゃなくて? そんな高価なカードを買う人に言うことではないかもしれませんが、 普通のマザーやCPUではないんですよね? 普通のマザーボードのチップセット側にNICを刺した場合だと・・・ 40Gbps NIC(X710等) ↓ PCIe 3.0(8.0 GT/s) x 8 lane ↓ Z390とか ↓ DMI3.0(8.0 GT/s) x4 .....(1) ↓ CPU ↓ Memory ということになり、 (1) 3.938GB/sec(32GT/s)の速度がボトルネックになりますよね? 10Gbps=1.25GB/sec 30Gbps=3.75BB/sec 40Gbps=5.00GB/sec なので、3本と同じぐらいになってしまいますね。 だからCPU側のPCI expressレーン16本を8と8に分けてグラフィックと40G NICに割り当てないといけないですかね? 普通じゃないCPUにPCI expressレーンが28本とか44本とか付いてるやつを使わないと40GクラスのNICは性能が頭打ちなんですかね。 LANチップにはAquantia AQC11Uを採用 対応OSはWindows 10/8.1/8/7に加え、Aquantiaの公式ページからドライバーをダウンロードすることで、macOSやLinuxでも動作するとしている >>403 X710-DA4ってDACのみサポートのような ケーブルの種類:SFP+ Direct Attached Twin Axial Cabling up to 10m としか書いてないし(他のモデルだとDACとFiberが併記されてるのがある) >>406 難しいこと考えずにお前がGPU用だと思っているスロットに10G〜50G NICを刺せばいい。 今時x16x8スロットがgpu専用ってことはないし、もっと言えばGPUがなければ起動しないわけではない。 OSのインストール、NW設定さえすればGPUがなくてもRDPなりSSHなりのリモートアクセスが可能。 つまり安物でも大丈夫。 >>409 x520-da2を見てみたが同じ表記だな。 そして自分はsfp+とdac両方使ってる。 気にしすぎだよ。 X710-DA2使ってるが、SFP+でも問題ないな >>399 >>406 >>410 直結で使うのならサーバーはいいとしてもクライアントでGPUを使えないのは痛くない? まあ最近はCPU内蔵のGPUも良くなってきてるけど 直結ならFC、Infiniband、SAS?とかもいいんじゃないですか?NASが許せば でも40Gを使い切るHDD帯域だとHDD一本が250MB/s(NAS用最高レベル?)だとして20Gbpsでも2500MB/sなので HDD10本のストライプでギリギリ使い切る程度なので、20Gbpsあれば十分じゃないですか? 40Gbpsの帯域を潰すなら最低20本のHDDが必要な計算になりますよね HDDじゃなくSSDを使うにしてもどちらも今度はストレージの帯域も問題になってきますよね PCIeはストレージ、NIC両方CPU直結じゃないとダメでしょうから、 CPU側のPCIがx8を2ソケット以上に分けられるCPUとマザーが要りますか。 i9やXeonクラスのCPUのPCIe本数の多いもの以外は40Gとか要りますかね? なんか相談されてない部分であーだこーだ外野から言われても困っちゃうんじゃないのかね そうですね。 直結といっても1対4の直結で、同時使用しないならどこのPCIに指しても同じですしね 失礼しました ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる