FreeBSDを語れ Part47
■ このスレッドは過去ログ倉庫に格納されています
いきなり12.0-RELEASEのportsリコンパイルi386-wineに蹴られた。 /etc/rcをsh以外で書けるようになったりinitが指定のプログラムにexec(2)できるようになったり
なにやら不穏な動きがあるな…… インストーラーが対応する前から手動で突っ込んでたから気が付かなかったけど
Root on ZFSで新規インストールしたら環境全部/に突っ込まれてた。
bectlの非アクティブ環境のマウント機能が/しかマウントしないのはこういうことだったのか。
昔は/以下のディレクトリはファイルシステムで分割するのが基本だったけど
いつからそうじゃなくなったんだろう。 FreeBSDに限った話じゃなくて申し訳ないんだが
ファイルサーバーを構築するにあたりスナップショット機能を利用したいんだけど
1.FreeBSD+UFS2 ←disk fullでpanicするらしいとの情報がある
2.FreeBSD+ZFS ←メモリ馬鹿食いとの情報がある
3.OpenIndiana+ZFS ←ZFS本家だがillumos系でファイルサーバー構築の情報はあまり多くない
どれが良いかな?もしくは他によりよい構成があるかな?
サーバーと言ってもGbE+SMB or NFSだしメモリたっぷりの強力マシンを用意するつもりはない
ZFSはスナップショット機能の他に仮想ボリューム機能もあるし機能的には魅力的 >>674
ZFSは1TBに付き1GBのメモリが目安
disk fullにするとトラブるので8割くらいに制限しとく
使用制限する代わりにあらかじめリザーブしておくのもいい
初期のOpenIndianaでZFS+iSCSI+CIFSで動かしていたがとても安定してた
おもにWindowsServerとESXiのストレージ用途
ただしお手軽とはいいがたいのでお勧めしない
FreeBSD+ZFS+iSCSI+CIFSはWindows10のストレージ用途で家で使ってるが安定してる
スレ的にはお勧めはメモリ積んでFreeBSD+ZFSよ freebsd-update で12.0にあげたらntpdが起動しなくなった。 それはntpグループのせいだろう。
とりあえず/usr/srcのUPDATING読んどけ >>675
既成のNASだとか高価な上にかゆいところに手が届かない可能性が
>>677
ありがと。必要なメモリ量はそんなものですか。思ったより少ないですね
もし判ったらで良いのですが
・ZFSを使うにあたりFreeBSDとOpenIndianaの差(メモリの要求量とか性能差とか)
・ZFSの耐障害性(稼働中に停電して落ちるなど)
あたりはどうでしょうか >>679 解決した。
pwd_mkdb -p /etc/master.passwd 実行後
chown ntpd:ntpd /var/db/ntp でパーミッション直して、
service ntpd start で起動できた。
https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=232921
これが参考になったな。 >>680
ZFSのメモリ量は最低限度だしZFS以外で使う分を別途計算しなきゃ。
同時アクセス前提の負荷ならプールにvdevが一個だけとか性能出ないんで複数にするかメモリマシマシ。
そもそもZFSはL2ARCとかZILにSSDを突っ込む前にメモリを64GBにするのが先とか言われてる。
うちで動いてるマシンはHP Microserverにメモリ16GBで3TBディスク5台のRAID-Z2で構成。
L2ARCもZILもSSD積んでるけど感触としてはやっぱりメモリ。絶対メモリ。
どっちもRAID-Z2でディスク障害を経験してるけど特にトラブル無し。 まあでも、現実的にはネットワークの限界の方が先に来ることが多いけどね。 えぇ・・・どっちなの!?
>>682
そんなマシン用意できないよw
クライアントは2台程度だけどサーバー上にアプリケーションをおいたりコンパイルしたりするから
I/O負荷はホームユースでよく想定されるコンテンツ置き場と比べたら高めになると思う
2台のクライアントで同時にコンパイルなんてことはやらないけど その程度ならディスク分の最低限メモリプラスアプリ分でいいんじゃね。
うちのマシンは12GBをZFSに割り振って残りをradius(jail)とsyncthing(jail)とSoftEther VPN(bhyve)を提供してて
Windows10マシン一台からiSCSIとCIFSでアクセスしてるけど別に不満無いよ。
負荷を見てもGbEを飽和させるほどのシーケンシャル読み書きが発生してもCPUは余裕ある。
先日11.2から12に上げるためにbuildworldしたけどその間もサービス提供がブロックされるほどの影響はなかったしかなり優秀よね。 それでもストレージを4TBと仮定するとメモリは8GB〜必要になる感じか
ちなみにメモリを節約するというケースだとどういう構成があり得るんだろうか
たとえばUFS2ならメモリは4GBもあれば十分だよね?仮想ボリューム機能はないけど
個人的にはメモリ4GBがボーダーラインになると考えていてこれを上回ると
デスクトップかかなり新しいノートしか選択肢がないような
逆に下回るなら古めのノートや昨今流行のSBCなどを使えることになる
うちにあるマシンで一番メモリが多いのはメインの8GB、次点が6GBで残りは4GB以下 12Rをbootonly CD imageから作ろうとしてひどい目にあっています
やっとxfce4-terminalが走って日本語が見えるようになりました
ところでここの皆さんは日本語入力を何にしてますか?
ibus-anthyをpkg installしようとすると、そんなものはないと
叱られますし、/usr/ports/japanese/ibus-anthyでビルドしようとすると
qt4何タラでopensslと矛盾するとか言って叱られます
こんなシステムを動くまで持っていける人ってどんな人達?
今OpenBSD + JDで書いてます 12Rをbootonly CD imageから作ろうとしてひどい目にあっています
やっとxfce4-terminalが走って日本語が見えるようになりました
ところでここの皆さんは日本語入力を何にしてますか?
ibus-anthyをpkg installしようとすると、そんなものはないと
叱られますし、/usr/ports/japanese/ibus-anthyでビルドしようとすると
qt4何タラでopensslと矛盾するとか言って叱られます
こんなシステムを動くまで持っていける人ってどんな人達?
今OpenBSD + JDで書いてます 12Rをbootonly CD imageから作ろうとしてひどい目にあっています
やっとxfce4-terminalが走って日本語が見えるようになりました
ところでここの皆さんは日本語入力を何にしてますか?
ibus-anthyをpkg installしようとすると、そんなものはないと
叱られますし、/usr/ports/japanese/ibus-anthyでビルドしようとすると
qt4何タラでopensslと矛盾するとか言って叱られます
こんなシステムを動くまで持っていける人ってどんな人達?
今OpenBSD + JDで書いてます >>691
本当だ
書き込みに失敗しましたってこれまた三回叱られたんだけどな
まぁ阿呆の見本見たいなもんですね >>692
お、今度は一回でOKだわ
OpenBSD+JD >>689
Qt4がまもなくEOLを迎えるからだよ
あえて使いたいならportsを使えって事 pkg install にはja-いるんじゃね?まずpkg searchで探そう 自分はずっとuim+skkで使ってる
uim-fepから離れられないだけだけど
変換候補が端末内に表示されるから、見た目がスッキリするというか何というか zfsはメモリ積んでなきゃ使い物にならん
armな環境だとufsしかない で、あんまりだってことでメモリ消費量を1/10だか1/100だかに削減する話をどっかで読んだ
本当にできるならよほど実装を性能に振ってたんだな メモリを抑える代わりにSSD必須とかになったら笑える
いや、別に笑わないけどさ どちらにせよ大容量ディスクを利用する環境じゃ使用容量に応じてメモリを大量に消費するようなファイルシステムは使えんでしょ デスクトップ用途のTrueOSがzfs強制で笑える。だいぶ前に試しにノートPCに入れて見たけどモッサリですぐに消した。 FreeBSD 12-R + JDで書き込んでいます >>705
うん、書けたね
日本語入力方法を教えてくれた方ありがとう
結局fcitx+mozcで書いています >>705
FreeBSDのperlはuse threads;が使える(これが良いのかどうかは
別にして)ので2chproxy.plを使っています
もちろんgtkmm3 + opensslです ZFSを常用してるとUFSには戻りたくないな
透過圧縮やらパーティション分割いらずやら
特にスナップショットはfreebsd-updateした後のカーネルパニックの処置が楽で手放したくない FreeBSD では 2chproxy.pl は ports にある
ports/japanese/p5-2chproxy >>703
ファイルシステム自体がメモリを要求しないものは代わりにシステムのファイルキャッシュを消費するだけだぞ。
いずれにしても保管庫用途でもなければメモリはあればあるほどいい。 ファイルシステムのために使えるメモリが減るとか勘弁 基本的に余った物理メモリ領域を使うだけだから他のプロセスが必要とすれば解放されるし
物理メモリが多いほどメモリ上に置いておける情報量と期間が増すわけだからパフォーマンスが上がる メモリ不足に陥ると使い物にならないレベルでパフォーマンスが落ちる
どちらにせよ数十GB程度のメモリしかない環境で使うようなファイルシステムじゃない どんだけ高トランザクションを期待しているのか知らねーが、別に4GBしかない
H/W上でも十分動くけどねぇ。 OIも4GBで普通にCIFSとiSCSIでGbEを飽和させてたな
むしろディスク数の問題で並行アクセスのパフォーマンスが出せないのが悩みだった
で、数十GB程度というと最低ラインは三桁GB付近からってことになるが、それ何に使う環境か興味があるな ZFSのチューンについては佐藤さんのブログが参考になる
すでに5年以上経ってるからそのまま鵜呑みにするのはためらうけど
https://www.allbsd.org/~hrs/diary/201307.html
その他にもZFS絡みの障害復旧に関することもたくさん乗ってるから興味深い ZFSに何十GBものメモリが必要だと主張している人は昔から見かけるけど具体的にどんな用途や帯域を想定しているんだ?
個人やSOHOのGigabitEtnernetじゃなくて多レーンのInfiniBandとかそういう話なのか?
あとメモリ量とパフォーマンス関係の情報も知りたい 数十TBの大容量のディスクを使いきるような用途かな 家庭内鯖を盆栽よろしくいぢって遊んでるだけの人と鯖缶じゃ全然事情が違うだろうからなぁ ZFSのdedupだけは絶対に使うなって、死んだ前任者が言ってた 鯖管でも特殊な部類じゃね?
自社の業務を回すためにメモリが何十GBなんてサーバーを用意できる会社は限られるのでは
その鯖で動いているサービスを売って稼いでる会社ならあるだろうけど
というかHPのサイト見てみたら1Uエントリーだと〜64GBだって
EPYCのは512GB載るらしいけど 最近はその程度のスペックなら社内システムでも当たり前 ファイルサーバーに何十GBものメモリを奢れる会社が当たり前とは驚きだ 大量にディスク使うサーバーならDBサーバーとかもあるしな DBはDBでファイルシステムとは別にメモリを食うだろ >>721
今時は仮想環境でサーバー束ねるのは珍しくないからホストは128GBとかそんなに珍しくないよ >>728
全体でどれだけ積んでいるではなくファイルシステム用に何十GB用意できるのかって話では >>730
> 自社の業務を回すためにメモリが何十GBなんてサーバーを用意できる会社は限られるのでは
に対するレス dedupは恐ろしくメモリ食いなんで32GB積んでもスワップ処理の山になる事がある。
なんでリンクで済ませられるのならリンクを使うように。
GNOMEやKDEを併用したい?死ねよのレベルだ。 みんな大〜好き^^zfs の特徴
・CoW方式のコピー操作時間の最適化
・(dedup)重複データブロック生成を困難化
・ハッシュテーブルで重複判定
メモリ肥大化とディスられるのは、ハッシュテーブル。1ブロック320バイトだとか。
1ブロック4KBとすると320/4096=7.8%
64KBで320/65596=0.48%。この割合をストレージ容量(ストレージ使用量)にかければハッシュテーブルのサイズが出る。 FreeNAS用途ならzfsは有難い(わかんないから、とりあえず保険で^^ポチっと60GBマルっとコビー!るんるん^^v)
単純なサーバならば無駄コピーを削減できる点が優れる
メモリ大量消費が欠点てのは、万能を求める錯誤。
ストレージ容量(器)ではなく、使用量(中のゴミ)でハッシュテーブルの総量決まる。 dedup使ってる状態でフォルダ毎削除とかを100GB単位でやったとする。
削除完了までえらい時間かかるんだ。
見かけ上削除されてても、なんだかんだとスワップ大量発生したりとかな。
酷い時は丸一日以上とか、その間キーボードやマウスの応答無くなることもある。
なお完了すると嘘のようにキビキビと動く。 そらdedup時の必要メモリ量は10倍だもの
削除量が2GB程でもメモリ足りてなきゃシステム丸ごと止まったかと勘違いするほどの負荷がかかるよ
自分は再起動してシングルモードで放置したわ >>733
重複排除がクソ重たいのはzfsに限った話じゃないからねぇ。 【悔日企業ヘイトバンク】 父は犬、兄は黒人、白戸は白洲、私たちはあのCMを見るたびに侮辱されていた
http://rosie.5ch.net/test/read.cgi/liveplus/1545098183/l50
I T 業 界 の B T S 問 題 浮 上 ! HDDだったら重複排除のコストより容量増やしたコストの方が低いよね ZFS運用周りに限って云えばSolarisのドキュメントを読んだ方がええ モンキーはじゅもんをとなえた!
「zfs set dedup=on zpool」 >>707
これですが、やっぱりproxy2chに変更しました
こっちのほうがスッキリすると思ったので FreeBSDでWindowsの記憶域プールみたいなシステムって作れないのかなぁ
家鯖でZFSじゃ実質冗長性か拡張性の二択になるのが微妙 RAID-Zにディスクを追加する話なら進行中のはずだぞ
すごい省エネ実装してるみたいだがガチ実装されてバグ盛りされても困るしな げー…
古いBEをbectlで削除しようとしたエラーで止まるんでおかしいと思ってたんだが
beadmみたいにBEが中に複数のファイルシステムを持ってる環境を想定しなかったのか
起動時はzfsbeが全部マウントするからいいんだが操作をbectlでやるのは地雷原っぽいなぁ FreeBSDデバイスドライバー開発ガイド
FreeBSDデバイスドライバー移植ガイド
みたいなドキュメントが欲しい。出来れば日本語で Qiitaに記事があるけどこの後が書かれてないのが残念
はじめてのFreeBSDカーネルモジュール(1) とりあえずロードしてみよう - Qiita
https://qiita.com/illness072/items/48fd71b20f6cd372320c
はじめてのFreeBSDカーネルモジュール(2) Hello Worldにこぎつこう - Qiita
https://qiita.com/illness072/items/ae306ec8480368c2fd65 >>748
それはほしい。でもニッチすぎる。linuxやNetBSDでつくって「デバドラなんてなんでも一緒じゃん」とおもえるくらいになるといいんじゃない?そしてFreeBSDにはかえってこない…
仕事なら必死でコードと英語よめ。 ZFSのフラグメントが66%まで増加したのでtxgを倍にしてから半日で1%減った。
効果があったのか偶然か。 デバイスドライバを書きたいって何か動かしたいデバイスでもあんの?
それとも本当はカーネルオブジェクトで、パケットフィルタとか?
GEOMをいじるとか?
ファイルシステムの新規開発したいとか?
俺はkldloadするとpanicするやつを書いてるよ NetBSDにカーネル空間で動くluaがあるけどいつになったらFreeBSDに来るのか 自分はgmirrorを弄くって秘密分散ファイルシステムを作りたいなぁ。
GEOM関係のドキュメントが転がってると嬉しい。 GEOMだったらユーザ空間で動作するggateを利用するといろいろ捗りそう
/usr/src/sbin/ggate/ggatel/ggatel.c
もっともggatelは無圧縮ベタ詰めファイルしか扱えないから、
ggatelのソースをパクって改造するしかないけど
汎用ライブラリ化する計画ってないのかな おぉ思いつきなのにレスありがとう
>>749
ざっと目を通してみましたがUSBとか肝心のUSBデバイスとのしゃべり方とか書いていないっすね
>>750
とりあえずこの辺で遊んでみるかなぁ
>>751
あくまで趣味です
>linuxやNetBSDでつくって「デバドラなんてなんでも一緒じゃん」とおもえるくらいになるといいんじゃない?
その通りだと思いますがそれってどれだけ時間がかかるのか・・・
>>755
FreeBSDの使いにくさってほぼデバイスドライバーの不足だと思います
Linuxでは使えるがFreeBSDでは使えないデバイスって結構ありますしWi-Fi関係なんか壊滅的です
あとPCメーカー独自の機能を使いたいです openshot、動いたらしい
まだ問題があるらしく、動作がやけに遅いんだけど。。。 >>762
あ、これportsにあるのじゃないやつね
portsのは古いし、メンテナーもなくなったらしい net/qt5-networkは相変わらずlibressl嫌ってるな。 >>761
> FreeBSDの使いにくさってほぼデバイスドライバーの不足だと思います
> Linuxでは使えるがFreeBSDでは使えないデバイスって結構ありますしWi-Fi関係なんか壊滅的です
これですけど、中華メーカーの安い(1200円位)のIntelチップを使った
SU-WIE5300ってのが使えます
=========ただし時々無断で切れますが^_^==========
私はいま炬燵でgraphicカードをさす必要があるのでdesktopを使っています
長々とケーブルを引き回すと邪魔になりますので重宝しています
これboot only CDイメージからも認識されますんで一旦有線LANでインストール
する必要もなく便利です >>766
まぁdesktop環境ではlinuxが圧勝ですけどね ある程度数が出てるIO DATAのキャプチャボードすらLinuxもFreeBSDもドライバ揃ってないんだよな。 ■ このスレッドは過去ログ倉庫に格納されています