バックアップ_(2)
何か長期保存可能かつ長期可用性に優れたメディアってないかな? テープはカビや劣化とか磁気転写が問題になるし CDやDVDも色素が飛んだら終わりだし。 他のデジタルメディアも長期供給可能かどうかわからんし 何よりも再生機器が現存してるかどうか問題。 実家の押入に眠っていた大量のVHSテープとデータが記録されたカセットテープを見てふと思った。 >>168 MO テープ 紙 現実的にはこれらだろ。MOとテープは30年だっけか。 紙は和紙と墨だと何百年も持つ。 >>168 穿孔紙テープだろうな 8単位10巻くらいなら、在庫有るよ お安くしておきますが(w バックアップってのはさぁ 意味わかってる? バックアップなんだよ。(w 磁気情報が消えるとか、物理劣化してしまうとか 機器劣化してしまうとか、読み出せなくなる「可能性」に対して バックアップを取るの。 まず2系統取って、確認して、常識的な劣化時間を考えて その前に、その媒体を、その時代に安全な媒体で*バックアップ*する それを繰り返すんだよ その頻度と手間暇を勘定して、石に彫るもよし 和紙に綴るもよし DVD 系(もう少し普及したらBD?)を複数とっておくのが無難じゃないかなぁ DVD は割と長く再生互換な機器は出回るんじゃない? >>168 ttp://h50146.www5.hp.com/products/storage/whitepaper/pdfs/tapemedia_WP.pdf こんなのがあったので貼っておく。 MO,PD,DVD-RAMだな、長持ちするのは。 PDはメディアより規格が先に寿命を迎えたが。 >173 技術的にはそういう主張をしたくなるかもしれないが いずれも規格の寿命は短いぞ DVD±RW は読める期間は長そうだが DVD-RAM 対応ドライブがいつまで供給されるか… 「その時」は DVD±RW メディアの寿命よりは先に来るでしょう DVD±Rは規格寿命より個々のメディア寿命の方が短いな。 なにしろただの色素ですんで・・・ メディアの寿命にしろ規格の寿命にしろ、現状は大して長持ちしないわけだ。 ひたすらコピーし続けるしかないのか。 100年先は生きていないから、そんなに持たなくていいよ。 3.5"FDでとっといた98の資産が、見事に全部読み込めなかった俺が通りますよ。 磁気メディアは一切信用しねえ。 全然触れられていないけれどmicroSDとかCFか゛ だいぶ安くなっている。DVD-RAMよりちょっと高い程度だけれど なんやかやでms-dosfsとか無難 CFとかはIDEにつないでブートデバイスにもなる。 電子機器だけどもちはいいんじゃないかな。 テキストとか写真は2Gbyteくらいのにバックアップしている。 最初はまとまったらDVD-Rに焼こうかと思ったけれど 小さいしどんどん値下がりするのでこのままでいいかなと 繰り返し使っているとドライバとか対応しないと特定の場所ばかり使うことになるだろうから ファイルを累積させていらないものは落としてあとはROM使用というのなら問題ないと思う。 だめなやつは初期にパーになるらしいから最初は分散保存しておくのが良いとは思う。 >>182 リンク先の記事根本的に「100万回」を勘違いしているよね、 単に不良品掴んだだけ メーカーによってはずれのでやすいものと全然でないものとあるみたいだから しばらく「運搬用」とかに使って大丈夫だと思ったらROM的に書き込み チェックしたらそれでReadOnlyにするのがよさそう。 >>184 回数の勘違いはあるけど、他のメディアなら読み取りエラーになるところを、 エラーなく化けたデータが読み込めているのが、怖い バックアップをとるのには、いまのところrsync3が選択肢として最有力? rdiff-backup使ってみたけど、なんかエラーで動かない・・・ 何をしたいかによって異なるのに 前提なしの最強を決めようとな? ええっと、何をしたいか、ということについて どのような選択肢がありますか? >188 とりあえず以下について調べてレポートしてくれ給え dump/restore, zfs send/receive, tar, afio, rsync, unison, pdumpfs, rdiff-backup, duplicity, amanda, bacula, よろしく! >189-191 ちょ、、、少し時間を下さい・・・orz ところで、少し古いパソコンにLinux(debian)を入れて、rsyncで200GBほどのデータをほかのパソコンから コピーしようとしたら、途中で応答がなくなってかたまってしまいます。 壊れているのか、原因がちょっとわからないのですが、とりあえず、メモリが224MBしか乗っていないのですが、 これだと不十分ということはあるでしょうか? >193 rsync 2.x だと全体容量は関係ないけど 200GB というのが「多数のファイル」の場合には メモリ食い過ぎて死ぬ可能性はある 転送中に top で rsync がメモリを食う様子くらいは眺めても罰はあたらない rsync は 3.x 以降だとその辺は変わっているので 改善されるかもしれないような気もするかもしれない rsync だめなら tar cf - xxx|ssh dokosoko 'tar xpf -' とかかな 2台が同じLAN内だったら、NFSマウントしてcp -aとか。 rsyncはファイル数に依存するね ファイル数が多いとすぐ1Gくらいメモリ食ったりする もういちどrsyncを実行して、top画面を見てみました。 メモリ使用量10%弱のところでハングアップしてしまいました。 メモリ量ではないようですね 壊れてるにしても、どこがいかれているんだろう・・・・orz すいません、もはや板違いですが、再起動したらBIOS画面で Mwmory Testing : 229376K OK のところで止まって起動しなくなってしまいました。 何回か電源を切って、入れてを繰り返すと起動しましたが・・・ どこが壊れてるんでしょう? 暖めてみれば? ていうか古い機械ならもう寿命かもね 各所の接触が悪くなっているとか 部品の劣化とか memtest86をはしらせてみたら40%でかたまってしまった メモリエラーじゃなくて、テストプログラム自体がフリーズしてる・・・ 寿命ですかね・・・ ごく短い間隔でミラーリングをとる方法ってありますか? ミラーリングというか、ごく短いスパンでミラーリングをかけたいのですが 10分おきとか >>203 cronでrsync廻せばいいじゃん。 そもそも想定しているものの容量によっては 10分で終わらない罠 zfsとかnetappあたりのスナップショット機能つきの ファイルシステムを使うのが手っ取り早いかと。 すいません、わけわからんこと言ってるのは分かってるんですけど^^; Raidのミラーリングなら、同時に二台のHDDにデータを書き込んでるわけですが たとえば一台のデータを間違って消してしまったら、ミラーのデータも同時に消されてしまうんですよね? そこで、ミラーリングしながらなおかつ遅延をかけるというか・・・ あ、やべっ、って時に、ぎりぎり直前までバックアップがとれてる、みたいな事はできるのかな?とふと思ったもので なんかテレビのHDD録画みたいですね(遅れて見られる) あと Raid なんて気持ち悪い書き方すんな。 RAID だ。 >208 ググってきました たしかに、よさそうですね >209 スマソ IMAPサーバーのメールをバックアップしたいんです。 できればバックアップというよりはレプリケーションしたいんです。 それも遠いところ(500kmほど離れたVPNで繋がっているLAN)にあるディスクに バックアップ(レプリケーション)したいんです。 同じサイズのISCSIなディスクを使えば解決できるだろう。 と思います。つまり、できたも同然なのですが、 具体的にどうすればよいのかという些細な点で躓いています。 例えば、二つのISCSIディスクをミラーリングすればパーフェクトなレプリケーションができるはずですが、 VPNが切れたときにリビルドされると随分時間がかかるなあとか、思います。 rsyncとかでいいかな?とも思うのですがrsyncだとファイルがディレクトリー間で移動させられたときには コピーが発生するのかな、と思うとブルーな気分になります。 なにか良い方法はないですか? これがうまくいったら、地震でメールサーバーのあるビルが崩壊してみんなが途方に暮れているときに、 「こんなこともあろうか○○支社にコピーしてあったのですよ」と颯爽と回復して見せれば ボーナスの査定が上がるのも間違いないですし(もし出れば)、女子社員たちも 「△山さんカッコいい。抱いて」とくるのは確実なので、そのときは皆さんにも紹介してあげます。 よろしくお願いします。 > つまり、できたも同然なのですが、 > 具体的にどうすればよいのかという些細な点で躓いています。 新しいコピペにするには決めゼリフがちょっと長すぎるような? できたも同然なのですが、些細な点で躓いています。 こんな感じですか なるほど。暖かいご指摘ありがとうございます。勉強になります。 DRBDを使ってprimaryとsecondaryを一台のマシンで動作させて(出来ないのかもしれませんが)、 primaryをこっちのiSCSIディスク、secondaryを遠くのiSCSIディスクにすれば出来るような気がしますが、 DRBDとiSCSIでネットワークの不安定さをより考慮しているのはDRBDでしょうから、 ネックになる遠くとのVPNトンネルを通過するのがiSCSIなのは何かサブプライムローンやリボ払い的な 問題があるように思います。 secondary側にもlinux機を置いてDRBDというのが正攻法でしょうか。 あと、回答してもらいたいときには、これを書いておいたほうがいいというの教えてもらったので書いておきます。 「私は女子高生です。」 >ボーナスの査定が上がるのも間違いないですし(もし出れば)、女子社員たちも >「△山さんカッコいい。抱いて」とくるのは確実なので、そのときは皆さんにも紹介してあげます。 >「私は女子高生です。」 百合は大好物です。 どうも、こんにちは。 向こう(遠いほう)のLANのユーザーも、こっちのメールボックスを使ってるんですが IMAPなら向こうとこっちは別にしたほうがいいなと思います。 だったら向こうにもIMAPサーバーを置いて、こっちのIMAPサーバーと向こうのIMAPサーバーで DRBDで相互にレプリケーションし合えば万事オッケーな気がします。 それと「女子高生です」と書くとレスをもらえるというのが本当だったのでうれしいです。 でもレズはいらないです。 rsync(2.6.9) で、例えばこんな状態になっていて sync/a/1/ sync/a/2/A/x.txt sync/b/1/B/y.txt sync/b/2/ nオプション付きだと $ /usr/bin/rsync --delete -auvn --include "/1/" --include "/1/*" --include "/2/" --include "/2/*" --include "/2/A/" --include "/2/A/*" --exclude "*" "./sync/a/" "./sync/b/" building file list ... done deleting 1/B/ 1/ 2/ 2/A/ 2/A/x.txt 「deleting 1/B/」とでるのに 実際に実行すると $ /usr/bin/rsync --delete -auv --include "/1/" --include "/1/*" --include "/2/" --include "/2/*" --include "/2/A/" --include "/2/A/*" --exclude "*" "./sync/a/" "./sync/b/" building file list ... done 1/ 2/ 2/A/ 2/A/x.txt 「sync/b/1/B/」ディレクトリが削除されません。 削除させる方法はあるのでしょうか? (複数の場所を指定したくて「include」がたくさんな書き方になっています) 補足ですが、 --exclude "*" で全否定して、include で追加というイメージです。 >>206 >>208 スナップショット系はディスクスペースの無駄を増やすだけ 管理ポリシーがないひとが使うとゴミだらけになる。 zfsは完全にパーになる可能性もあるから 実態の明確なファイルバックアップには向かない。 気づけば再起不能 管理ポリシーは作ればいい。 バックアップは別にやればいい。 先生っ! 実態の明確な の意味がサッパリ分かりません rsyncが使うネットワークの帯域を制限する方法はありませんか? --bwlimit=KBPS This option allows you to specify a maximum transfer rate in kilobytes per second. This option is most effective when using rsync with large files (several megabytes and up). Due to the nature of rsync transfers, blocks of data are sent, then if rsync determines the transfer was too fast, it will wait before sending the next data block. The result is an average transfer rate equaling the specified limit. A value of zero specifies no limit. もちろん >>231 も読んだ上で 「ありません」 と答えてるわけだが、、 >237 あちこちに書けば書くほど宣伝の逆効果になってるって バックアップに最適な圧縮フォーマットを教えてください。 7zは高圧縮で良いのですが、更新されていないファイルもすべて圧縮し直さなければなりません。 できれば、更新されたファイルのみを圧縮し追加できるとよいのですが。 >>239 gzで各ファイルを圧縮するのが良いと思うよ xfsdump でオートローダを使う方法が分かりません。 man page には-cオプションが「メディア交換が必要になったときに 実行するプログラムを指定する」とあるので、オートローダのカートリッジ交換を 行うスクリプトを指定しました。 すると、カートリッジ交換は正しく行なわれたものの、その後 please change media in drive 0 1: media change declined (timeout in 3600 sec) 2: media changed (default) -> というプロンプトが現れ、そのままタイムアウトさせるとabortしてしまいます。 (default というのは「enter のみ入力の場合」という意味で timeout時は 1 を実行) -F オプションを使うのか? とも思いましたが、-c を使うときは -F は使うな、という 情報もありましたので…→ http://www.tek-tips.com/viewthread.cfm?qid=764503 「xfsdump autoloader」などとぐぐってみても解決法は見つけられませんでした。 オートローダで運用してる方がいらっしゃったら正しい指定方法をご教示頂けないでしょうか。 使っているのはCentOS 5.4、現在の指定オプションは以下の通りです。 xfsdump \ -l 0 -o \ -L $session_name \ -M $media_label \ -c $change_cartridge_script \ -f /dev/st0 \ $backup_target # expectを使うしかない? # かなり面倒なことになりそうな… xfsdumpのソース見てみましたが無理そうですね。-cはメディア交換メッセー ジを出す前に指定のコマンドを実行するという意味しかないようです。ソース を書き換えるのが手っ取り早いでしょう。 >>243 調べていただいてありがとうございます。 となると対策としては (1)timeout で media changed が実行されるようにソースを書き換える (2)メッセージを読んで正常終了で終わってなければ xfsdump -R を実行するよう スクリプトを書き換える (3)expect で enter を入力するようスクリプトを書き換える のどれかって感じですかね。 ちょいと考えてみます。 しかし、>>242 のリンク先によると、IRIXでは入れ替えスクリプトだけでOKとのこと。 IRIX版とLinux版では実装が違ってるんでしょうかね。 う〜む。 xfsdump の件ですが、結局ソースを書き換えて timeout→再開にしました。 ところが、今度は使用テープが一巡したとき -o オプションを指定してもなぜか 「overwrite しますか?」のプロンプトが出てくる。 (そして timeout で再びカートリッジ交換のスクリプト実行→再びプロンプトを永久に続ける、とゆー) -o は man pageによると「テープのブロックサイズが読み取れないときに使用する」となってるけれど、 どうやら問答無用で overwrite してくれるわけではないらしい。 ダイアログが出て上書きをユーザが選択しなければならないとなるとこのオプションの存在意味は一体? と思うけれど、調べるのも面倒になったので、これまた問答無用で上書きするようソースを書き換えました。 …どうも釈然としない……… その他、2本目以降の media label をコマンドラインから指定する方法がない、など xfsdumpは対話実行が基本で「自動化」というものは想定されていないコマンドなのですね。 自動化したけりゃ面倒でも expect を使って応答するスクリプトを作成するのが正解なようです。 最新版のchagelogを見ても機能的にはあまり変わってない雰囲気なので、 オートローダを使いたければ他のバックアップソフトを使え、というのが基本スタンスのようで。 スクリプトでの操作を重視しないというのは、unix系のこの手のツールにしては珍しいですね。 rsyncでリモートのサーバにコピーする際に、特定のサーバだけパーミッションが000になってしまいエラーが出て継続できません。 別のサーバでは特にそのような問題は起きていません。 --chmodオプションで何とかなりますが、これって何で決まるのでしょうか? おすすめの圧縮可能なファイルシステムを教えてください。 Linuxだと意外と少ないのね。 >>250 Linux なら Linux 板で聞いた方がいい。 すみませんがUNIX板にてLinuxに精通されている方のみ回答をお願いします それでは、回答終了ということで回答陣の審査を行ないます。 審査結果は、 不合格 です。もう一度質問サポート精神の基本を勉強して 受験し直してください。 Unixに標準的に備わっているものだけでMacのタイムマシンのようなことはできませんか? Unixに標準的に備わっているZFSでLinuxのdump|restoreのようなことはできませんか? >>261 send / receive するか、単に snapshot 取れば良いんじゃないの 遅ればせながら百合スレと聞いてバックアップされに来ました。 ZFSからEXT4に dump|restore したいんですが、そういう方法はありますか? tar|tar や cpio|cpio等以外でお願いします。 rsync等以外でお願いします 普通のファイルとしてアクセスする系以外でということです read.cgi ver 07.5.1 2024/04/28 Walang Kapalit ★ | Donguri System Team 5ちゃんねる