X
バックアップ_(2)
0002名無しさん＠お腹いっぱい。
垢版 |
2006/07/31(月) 23:43:02
あ、新スレ立ったのか。乙＞１

ところで、バックアップツールで一つ発見。（GNU な）cp は
メモリリークするので使ってはいけない。250GBのデータコピーしたら
メモリを使い果たしてシステムごとあぼーんしました。ガイシュツ？
0004名無しさん＠お腹いっぱい。
垢版 |
2006/08/01(火) 09:39:54
これはリークじゃないけど、rsyncもオンメモリで比較用データ持つから
巨大なファイルツリーの転送には使えないんだよな。どっちも本格的
バックアップには元々使わないだろうけど、対象が巨大化すると
こういった細かいツールが思うように使えなくなって困る。
0010名無しさん＠お腹いっぱい。
垢版 |
2006/08/18(金) 07:41:36
これのこと？→ http://mtx.badtux.net/

かなり低レベルなSCSIアクセスするみたいだから、無理じゃね？
開発対象外だし、動作レポートはSolaris/Linux/FreeBSDで埋め尽く
されてるから動いたとしても安定稼動できるかは「？」だろうし。
0012名無しさん＠お腹いっぱい。
垢版 |
2006/09/28(木) 01:39:32
rsyncでsshを経由してバックアップを行っています。
日本語を使用したディレクトリ下のファイルが転送されないのですが、
日本語ファイルは扱えないのでしょうか？
0016名無しさん＠お腹いっぱい。
垢版 |
2006/11/06(月) 10:46:48
Windowsだったら、UTF-8化したcygwinのrsync使えば日本語可能だけどね
0019名無しさん＠お腹いっぱい。
垢版 |
2006/11/30(木) 20:07:14
ググったのですが見つかりません
0020名無しさん＠お腹いっぱい。
垢版 |
2006/12/02(土) 23:39:41
rsyncもうまくディレクトリ分けて実行すれば何とかなるのでは？
0021名無しさん＠お腹いっぱい。
垢版 |
2006/12/27(水) 01:02:15
webdavに対してrsyncを使いたいのですが、どのオプションを使えばよいのでしょうか？
0026名無しさん＠お腹いっぱい。
垢版 |
2007/01/15(月) 00:23:57
rsync って、２つのディレクトリを比較して差分ミラーしてくれるけど、
前回の情報ってどこに保存してるの？
それとも毎回全部比較してるの？
0033名無しさん＠お腹いっぱい。
垢版 |
2007/02/12(月) 03:05:01
rsyncでバックアップを取る際に、バックアップ元にないファイルは削除したいのですが、どのオプションをつければよいのでしょうか？
現在のオプションはavzです。これだと差分だけ転送されてバックアップできるのですが、削除はされません。
よろしくお願いします。
0035名無しさん＠お腹いっぱい。
垢版 |
2007/02/12(月) 16:54:40
>>28
亀だけどLinuxなら

$ inotifywait -m -e delete -e close_write -e move -r /tmp

とかで変更操作内容を記録しておける。これを使えば差分転送を
比較なしにできるよ。OSによってAPIが違うみたいなので、他のOSの
場合はそこから調べないといけないけど。

0040名無しさん＠お腹いっぱい。
垢版 |
2007/02/20(火) 13:26:29
Winodws上の日本語ファイル名のファイルを
CygwinのrsyncでLinux上にコピーしたとき
Linux上でのファイル名は意味不明の数字になります。
Linux上で作った日本語ファイル名のファイルは
正常に日本語が見えています。
rsyncでコピーしたファイルの日本語ファイル名が
適切な文字コードに変換されるようにできないでしょうか？
0042名無しさん＠お腹いっぱい。
垢版 |
2007/02/21(水) 10:39:55
rsync はファイル名の変換をしてないので、自分で変換するコードを入れるか、
rsync したあと自分で変換するわけだが...
mv $file `echo $file| nkf -W8 -s`
とか。ただし、rsync する意味はなくなくるけどね。

Linux 側をUTF locale にするとそのまま見えたりするかも。まぁ、Windows と
一緒に使う奴ならlocale はShift JISなんだろうけどな。
0043名無しさん＠お腹いっぱい。
垢版 |
2007/03/12(月) 15:06:20
なんか FreeBSD の /sbin/dump って最近変わった?

新しいテープでもなんでもこんなことをいわれるんだけど:
# dump 0ufabh /dev/nsa0 256 0 /home
DUMP: WARNING: should use -L when dumping live read-write filesystems!
DUMP: Date of this level 0 dump: Mon Mar 12 15:03:23 2007
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping /dev/da1s1a (/home) to /dev/nsa0
DUMP: mapping (Pass I) [regular files]
DUMP: mapping (Pass II) [directories]
DUMP: estimated 31198136 tape blocks.
DUMP: End of tape detected
DUMP: Closing /dev/nsa0
DUMP: Change Volumes: Mount volume #2
DUMP: Is the new volume mounted and ready to go?: ("yes" or "no")

dump - | dd of=/dev/nsa0 bs=256k で書き込む分には
全然問題なく書き込めるんだが...
0045名無しさん＠お腹いっぱい。
垢版 |
2007/03/29(木) 04:18:13
rdiff-backupな人はおらんの？
つーか、cygwin→debianで使ってるんだけど、cygwin側のパーミションの取得に失敗してるのか、強制的に000になってて泣ける。それ以外はいいソフトなんだけど。

むかしはrsyncを一日一回動かしてたけど、たとえば、ファイルサイズを0にするウィルスにかかって、気づかず間にrsyncが走ったら・・・と思って怖くなって移行した。
0047名無しさん＠お腹いっぱい。
垢版 |
2007/05/19(土) 03:13:11
今、AIT-Turbo試しているんだけど、くソニーが SATA版の
ドライバのOS範囲を拡充しないので、どうしたものか。
0048名無しさん＠お腹いっぱい。
垢版 |
2007/09/05(水) 14:47:30
超遅レスですが、私も rdiff-backup を使い始めました。
Linux to Linux です。

pdumpfs は、リモートからの(or リモートへの)バックアップに対応していないので
rdiff-backup を使い始めたのですが、

# rdiff-backup ./foo user@host::/bar
するにしても
# rdiff-backup user@host::/foo /bar
するにしても、相手方に rdiff-backup がインストールしていないとダメなんだよね
(やってみたらそうなった)

rdiff-backup は、バックアップから取り出すときの指定は、pdumpfs よりいろいろできそうだけど、
pdumpfs の、YYYY/MM/DD ごとにファイルが並ぶほうが、直感的でわかりやすいな。

pdumpfs-rsync というのもみつけた。
0049名無しさん＠お腹いっぱい。
垢版 |
2007/10/28(日) 09:20:07
rsyncをcronで実行しているのですが、実行結果をログの形で残すことはできないでしょうか？
0056名無しさん＠お腹いっぱい。
垢版 |
2007/11/01(木) 02:26:31
scpに切り替えてしまうのが吉。
rsyncは規模に対する限界が速すぎるので、scpにして後は回線帯域を
投げて解決。フルコピーできない場合はmd5sumとか取っておいて、それを
比較して該当分だけscp。

たかがファイルコピーだが、規模が大きくなると別種の問題になるよね。
rsyncはメモリリークしてるわけじゃないけど結構前のGNU cpではリークしてて、
数百GB、数百万ファイルのcp -aしたらメモリが尽きてお亡くなりに。

そりゃ普通はリークしてもすぐ終了するから問題ないんだけどね・・・
0059名無しさん＠お腹いっぱい。
垢版 |
2007/11/14(水) 05:14:01
>>56
規模が大きいことを前提としておいて scp とか md5sum とかあり得ない。
そんなことするくらいなら、古典的な tar の差分バックアップの方がずっとまし。

ついでに言うと rsync 3.0 でその手の問題は解決。

0060名無しさん＠お腹いっぱい。
垢版 |
2007/11/18(日) 22:28:52
Win のデータを Linux サーバに、Unison というソフトで同期バックアップをしているのですが、
日本語のファイル・フォルダ名が入っていると、バックアップができません。
パッチとか、良い方法はありますか？
0062名無しさん＠お腹いっぱい。
垢版 |
2007/11/19(月) 23:13:29
>>60
それはまった。Linux側ではUTF-8、Windows側でSJISでうまく同期できず。
OCamlなんて言語で書いてあるから直す気も失せた。

現状うまく使う方法としてはSamba経由でドライブにマウントして、
その上でunisonをドライブ同士でかけることかな。もっとも自分は
Windowsのオフラインフォルダに逃げた逃亡兵。
0066名無しさん＠お腹いっぱい。
垢版 |
2008/03/02(日) 11:44:59
バックアップを暗号化したいのですが、定番のやり方ってあります?

現在は、cron+dumpでファイルに落として、そのファイルを別ホストにミラーするのと
DVDに焼くのとでバックアップを回してます。これだとダンプしたファイルを
秘匿しないといけないのが難だなってことで、暗号化したいと思っています。

初めはGnuPGがいいかなと思ったのですが、同一のパスフレーズから完全一致する
鍵ペアを再生成する方法がわからなかったので、鍵ペアの保守に困りそう...
てことで、mcryptを調べたりしているところです。

対象ホストはLinuxですが、なるべくOSに依存しない手段を選べると嬉しいです。
何かアドバイスがいただけるとありがたいです。
0070名無しさん＠お腹いっぱい。
垢版 |
2008/04/14(月) 11:14:42
rsyncの挙動について - 教えて！goo
http://oshiete1.goo.ne.jp/qa1614836.html?ans_count_asc=1

ファイル数多いからバックアップにtar通せみたいな流れになっているんですが、
差分バックアップはどうするんだろう？

あとrsyncってメモリ消費型なんですね・・・
ファイル数多いと馬鹿食いするのかー。

UNIXには、Windowsの fastcopy みたいなツールはないんでしょうか？
fastcopy は、100万ファイルあってもメモリ消費は少、コピー自体も爆速なんですが。
0072名無しさん＠お腹いっぱい。
垢版 |
2008/04/14(月) 12:20:04
>>70
ファイル数が多いとすぐ１Gとか行っちゃうよ
個々のファイルサイズにもよるけど
tarで固めて全部送ったほうが速い場合もある
0074名無しさん＠お腹いっぱい。
垢版 |
2008/04/14(月) 14:36:41
そういう意味ではなく、全体のファイル数が多くて、差分コピーするって話なのですが・・・
500GBのストレージで10GBしか更新されたファイルがないようなときです
0077名無しさん＠お腹いっぱい。
垢版 |
2008/04/14(月) 15:35:25
着目するべきなのは容量でなくファイル数。
まあrsyncで実際に試してみりゃ問題ないのわかると思うけど。
0078名無しさん＠お腹いっぱい。
垢版 |
2008/04/15(火) 23:43:34
>>75
FastCopyはこれです
http://www.ipmsg.org/tools/fastcopy.html

元々は、小さなファイルなどをオンメモリで一括コピーするような
高速なファイルコピー、削除ツールなのですが、
UNICODE対応、省メモリなのがこれしかなくて、
Windowsでのバックアップ、ミラーリングに使ってます
（バックアップ専用ソフトでもこういうのがなかなかない）

HDD内に100万ファイルくらいあってもメモリ量はびびたるもの。
前にWindowsでBunBackupというのを使ったのですが、こちらは、
100万ファイルだと1.0GBほどメモリを使いましたｗ

rsyncのソースは読んだことないのですが、
メモリをたくさん食う方だとネットでも見ているのですが、
そうなるとクリティカルなバックアップ局面では使えない気がします
3.0では解決された？
0079名無しさん＠お腹いっぱい。
垢版 |
2008/04/16(水) 00:33:59
>>78
rsync 3.0ではファイルの数が多くてもメモリの使用量は少ない.
ただし,
・更新元にないファイルをどのタイミングで消すか
・ハードリンクをどれくらいちゃんと扱うか
といった条件次第では, 転送を開始する前に両端での各ファイルの
stat 結果を保持することになるのでメモリの使用量は従来同様多い.




0087名無しさん＠お腹いっぱい。
垢版 |
2008/04/23(水) 02:47:24
初歩的な質問ですみません。OSはGNU/Linuxです。

tarを使ってバックアップを採っていたのですが、どうやらこのプロセスが
ハングアップしてしまったようで、psコマンドで見ると以下のような状態になって
しまいました。
で、kill -9 も効きません。

# ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
・・・・・ 抜粋 ・・・・・
root 4254 0.0 0.0 0 0 ? DW Apr18 1:56 [tar]


また、テープデバイスも道連れになってしまったようで、テープの操作が
できません。offlineも駄目です。
なんとかテープドライブを使える状態にしたいのですが、リブートせずに
テープデバイスを開放する方法は無いでしょうか？

# mt -f /dev/st0 status
/dev/st0: Device or resource busy

# mt -f /dev/st0 offline
/dev/st0: Device or resource busy
0088名無しさん＠お腹いっぱい。
垢版 |
2008/04/23(水) 03:42:38
kernelの中でIO待ちになってしまっているので、いくらkillしても
IO待ちが終わらないとsignalは届かないだろう。

テープ無理矢理イジェクトするとか、ドライブの電源落としてみるとかすれば、
運が良ければtimeoutして戻ってきてくれるかもしれない。
0089名無しさん＠お腹いっぱい。
垢版 |
2008/04/23(水) 03:54:52
ドライブの eject ボタンを５秒ほど押すと、リセットできるドライブが
多いんだがドライブの取説には書いてないか？
009187
垢版 |
2008/04/24(木) 02:26:04
アドバイスありがとうございます。

>>88
内蔵のドライブなのでドライブのみ電源を落とす、てのはできませんでした。
ただ、イジェクトボタンでのイジェクトは出来ました。
そこでどうだっ！　とkill -9　でしたがやっぱり駄目でした。
>>89
テープのイジェクト状態で、ボタンの長押しもやってみましたが残念ながら
状態は変わりませんでした。

>>90
ありがとうございます。試してみます。
kill -HUP は-9の前にやってみたんですが、他は明日やってみます。
…rmmodはちょっと怖い（動いてないけど捕まえてるみたいだし）ので保留という
事で…　スミマセン。

なんとなく、[tar]を殺せばなんとかなりそうな感じもするんですが、調べてみる
と「まあ、まずはテープを開放しろ」てなページも多かったりで（その方法も判か
らないでいますが）どっちが先なのだ？と言う感じになってしまっています。
上手く行ったらご報告しますね。
0092名無しさん＠お腹いっぱい。
垢版 |
2008/04/24(木) 23:17:11
テープがSCSIならSCSIケーブル抜けばドライバがバスリセットかけて
復活するかも。その後でもっかいつなぎなおしてrescan-scsi-busすればいい。
009387
垢版 |
2008/04/29(火) 13:57:26
結局ベンダーへ問い合わせしました。
今結果待ち。結構待ってます。

>>92
ありがとうございます。
ただ、内蔵なんですこれが。

ちなみに、windows系のサーバなんかだと周辺機器へのアクセスが無い事を確認し
て、結構　機器のoff→ON！とかやっちゃう事はあるのですが（今回のように内蔵
だとそれもままなりませんが）solarisやらLinuxで同様の事ってやって大丈夫な
ものなんでしょうか？・・・・ここで聞くこ事でもないのかもしれませんが。

カーネルがパニックとかになると、結構怖いかも（イジェクトボタン長押しはやり
ましたが。。）
0096名無しさん＠お腹いっぱい。
垢版 |
2008/06/02(月) 07:02:07
バックアップしたい500Gのドライブがあって400Gまで溜まったので
そろそろバックアップしたいと思います。
テープバックアップは考えておらず、HDDは以前にモータが壊れた事があるので
DVDでバックアップを考えています。

差分のイメージを作成し圧縮してDVDに保存することは可能でしょうか？
0099名無しさん＠お腹いっぱい。
垢版 |
2008/06/02(月) 11:48:08
>>98
オヌヌメは同容量のHDDだな
ddの後でザット内容を確認したら、保管しておけば
ます故障は無い
心配なら2台取れば良いし

俺なら、新品を装着して、古いのをバックアップにしまうけどね

だいたい、毎日使っていて壊れないのに
引き出し保管で壊れる訳がないんだよ
DVDの劣化の方がもっと心配じゃね？

差分を取るのも基本的には同じ考え。
テープやDVDにコマギレでしまうなら、HDDのほうが信頼感はある
テープは週単位とかの書き換え前提な一時的なバックアップだな。


0100名無しさん＠お腹いっぱい。
垢版 |
2008/06/02(月) 12:00:01
>>99
>だいたい、毎日使っていて壊れないのに

ダウト。毎日使っているから壊れない。

HDDへのバックアップは極めてお勧めしない。
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況