バックアップ_(2)

2006/07/31(月) 18:24:59
前スレ
http://pc8.2ch.net/test/read.cgi/unix/1019233825/l50



W. Curtis Preston
『Unixバックアップ&リカバリ』
長原宏治_監訳，田和勝_訳，
オライリー・ジャパン，2001/8/16．
http://www.amazon.co.jp/gp/product/4873110491/249-3251594-6585132?v=glance&n=465392&s=gateway
2006/07/31(月) 23:43:02
あ、新スレ立ったのか。乙＞１

ところで、バックアップツールで一つ発見。（GNU な）cp は
メモリリークするので使ってはいけない。250GBのデータコピーしたら
メモリを使い果たしてシステムごとあぼーんしました。ガイシュツ？
2006/08/01(火) 07:25:50
どこだか知らないけど、見たことあるよ。
4名無しさん＠お腹いっぱい。
垢版 |
2006/08/01(火) 09:39:54
これはリークじゃないけど、rsyncもオンメモリで比較用データ持つから
巨大なファイルツリーの転送には使えないんだよな。どっちも本格的
バックアップには元々使わないだろうけど、対象が巨大化すると
こういった細かいツールが思うように使えなくなって困る。
2006/08/01(火) 15:22:03
…pax最強？
2006/08/01(火) 21:33:33
rsync -W
2006/08/02(水) 20:05:43
>>6
それじゃ解決しない。差分計算のところじゃなくて、転送対象
一覧管理でのメモリ消費が問題だから。

- http://samba.anu.edu.au/rsync/FAQ.html#4
- http://samba.anu.edu.au/rsync/FAQ.html#5

のこと。ウン百万ファイル数のツリーコピーで死ねます。

結局速度の問題もあって、今はRAID1の玉交換でバックアップしてる。
2006/08/03(木) 09:59:38
dar も同じで、ファイル管理情報でメモリ一杯になる orz
2006/08/15(火) 03:20:45
変な質問で申し訳ない。
AIXでmtxを使用することはできますか？
2006/08/18(金) 07:41:36
これのこと？→ http://mtx.badtux.net/

かなり低レベルなSCSIアクセスするみたいだから、無理じゃね？
開発対象外だし、動作レポートはSolaris/Linux/FreeBSDで埋め尽く
されてるから動いたとしても安定稼動できるかは「？」だろうし。
2006/09/03(日) 14:14:44
保守
2006/09/28(木) 01:39:32
rsyncでsshを経由してバックアップを行っています。
日本語を使用したディレクトリ下のファイルが転送されないのですが、
日本語ファイルは扱えないのでしょうか？
2006/09/28(木) 21:32:23
普通に使えると思うが、エンコーディングは？
ローカルで rsync foo/ bar/ でも駄目なの？
2006/09/28(木) 23:51:46
OSは？
2006/10/02(月) 00:58:04
>>12
OSによる。Windowsだと日本語ファイルには完全には対応していない。
16名無しさん＠お腹いっぱい。
垢版 |
2006/11/06(月) 10:46:48
Windowsだったら、UTF-8化したcygwinのrsync使えば日本語可能だけどね
2006/11/30(木) 19:20:42
UTF-8化したcygwinはどこで手にはいるのでしょうか？
2006/11/30(木) 20:04:58
ググレカス
19名無しさん＠お腹いっぱい。
垢版 |
2006/11/30(木) 20:07:14
ググったのですが見つかりません
20名無しさん＠お腹いっぱい。
垢版 |
2006/12/02(土) 23:39:41
rsyncもうまくディレクトリ分けて実行すれば何とかなるのでは？
21名無しさん＠お腹いっぱい。
垢版 |
2006/12/27(水) 01:02:15
webdavに対してrsyncを使いたいのですが、どのオプションを使えばよいのでしょうか？
2007/01/01(月) 10:47:30
davは対応していない
2007/01/01(月) 11:27:21
google に対して rsync を…
amazon に対して rsync を…
○△□ に対して rsync を…
2007/01/01(月) 11:59:11
>>21
マウントしてからrsyncすればおけ
2007/01/01(月) 17:22:14
バックアップはとっておくべきだべ。
26名無しさん＠お腹いっぱい。
垢版 |
2007/01/15(月) 00:23:57
rsync って、２つのディレクトリを比較して差分ミラーしてくれるけど、
前回の情報ってどこに保存してるの？
それとも毎回全部比較してるの？
2007/01/15(月) 00:36:15
>>26
毎回全部比較する。
2007/01/16(火) 16:30:38
毎回全部比較しないようにする方法はありませんか？
2007/01/16(火) 21:02:14
>>28 「毎回全部比較しない」ってどういう挙動を期待してるの?
2007/01/16(火) 22:48:41
毎回全部取れ。
2007/01/16(火) 23:54:55
>28
自分で比較しなくていいものを指示しろ

i.e. 比較が必要なものを明示しろ
2007/01/21(日) 10:50:32
>>28
別の解決策を検討してみる
2007/02/12(月) 03:05:01
rsyncでバックアップを取る際に、バックアップ元にないファイルは削除したいのですが、どのオプションをつければよいのでしょうか？
現在のオプションはavzです。これだと差分だけ転送されてバックアップできるのですが、削除はされません。
よろしくお願いします。
2007/02/12(月) 03:46:00
--delete
2007/02/12(月) 16:54:40
>>28
亀だけどLinuxなら

$ inotifywait -m -e delete -e close_write -e move -r /tmp

とかで変更操作内容を記録しておける。これを使えば差分転送を
比較なしにできるよ。OSによってAPIが違うみたいなので、他のOSの
場合はそこから調べないといけないけど。

2007/02/13(火) 03:25:06
圧縮した状態でバックアップしておきたいのですが、みなさんはどのようなツールをお使いですか？
2007/02/16(金) 01:29:03
>>36
netbackup
2007/02/16(金) 09:33:27
>>36
テープドライブ
2007/02/20(火) 00:27:00
dump
40名無しさん＠お腹いっぱい。
垢版 |
2007/02/20(火) 13:26:29
Winodws上の日本語ファイル名のファイルを
CygwinのrsyncでLinux上にコピーしたとき
Linux上でのファイル名は意味不明の数字になります。
Linux上で作った日本語ファイル名のファイルは
正常に日本語が見えています。
rsyncでコピーしたファイルの日本語ファイル名が
適切な文字コードに変換されるようにできないでしょうか？
2007/02/20(火) 13:27:59
板違いだろうなきっと
2007/02/21(水) 10:39:55
rsync はファイル名の変換をしてないので、自分で変換するコードを入れるか、
rsync したあと自分で変換するわけだが...
mv $file `echo $file| nkf -W8 -s`
とか。ただし、rsync する意味はなくなくるけどね。

Linux 側をUTF locale にするとそのまま見えたりするかも。まぁ、Windows と
一緒に使う奴ならlocale はShift JISなんだろうけどな。
2007/03/12(月) 15:06:20
なんか FreeBSD の /sbin/dump って最近変わった?

新しいテープでもなんでもこんなことをいわれるんだけど:
# dump 0ufabh /dev/nsa0 256 0 /home
DUMP: WARNING: should use -L when dumping live read-write filesystems!
DUMP: Date of this level 0 dump: Mon Mar 12 15:03:23 2007
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping /dev/da1s1a (/home) to /dev/nsa0
DUMP: mapping (Pass I) [regular files]
DUMP: mapping (Pass II) [directories]
DUMP: estimated 31198136 tape blocks.
DUMP: End of tape detected
DUMP: Closing /dev/nsa0
DUMP: Change Volumes: Mount volume #2
DUMP: Is the new volume mounted and ready to go?: ("yes" or "no")

dump - | dd of=/dev/nsa0 bs=256k で書き込む分には
全然問題なく書き込めるんだが...
2007/03/13(火) 22:48:29
baculaいいよ
45名無しさん＠お腹いっぱい。
垢版 |
2007/03/29(木) 04:18:13
rdiff-backupな人はおらんの？
つーか、cygwin→debianで使ってるんだけど、cygwin側のパーミションの取得に失敗してるのか、強制的に000になってて泣ける。それ以外はいいソフトなんだけど。

むかしはrsyncを一日一回動かしてたけど、たとえば、ファイルサイズを0にするウィルスにかかって、気づかず間にrsyncが走ったら・・・と思って怖くなって移行した。
2007/04/10(火) 16:12:07
cygwin相手にrdiff-backupなんてなあ... とてもじゃないが恐くてできない。
2007/05/19(土) 03:13:11
今、AIT-Turbo試しているんだけど、くソニーが SATA版の
ドライバのOS範囲を拡充しないので、どうしたものか。
48名無しさん＠お腹いっぱい。
垢版 |
2007/09/05(水) 14:47:30
超遅レスですが、私も rdiff-backup を使い始めました。
Linux to Linux です。

pdumpfs は、リモートからの(or リモートへの)バックアップに対応していないので
rdiff-backup を使い始めたのですが、

# rdiff-backup ./foo user@host::/bar
するにしても
# rdiff-backup user@host::/foo /bar
するにしても、相手方に rdiff-backup がインストールしていないとダメなんだよね
(やってみたらそうなった)

rdiff-backup は、バックアップから取り出すときの指定は、pdumpfs よりいろいろできそうだけど、
pdumpfs の、YYYY/MM/DD ごとにファイルが並ぶほうが、直感的でわかりやすいな。

pdumpfs-rsync というのもみつけた。
49名無しさん＠お腹いっぱい。
垢版 |
2007/10/28(日) 09:20:07
rsyncをcronで実行しているのですが、実行結果をログの形で残すことはできないでしょうか？
2007/10/28(日) 10:01:45
できます
2007/10/28(日) 10:32:24
もちろんできます
2007/10/28(日) 13:36:38
たしかにできました。ありがとうございました。
2007/10/28(日) 16:51:24
rsyncをcronで実行しているのですが、実行結果のログを残す方法を教えてください
2007/10/28(日) 22:19:36
>>filename.log 2>&1
2007/10/30(火) 15:10:08
rsyncが止まって動かなくなるんで、バックアップに使えなくなった・・・orz.
2007/11/01(木) 02:26:31
scpに切り替えてしまうのが吉。
rsyncは規模に対する限界が速すぎるので、scpにして後は回線帯域を
投げて解決。フルコピーできない場合はmd5sumとか取っておいて、それを
比較して該当分だけscp。

たかがファイルコピーだが、規模が大きくなると別種の問題になるよね。
rsyncはメモリリークしてるわけじゃないけど結構前のGNU cpではリークしてて、
数百GB、数百万ファイルのcp -aしたらメモリが尽きてお亡くなりに。

そりゃ普通はリークしてもすぐ終了するから問題ないんだけどね・・・
2007/11/01(木) 02:41:48
>>56
Thanks.. 試してみむ。
2007/11/01(木) 12:49:20
rsyncは対象ファイルが多くなればなるほどメモリ使うからね
数が多いと数ギガとか使われる
2007/11/14(水) 05:14:01
>>56
規模が大きいことを前提としておいて scp とか md5sum とかあり得ない。
そんなことするくらいなら、古典的な tar の差分バックアップの方がずっとまし。

ついでに言うと rsync 3.0 でその手の問題は解決。

2007/11/18(日) 22:28:52
Win のデータを Linux サーバに、Unison というソフトで同期バックアップをしているのですが、
日本語のファイル・フォルダ名が入っていると、バックアップができません。
パッチとか、良い方法はありますか？
2007/11/18(日) 23:43:15
rsyncだとできるのかね？
>>16

ttp://kony.no-ip.info/~kon/wiki/index.php?Windowsでrsyncを使う
2007/11/19(月) 23:13:29
>>60
それはまった。Linux側ではUTF-8、Windows側でSJISでうまく同期できず。
OCamlなんて言語で書いてあるから直す気も失せた。

現状うまく使う方法としてはSamba経由でドライブにマウントして、
その上でunisonをドライブ同士でかけることかな。もっとも自分は
Windowsのオフラインフォルダに逃げた逃亡兵。
2007/11/20(火) 03:00:42
>>62
smbget でミラーつくったりしてるけど。
2007/11/20(火) 21:41:38
>>62
おお、同志よ！やっぱりはまりましたか！
じゃ私は、Unison 諦めて Mercurial に逃げます！
2007/11/21(水) 01:41:00
>>59
rsync 3.0まだでてないじゃん
2008/03/02(日) 11:44:59
バックアップを暗号化したいのですが、定番のやり方ってあります?

現在は、cron+dumpでファイルに落として、そのファイルを別ホストにミラーするのと
DVDに焼くのとでバックアップを回してます。これだとダンプしたファイルを
秘匿しないといけないのが難だなってことで、暗号化したいと思っています。

初めはGnuPGがいいかなと思ったのですが、同一のパスフレーズから完全一致する
鍵ペアを再生成する方法がわからなかったので、鍵ペアの保守に困りそう...
てことで、mcryptを調べたりしているところです。

対象ホストはLinuxですが、なるべくOSに依存しない手段を選べると嬉しいです。
何かアドバイスがいただけるとありがたいです。
2008/03/03(月) 14:48:40
bacula はバックアップの暗号化をサポートしてるで
2008/03/03(月) 18:38:30
>>65
熟練管理者御用達のバックアップツール「rsync 3.0」 - Mac対応強化 | エンタープライズ | マイコミジャーナル
http://journal.mycom.co.jp/news/2008/03/03/015/index.html
2008/03/18(火) 09:40:18
やっとでたのか〜
70名無しさん＠お腹いっぱい。
垢版 |
2008/04/14(月) 11:14:42
rsyncの挙動について - 教えて！goo
http://oshiete1.goo.ne.jp/qa1614836.html?ans_count_asc=1

ファイル数多いからバックアップにtar通せみたいな流れになっているんですが、
差分バックアップはどうするんだろう？

あとrsyncってメモリ消費型なんですね・・・
ファイル数多いと馬鹿食いするのかー。

UNIXには、Windowsの fastcopy みたいなツールはないんでしょうか？
fastcopy は、100万ファイルあってもメモリ消費は少、コピー自体も爆速なんですが。
2008/04/14(月) 11:15:02
追記：あと差分コピーも可です。
2008/04/14(月) 12:20:04
>>70
ファイル数が多いとすぐ１Gとか行っちゃうよ
個々のファイルサイズにもよるけど
tarで固めて全部送ったほうが速い場合もある
2008/04/14(月) 14:18:42
rsyncで処理するのが不適当なファイル数なら、俺なら(ufs)dump/restore使うなあ。
2008/04/14(月) 14:36:41
そういう意味ではなく、全体のファイル数が多くて、差分コピーするって話なのですが・・・
500GBのストレージで10GBしか更新されたファイルがないようなときです
2008/04/14(月) 14:41:39
>>70
その fastcopy ってやつの仕組みは rsync とどう違うの？
2008/04/14(月) 15:02:24
>>70
rsync-3.0はあまりメモリ食わないみたいよ
2008/04/14(月) 15:35:25
着目するべきなのは容量でなくファイル数。
まあrsyncで実際に試してみりゃ問題ないのわかると思うけど。
2008/04/15(火) 23:43:34
>>75
FastCopyはこれです
http://www.ipmsg.org/tools/fastcopy.html

元々は、小さなファイルなどをオンメモリで一括コピーするような
高速なファイルコピー、削除ツールなのですが、
UNICODE対応、省メモリなのがこれしかなくて、
Windowsでのバックアップ、ミラーリングに使ってます
（バックアップ専用ソフトでもこういうのがなかなかない）

HDD内に100万ファイルくらいあってもメモリ量はびびたるもの。
前にWindowsでBunBackupというのを使ったのですが、こちらは、
100万ファイルだと1.0GBほどメモリを使いましたｗ

rsyncのソースは読んだことないのですが、
メモリをたくさん食う方だとネットでも見ているのですが、
そうなるとクリティカルなバックアップ局面では使えない気がします
3.0では解決された？
2008/04/16(水) 00:33:59
>>78
rsync 3.0ではファイルの数が多くてもメモリの使用量は少ない.
ただし,
・更新元にないファイルをどのタイミングで消すか
・ハードリンクをどれくらいちゃんと扱うか
といった条件次第では, 転送を開始する前に両端での各ファイルの
stat 結果を保持することになるのでメモリの使用量は従来同様多い.




2008/04/16(水) 00:50:34
>>78
ipmsgのファイル転送も最強に速いからね
ただ、FastCopyはファイル転送ツールじゃないでしょ？
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況