２ちゃん画像落としまくりスクリプト

[1 1 NG NG]

２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

http://www.ninnin.net/

※perlとwgetが必要です。
※Windows,Macでは動きません。

[71 名無しさん@XEｍａｃｓ NG NG]

XV って未だに使い方よくわかんない…
メンドーなので、なんでもかんでも ImageMagick …

[72 名無しさん＠Ｅｍａｃｓ NG NG]

>>70
既出

[73 名無しさん＠お腹いっぱい。 NG NG]

GQviewとか。

[74 名無しさん＠お腹いっぱい。 NG NG]

キーボードマクロで+mamiするのをcronでまわしておくと、
便利というか迷惑というか。

[75 名無しさん＠お腹いっぱい。 NG NG]

便利と思うがなんであがらないのかな？
ということで定期あげ。

[76 名無しさん＠Ｅｍａｃｓ NG NG]

ところで、画像集めた後の話だが、
同じ様な画像がたーくさんディスクの肥しになって
欝にならないか？

そんな時は、dupmerge
http://people.qualcomm.com/karn/code/dupmerge/
(QualcommのPhilip Karn作)

洩れは、
find . -name "*.[GgJj][IiPp][FfEeGg]*" -o -name "*.[Mm][Pp][EeGg]*" | dupmerge
みたいにして使ってるよ。

[77 名無しさん＠お腹いっぱい。 NG NG]

>>76
sambaでwinにmountしているんだけれども、
この手のツールはwinのほうが充実していないでしょうか。

[78 名無しさん＠Ｅｍａｃｓ NG NG]

shell で書けるからね。

[79 名無しさん＠Ｅｍａｃｓ NG NG]

>> 76
どうせなら iname 使え

[80 名無しさん＠Ｅｍａｃｓ NG NG]

そりでは修正
find . -iname "*.[gjm][ip][feg]*" | dupmerge

[81 名無しさん＠Ｅｍａｃｓ NG NG]

>>77
最近のwindowsは、ハードリンク出来るの？
消すんじゃなくてハードリンクする所が
ミソなんだけど

[82 名無しさん＠お腹いっぱい。 NG NG]

>>81
使えるわけないじゃん

[83 名無しさん＠Ｅｍａｃｓ NG NG]

>>82 >> 77
じゃ、充実してないじゃん

[84 名無しさん＠Ｅｍａｃｓ NG NG]

どうせ焼く時は使わない

[85 名無しさん＠お腹いっぱい。 NG NG]

あげます、あげます

[86 名無しさん＠お腹いっぱい。 NG NG]

お前ら、最近どうですか？

[87 名無しさん＠お腹いっぱい。 NG NG]

どの板も、途中でＤＬが止まってしまうのだよ。なんでだ？？

[88 名無しさん＠お腹いっぱい。 NG NG]

>>81-82
Windowsでもハードリンク使えるみたい

CreateHardLink
これをMSDNかなんかでしらべれ

Unixと全く関係ないが、サゲたら忘れそうなのでｱｹﾞ

[89 名無しさん＠お腹いっぱい。 NG NG]

FAT でどうやって hardlink 作るんだ?

[90 名無しさん＠お腹いっぱい。 NG NG]

確か2000以降だっけかな、忘れた

[91 名無しさん＠お腹いっぱい。 NG NG]

NTFSならhard linkもsymbolic linkもできるよ。
あんまり使われてないのはFATだと使えないからかも。

[92 名無しさん＠お腹いっぱい。 NG NG]

symbolic linkをjunctionという、らしい。
ただこいつを使うと、WindowsのExplorerでさえ
摩訶不思議な挙動を示すことがあるというくらい、
ろくに使われてない機能。

[93 名無しさん＠お腹いっぱい。 NG NG]

思いつきとしか思えない機能追加が多いからな。
だったら DOS のころから linkfile をサポートしといてほしい。

[94 名無しさん＠お腹いっぱい。 NG NG]

DOSでFATでもハードリンク作れるYO!
ただし、chkdsk.exeにクロスリンクと言われてしまう、諸刃の剣。
素人にはお勧めできない。ってやつだ。

[95 名無しさん＠お腹いっぱい。 NG NG]

こえーーー

[96 名無しさん＠お腹いっぱい。 NG NG]

>>94
確かに間違いでは無いな(笑)

[97 名無しさん＠お腹いっぱい。 NG NG]

age て みた

[98 名無しさん＠お腹いっぱい。 NG NG]

やっぱり前回履歴に対応して欲しいなぁ。
毎日cronで走らせたいヨ。

[99 名無しさん＠お腹いっぱい。 NG NG]

>>92
俺使ってる。でもあれってsymlinkというのは詐欺だろう。
join(DOS)とかFreeBSDのunion fs & mountみたいのと言った方が正確
かな。で、俺が見つけてる不具合は

1.Explorerやインストーラの空き容量計算がmountに対応できてないので、
　インストーラで(空きがあっても)「ねーよ」と弾かれたりする
2.MoveFile() APIがmountを考慮してないので、src/destが同じドライブ
　名だけど別ボリュームの場合、ファイル移動に失敗する(API直/cmd.exe
　Explorer全滅)

だな。
一応どっちも回避方法があるし、従来アプリは1.に対応できんというのは
仕方がない所でもあるんだが、2.はどう考えても(仕様変更への)追従ミス。

# 同一ボリューム内の移動の場合、ディレクトリエントリだけの書き換え
# で高速化してるんだが、同一ボリュームかどうかの判定にsrc/destの
# ドライブ文字しか見てないという。アホ。

[100 名無しさん＠お腹いっぱい。 NG NG]

100

[101 名無しさん＠お腹いっぱい。 NG NG]

ある板のある日の<a href="...">を一括表示してくれるようなサイトない？
つくろうかな…。

[102 名無しさん＠お腹いっぱい。 NG NG]

>>101
作って！

[103 名無しさん＠お腹いっぱい。 NG NG]

>102
つくりはじめた。rawmodeを使おうかとも思ったけど、index.htmlをtidyでXHTMLに
変換してからXSLTで加工(XHTML to XML)して、XMLで日別にサーバ側に蓄積して、
CGIでXML選んでXSLTかまして(XML to HTML4)出力、みたいな感じにすることにした。
なんとなく。

とりあえず最初のXSLTまで書けましたわ。

[104 名無しさん＠お腹いっぱい。 NG NG]

age

[105 名無しさん＠お腹いっぱい。 NG NG]

>103
すばらしいあげ

[106 101 NG NG]

>>105
ども。マ板でもちょっと書いたんだけど、できました。
2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。

これ http://moso.borogrammers.net/newlin/ なんだけどどうかしら?

表示例↓
http://moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23

[107 名無しさん＠お腹いっぱい。 NG NG]

祭り監視に良いNE >>106

[108 名無しさん＠お腹いっぱい。 NG NG]

>>106
面白いね
ちょっと遊んでみるよ

でもsage

[109 名無しさん＠お腹いっぱい。 NG NG]

スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。

[110 109 NG NG]

あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
視点の移動が少なくて良いんじゃないかと思います。

[111 名無しさん＠お腹いっぱい。 NG NG]

.datの形式変わった？

[112 106 NG NG]

本業でヘロヘロになってました。109さんご意見どうも。

>スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。
トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号
でソートして表示する」というラジオボタンをつけました。

>あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
>視点の移動が少なくて良いんじゃないかと思います。
確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの
ではないかと思います。

URLは相変わらず http://moso.borogrammers.net/newlin/ です。

[113 106 NG NG]

新しい表示例:
http://moso.borogrammers.net/newlin/read.cgi?board=newsplus&yyyy=2002&mm=02&dd=21&abone=on&exclude=on&exclude_text=2ch.net%2F&ext_text=swf&thr_sort=yes

[114 名無しさん＠お腹いっぱい。 NG NG]

>>113のURLはなんか妙な表示になる気もするけど、良くなったと思います。
てーか誰か画面のデザインしてやれ。地味すぎるよ

[115 名無しさん＠お腹いっぱい。 NG NG]

>>111
datは>>106のviewerには無関係と思われ

[116 名無しさん＠お腹いっぱい。 NG NG]

>>1のスクリプトは、いまや改造しないとそのままでは使えないですね。

[117 名無しさん＠お腹いっぱい。 NG NG]

>>116
改造キボンヌ

[118 NG NG]

>>116,117
2ch のシステムはよく知らないんだけど現在では subject.txt と .dat
は直接見れないんだよね？ read.cgi から raw モードで取得するのかな。
その辺りを書き換えればオッケー。

[119 名無しさん＠お腹いっぱい。 NG NG]

monazilla ML 入るが吉。

[120 名無しさん＠お腹いっぱい。 NG NG]

使えなくなってるね…

[121 116 NG NG]

>>117
118が書いてるように、今は $ita/subject.txt が見られないようだから、
まずオリジナルスクリプトの subject.txt は subback.html にでも
しないといけない。
また、subback.html を参照するようにしたら、データナンバーの取り出し方も
変えないといけないね。いろいろなやり方があるだろうが、例えば
http://love.2ch.net/morningcoffee/subback.html
だったら
<a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a>
みたいなスレッドのリストが得られて、要はこの中の 1014421686 を
切り出したいわけだから、38行目と60行目
($data_no) = split /\<\>/ , $_;
は、
@data = split /\//;
$data_no = $data[0];
$data_no =~ s%\D%%g;
とでもすれば $data_no に 1014421686 が入って、
あと、40行目の $target は、conf.txt に
$host = 'http://love.2ch.net/';
$categ = '/morningcoffee/';
を追加しといて
$target = "$host"."test/read.cgi"."$categ"."$data_no";
として使っているが、もっとエレガントなやり方があったら誰か教えて著。

[122 名無しさん＠お腹いっぱい。 NG NG]

>>1 のサイト、アクセスできなかったんですけど
件のスクリプトを落とせるところは他にありませんか

[123 名無しさん＠お腹いっぱい。 NG NG]

　　

[124 名無しさん＠お腹いっぱい。 NG NG]

wgetでダウンロードしたファイルを
ダウンロードしたYYYYMMDDという形式で
保存するにはどうすればいいのでしょう。

同じ名前でファイルが毎週更新されるので
cronでそのままで回すのでは上書きされて
しまいます。

[125 名無しさん＠Ｅｍａｃｓ NG NG]

% wget http://xxx.xxx.xxx/???.jpg -P `date +%y%m%d`
ってのはダメ？
大量に引っこ抜くならこれでいいと思うけど。

[126 login:Penguin NG NG]

-O --output-document=FILE FILE に文書を出力します。

[127 名無しさん＠お腹いっぱい。 NG NG]

>>125
> ってのはダメ？

それでもかまわないのですがファイルは1つなので
ディレクトリは作らずYYYYMMDD.jpgというファイル名
で保存したいのですが。

[128 名無しさん＠Ｅｍａｃｓ NG NG]

>>128

% wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg

(´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

[129 名無しさん＠お腹いっぱい。 NG NG]

>>128

> (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

あの書き込みはヒントだったのですね。
ドキュメントと書いてあったので他の事かと思っていました。
ありがとう。>>ALL

[130 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[131 名無しさん＠お腹いっぱい。 NG NG]

捕手

[132 名無しさん＠お腹いっぱい。 NG NG]

なんとなく

[133 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[134 名無しさん＠お腹いっぱい。 NG NG]

どるどれい？

[135 名無しさん＠お腹いっぱい。 NG NG]

sage

[136 名無しさん＠お腹いっぱい。 NG NG]

おーい

[137 名無しさん＠お腹いっぱい。 NG NG]

ある日付以降の書きこみに書かれているURLのみを
落としたいとかできるでしょうか？

[138 名無しさん＠お腹いっぱい。 NG NG]

あげとこう

[139 名無しさん＠お腹いっぱい。 NG NG]

さげとこう

[140 名無しさん＠お腹いっぱい。 NG NG]

一個のディレクトリに画像ファイル１４００個置いてますが
gimvでみるときに極端に速度が遅いです
数が多いとよくないんですね
どーにかなりませんか？

[141 名無しさん＠お腹いっぱい。 NG NG]

何が悪いかをつきとめて、それを直す。

[142 名無しさん＠お腹いっぱい。 NG NG]

>>140
UNIXのファイルシステムは
一つのディレクトリにファイルがいっぱいあると遅いと
聞いたことがあるな
（だからメールキューは複数のディレクトリに分かれてるらしい）

1400個くらいなら関係ないのかもしれんけどね
詳しい人フォローレスたのむ

[143 名無しさん＠お腹いっぱい。 NG NG]

>142
(だから2chのスレッドは足切り制限があるらしい)
(1つの板に数千のスレがあった時代は重かったなぁ…)
脱線ｽﾏｿ

[144 名無しさん＠お腹いっぱい。 NG NG]

age

[145 名無しさん＠お腹いっぱい。 NG NG]

うーん、誰も保守しようとか言う気はないの？



ないよね。

[146 名無しさん＠お腹いっぱい。 NG NG]

>>142
ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。
xfsあたりなら、なんもせんと速い。

結論: OSと、選んだファイルシステムによる。

[147 名無しさん＠お腹いっぱい。 NG NG]

ﾁｮﾄおしえてください。
IEからなら
http://pc.2ch.net/test/read.cgi/unix/1003833552/
が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、
できないんです。どうやればいいんですか？

[148 名無しさん＠お腹いっぱい。 NG NG]

wget http://pc.2ch.net/test/read.cgi/unix/1003833552/
でできるが…？

[149 名無しさん＠お腹いっぱい。 NG NG]

て優香、wget使わなくても、httpget使えば便利じゃない？
と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・
http://www.onicos.com/staff/iz/release/

[150 名無しさん＠お腹いっぱい。 NG NG]

>>1さんが作ったやつをちと効率的に収集できるように改造したけど、
どっかにうｐしようかな？

[151 名無しさん＠お腹いっぱい。 NG NG]

どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に
キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば２ちゃんの
負荷も減るし、うｐろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って
るしで、うっはうはーじゃん。

[152 名無しさん＠お腹いっぱい。 NG NG]

どうせなら落としたファイルがP2Pで共有されるようにするとか

[153 名無しさん＠お腹いっぱい。 NG NG]

>>147
普通はdatファイルを直接落とそうとするのでは無いの？

>>151
それやろうかな...
今はdatファイルを貯めているんだけど。

[154 名無しさん＠お腹いっぱい。 NG NG]

>>150

複数ファイル(.mpgとか.rmとかの動画)も同時に落せるヤシキモンヌ

[155 名無しさん＠お腹いっぱい。 NG NG]

>>154
もちろんそういう仕様にしてあるよ。てかできたけど。
けどrm,ramはすっかりわすれてたというか、そんなのにちゃんで見たことないのだが。

[156 名無しさん＠お腹いっぱい。 NG NG]

>>153
て優香、datファイルを落とせるならそうしたいんだけど、やりかた
教えてーな。
たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
htmlをそのまま落としてマッチングしてるんだけど・・・

[157 153 NG NG]

>>156
http://pc.2ch.net/test/read.cgi/unix/1003833552/
だったら
http://pc.2ch.net/unix/dat/1003833552.dat
でいけるのではないと？

>たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
>htmlをそのまま落としてマッチングしてるんだけど・・・
これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの？
俺はそれよりあとに2ch来たからよく知らないけど、
read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。

[158 153 NG NG]

>>156
とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。
粗末なシェルスクリプトだが...

#!/bin/sh

PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin
DATE=`date +%Y%m%d_%H%M%S`

if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then
:
else
echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]"
exit
fi

HOMEDIR=/home/hoge/documents/data
TARGET=$1
DIR=$2
HOST=$3
ITA=$4
LOGFILE=./wget_log.txt

if [ "$5" ];then
WAIT=$5
else
WAIT=3
fi

[159 153 NG NG]

# -c tuchuukara
# -N time stamp
WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6"

if ! [ -d ${HOMEDIR}/${DIR} ] ;then
echo ${HOMEDIR}/${DIR} no such directry\!
exit
fi
/bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat
/bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat
/bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject

cd ${HOMEDIR}/${DIR}
test -f ${LOGFILE} || touch ${LOGFILE}
printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE}


if [ ${TARGET} = subject ];then

rm -f subject.txt
wget -a${LOGFILE} -U "Hogella/1.0" http://${HOST}/${ITA}/subject.txt
cp subject.txt ./subject/subject.${DATE}.txt

[160 153 NG NG]

elif [ ${TARGET} = dat ];then
echo "---> DATE = ${DATE}"
mkdir old_dat/${DATE}

rm -f subject.txt
wget -a${LOGFILE} http://${HOST}/${ITA}/subject.txt
echo "---> got subject file"
sleep 1

echo -n "---> dat file... "
for DAT in `cat ./subject.txt | cut -f1 -d.` ;do
echo "--->TARGET is ${DAT}" >> ${LOGFILE}
echo -n "${DAT}"
wget ${WGETFLAG} http://${HOST}/${ITA}/dat/${DAT}.dat
if [ -f ./dat/${DAT}.dat.1 ];then
echo "---> file moved to old_dat dir" >> ${LOGFILE}
mv ./dat/${DAT}.dat ./old_dat/${DATE}
mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat
echo -n "_ "
elif [ -f ./dat/${DAT}.dat ];then
echo -n ". "
else
echo -n "X "
fi
sleep ${WAIT}
done
echo " "
echo "---> all done" >>${LOGFILE}
echo "---> all done"
fi

[161 153 NG NG]

HOMEDIR=/home/hoge/documents/data
を適当に書き換えて
mkdir $HOMEDIR/test-dir
./get.sh dat test-dir pc.2ch.net unix 3
で使えると思う(freebsd以外は不明)。
２度目からは
./get.sh dat test-dir pc.2ch.net unix 3 -c
で差分だけとってこれる。

[162 名無しさん＠お腹いっぱい。 NG NG]

あらほんと。
で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ
拾いたいんだけど、どうやるの？

[163 名無しさん＠お腹いっぱい。 NG NG]

うーん、
cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ？
てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。

[164 153 NG NG]

>>162
wgetのオプションで俺が使えると思うのは。
-c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。
-N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。
-nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない）
-t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う)
-x　　　　　　　ディレクトリを作って、URLを再現する
　　　　　　　　　（例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ）
-nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない）
-i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　
-nv　　　　　　ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。
-P PREFIX


--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt 　　ログファイル（上書きしてしまう）
-a hoge.txt 　　ログファイル（追加から書く）

-r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない）
-w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。


-nd

[165 153 NG NG]

>>164
失敗。

wgetのオプションで俺が使えると思うのは。
-c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。
-N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。
-nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない）
-t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う)
-x　　　　　　　ディレクトリを作って、URLを再現する
　　　　　　　　　（例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ）
-nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない）
-i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　
-nv　　　　　　ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。
-P PATH　　PATHを基準にファイルを保存


--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt 　　ログファイル（上書きしてしまう）
-a hoge.txt 　　ログファイル（追加から書く）

-r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない）
-w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。

[166 153 NG NG]

WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、
は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。
代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。

あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。

>>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、
変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。

>>163
うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、
もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも..

[167 153 NG NG]

>>162
wget -c で増加分をダウンロードできるらしいです。
これは、ダウンロード途中でコネクションが切れたりして、
あとからその続きからダウンロードしたい場合にも使えるようです。
遠くのftpサーバとかに使えます。

[168 名無しさん＠お腹いっぱい。 NG NG]

>>167
さんくすこ。
スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、
あぼーんされても大丈夫だと思う。
というわけで、増分だけ拾うようにしますわ。

[169 名無しさん＠お腹いっぱい。 NG NG]

このスレでやるな。

[170 名無しさん＠お腹いっぱい。 NG NG]

>>169
何を？なぜ？

[171 1 NG NG]

dat落ちするかとおもったけど
なんかまたあがってきてるんで
ひさびさにバージョンアップしようかな

というか、つかってる人（使う人）とかいるんでしょうか？