2ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。
http://www.ninnin.net/
※perlとwgetが必要です。
※Windows,Macでは動きません。
2ちゃん画像落としまくりスクリプト
11
NGNG106101
NGNG >>105
ども。マ板でもちょっと書いたんだけど、できました。
2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。
これ http://moso.borogrammers.net/newlin/ なんだけどどうかしら?
表示例↓
http://moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23
ども。マ板でもちょっと書いたんだけど、できました。
2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。
これ http://moso.borogrammers.net/newlin/ なんだけどどうかしら?
表示例↓
http://moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23
107名無しさん@お腹いっぱい。
NGNGNGNG
109名無しさん@お腹いっぱい。
NGNG スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。
110109
NGNG あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
視点の移動が少なくて良いんじゃないかと思います。
視点の移動が少なくて良いんじゃないかと思います。
111名無しさん@お腹いっぱい。
NGNG .datの形式変わった?
112106
NGNG 本業でヘロヘロになってました。109さんご意見どうも。
>スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。
トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号
でソートして表示する」というラジオボタンをつけました。
>あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
>視点の移動が少なくて良いんじゃないかと思います。
確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの
ではないかと思います。
URLは相変わらず http://moso.borogrammers.net/newlin/ です。
>スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。
トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号
でソートして表示する」というラジオボタンをつけました。
>あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
>視点の移動が少なくて良いんじゃないかと思います。
確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの
ではないかと思います。
URLは相変わらず http://moso.borogrammers.net/newlin/ です。
113106
NGNG114名無しさん@お腹いっぱい。
NGNGNGNG
NGNG
>>1のスクリプトは、いまや改造しないとそのままでは使えないですね。
117名無しさん@お腹いっぱい。
NGNG >>116,117
2ch のシステムはよく知らないんだけど現在では subject.txt と .dat
は直接見れないんだよね? read.cgi から raw モードで取得するのかな。
その辺りを書き換えればオッケー。
2ch のシステムはよく知らないんだけど現在では subject.txt と .dat
は直接見れないんだよね? read.cgi から raw モードで取得するのかな。
その辺りを書き換えればオッケー。
NGNG
monazilla ML 入るが吉。
NGNG
使えなくなってるね…
121116
NGNG >>117
118が書いてるように、今は $ita/subject.txt が見られないようだから、
まずオリジナルスクリプトの subject.txt は subback.html にでも
しないといけない。
また、subback.html を参照するようにしたら、データナンバーの取り出し方も
変えないといけないね。いろいろなやり方があるだろうが、例えば
http://love.2ch.net/morningcoffee/subback.html
だったら
<a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a>
みたいなスレッドのリストが得られて、要はこの中の 1014421686 を
切り出したいわけだから、38行目と60行目
($data_no) = split /\<\>/ , $_;
は、
@data = split /\//;
$data_no = $data[0];
$data_no =~ s%\D%%g;
とでもすれば $data_no に 1014421686 が入って、
あと、40行目の $target は、conf.txt に
$host = 'http://love.2ch.net/';
$categ = '/morningcoffee/';
を追加しといて
$target = "$host"."test/read.cgi"."$categ"."$data_no";
として使っているが、もっとエレガントなやり方があったら誰か教えて著。
118が書いてるように、今は $ita/subject.txt が見られないようだから、
まずオリジナルスクリプトの subject.txt は subback.html にでも
しないといけない。
また、subback.html を参照するようにしたら、データナンバーの取り出し方も
変えないといけないね。いろいろなやり方があるだろうが、例えば
http://love.2ch.net/morningcoffee/subback.html
だったら
<a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a>
みたいなスレッドのリストが得られて、要はこの中の 1014421686 を
切り出したいわけだから、38行目と60行目
($data_no) = split /\<\>/ , $_;
は、
@data = split /\//;
$data_no = $data[0];
$data_no =~ s%\D%%g;
とでもすれば $data_no に 1014421686 が入って、
あと、40行目の $target は、conf.txt に
$host = 'http://love.2ch.net/';
$categ = '/morningcoffee/';
を追加しといて
$target = "$host"."test/read.cgi"."$categ"."$data_no";
として使っているが、もっとエレガントなやり方があったら誰か教えて著。
NGNG
123名無しさん@お腹いっぱい。
NGNG124名無しさん@お腹いっぱい。
NGNG wgetでダウンロードしたファイルを
ダウンロードしたYYYYMMDDという形式で
保存するにはどうすればいいのでしょう。
同じ名前でファイルが毎週更新されるので
cronでそのままで回すのでは上書きされて
しまいます。
ダウンロードしたYYYYMMDDという形式で
保存するにはどうすればいいのでしょう。
同じ名前でファイルが毎週更新されるので
cronでそのままで回すのでは上書きされて
しまいます。
125名無しさん@Emacs
NGNGNGNG
-O --output-document=FILE FILE に文書を出力します。
NGNG
128名無しさん@Emacs
NGNG >>128
% wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg
(´-`).。oO(>>127 がすでに答えてくれているけど…なんでだろう?)
% wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg
(´-`).。oO(>>127 がすでに答えてくれているけど…なんでだろう?)
NGNG
NGNG
ほしゅ
NGNG
捕手
NGNG
なんとなく
NGNG
ほしゅ
NGNG
どるどれい?
NGNG
sage
NGNG
おーい
137名無しさん@お腹いっぱい。
NGNG ある日付以降の書きこみに書かれているURLのみを
落としたいとかできるでしょうか?
落としたいとかできるでしょうか?
138名無しさん@お腹いっぱい。
NGNG あげとこう
NGNG
さげとこう
NGNG
一個のディレクトリに画像ファイル1400個置いてますが
gimvでみるときに極端に速度が遅いです
数が多いとよくないんですね
どーにかなりませんか?
gimvでみるときに極端に速度が遅いです
数が多いとよくないんですね
どーにかなりませんか?
NGNG
何が悪いかをつきとめて、それを直す。
NGNG
>>140
UNIXのファイルシステムは
一つのディレクトリにファイルがいっぱいあると遅いと
聞いたことがあるな
(だからメールキューは複数のディレクトリに分かれてるらしい)
1400個くらいなら関係ないのかもしれんけどね
詳しい人フォローレスたのむ
UNIXのファイルシステムは
一つのディレクトリにファイルがいっぱいあると遅いと
聞いたことがあるな
(だからメールキューは複数のディレクトリに分かれてるらしい)
1400個くらいなら関係ないのかもしれんけどね
詳しい人フォローレスたのむ
NGNG
>142
(だから2chのスレッドは足切り制限があるらしい)
(1つの板に数千のスレがあった時代は重かったなぁ…)
脱線スマソ
(だから2chのスレッドは足切り制限があるらしい)
(1つの板に数千のスレがあった時代は重かったなぁ…)
脱線スマソ
144名無しさん@お腹いっぱい。
NGNG age
145名無しさん@お腹いっぱい。
NGNG うーん、誰も保守しようとか言う気はないの?
ないよね。
ないよね。
NGNG
147名無しさん@お腹いっぱい。
NGNG チョトおしえてください。
IEからなら
http://pc.2ch.net/test/read.cgi/unix/1003833552/
が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、
できないんです。どうやればいいんですか?
IEからなら
http://pc.2ch.net/test/read.cgi/unix/1003833552/
が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、
できないんです。どうやればいいんですか?
NGNG
wget http://pc.2ch.net/test/read.cgi/unix/1003833552/
でできるが…?
でできるが…?
149名無しさん@お腹いっぱい。
NGNG て優香、wget使わなくても、httpget使えば便利じゃない?
と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・
http://www.onicos.com/staff/iz/release/
と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・
http://www.onicos.com/staff/iz/release/
NGNG
NGNG
どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に
キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば2ちゃんの
負荷も減るし、うpろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って
るしで、うっはうはーじゃん。
キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば2ちゃんの
負荷も減るし、うpろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って
るしで、うっはうはーじゃん。
NGNG
どうせなら落としたファイルがP2Pで共有されるようにするとか
NGNG
154名無しさん@お腹いっぱい。
NGNGNGNG
NGNG
>>153
て優香、datファイルを落とせるならそうしたいんだけど、やりかた
教えてーな。
たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
htmlをそのまま落としてマッチングしてるんだけど・・・
て優香、datファイルを落とせるならそうしたいんだけど、やりかた
教えてーな。
たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
htmlをそのまま落としてマッチングしてるんだけど・・・
157153
NGNG >>156
http://pc.2ch.net/test/read.cgi/unix/1003833552/
だったら
http://pc.2ch.net/unix/dat/1003833552.dat
でいけるのではないと?
>たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
>htmlをそのまま落としてマッチングしてるんだけど・・・
これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの?
俺はそれよりあとに2ch来たからよく知らないけど、
read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。
http://pc.2ch.net/test/read.cgi/unix/1003833552/
だったら
http://pc.2ch.net/unix/dat/1003833552.dat
でいけるのではないと?
>たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
>htmlをそのまま落としてマッチングしてるんだけど・・・
これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの?
俺はそれよりあとに2ch来たからよく知らないけど、
read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。
158153
NGNG >>156
とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。
粗末なシェルスクリプトだが...
#!/bin/sh
PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin
DATE=`date +%Y%m%d_%H%M%S`
if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then
:
else
echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]"
exit
fi
HOMEDIR=/home/hoge/documents/data
TARGET=$1
DIR=$2
HOST=$3
ITA=$4
LOGFILE=./wget_log.txt
if [ "$5" ];then
WAIT=$5
else
WAIT=3
fi
とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。
粗末なシェルスクリプトだが...
#!/bin/sh
PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin
DATE=`date +%Y%m%d_%H%M%S`
if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then
:
else
echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]"
exit
fi
HOMEDIR=/home/hoge/documents/data
TARGET=$1
DIR=$2
HOST=$3
ITA=$4
LOGFILE=./wget_log.txt
if [ "$5" ];then
WAIT=$5
else
WAIT=3
fi
159153
NGNG # -c tuchuukara
# -N time stamp
WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6"
if ! [ -d ${HOMEDIR}/${DIR} ] ;then
echo ${HOMEDIR}/${DIR} no such directry\!
exit
fi
/bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat
/bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat
/bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject
cd ${HOMEDIR}/${DIR}
test -f ${LOGFILE} || touch ${LOGFILE}
printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE}
if [ ${TARGET} = subject ];then
rm -f subject.txt
wget -a${LOGFILE} -U "Hogella/1.0" http://${HOST}/${ITA}/subject.txt
cp subject.txt ./subject/subject.${DATE}.txt
# -N time stamp
WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6"
if ! [ -d ${HOMEDIR}/${DIR} ] ;then
echo ${HOMEDIR}/${DIR} no such directry\!
exit
fi
/bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat
/bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat
/bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject
cd ${HOMEDIR}/${DIR}
test -f ${LOGFILE} || touch ${LOGFILE}
printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE}
if [ ${TARGET} = subject ];then
rm -f subject.txt
wget -a${LOGFILE} -U "Hogella/1.0" http://${HOST}/${ITA}/subject.txt
cp subject.txt ./subject/subject.${DATE}.txt
160153
NGNG elif [ ${TARGET} = dat ];then
echo "---> DATE = ${DATE}"
mkdir old_dat/${DATE}
rm -f subject.txt
wget -a${LOGFILE} http://${HOST}/${ITA}/subject.txt
echo "---> got subject file"
sleep 1
echo -n "---> dat file... "
for DAT in `cat ./subject.txt | cut -f1 -d.` ;do
echo "--->TARGET is ${DAT}" >> ${LOGFILE}
echo -n "${DAT}"
wget ${WGETFLAG} http://${HOST}/${ITA}/dat/${DAT}.dat
if [ -f ./dat/${DAT}.dat.1 ];then
echo "---> file moved to old_dat dir" >> ${LOGFILE}
mv ./dat/${DAT}.dat ./old_dat/${DATE}
mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat
echo -n "_ "
elif [ -f ./dat/${DAT}.dat ];then
echo -n ". "
else
echo -n "X "
fi
sleep ${WAIT}
done
echo " "
echo "---> all done" >>${LOGFILE}
echo "---> all done"
fi
echo "---> DATE = ${DATE}"
mkdir old_dat/${DATE}
rm -f subject.txt
wget -a${LOGFILE} http://${HOST}/${ITA}/subject.txt
echo "---> got subject file"
sleep 1
echo -n "---> dat file... "
for DAT in `cat ./subject.txt | cut -f1 -d.` ;do
echo "--->TARGET is ${DAT}" >> ${LOGFILE}
echo -n "${DAT}"
wget ${WGETFLAG} http://${HOST}/${ITA}/dat/${DAT}.dat
if [ -f ./dat/${DAT}.dat.1 ];then
echo "---> file moved to old_dat dir" >> ${LOGFILE}
mv ./dat/${DAT}.dat ./old_dat/${DATE}
mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat
echo -n "_ "
elif [ -f ./dat/${DAT}.dat ];then
echo -n ". "
else
echo -n "X "
fi
sleep ${WAIT}
done
echo " "
echo "---> all done" >>${LOGFILE}
echo "---> all done"
fi
161153
NGNG HOMEDIR=/home/hoge/documents/data
を適当に書き換えて
mkdir $HOMEDIR/test-dir
./get.sh dat test-dir pc.2ch.net unix 3
で使えると思う(freebsd以外は不明)。
2度目からは
./get.sh dat test-dir pc.2ch.net unix 3 -c
で差分だけとってこれる。
を適当に書き換えて
mkdir $HOMEDIR/test-dir
./get.sh dat test-dir pc.2ch.net unix 3
で使えると思う(freebsd以外は不明)。
2度目からは
./get.sh dat test-dir pc.2ch.net unix 3 -c
で差分だけとってこれる。
NGNG
あらほんと。
で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ
拾いたいんだけど、どうやるの?
で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ
拾いたいんだけど、どうやるの?
NGNG
うーん、
cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ?
てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。
cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ?
てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。
164153
NGNG >>162
wgetのオプションで俺が使えると思うのは。
-c ファイルサイズを見て、増加分だけダウンロードする。
-N タイムスタンプを見て、ファイルが更新されていたら、(ファイルすべて)をダウンロードする。
-nc ファイルが存在したら、ダウンロードしない。(接続もしない)
-t 3 失敗したときの再トライ回数(デフォルトは20なので、3ぐらいに設定したほうがよいと思う)
-x ディレクトリを作って、URLを再現する
(例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat )
-nd -xの逆、ディレクトリを作らない。(-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない)
-i link.txt ファイルからURLを読み込んでダウンロードする。
-nv ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0" ユーザーエージェントをちょろまかす。
-P PREFIX
--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt ログファイル(上書きしてしまう)
-a hoge.txt ログファイル(追加から書く)
-r リンクをたどり、再起的に取る(ただし、別のホストはダウンロードしない)
-w 3 再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。
-nd
wgetのオプションで俺が使えると思うのは。
-c ファイルサイズを見て、増加分だけダウンロードする。
-N タイムスタンプを見て、ファイルが更新されていたら、(ファイルすべて)をダウンロードする。
-nc ファイルが存在したら、ダウンロードしない。(接続もしない)
-t 3 失敗したときの再トライ回数(デフォルトは20なので、3ぐらいに設定したほうがよいと思う)
-x ディレクトリを作って、URLを再現する
(例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat )
-nd -xの逆、ディレクトリを作らない。(-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない)
-i link.txt ファイルからURLを読み込んでダウンロードする。
-nv ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0" ユーザーエージェントをちょろまかす。
-P PREFIX
--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt ログファイル(上書きしてしまう)
-a hoge.txt ログファイル(追加から書く)
-r リンクをたどり、再起的に取る(ただし、別のホストはダウンロードしない)
-w 3 再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。
-nd
165153
NGNG >>164
失敗。
wgetのオプションで俺が使えると思うのは。
-c ファイルサイズを見て、増加分だけダウンロードする。
-N タイムスタンプを見て、ファイルが更新されていたら、(ファイルすべて)をダウンロードする。
-nc ファイルが存在したら、ダウンロードしない。(接続もしない)
-t 3 失敗したときの再トライ回数(デフォルトは20なので、3ぐらいに設定したほうがよいと思う)
-x ディレクトリを作って、URLを再現する
(例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat )
-nd -xの逆、ディレクトリを作らない。(-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない)
-i link.txt ファイルからURLを読み込んでダウンロードする。
-nv ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0" ユーザーエージェントをちょろまかす。
-P PATH PATHを基準にファイルを保存
--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt ログファイル(上書きしてしまう)
-a hoge.txt ログファイル(追加から書く)
-r リンクをたどり、再起的に取る(ただし、別のホストはダウンロードしない)
-w 3 再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。
失敗。
wgetのオプションで俺が使えると思うのは。
-c ファイルサイズを見て、増加分だけダウンロードする。
-N タイムスタンプを見て、ファイルが更新されていたら、(ファイルすべて)をダウンロードする。
-nc ファイルが存在したら、ダウンロードしない。(接続もしない)
-t 3 失敗したときの再トライ回数(デフォルトは20なので、3ぐらいに設定したほうがよいと思う)
-x ディレクトリを作って、URLを再現する
(例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat )
-nd -xの逆、ディレクトリを作らない。(-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない)
-i link.txt ファイルからURLを読み込んでダウンロードする。
-nv ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0" ユーザーエージェントをちょろまかす。
-P PATH PATHを基準にファイルを保存
--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt ログファイル(上書きしてしまう)
-a hoge.txt ログファイル(追加から書く)
-r リンクをたどり、再起的に取る(ただし、別のホストはダウンロードしない)
-w 3 再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。
166153
NGNG WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、
は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。
代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。
あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。
>>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、
変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。
>>163
うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、
もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも..
は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。
代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。
あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。
>>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、
変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。
>>163
うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、
もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも..
167153
NGNG >>162
wget -c で増加分をダウンロードできるらしいです。
これは、ダウンロード途中でコネクションが切れたりして、
あとからその続きからダウンロードしたい場合にも使えるようです。
遠くのftpサーバとかに使えます。
wget -c で増加分をダウンロードできるらしいです。
これは、ダウンロード途中でコネクションが切れたりして、
あとからその続きからダウンロードしたい場合にも使えるようです。
遠くのftpサーバとかに使えます。
NGNG
NGNG
このスレでやるな。
NGNG
>>169
何を?なぜ?
何を?なぜ?
1711
NGNG dat落ちするかとおもったけど
なんかまたあがってきてるんで
ひさびさにバージョンアップしようかな
というか、つかってる人(使う人)とかいるんでしょうか?
なんかまたあがってきてるんで
ひさびさにバージョンアップしようかな
というか、つかってる人(使う人)とかいるんでしょうか?
NGNG
NGNG
>>172
君のPCの時計ずれてない?
君のPCの時計ずれてない?
NGNG
NGNG
NGNG
>>174
いやこんなんでたから。
ゴミレススマソ。
---
get2ch_v006/get2ch.pl
tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/get2chrc.txt
tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/readme.txt
tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/subback2subhash.pl
tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
いやこんなんでたから。
ゴミレススマソ。
---
get2ch_v006/get2ch.pl
tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/get2chrc.txt
tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/readme.txt
tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/subback2subhash.pl
tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
NGNG
NGNG
て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、
Irvineでも使えばwgetよりはるかに効率的に収集できるし。
あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。
Irvineでも使えばwgetよりはるかに効率的に収集できるし。
あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。
NGNG
萌え板を監視するスクリプトも( ゚д゚)ホスィ…
NGNG
NGNG
>>178
soretteCUI?
soretteCUI?
182179
NGNG 説明不足でした。
こんな感じの掲示板です。
http://www9.xdsl.ne.jp/~w2web/moe/moelinks.html
萌々ぼ〜どって言うのかな?
ソノテの人の画像アップ掲示板として広く使われてるみたいです。
欲しいのは画像をいっきに落とす・・ですが
できたら全てのページをログも含めてHDに保存できるのが好ましいです。
こんな感じの掲示板です。
http://www9.xdsl.ne.jp/~w2web/moe/moelinks.html
萌々ぼ〜どって言うのかな?
ソノテの人の画像アップ掲示板として広く使われてるみたいです。
欲しいのは画像をいっきに落とす・・ですが
できたら全てのページをログも含めてHDに保存できるのが好ましいです。
NGNG
NGNG
NGNG
wgetでpostできるようにするパッチあるよ
ttp://pluto.im.uec.ac.jp/~sekita-n/prog/
CGIを激しく呼び出してアク禁喰らっても知らないけど
ttp://pluto.im.uec.ac.jp/~sekita-n/prog/
CGIを激しく呼び出してアク禁喰らっても知らないけど
NGNG
>>184
cgiを読んだら、POSTを送ることでページをめくるようになってた。
perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは?
またはhttp://hoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。
ところでwgetでPOSTを送ることってできないよね?(wget厨ですまそ)
cgiを読んだら、POSTを送ることでページをめくるようになってた。
perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは?
またはhttp://hoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。
ところでwgetでPOSTを送ることってできないよね?(wget厨ですまそ)
NGNG
curl使え
NGNG
NGNG
⊂⌒~⊃。Д。)⊃
NGNG
その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある
moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。
CGI叩くのやめれ。
moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。
CGI叩くのやめれ。
192名無しさん@お腹いっぱい。
NGNG >>172
なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ
なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ
NGNG
>>187 w3m
NGNG
NGNG
>>193
それだ!
それだ!
NGNG
NGNG
NGNG
NGNG
>>198
あらほんと。
-cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの
速さからして差分だけ落としてるように思ふ。
て優香、汚いソースを丁寧に読んでくれてありがd
datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、
やっぱヤバイかね?間隔あけた方がいいかな?
あらほんと。
-cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの
速さからして差分だけ落としてるように思ふ。
て優香、汚いソースを丁寧に読んでくれてありがd
datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、
やっぱヤバイかね?間隔あけた方がいいかな?
NGNG
あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法
ありませんか?
ありませんか?
NGNG
>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...
>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は?
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...
>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は?
NGNG
>>201
今 -nc消したやつをうpしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからキニシナーイ
>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね?
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。
>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は?
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。
今 -nc消したやつをうpしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからキニシナーイ
>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね?
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。
>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は?
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。
NGNG
>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...
NGNG
NGNG
(´-`).。oO(画像掲示板から落とした方が簡単なのに、なんでだろう…)
NGNG
こんなのもあったり
http://j2ch.free-city.net/
http://j2ch.free-city.net/
レスを投稿する
ニュース
- 【足立区暴走11人死傷】歩行者はねた後も減速せず…精神疾患がある37歳男「車で神奈川の山の方に行きたいと思った」 [ぐれ★]
- 【北海道】「稀に見る大きな個体」 体長1.9m、体重400kg超の巨大グマを捕獲 苫前町 [煮卵★]
- SuicaとPASMOのコード決済「teppay(テッペイ)」26年秋開始 🐧🤖 [少考さん★]
- 【円安】「ホストに貢ぎたい」と海外で売春する日本人女性 2カ月で2千万円稼ぐケースも★2 [1ゲットロボ★]
- 【フジ】クリスマスイブ恒例の「明石家サンタ」見送りへ 今年は「お笑い向上委員会」SP放送 [征夷大将軍★]
- 🇺🇸🇨🇳米中関係は「極めて強固」とトランプ氏… ★7 [BFU★]
- 【速報】米中電話会談、おやびん側からの提案だった。高市さん... [834922174]
- 【悲報】ネトウヨ「高市発言のどこが人災なんだ😡チャイナリスクを考えてない奴らの自己責任だろ!」7千いいね [359965264]
- 防衛省「台湾有事にロシア参戦するかも」 [177178129]
- エロ漫画男「金玉上がってきた…ッ!」 [279254606]
- メディアさん、高市総理を無理のある褒め方で称賛😰「笑顔で周囲の空気を明るくして…」「日本が世界の中心…」 [153490809]
- 「まいばすけっと」とかゆう都内に存在する極狭スーパーの利用体験談、ガチで想像を超える・・・ [329329848]
