２ちゃん画像落としまくりスクリプト

[128 名無しさん＠Ｅｍａｃｓ NG NG]

>>128

% wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg

(´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

[129 名無しさん＠お腹いっぱい。 NG NG]

>>128

> (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

あの書き込みはヒントだったのですね。
ドキュメントと書いてあったので他の事かと思っていました。
ありがとう。>>ALL

[130 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[131 名無しさん＠お腹いっぱい。 NG NG]

捕手

[132 名無しさん＠お腹いっぱい。 NG NG]

なんとなく

[133 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[134 名無しさん＠お腹いっぱい。 NG NG]

どるどれい？

[135 名無しさん＠お腹いっぱい。 NG NG]

sage

[136 名無しさん＠お腹いっぱい。 NG NG]

おーい

[137 名無しさん＠お腹いっぱい。 NG NG]

ある日付以降の書きこみに書かれているURLのみを
落としたいとかできるでしょうか？

[138 名無しさん＠お腹いっぱい。 NG NG]

あげとこう

[139 名無しさん＠お腹いっぱい。 NG NG]

さげとこう

[140 名無しさん＠お腹いっぱい。 NG NG]

一個のディレクトリに画像ファイル１４００個置いてますが
gimvでみるときに極端に速度が遅いです
数が多いとよくないんですね
どーにかなりませんか？

[141 名無しさん＠お腹いっぱい。 NG NG]

何が悪いかをつきとめて、それを直す。

[142 名無しさん＠お腹いっぱい。 NG NG]

>>140
UNIXのファイルシステムは
一つのディレクトリにファイルがいっぱいあると遅いと
聞いたことがあるな
（だからメールキューは複数のディレクトリに分かれてるらしい）

1400個くらいなら関係ないのかもしれんけどね
詳しい人フォローレスたのむ

[143 名無しさん＠お腹いっぱい。 NG NG]

>142
(だから2chのスレッドは足切り制限があるらしい)
(1つの板に数千のスレがあった時代は重かったなぁ…)
脱線ｽﾏｿ

[144 名無しさん＠お腹いっぱい。 NG NG]

age

[145 名無しさん＠お腹いっぱい。 NG NG]

うーん、誰も保守しようとか言う気はないの？



ないよね。

[146 名無しさん＠お腹いっぱい。 NG NG]

>>142
ext2fsやオリジナルのufsは遅いが、たとえばufsでもUFS_DIRHASH入りものなら速い。
xfsあたりなら、なんもせんと速い。

結論: OSと、選んだファイルシステムによる。

[147 名無しさん＠お腹いっぱい。 NG NG]

ﾁｮﾄおしえてください。
IEからなら
http://pc.2ch.net/test/read.cgi/unix/1003833552/
が見えるんですけど、wgetを使ってこのページをダウンロードしようとしても、
できないんです。どうやればいいんですか？

[148 名無しさん＠お腹いっぱい。 NG NG]

wget http://pc.2ch.net/test/read.cgi/unix/1003833552/
でできるが…？

[149 名無しさん＠お腹いっぱい。 NG NG]

て優香、wget使わなくても、httpget使えば便利じゃない？
と思って、httpget落とそうとしたけど、内部エラーで落とせない・・・
http://www.onicos.com/staff/iz/release/

[150 名無しさん＠お腹いっぱい。 NG NG]

>>1さんが作ったやつをちと効率的に収集できるように改造したけど、
どっかにうｐしようかな？

[151 名無しさん＠お腹いっぱい。 NG NG]

どうせやるなら、以前にもちょっと話出てたけど、一人が落としたファイルをどっかの鯖に
キャッシュしといて他の人はそっちから落とせるようなの作ろうよ。そうすれば２ちゃんの
負荷も減るし、うｐろだの負荷も減るし、ソッコーで消されたファイルもキャッシュに残って
るしで、うっはうはーじゃん。

[152 名無しさん＠お腹いっぱい。 NG NG]

どうせなら落としたファイルがP2Pで共有されるようにするとか

[153 名無しさん＠お腹いっぱい。 NG NG]

>>147
普通はdatファイルを直接落とそうとするのでは無いの？

>>151
それやろうかな...
今はdatファイルを貯めているんだけど。

[154 名無しさん＠お腹いっぱい。 NG NG]

>>150

複数ファイル(.mpgとか.rmとかの動画)も同時に落せるヤシキモンヌ

[155 名無しさん＠お腹いっぱい。 NG NG]

>>154
もちろんそういう仕様にしてあるよ。てかできたけど。
けどrm,ramはすっかりわすれてたというか、そんなのにちゃんで見たことないのだが。

[156 名無しさん＠お腹いっぱい。 NG NG]

>>153
て優香、datファイルを落とせるならそうしたいんだけど、やりかた
教えてーな。
たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
htmlをそのまま落としてマッチングしてるんだけど・・・

[157 153 NG NG]

>>156
http://pc.2ch.net/test/read.cgi/unix/1003833552/
だったら
http://pc.2ch.net/unix/dat/1003833552.dat
でいけるのではないと？

>たしかどっかでdatファイルは落とせなくなったとか聞いたような気がしたんで、
>htmlをそのまま落としてマッチングしてるんだけど・・・
これは俺も聞いたことあるけど、閉鎖騒動の時あたりじゃないの？
俺はそれよりあとに2ch来たからよく知らないけど、
read.cgiにアクセスするより、datファイルに直接アクセスしたほうが、負荷は減るらしい、と聞いたこともある。

[158 153 NG NG]

>>156
とりあえず、俺の作ったdatファイルだけ落とすスクリプトも張っておこう。
粗末なシェルスクリプトだが...

#!/bin/sh

PATH=/usr/local/bin:/usr/bin:/bin:/usr/local/sbin:/usr/sbin:/sbin
DATE=`date +%Y%m%d_%H%M%S`

if [ "$1" ] && [ "$2" ] && [ "$3" ] && [ "$4" ] ;then
:
else
echo "useage: ./get.sh [dat|subject] [dir] [host] [ita] [waittime] [wget-flag]"
exit
fi

HOMEDIR=/home/hoge/documents/data
TARGET=$1
DIR=$2
HOST=$3
ITA=$4
LOGFILE=./wget_log.txt

if [ "$5" ];then
WAIT=$5
else
WAIT=3
fi

[159 153 NG NG]

# -c tuchuukara
# -N time stamp
WGETFLAG="-t 3 -a${LOGFILE} -P./dat -U "Hogella/1.0" -nd $6"

if ! [ -d ${HOMEDIR}/${DIR} ] ;then
echo ${HOMEDIR}/${DIR} no such directry\!
exit
fi
/bin/test -d ${HOMEDIR}/${DIR}/dat || mkdir ${HOMEDIR}/${DIR}/dat
/bin/test -d ${HOMEDIR}/${DIR}/old_dat || mkdir ${HOMEDIR}/${DIR}/old_dat
/bin/test -d ${HOMEDIR}/${DIR}/subject || mkdir ${HOMEDIR}/${DIR}/subject

cd ${HOMEDIR}/${DIR}
test -f ${LOGFILE} || touch ${LOGFILE}
printf "###\n###\n### DATE=${DATE} \n### args=$* \n###\n###\n" >> ${LOGFILE}


if [ ${TARGET} = subject ];then

rm -f subject.txt
wget -a${LOGFILE} -U "Hogella/1.0" http://${HOST}/${ITA}/subject.txt
cp subject.txt ./subject/subject.${DATE}.txt

[160 153 NG NG]

elif [ ${TARGET} = dat ];then
echo "---> DATE = ${DATE}"
mkdir old_dat/${DATE}

rm -f subject.txt
wget -a${LOGFILE} http://${HOST}/${ITA}/subject.txt
echo "---> got subject file"
sleep 1

echo -n "---> dat file... "
for DAT in `cat ./subject.txt | cut -f1 -d.` ;do
echo "--->TARGET is ${DAT}" >> ${LOGFILE}
echo -n "${DAT}"
wget ${WGETFLAG} http://${HOST}/${ITA}/dat/${DAT}.dat
if [ -f ./dat/${DAT}.dat.1 ];then
echo "---> file moved to old_dat dir" >> ${LOGFILE}
mv ./dat/${DAT}.dat ./old_dat/${DATE}
mv ./dat/${DAT}.dat.1 ./dat/${DAT}.dat
echo -n "_ "
elif [ -f ./dat/${DAT}.dat ];then
echo -n ". "
else
echo -n "X "
fi
sleep ${WAIT}
done
echo " "
echo "---> all done" >>${LOGFILE}
echo "---> all done"
fi

[161 153 NG NG]

HOMEDIR=/home/hoge/documents/data
を適当に書き換えて
mkdir $HOMEDIR/test-dir
./get.sh dat test-dir pc.2ch.net unix 3
で使えると思う(freebsd以外は不明)。
２度目からは
./get.sh dat test-dir pc.2ch.net unix 3 -c
で差分だけとってこれる。

[162 名無しさん＠お腹いっぱい。 NG NG]

あらほんと。
で、にちゃんの鯖に負担かけないように、前回収得した所からの差分だけ
拾いたいんだけど、どうやるの？

[163 名無しさん＠お腹いっぱい。 NG NG]

うーん、
cgiから差分だけ拾うのと、datを全部拾って差分を調べるのとではどっちがいいんだろ？
てか、dat拾う方がいいんだろうなぁ。作りなおしてみるか。

[164 153 NG NG]

>>162
wgetのオプションで俺が使えると思うのは。
-c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。
-N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。
-nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない）
-t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う)
-x　　　　　　　ディレクトリを作って、URLを再現する
　　　　　　　　　（例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ）
-nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない）
-i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　
-nv　　　　　　ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。
-P PREFIX


--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt 　　ログファイル（上書きしてしまう）
-a hoge.txt 　　ログファイル（追加から書く）

-r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない）
-w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。


-nd

[165 153 NG NG]

>>164
失敗。

wgetのオプションで俺が使えると思うのは。
-c 　　　　　　ファイルサイズを見て、増加分だけダウンロードする。
-N 　　　　　　タイムスタンプを見て、ファイルが更新されていたら、（ファイルすべて）をダウンロードする。
-nc 　　　　　　ファイルが存在したら、ダウンロードしない。（接続もしない）
-t 3 　　　　　　失敗したときの再トライ回数(デフォルトは２０なので、３ぐらいに設定したほうがよいと思う)
-x　　　　　　　ディレクトリを作って、URLを再現する
　　　　　　　　　（例 http://pc.2ch.net/unix/dat/0000000.dat → ./pc.2ch.net/unix/dat/000000.dat ）
-nd　　　　　　-xの逆、ディレクトリを作らない。（-rは同時に-xが有効になるけど、-ndをつけるとディレクトリを作らない）
-i link.txt　　ファイルからURLを読み込んでダウンロードする。　　　　　
-nv　　　　　　ダウンロードメッセージをいくらか静かにする。
-A acclist,
--accept=acclist　acclistで指定した拡張子(?)のみダウンロードする。,で区切る(?)
-U "Mozilla/4.0"　ユーザーエージェントをちょろまかす。
-P PATH　　PATHを基準にファイルを保存


--progress=dot ダウンロード中のメッセージスタイルを変更。
-o hoge.txt 　　ログファイル（上書きしてしまう）
-a hoge.txt 　　ログファイル（追加から書く）

-r　　　　　　　　リンクをたどり、再起的に取る（ただし、別のホストはダウンロードしない）
-w 3　　　　　　再起的にとる場合のダウンロードしたときの待ち時間
--no-parent 　再起的にダウンロードする際、親ディレクトリから上はダウンロードしない。

[166 153 NG NG]

WINDOWSのiriaとか見たいに、帯域制限してダウンロードすることができないか、
は調べたことあるけど、方法が見つからなかった。wgetではできないのでは無いかと思う。
代わりには、-wで制限するか、スクリプトの中にsleepを入れる方法があると思う。

あと画像ファイルを落とすとき、-x と -nc を組み合わせて使ったら、同一のファイルをダウンロードする問題はなくなると思う。

>>158-160の欠点は、あぼーんでlogが詰まったら、不適切なところから、ダウンロードを開始してしまうため、
変なdatファイルを作ってしまう。これは-Nですべてをダウンロードしなおせばいいけど、負荷が増える。

>>163
うーん、-nc -x オプションで、すでにダウンロードしてあるファイルをダウンロードしないようにするか、
もしくはwgetで何バイト目からを指定して、別ファイルにダウンロードすることができるような、オプションがあるかも..

[167 153 NG NG]

>>162
wget -c で増加分をダウンロードできるらしいです。
これは、ダウンロード途中でコネクションが切れたりして、
あとからその続きからダウンロードしたい場合にも使えるようです。
遠くのftpサーバとかに使えます。

[168 名無しさん＠お腹いっぱい。 NG NG]

>>167
さんくすこ。
スレログとらなくても、リンクさえ拾えれば大丈夫だからねぇ、
あぼーんされても大丈夫だと思う。
というわけで、増分だけ拾うようにしますわ。

[169 名無しさん＠お腹いっぱい。 NG NG]

このスレでやるな。

[170 名無しさん＠お腹いっぱい。 NG NG]

>>169
何を？なぜ？

[171 1 NG NG]

dat落ちするかとおもったけど
なんかまたあがってきてるんで
ひさびさにバージョンアップしようかな

というか、つかってる人（使う人）とかいるんでしょうか？

[172 名無しさん＠お腹いっぱい。 NG NG]

つくった。
けど、htmlから拾ってるから効率悪いよ。
http://homepage3.nifty.com/wahya/

[173 名無しさん＠お腹いっぱい。 NG NG]

>>172
君のPCの時計ずれてない？

[174 名無しさん＠お腹いっぱい。 NG NG]

>>173
え？どこ？
さっき作ったばかりだからおかしいところあったら指摘して〜

>>171
>>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!

[175 名無しさん＠お腹いっぱい。 NG NG]

>>171
つか、使うかどうかより、自分で作ってみるのも楽しいのかも。
１さんのも参考にしたいのでオネガイシマス。

[176 名無しさん＠お腹いっぱい。 NG NG]

>>174
いやこんなんでたから。
ゴミレススマソ。
---
get2ch_v006/get2ch.pl
tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/get2chrc.txt
tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/readme.txt
tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/subback2subhash.pl
tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future

[177 名無しさん＠お腹いっぱい。 NG NG]

>>176
・・・なんかちょうど1日ずれてるような。

[178 名無しさん＠お腹いっぱい。 NG NG]

て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、
Irvineでも使えばwgetよりはるかに効率的に収集できるし。

あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。

[179 名無しさん＠お腹いっぱい。 NG NG]

萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ…

[180 名無しさん＠お腹いっぱい。 NG NG]

>>179
萌え板を監視、って具体的に何できればいいんだ？
と優香、萌え板って何？ファイヤーウォールのこと？

[181 名無しさん＠お腹いっぱい。 NG NG]

>>178
soretteCUI?

[182 179 NG NG]

説明不足でした。

こんな感じの掲示板です。
http://www9.xdsl.ne.jp/~w2web/moe/moelinks.html

萌々ぼ〜どって言うのかな？
ソノテの人の画像アップ掲示板として広く使われてるみたいです。

欲しいのは画像をいっきに落とす・・ですが
できたら全てのページをログも含めてHDに保存できるのが好ましいです。

[183 名無しさん＠お腹いっぱい。 NG NG]

>>182
そうか、wgetの-rオプションだけでは画像アップローダーの
２ページ目以降のがとってこれないのか...
うーむ

[184 名無しさん＠お腹いっぱい。 NG NG]

>>182
なるほど。理解した。
VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、
Perlとかだとどうやってやるんだろ？

[185 名無しさん＠お腹いっぱい。 NG NG]

wgetでpostできるようにするパッチあるよ
ttp://pluto.im.uec.ac.jp/~sekita-n/prog/
CGIを激しく呼び出してアク禁喰らっても知らないけど

[186 名無しさん＠お腹いっぱい。 NG NG]

>>184
cgiを読んだら、POSTを送ることでページをめくるようになってた。
perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？
またはhttp://hoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。

ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ）

[187 186 NG NG]

>>185
リロードしたらみました。
すまそ。試してみます。

wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。

[188 名無しさん＠お腹いっぱい。 NG NG]

curl使え

[189 名無しさん＠お腹いっぱい。 NG NG]

>>181
Irvineもコマンドラインから使えるけど。
irvine list.txt　で、URLリストを入れられる。
cronで回すのでなければ、Win上でやったほうが簡単かも。

[190 名無しさん＠お腹いっぱい。 NG NG]

⊂⌒~⊃｡Д｡）⊃

[191 名無しさん＠お腹いっぱい。 NG NG]

その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある
moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。
CGI叩くのやめれ。

[192 名無しさん＠お腹いっぱい。 NG NG]

>>172
なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ

[193 名無しさん＠お腹いっぱい。 NG NG]

>>187 w3m

[194 名無しさん＠お腹いっぱい。 NG NG]

>>192
ゴメソ。
cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。
もうすぐ次バージョンうｐするからまってて〜(;´Д`)

[195 名無しさん＠お腹いっぱい。 NG NG]

>>193
それだ！

[196 名無しさん＠お腹いっぱい。 NG NG]

>>192
うｐしたよ〜
急いで書いたからちゃんと動くかわからないけど。

[197 名無しさん＠お腹いっぱい。 NG NG]

>>196
さっきの動かなかったから、差し替えますた。

[198 名無しさん＠お腹いっぱい。 NG NG]

>>197
まだ時計がずれてない？（ｗ
勘違いだったらスマソ。

ちょっと読んで気になったのは、
スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、
これって両方あったらまずくないの？>>165
あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど..

[199 名無しさん＠お腹いっぱい。 NG NG]

>>198
あらほんと。
-cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの
速さからして差分だけ落としてるように思ふ。
て優香、汚いソースを丁寧に読んでくれてありが�d
datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、
やっぱヤバイかね？間隔あけた方がいいかな？

[200 名無しさん＠お腹いっぱい。 NG NG]

あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法
ありませんか？

[201 名無しさん＠お腹いっぱい。 NG NG]

>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...

>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？

[202 名無しさん＠お腹いっぱい。 NG NG]

>>201
今 -nc消したやつをうｐしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからｷﾆｼﾅｰｲ

>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね？
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。

>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。

[203 名無しさん＠お腹いっぱい。 NG NG]

>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...

[204 名無しさん＠お腹いっぱい。 NG NG]

>>203
-ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら
全部落としてるみたい・・・鬱

[205 名無しさん＠お腹いっぱい。 NG NG]

(´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…）

[206 名無しさん＠お腹いっぱい。 NG NG]

こんなのもあったり
http://j2ch.free-city.net/

[207 名無しさん＠お腹いっぱい。 NG NG]

>>205
ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが
集まるよな。
>>206
同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。

[208 名無しさん＠お腹いっぱい。 NG NG]

>>206
さらに１時間更新とか...
どんなシステムか気になる。

>>207
Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、
人参収穫か大根収穫とか名前だったか...
まあ、crontabで自動で回してみたい

[209 名無しさん＠お腹いっぱい。 NG NG]

>>208
これか？
人参自動収穫機
http://ninjinclub.tripod.co.jp/

[210 名無しさん＠お腹いっぱい。 NG NG]

この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の
POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、
分かる方いらっしゃいませんか？

ttp://sss.direct.ne.jp/nuke/bbs.cgi

[211 名無しさん＠お腹いっぱい。 NG NG]

>>210
とりあえず>>191の様にログが保存されていないか探してみるとか？
imgboardはデフォルトではfile.dat、fileback.datって名前だったような...
ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど）
このばあいは>>209を試してみるとか？
下手にperlでPOSTを送ったりするのはやめた方がいいと思う

[212 名無しさん＠お腹いっぱい。 NG NG]

>>210
てか、右クリック→名前を付けて保存ではいけないのか？
もしくはman w3m

[213 名無しさん＠お腹いっぱい。 NG NG]

ぷ

[214 名無しさん＠お腹いっぱい。 NG NG]

>>210
上のほうで出てるパッチを当てたwgetだとこんな感じ？

#!/bin/bash
url="http://hoge.com/hoge/imgboard.cgi??page="
img="/hoge/img-box/"
lastpage=10
i=0

while [ $i -lt $lastpage ]
do
i=`expr $i + 1`
echo $url$i >> list.txt
done

wget -r -w 1 -I $img -i list.txt -o wget.log
rm -f list.txt

[215 age2ch.pl 0.03.28 NG NG]

保守

[216 名無しさん＠お腹いっぱい。 NG NG]

>>241
普通に
wget "http://hoge.com/hoge/imgboard.cgi?page=2"
でもいけない？

>>215
それはやめとけ。
下手したら悪禁になるかもしれないらしい

[217 山崎渉 NG NG]

（＾＾）

[218 名無しさん＠お腹いっぱい。 NG NG]

java版を作ってみますた。

http://gobo.free-city.net/

※javaの実行環境が必要です。
※Windows、Macでも動くかも。

[219 あぼーん NG NG]

あぼーん

[220 あぼーん NG NG]

あぼーん

[221 名無しさん＠お腹いっぱい。 NG NG]

>>218
ネタでつか？
鯖がみつかりませぬ・・・

[222 218 NG NG]

あれ？確かに見つかりませんね...。
って、鯖ごと落ちてる？

昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？

[223 名無しさん＠お腹いっぱい。 NG NG]

>>222
ここでは話題になってないのかな・・

ttp://dailynews.yahoo.co.jp/fc/computer/internet/

[224 218 NG NG]

>>221
たった今、鯖が復帰していることを確認しますた。よろしくおながいします。
いちお、間借りしたところは、

The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD

なので今回の騒ぎで落ちちゃったわけではなさそうですが。

[225 名無しさん＠お腹いっぱい。 NG NG]

どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが

[226 山崎渉 NG NG]

（＾＾）

[227 あぼーん NG NG]

あぼーん

[228 名無しさん＠お腹いっぱい。 NG NG]

↑山崎、必死だな(笑

[229 名無しさん＠お腹いっぱい。 NG NG]

UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？

[230 名無しさん＠お腹いっぱい。 NG NG]

Mac OS 10.2 のターミナルで実行しました
そしたら、
pl {-input <binary_file>} {-output <binary_file>}
Reads ASCII PL from stdin (or serialized file if -input specified)
and writes ASCII PL to stdout (or serialized file if -output)
なんて出ちゃって、もうわかりませぬ
どうかおしえてください。。。
おながいします。。。

[231 あぼーん NG NG]

あぼーん

[232 名無しさん＠お腹いっぱい。 NG NG]

おお！
このスレまだ存在してたのか。
息が長いな。
山崎先生のおかげですね。

[233 名無しさん＠お腹いっぱい。 NG NG]

>>185 のページ見れないんですが、引越し先知ってる人います？

[234 名無しさん＠お腹いっぱい。 NG NG]

>>233
とりあえずWayBack Machineで拾えた

[235 あぼーん NG NG]

あぼーん

[236 名無しさん＠お腹いっぱい。 NG NG]

age?

[237 あぼーん NG NG]

あぼーん

[238 あぼーん NG NG]

あぼーん

[239 あぼーん NG NG]

あぼーん

[240 名無しさん＠お腹いっぱい。 NG NG]

ﾎｯｼｭ

[241 名無しさん＠お腹いっぱい。 NG NG]

　　

[242 名無しさん＠お腹いっぱい。 NG NG]

あけました おめでとう

[243 名無しさん＠お腹いっぱい。 NG NG]

このスクリプト使ってみたよ。
板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。

[244 名無しさん＠お腹いっぱい。 NG NG]

濃淡分布や周波数分布なんか使って、グロ画像や
虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。
グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、
それを学習データにして……

マンドクセ

[245 名無しさん＠お腹いっぱい。 NG NG]

>>244
一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら
フーリエ解析+自動学習 で割と精度がでるような気がするのだが。
例のベイジアンフィルタな感じで。さて…

[246 名無しさん＠お腹いっぱい。 NG NG]

...

[247 名無しさん＠お腹いっぱい。 NG NG]

　　

[248 名無しさん＠お腹いっぱい。 NG NG]

>>246 >>247 なんだよ保守か？ 何か書けよ！

[249 名無しさん＠お腹いっぱい。 NG NG]

保守。

>>244みたいな感じで2次元画像の属性分けできればいいな。
濃淡分布や周波数分布の勉強にいいホームページor本教えてください。

[250 名無しさん＠お腹いっぱい。 NG NG]

保守

[251 名無しさん＠お腹いっぱい。 NG NG]

http://akinafreak.zive.net/imageThumbnail/showGazoKanList.action
2ちゃんから集めた画像を会員制にして公開

おまいら、これってどうよ

[252 名無しさん＠お腹いっぱい。 NG NG]

>>251
責任を負っかぶることをものともしない猛者。

[253 名無しさん＠お腹いっぱい。 NG NG]

エロエロage

[254 pd34d81.tkyoac00.ap.so-net.ne.jp NG NG]

（＾＾）

[255 名無しさん＠お腹いっぱい。 NG NG]

何だ山崎渉か

[256 名無しさん＠お腹いっぱい。 2005/04/05(火) 17:11:38]

umu

[257 login:root ◆GrsqjXpGxE 2005/04/17(日) 22:09:41]

>>1
とりあえず、使ってみる...
これはCGIか？ブラウザで実行しろと?

まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。
鯖にうpしてみる。分からない事があると思うから、>>1教えてな!

[258 login:root ◆GrsqjXpGxE 2005/04/17(日) 22:15:48]

ｳﾜｰｰｰｰｰﾝ
早速だが>>1よ。質問がある!
ディレクトリにある conf.txt は変更する必要があるのか?

$ita = 'http://choco.2ch.net/ainotane/';
$dir = './jpg';
$limit = 999;
$down = 2;

$ita は、２ちゃんの板のアドレスでおkなんだな？

[259 名無しさん＠お腹いっぱい。 2005/04/17(日) 22:34:37]

>>258
1じゃないけど、おｋだ

[260 名無しさん＠通りすがり ◆.q7T9q3bHY NG NG]

クローラー＆過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/

delayと差分はちゃんとね。

[261 名無しさん＠お腹いっぱい。 2005/07/09(土) 14:24:53]

test

[262 名無しさん＠お腹いっぱい。 2005/07/09(土) 21:05:19]

このスレまだあったのか。。。
懐かしい

[263 名無しさん＠お腹いっぱい。 2005/07/17(日) 01:12:01]

ああ、ずっとあるぜ

[264 名無しさん＠お腹いっぱい。 2005/08/15(月) 02:33:24]

イメージサーチャーモナー?

ttp://www.abars.biz/search/

[265 名無しさん＠お腹いっぱい。 2005/11/13(日) 22:53:23]

一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト
に保存しといて、同じsum値のファイルを二度とdownloadしないように
してくれる重複避け機能を追加してください。

[266 ◆9Xm6zmxuk. 2006/11/06(月) 22:12:55]

つ

[267 名無しさん＠お腹いっぱい。 2007/11/13(火) 23:55:48]

vdvdvdv




nfdfdnfdn





fhffhh





jrtyjr





yteryery



yeryer

[268 名無しさん＠お腹いっぱい。 2008/02/22(金) 11:12:57]

保守する必要ある？

[269 名無しさん＠お腹いっぱい。 2009/08/01(土) 09:16:08]

何だこのスレw

[270 名無しさん＠お腹いっぱい。 2010/11/18(木) 21:04:12]

よし！！

[271 忍法帖【Lv=3,xxxP】 2011/06/09(木) 22:47:57.83]

???

[272 忍法帖【Lv=3,xxxP】 2011/06/16(木) 00:56:59.34]

test

[273 忍法帖【Lv=13,xxxPT】 2011/07/02(土) 19:27:11.02]

test

[274 忍法帖【Lv=4,xxxP】 2011/07/06(水) 23:00:24.79]

test

[275 忍法帖【Lv=13,xxxPT】 2011/07/09(土) 15:57:54.67]

test

[276 忍法帖【Lv=3,xxxP】 2011/08/16(火) 17:34:25.85]

どどとどと

[277 名無しさん＠お腹いっぱい。 2011/08/27(土) 20:43:51.62]

渋の画像ぶっこ抜きスクリプト、要る？

[278 忍法帖【Lv=38,xxxPT】 2011/08/28(日) 09:52:34.12]

test

[279 名無しさん＠お腹いっぱい。 2011/09/09(金) 20:42:51.45]

てーすと

[280 名無しさん＠お腹いっぱい。 2011/10/06(木) 00:30:03.20]

てｓｔ

[281 電脳プリオン 忍法帖【Lv=40,xxxPT】(3+0：8) 【28m】 NG NG]

10年以上更新してたのか

[282 名無しさん＠お腹いっぱい。 2013/02/13(水) 15:50:37.06]

>>265
ソース公開されてるんだから自分でヤレ。
ってすげー前のレスだった・・・。

[283 名無しさん＠お腹いっぱい。 2013/03/22(金) 21:42:30.18]

　　　　　 _
　　　　　 |O＼
　　　　　 |　　 ＼　ｷﾘｷﾘ
　　　　∧|∧ 　　＼　ｷﾘｷﾘ
ｸﾞｸﾞｩ>（；⌒ヽ　　　 ＼
　　　　∪　　|　　 　　(~)
　　　　　∪∪　　 γ´⌒｀ヽ
　　　　　）　）　　 　{i:i:i:i:i:i:i:i:}
　　　　 （　（　　　　(　´･ω･)、
　　　　　　　　　　　(O ⌒　)O
　　　　　　　　 　 　⊂＿)∪

[284 名無しさん＠お腹いっぱい。 2013/10/13(日) 00:05:36.16]

懐かしい

[285 名無しさん＠お腹いっぱい。 2014/07/14(月) 17:55:10.21]

http://imgur.com/roeuS4F.jpg

[286 島本町で凄惨なイジメを受けて廃人になった方へ 2014/08/06(水) 20:02:47.91]

＞大阪府三島郡島本町の小学校や中学校は、暴力イジメ学校や。
島本町の学校でいじめ・暴力・脅迫・恐喝などを受け続けて廃人になってしもうた僕が言うんやから、
まちがいないで。僕のほかにも、イジメが原因で精神病になったりひきこもりになったりした子が何人もおる。
教師も校長も、暴力やいじめがあっても見て見ぬフリ。イジメに加担する教師すらおった。
誰かがイジメを苦にして自殺しても、「本校にイジメはなかった」と言うて逃げるんやろうなあ。
島本町の学校の関係者は、僕を捜し出して口封じをするな

＞島本町って町は、暴力といじめと口裏合わせと口封じの町なんだな

子供の時に受けた酷いイジメの体験は、一生癒えない深い傷になるなあ

「暴力とイジメと口裏合わせと口封じ」の町やそういう町に巣食うヤクザ・チンピラ・ゴロツキ・不良・
いじめっ子・ダニ・ノミ・シラミなどを監視して非難するのは暮らしやすい町を作るのに必要だ

[287 名無しさん＠お腹いっぱい。 2017/12/29(金) 08:49:24.14]

誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

26UOUCYMZ2

[288 名無しさん＠お腹いっぱい。 2018/05/22(火) 05:12:44.99]

知り合いから教えてもらったパソコン一台でお金持ちになれるやり方
時間がある方はみてもいいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

A4Y4N

[289 名無しさん＠お腹いっぱい。 2023/09/28(木) 05:34:11.87]

今は別のスクリプトで5chが落ちまくりという

[290 名無しさん＠お腹いっぱい。 2023/10/20(金) 11:11:11.81]

やっほー、これはうれしい驚きだ！

[291 名無しさん＠お腹いっぱい。 2024/03/27(水) 20:38:37.01]

要するに太ったらダメな人間はいないと思ってないんだろうね
スケート靴込でもなるだろうし
詐欺に気を使ってるとかない？

[292 名無しさん＠お腹いっぱい。 2024/03/27(水) 20:49:38.09]

双日って他のやつが世の中心は自由主義だよ
それ言い出したらどこも変わらんやろ...

[293 名無しさん＠お腹いっぱい。 2024/03/27(水) 21:08:25.55]

>>112
若者は騙しやすい。
全員死んじまえよ構わないからモリカケと変わらんのに
ガーシー馬鹿だから

[294 名無しさん＠お腹いっぱい。 2024/03/27(水) 21:31:40.23]

子供手当とか配偶者控除とか金持ちのほうが勝てる可能性が高そう