２ちゃん画像落としまくりスクリプト

11
垢版 |
NGNG
２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

http://www.ninnin.net/

※perlとwgetが必要です。
※Windows,Macでは動きません。
NGNG
つくった。
けど、htmlから拾ってるから効率悪いよ。
http://homepage3.nifty.com/wahya/
NGNG
>>172
君のPCの時計ずれてない？
NGNG
>>173
え？どこ？
さっき作ったばかりだからおかしいところあったら指摘して～

>>171
>>1さんｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
NGNG
>>171
つか、使うかどうかより、自分で作ってみるのも楽しいのかも。
１さんのも参考にしたいのでオネガイシマス。
NGNG
>>174
いやこんなんでたから。
ゴミレススマソ。
---
get2ch_v006/get2ch.pl
tar: get2ch_v006/get2ch.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/get2chrc.txt
tar: get2ch_v006/get2chrc.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/readme.txt
tar: get2ch_v006/readme.txt: time stamp Jan 7 21:00 2003 is 85213 s in the future
get2ch_v006/subback2subhash.pl
tar: get2ch_v006/subback2subhash.pl: time stamp Jan 7 21:00 2003 is 85213 s in the future
NGNG
>>176
・・・なんかちょうど1日ずれてるような。
NGNG
て優香、wget使わなければforkしなくていいからActivePerlでも使えるようになるし、
Irvineでも使えばwgetよりはるかに効率的に収集できるし。

あーあ、UNIX板で気付いちゃいけないことに気付いちゃったよ。
NGNG
萌え板を監視するスクリプトも(　ﾟдﾟ)ﾎｽｨ…
NGNG
>>179
萌え板を監視、って具体的に何できればいいんだ？
と優香、萌え板って何？ファイヤーウォールのこと？
NGNG
>>178
soretteCUI?
182179
垢版 |
NGNG
説明不足でした。

こんな感じの掲示板です。
http://www9.xdsl.ne.jp/~w2web/moe/moelinks.html

萌々ぼ～どって言うのかな？
ソノテの人の画像アップ掲示板として広く使われてるみたいです。

欲しいのは画像をいっきに落とす・・ですが
できたら全てのページをログも含めてHDに保存できるのが好ましいです。
NGNG
>>182
そうか、wgetの-rオプションだけでは画像アップローダーの
２ページ目以降のがとってこれないのか...
うーむ
NGNG
>>182
なるほど。理解した。
VBスクリプトなら、次のページをめくるボタンを押すスクリプトが簡単に書けるけど、
Perlとかだとどうやってやるんだろ？
NGNG
wgetでpostできるようにするパッチあるよ
ttp://pluto.im.uec.ac.jp/~sekita-n/prog/
CGIを激しく呼び出してアク禁喰らっても知らないけど
NGNG
>>184
cgiを読んだら、POSTを送ることでページをめくるようになってた。
perlだったら直接サーバと繋いで、POSTを直接送ればできるのでは？
またはhttp://hoghoge/moemoe.cgi?page=3でページを直接指定して(GETでも)ページを開けるらしい。

ところでwgetでPOSTを送ることってできないよね？（wget厨ですまそ）
187186
垢版 |
NGNG
>>185
リロードしたらみました。
すまそ。試してみます。

wget以外でPOSTを簡単に送れるツールを以前どこかで見たことあったけど。。
NGNG
curl使え
NGNG
>>181
Irvineもコマンドラインから使えるけど。
irvine list.txt　で、URLリストを入れられる。
cronで回すのでなければ、Win上でやったほうが簡単かも。
NGNG
⊂⌒~⊃｡Д｡）⊃
NGNG
その萌え萌えなんちゃらってやつな、moemoe.htmlと同じディレクトリにある
moemoe.logってのがログファイルだからそれ落とせ。画像のURLも載ってるから。
CGI叩くのやめれ。
192名無しさん＠お腹いっぱい。
垢版 |
NGNG
>>172
なんかデリられてるみたいなんで差異うpキボンヌ、クレクレ君でスマソ
NGNG
>>187 w3m
NGNG
>>192
ゴメソ。
cgiからｹﾞﾄｰしてるので下手するとアク禁になっちゃうから今消してる。
もうすぐ次バージョンうｐするからまってて～(;´Д`)
NGNG
>>193
それだ！
NGNG
>>192
うｐしたよ～
急いで書いたからちゃんと動くかわからないけど。
NGNG
>>196
さっきの動かなかったから、差し替えますた。
NGNG
>>197
まだ時計がずれてない？（ｗ
勘違いだったらスマソ。

ちょっと読んで気になったのは、
スレッドの差分を取ってくるときのwgetのオプションで-cと-ncの両方を指定しているけど、
これって両方あったらまずくないの？>>165
あと、datファイルを連続してダウンロードしたら、2chの負荷が大きくなってまずいと思うけど..

NGNG
>>198
あらほんと。
-cと-nc一緒に書いちゃってるけど、一応動いてるし、ダウンロードの
速さからして差分だけ落としてるように思ふ。
て優香、汚いソースを丁寧に読んでくれてありが㌧
datは差分だけ落としてるから連続ダウソも大丈夫かと思ったが、
やっぱヤバイかね？間隔あけた方がいいかな？
NGNG
あと、wgetのダウンロード速度が遅くていらつくんだけど、なんか解決方法
ありませんか？
NGNG
>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...

>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
NGNG
>>201
今 -nc消したやつをうｐしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからｷﾆｼﾅｰｲ

>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね？
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。

>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。
NGNG
>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...
NGNG
>>203
-ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら
全部落としてるみたい・・・鬱
NGNG

(´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…）
NGNG
こんなのもあったり
http://j2ch.free-city.net/
NGNG
>>205
ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが
集まるよな。
>>206
同一のアドレスがたくさん・・・sortしてuniq通せよな～、と。
NGNG
>>206
さらに１時間更新とか...
どんなシステムか気になる。

>>207
Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、
人参収穫か大根収穫とか名前だったか...
まあ、crontabで自動で回してみたい
NGNG
>>208
これか？
人参自動収穫機
http://ninjinclub.tripod.co.jp/
NGNG
この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の
POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、
分かる方いらっしゃいませんか？

ttp://sss.direct.ne.jp/nuke/bbs.cgi
NGNG
>>210
とりあえず>>191の様にログが保存されていないか探してみるとか？
imgboardはデフォルトではfile.dat、fileback.datって名前だったような...
ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど）
このばあいは>>209を試してみるとか？
下手にperlでPOSTを送ったりするのはやめた方がいいと思う
NGNG
>>210
てか、右クリック→名前を付けて保存ではいけないのか？
もしくはman w3m
NGNG
ぷ
NGNG
>>210
上のほうで出てるパッチを当てたwgetだとこんな感じ？

#!/bin/bash
url="http://hoge.com/hoge/imgboard.cgi??page="
img="/hoge/img-box/"
lastpage=10
i=0

while [ $i -lt $lastpage ]
do
i=`expr $i + 1`
echo $url$i >> list.txt
done

wget -r -w 1 -I $img -i list.txt -o wget.log
rm -f list.txt
NGNG
保守
NGNG
>>241
普通に
wget "http://hoge.com/hoge/imgboard.cgi?page=2"
でもいけない？

>>215
それはやめとけ。
下手したら悪禁になるかもしれないらしい
217山崎渉
垢版 |
NGNG
（＾＾）
218名無しさん＠お腹いっぱい。
垢版 |
NGNG
java版を作ってみますた。

http://gobo.free-city.net/

※javaの実行環境が必要です。
※Windows、Macでも動くかも。
219あぼーん
垢版 |
NGNG
あぼーん
220あぼーん
垢版 |
NGNG
あぼーん
NGNG
>>218
ネタでつか？
鯖がみつかりませぬ・・・
222218
垢版 |
NGNG
あれ？確かに見つかりませんね...。
って、鯖ごと落ちてる？

昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？
NGNG
>>222
ここでは話題になってないのかな・・

ttp://dailynews.yahoo.co.jp/fc/computer/internet/
224218
垢版 |
NGNG
>>221
たった今、鯖が復帰していることを確認しますた。よろしくおながいします。
いちお、間借りしたところは、

The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD

なので今回の騒ぎで落ちちゃったわけではなさそうですが。
NGNG
どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが
226山崎渉
垢版 |
NGNG
（＾＾）
227あぼーん
垢版 |
NGNG
あぼーん
228名無しさん＠お腹いっぱい。
垢版 |
NGNG
↑山崎、必死だな(笑
229名無しさん＠お腹いっぱい。
垢版 |
NGNG
UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？
NGNG
Mac OS 10.2 のターミナルで実行しました
そしたら、
pl {-input <binary_file>} {-output <binary_file>}
Reads ASCII PL from stdin (or serialized file if -input specified)
and writes ASCII PL to stdout (or serialized file if -output)
なんて出ちゃって、もうわかりませぬ
どうかおしえてください。。。
おながいします。。。
231あぼーん
垢版 |
NGNG
あぼーん
232名無しさん＠お腹いっぱい。
垢版 |
NGNG
おお！
このスレまだ存在してたのか。
息が長いな。
山崎先生のおかげですね。
233名無しさん＠お腹いっぱい。
垢版 |
NGNG
>>185 のページ見れないんですが、引越し先知ってる人います？
NGNG
>>233
とりあえずWayBack Machineで拾えた
235あぼーん
垢版 |
NGNG
あぼーん
236名無しさん＠お腹いっぱい。
垢版 |
NGNG
age?
237あぼーん
垢版 |
NGNG
あぼーん
238あぼーん
垢版 |
NGNG
あぼーん
239あぼーん
垢版 |
NGNG
あぼーん
NGNG
ﾎｯｼｭ
NGNG
　　
242名無しさん＠お腹いっぱい。
垢版 |
NGNG
あけました おめでとう
NGNG
このスクリプト使ってみたよ。
板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。
NGNG
濃淡分布や周波数分布なんか使って、グロ画像や
虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。
グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、
それを学習データにして……

マンドクセ
NGNG
>>244
一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら
フーリエ解析+自動学習 で割と精度がでるような気がするのだが。
例のベイジアンフィルタな感じで。さて…
NGNG
...
NGNG
　　
NGNG
>>246 >>247 なんだよ保守か？ 何か書けよ！
NGNG
保守。

>>244みたいな感じで2次元画像の属性分けできればいいな。
濃淡分布や周波数分布の勉強にいいホームページor本教えてください。
NGNG
保守
251名無しさん＠お腹いっぱい。
垢版 |
NGNG
http://akinafreak.zive.net/imageThumbnail/showGazoKanList.action
2ちゃんから集めた画像を会員制にして公開

おまいら、これってどうよ
NGNG
>>251
責任を負っかぶることをものともしない猛者。
253名無しさん＠お腹いっぱい。
垢版 |
NGNG
エロエロage
NGNG
（＾＾）
NGNG
何だ山崎渉か
256名無しさん＠お腹いっぱい。
垢版 |
2005/04/05(火) 17:11:38
umu
2005/04/17(日) 22:09:41
>>1
とりあえず、使ってみる...
これはCGIか？ブラウザで実行しろと?

まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。
鯖にうpしてみる。分からない事があると思うから、>>1教えてな!
2005/04/17(日) 22:15:48
ｳﾜｰｰｰｰｰﾝ
早速だが>>1よ。質問がある!
ディレクトリにある conf.txt は変更する必要があるのか?

$ita = 'http://choco.2ch.net/ainotane/';
$dir = './jpg';
$limit = 999;
$down = 2;

$ita は、２ちゃんの板のアドレスでおkなんだな？
2005/04/17(日) 22:34:37
>>258
1じゃないけど、おｋだ
NGNG
クローラー＆過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/

delayと差分はちゃんとね。
261名無しさん＠お腹いっぱい。
垢版 |
2005/07/09(土) 14:24:53
test
2005/07/09(土) 21:05:19
このスレまだあったのか。。。
懐かしい
263名無しさん＠お腹いっぱい。
垢版 |
2005/07/17(日) 01:12:01
ああ、ずっとあるぜ
2005/08/15(月) 02:33:24
イメージサーチャーモナー?

ttp://www.abars.biz/search/
2005/11/13(日) 22:53:23
一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト
に保存しといて、同じsum値のファイルを二度とdownloadしないように
してくれる重複避け機能を追加してください。
2006/11/06(月) 22:12:55
つ
2007/11/13(火) 23:55:48
vdvdvdv




nfdfdnfdn





fhffhh





jrtyjr





yteryery



yeryer


268名無しさん＠お腹いっぱい。
垢版 |
2008/02/22(金) 11:12:57
保守する必要ある？
269名無しさん＠お腹いっぱい。
垢版 |
2009/08/01(土) 09:16:08
何だこのスレw
2010/11/18(木) 21:04:12
よし！！
2011/06/09(木) 22:47:57.83
???
2011/06/16(木) 00:56:59.34
test
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況