２ちゃん画像落としまくりスクリプト

11
垢版 |
NGNG
２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

http://www.ninnin.net/

※perlとwgetが必要です。
※Windows,Macでは動きません。
NGNG
>>199
いや、ちょっとmonazilla関係のスレをよんでたら、
いかにサーバの負荷を減らすかいろいろ考えられていて、
この、datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
やるとしても、負荷の低い時間帯にかなり間隔を開けて行った方が良いかと...

>ダウンロードの
>速さからして差分だけ落としてるように思ふ。
-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
NGNG
>>201
今 -nc消したやつをうｐしたよ。
だけど、-nc消したらなんだか速度が遅くなったような・・・
あと、日時がバグってるのはアーカイバーがおかしいらしいことが分かったよ。
だからｷﾆｼﾅｰｲ

>datファイルを総ざらいするのも極力避けた方がいいかと思ってきた。
なるほど。一応スレのレス数見て更新されてるか確認してから各スレの差分をダウソ
するようにしてるけど。もっと負荷を減らす方法ないでつかね？
cronで回すなら、10秒おきに更新されてるスレを1スレずつ巡回みたいなことも考えられるけど。

>-ncはすでにファイルが存在したら、ダウンロードしないので、ダウンロードされていない可能性は？
一応ダウンロードされてるようだが・・・謎。
まぁ直したし。
NGNG
>>202
速度で判断するより、wgetのログをちゃんと見た方がはっきりするかと...
NGNG
>>203
-ncつけてるやつはログが消えちゃったけど、-nc消したやつのログみたら
全部落としてるみたい・・・鬱
NGNG

(´-`).｡oO（画像掲示板から落とした方が簡単なのに、なんでだろう…）
NGNG
こんなのもあったり
http://j2ch.free-city.net/
NGNG
>>205
ｿﾚﾀﾞ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
にちゃんねらがよく利用している画像掲示板を巡回すれば、良質なｼﾞｪｲﾍﾟｰｸﾞが
集まるよな。
>>206
同一のアドレスがたくさん・・・sortしてuniq通せよな〜、と。
NGNG
>>206
さらに１時間更新とか...
どんなシステムか気になる。

>>207
Windowsでは画像掲示板を巡回して画像をダウンロードするソフトを聞いたことあるけど、
人参収穫か大根収穫とか名前だったか...
まあ、crontabで自動で回してみたい
NGNG
>>208
これか？
人参自動収穫機
http://ninjinclub.tripod.co.jp/
NGNG
この画像掲示板はPOSTじゃないと見れないみたいなんですが、w3m等の
POSTがしゃべれるツールで画像をダウンロードする方法が分からないのですが、
分かる方いらっしゃいませんか？

ttp://sss.direct.ne.jp/nuke/bbs.cgi
NGNG
>>210
とりあえず>>191の様にログが保存されていないか探してみるとか？
imgboardはデフォルトではfile.dat、fileback.datって名前だったような...
ただ、ログファイル名変えてたり、アクセス権を切っている可能性があるので（俺もだけど）
このばあいは>>209を試してみるとか？
下手にperlでPOSTを送ったりするのはやめた方がいいと思う
NGNG
>>210
てか、右クリック→名前を付けて保存ではいけないのか？
もしくはman w3m
NGNG
ぷ
NGNG
>>210
上のほうで出てるパッチを当てたwgetだとこんな感じ？

#!/bin/bash
url="http://hoge.com/hoge/imgboard.cgi??page="
img="/hoge/img-box/"
lastpage=10
i=0

while [ $i -lt $lastpage ]
do
i=`expr $i + 1`
echo $url$i >> list.txt
done

wget -r -w 1 -I $img -i list.txt -o wget.log
rm -f list.txt
NGNG
保守
NGNG
>>241
普通に
wget "http://hoge.com/hoge/imgboard.cgi?page=2"
でもいけない？

>>215
それはやめとけ。
下手したら悪禁になるかもしれないらしい
217山崎渉
垢版 |
NGNG
（＾＾）
218名無しさん＠お腹いっぱい。
垢版 |
NGNG
java版を作ってみますた。

http://gobo.free-city.net/

※javaの実行環境が必要です。
※Windows、Macでも動くかも。
219あぼーん
垢版 |
NGNG
あぼーん
220あぼーん
垢版 |
NGNG
あぼーん
NGNG
>>218
ネタでつか？
鯖がみつかりませぬ・・・
222218
垢版 |
NGNG
あれ？確かに見つかりませんね...。
って、鯖ごと落ちてる？

昨日まではアクセスできたのにな。今日話題になってるSQLPの影響かなぁ？
NGNG
>>222
ここでは話題になってないのかな・・

ttp://dailynews.yahoo.co.jp/fc/computer/internet/
224218
垢版 |
NGNG
>>221
たった今、鯖が復帰していることを確認しますた。よろしくおながいします。
いちお、間借りしたところは、

The site gobo.free-city.net is running Apache/1.3.27 (Unix) on FreeBSD

なので今回の騒ぎで落ちちゃったわけではなさそうですが。
NGNG
どうやらUAをいじらないとdatファイルを直接getできなくなったらしいが
226山崎渉
垢版 |
NGNG
（＾＾）
227あぼーん
垢版 |
NGNG
あぼーん
228名無しさん＠お腹いっぱい。
垢版 |
NGNG
↑山崎、必死だな(笑
229名無しさん＠お腹いっぱい。
垢版 |
NGNG
UNIX コマンドだと標準で巡回コマンド付いてきますが、何か？
NGNG
Mac OS 10.2 のターミナルで実行しました
そしたら、
pl {-input <binary_file>} {-output <binary_file>}
Reads ASCII PL from stdin (or serialized file if -input specified)
and writes ASCII PL to stdout (or serialized file if -output)
なんて出ちゃって、もうわかりませぬ
どうかおしえてください。。。
おながいします。。。
231あぼーん
垢版 |
NGNG
あぼーん
232名無しさん＠お腹いっぱい。
垢版 |
NGNG
おお！
このスレまだ存在してたのか。
息が長いな。
山崎先生のおかげですね。
233名無しさん＠お腹いっぱい。
垢版 |
NGNG
>>185 のページ見れないんですが、引越し先知ってる人います？
NGNG
>>233
とりあえずWayBack Machineで拾えた
235あぼーん
垢版 |
NGNG
あぼーん
236名無しさん＠お腹いっぱい。
垢版 |
NGNG
age?
237あぼーん
垢版 |
NGNG
あぼーん
238あぼーん
垢版 |
NGNG
あぼーん
239あぼーん
垢版 |
NGNG
あぼーん
NGNG
ﾎｯｼｭ
NGNG
　　
242名無しさん＠お腹いっぱい。
垢版 |
NGNG
あけました おめでとう
NGNG
このスクリプト使ってみたよ。
板一枚で 7500 くらい画像がとれた。終わるのに丸一日かかったけど…。
NGNG
濃淡分布や周波数分布なんか使って、グロ画像や
虹板に紛れ込んだ三次元画像(これもグロ画像か…)を取り除きたいなぁ。
グロ画像は「怖くてみられないグロ画像を鑑定するスレ」があったね、
それを学習データにして……

マンドクセ
NGNG
>>244
一度やってみたいな。グロ画像はともかく、3次元(or2次元)排除なら
フーリエ解析+自動学習 で割と精度がでるような気がするのだが。
例のベイジアンフィルタな感じで。さて…
NGNG
...
NGNG
　　
NGNG
>>246 >>247 なんだよ保守か？ 何か書けよ！
NGNG
保守。

>>244みたいな感じで2次元画像の属性分けできればいいな。
濃淡分布や周波数分布の勉強にいいホームページor本教えてください。
NGNG
保守
251名無しさん＠お腹いっぱい。
垢版 |
NGNG
http://akinafreak.zive.net/imageThumbnail/showGazoKanList.action
2ちゃんから集めた画像を会員制にして公開

おまいら、これってどうよ
NGNG
>>251
責任を負っかぶることをものともしない猛者。
253名無しさん＠お腹いっぱい。
垢版 |
NGNG
エロエロage
NGNG
（＾＾）
NGNG
何だ山崎渉か
256名無しさん＠お腹いっぱい。
垢版 |
2005/04/05(火) 17:11:38
umu
2005/04/17(日) 22:09:41
>>1
とりあえず、使ってみる...
これはCGIか？ブラウザで実行しろと?

まぁ、Linuxしかインストールしていない漏れのPCにはありがたいがな。
鯖にうpしてみる。分からない事があると思うから、>>1教えてな!
2005/04/17(日) 22:15:48
ｳﾜｰｰｰｰｰﾝ
早速だが>>1よ。質問がある!
ディレクトリにある conf.txt は変更する必要があるのか?

$ita = 'http://choco.2ch.net/ainotane/';
$dir = './jpg';
$limit = 999;
$down = 2;

$ita は、２ちゃんの板のアドレスでおkなんだな？
2005/04/17(日) 22:34:37
>>258
1じゃないけど、おｋだ
NGNG
クローラー＆過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/

delayと差分はちゃんとね。
261名無しさん＠お腹いっぱい。
垢版 |
2005/07/09(土) 14:24:53
test
2005/07/09(土) 21:05:19
このスレまだあったのか。。。
懐かしい
263名無しさん＠お腹いっぱい。
垢版 |
2005/07/17(日) 01:12:01
ああ、ずっとあるぜ
2005/08/15(月) 02:33:24
イメージサーチャーモナー?

ttp://www.abars.biz/search/
2005/11/13(日) 22:53:23
一度でもdownloadしたファイルをmd5sumしてsum値のリストどっかテキスト
に保存しといて、同じsum値のファイルを二度とdownloadしないように
してくれる重複避け機能を追加してください。
2006/11/06(月) 22:12:55
つ
2007/11/13(火) 23:55:48
vdvdvdv




nfdfdnfdn





fhffhh





jrtyjr





yteryery



yeryer


268名無しさん＠お腹いっぱい。
垢版 |
2008/02/22(金) 11:12:57
保守する必要ある？
269名無しさん＠お腹いっぱい。
垢版 |
2009/08/01(土) 09:16:08
何だこのスレw
2010/11/18(木) 21:04:12
よし！！
2011/06/09(木) 22:47:57.83
???
2011/06/16(木) 00:56:59.34
test
2011/07/02(土) 19:27:11.02
test
2011/07/06(水) 23:00:24.79
test
2011/07/09(土) 15:57:54.67
test
2011/08/16(火) 17:34:25.85
どどとどと
2011/08/27(土) 20:43:51.62
渋の画像ぶっこ抜きスクリプト、要る？
2011/08/28(日) 09:52:34.12
test
2011/09/09(金) 20:42:51.45
てーすと
2011/10/06(木) 00:30:03.20
てｓｔ
NGNG?PLT(12080)
10年以上更新してたのか
2013/02/13(水) 15:50:37.06
>>265
ソース公開されてるんだから自分でヤレ。
ってすげー前のレスだった・・・。
283名無しさん＠お腹いっぱい。
垢版 |
2013/03/22(金) 21:42:30.18
　　　　　 _
　　　　　 |O＼
　　　　　 |　　 ＼　ｷﾘｷﾘ
　　　　∧|∧ 　　＼　ｷﾘｷﾘ
ｸﾞｸﾞｩ>（；⌒ヽ　　　 ＼
　　　　∪　　|　　 　　(~)
　　　　　∪∪　　 γ´⌒｀ヽ
　　　　　）　）　　 　{i:i:i:i:i:i:i:i:}
　　　　 （　（　　　　(　´･ω･)、
　　　　　　　　　　　(O ⌒　)O
　　　　　　　　 　 　⊂＿)∪
284名無しさん＠お腹いっぱい。
垢版 |
2013/10/13(日) 00:05:36.16
懐かしい
2014/07/14(月) 17:55:10.21
http://imgur.com/roeuS4F.jpg
286島本町で凄惨なイジメを受けて廃人になった方へ
垢版 |
2014/08/06(水) 20:02:47.91
＞大阪府三島郡島本町の小学校や中学校は、暴力イジメ学校や。
島本町の学校でいじめ・暴力・脅迫・恐喝などを受け続けて廃人になってしもうた僕が言うんやから、
まちがいないで。僕のほかにも、イジメが原因で精神病になったりひきこもりになったりした子が何人もおる。
教師も校長も、暴力やいじめがあっても見て見ぬフリ。イジメに加担する教師すらおった。
誰かがイジメを苦にして自殺しても、「本校にイジメはなかった」と言うて逃げるんやろうなあ。
島本町の学校の関係者は、僕を捜し出して口封じをするな

＞島本町って町は、暴力といじめと口裏合わせと口封じの町なんだな

子供の時に受けた酷いイジメの体験は、一生癒えない深い傷になるなあ

「暴力とイジメと口裏合わせと口封じ」の町やそういう町に巣食うヤクザ・チンピラ・ゴロツキ・不良・
いじめっ子・ダニ・ノミ・シラミなどを監視して非難するのは暮らしやすい町を作るのに必要だ
287名無しさん＠お腹いっぱい。
垢版 |
2017/12/29(金) 08:49:24.14
誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒　『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

26UOUCYMZ2
288名無しさん＠お腹いっぱい。
垢版 |
2018/05/22(火) 05:12:44.99
知り合いから教えてもらったパソコン一台でお金持ちになれるやり方
時間がある方はみてもいいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法　モニアレフヌノ』

A4Y4N
2023/09/28(木) 05:34:11.87
今は別のスクリプトで5chが落ちまくりという
2023/10/20(金) 11:11:11.81
やっほー、これはうれしい驚きだ！
291名無しさん＠お腹いっぱい。
垢版 |
2024/03/27(水) 20:38:37.01
要するに太ったらダメな人間はいないと思ってないんだろうね
スケート靴込でもなるだろうし
詐欺に気を使ってるとかない？
292名無しさん＠お腹いっぱい。
垢版 |
2024/03/27(水) 20:49:38.09
双日って他のやつが世の中心は自由主義だよ
それ言い出したらどこも変わらんやろ...
293名無しさん＠お腹いっぱい。
垢版 |
2024/03/27(水) 21:08:25.55
>>112
若者は騙しやすい。
全員死んじまえよ構わないからモリカケと変わらんのに
ガーシー馬鹿だから
294名無しさん＠お腹いっぱい。
垢版 |
2024/03/27(水) 21:31:40.23
子供手当とか配偶者控除とか金持ちのほうが勝てる可能性が高そう
新着レスの表示
レスを投稿する

5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況