２ちゃん画像落としまくりスクリプト

[1 1 NG NG]

２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

http://www.ninnin.net/

※perlとwgetが必要です。
※Windows,Macでは動きません。

[36 名無しさん＠お腹いっぱい。 NG NG]

OSXにwget入れるのに小1時間かかりました。
でも成功、すごいぞUNIX、ありがとう＞1

[37 名無しさん＠お腹いっぱい。 NG NG]

>32

そっか、俺は落としてきたファイルを
別ディレクトリに移動して整理していたんだが、
そうすると、また同じやつを落としてきてしまうんだな。
死体画像とかも残しておかないと、
また同じ死体画像を落としてきてしまうのだな。

[38 名無しさん＠お腹いっぱい。 NG NG]

>>28 その辺の隠語は限られているから、単純置換じゃダメかな…

[39 1 NG NG]

>>37
死体画像は同じファイル名でダミーのファイルとかを
置くとかすると良いかも・・・

面倒なのでそのうちその辺もなんとかしたいですね

[40 名無しさん＠ＸＥｍａｃｓ NG NG]

>38
単純置換は無理っぽいですね。隠語はちょこちょこ増えてるみたいですし、
URLは省略されたりクイズで記述されたりもするので(w

[41 名無しさん＠お腹いっぱい。 NG NG]

おいおいおいおいおい、2ch内とはいえ下手なスパイダー
動かすのはやめてくれ。転送量も鯖の負荷も増える。
やりたいやつは公開なんかしないで、自分で作ってひっそりと
やってくれ。

[42 名無しさん＠お腹いっぱい。 NG NG]

>>41
すいてる時間帯でもダメ？

[43 名無しさん＠ほっとぞぬ NG NG]

>>42
まず、datファイルをgetして、それを元にすればよいかと思われ。

[44 名無しさん＠お腹いっぱい。 NG NG]

MacOSXの人って結構いるんだなぁ。
そういう漏れも。

[45 名無しさん＠お腹いっぱい。 NG NG]

>>44

俺もMacOS X
最近多いよね。

厨房UNIX使い気取りが増えてここの板の人は迷惑だろうけど・・

[46 名無しさん＠お腹いっぱい。 NG NG]

>>44 >>45

コンソール使う頻度はどれくらいよ?
あんまり多いのも、それはそれで考えもんだけど。
一応Macだし。

[47 名無しさん＠お腹いっぱい。 NG NG]

>>44-46
スレ違い。

[48 名無しさん＠お腹いっぱい。 NG NG]

同名のファイルがあった場合、ファイルサイズを調べて一致しなかったら
後ろに_01とか付けて保存するのは出来ませんか？

[49 1 NG NG]

>>48
できます。
その方法も考えたのですが、結局やりませんでした。
いらないかな？と思って。
同じような要望が多ければ導入を検討します。

wgetのオプションの中にそんな機能があった気がしますので、
ご自分で改造してみてはいかがでしょう。
$optionsにオプションを突っ込んでwget実行サブルーチンを
呼んでるだけですので。

[50 名無しさん＠お腹いっぱい。 NG NG]

試しにやってみたけどいい感じだぁよ、ありがとう。>1
要望とか考えると結局Iria先生みたくなるんだろうけど期待しちゃうよ。
なにってcronで動かしておけるから昼間だけの時限モノとか拾える可能性
あるってだけでピンコたんピキーンなれるし。

ただこの板でやるなら負荷、転送量減らしは最初に考慮する必要あるかと。
引っ越し間際のスレなんて生データで300kb以上になるのを毎回引っ張る
のはやはり問題だと思うので、ツモって来たdat fileはローカルに保存して
再利用する方向で進めてはどうか。

同名異URI処理は取り敢えず後にしないと、考え無し厨房が全開で走らせる
と思われ。

[51 名無しさん＠お腹いっぱい。 NG NG]

ねぇねぇ、これからもいじる気ある？>1
マジでcronで走らせてグロ画像getterになろうと思うだけどいぢっていい？
perl なんてしばらくいじってないから思い出すとこからはじめるけど。

[52 名無しさん＠お腹いっぱい。 NG NG]

途中で切れちゃう画像とかあるんですが、どこをいじればいいですか？
$limit = 3
$down = 2
で使ってますが。

[53 1 NG NG]

>>50
datのタイムスタンプをチェックして再利用するようにしようかなぁ
ご意見ありがとう。転送量軽減を目指します。

>>51
ぜひいぢってください

>>52
117行目のwgetのオプション設定で調整できると思います。
-t や -w の値を調整すると良いかも。参考ページはこちらあたりをどうぞ
http://seagull.cs.uec.ac.jp/~horiuc-m/wget.html

[54 名無しさん＠お腹いっぱい。 NG NG]

自分でSocket開いてRange: bytesヘッダとか使ってくれ。
つーかこういうもんはまともになってから公開してくれ

[55 名無しさん＠お腹いっぱい。 NG NG]

FreeBSDでこのソフト使いました。
jpg/以下にたくさんのファイルがきましたが、
この中から、最適なファイルを絞り込むのはむづかしいですね。

タグ情報等から、分類できないのかなあ？
もしくわ、winみたいに、一つ一つのファイルを簡単に表示
できたらまだいいかも。(サムネーム表示？)

今gimp使って、いっこいっこ開いてるけど、
もっと楽にファイル情報しらべれないかな？

[56 名無しさん＠お腹いっぱい。 NG NG]

今のままじゃ、ファイル名による絞り込み
しかできないよ。

[57 名無しさん＠お腹いっぱい。 NG NG]

・・・ここは本当にUNIX板なのか・・・鬱

[58 名無しさん＠お腹いっぱい。 NG NG]

Gimp…… 絶句

[59 名無しさん＠お腹いっぱい。 NG NG]

つーか誰かがこのスクリプトをcronで定期的に実行して
作成されたjpglistをどっかで公開すりゃいいんだよね

それを元にiriaなりwgetなりで落とせばいい
そうすりゃ負荷はかからんし

[60 名無しさん@XEｍａｃｓ NG NG]

>59
それおもろいね。

っつーか、 jpg をある程度の大きさごとにアーカイブしといてくれ(w
ってコレはアクセスが集中してダメかにゃ。

[61 XV NG NG]

A.ディレクトリ毎にサムネイル表示

xv [-dir 画像があるディレクトリ]
^v
^n .xvpics
^u

B.一気にサムネイル作成

cd ベースのディレクトリ
find [こっちで書いてもいいし] -type d -exec mkdir {}/.xvpics \;
xv [そしたらこっちもか、やっぱやめ]
^v
^e

C.見ているファイルを消す

見る
^d
^d

D.ファイルを移動する

^v
フォーカス戻す
^v
好きなようにDnDする

E.マスク外す

適当に範囲選択
f
アローキーで位置変更
Shift+アローキーで範囲伸縮
拡大は Ctrl+マウス
Alt+j
Shift押しながらパス入力

[62 名無しさん＠お腹いっぱい。 NG NG]

>>59
2chはそれでいいかもしれんが、リスト配布はヤメとけ。
厨房に凶器与えるのと一緒だ。

[63 55 NG NG]

>>58
さんに絶句されたんですが、
みなさんは、どうやって画像みてるのですか？
マジで教えてください。
厨房なんで、すみません。

[64 名無しさん＠お腹いっぱい。 NG NG]

>>63
>>61

[65 55 NG NG]

すばらしい。感動した！有難う。

[66 名無しさん＠お腹いっぱい。 NG NG]

グロ画像多すぎ。ホモ画像思わみてしまいかなりへこんだ。

[67 名無しさん＠お腹いっぱい。 NG NG]

Listアップするためのサーバーでも借りましょうかね。

[68 名無しさん＠Ｅｍａｃｓ NG NG]

Navi2chで取得したdatを使うようにできたらうれしいな

[69 68 NG NG]

あ,Navi2chで m a m i して,awkで抜いて,wgetすればいいだけか…

[70 名無しさん＠お腹いっぱい。 NG NG]

>>55
XV の Visual Schnauzer とか使うのが一般的なんじゃないの？もっとも最近
の Linux の distribution なんかには XV の入っていない例もあるようだけ
ど。ちなみにわたくしは xv 3.10a に各種 patch を当てて、FLMASK とかの復
元もできるようにしたのを使ってる。Linux でも *BSD でも特に問題なくコン
パイルできると思うけど？

[71 名無しさん@XEｍａｃｓ NG NG]

XV って未だに使い方よくわかんない…
メンドーなので、なんでもかんでも ImageMagick …

[72 名無しさん＠Ｅｍａｃｓ NG NG]

>>70
既出

[73 名無しさん＠お腹いっぱい。 NG NG]

GQviewとか。

[74 名無しさん＠お腹いっぱい。 NG NG]

キーボードマクロで+mamiするのをcronでまわしておくと、
便利というか迷惑というか。

[75 名無しさん＠お腹いっぱい。 NG NG]

便利と思うがなんであがらないのかな？
ということで定期あげ。

[76 名無しさん＠Ｅｍａｃｓ NG NG]

ところで、画像集めた後の話だが、
同じ様な画像がたーくさんディスクの肥しになって
欝にならないか？

そんな時は、dupmerge
http://people.qualcomm.com/karn/code/dupmerge/
(QualcommのPhilip Karn作)

洩れは、
find . -name "*.[GgJj][IiPp][FfEeGg]*" -o -name "*.[Mm][Pp][EeGg]*" | dupmerge
みたいにして使ってるよ。

[77 名無しさん＠お腹いっぱい。 NG NG]

>>76
sambaでwinにmountしているんだけれども、
この手のツールはwinのほうが充実していないでしょうか。

[78 名無しさん＠Ｅｍａｃｓ NG NG]

shell で書けるからね。

[79 名無しさん＠Ｅｍａｃｓ NG NG]

>> 76
どうせなら iname 使え

[80 名無しさん＠Ｅｍａｃｓ NG NG]

そりでは修正
find . -iname "*.[gjm][ip][feg]*" | dupmerge

[81 名無しさん＠Ｅｍａｃｓ NG NG]

>>77
最近のwindowsは、ハードリンク出来るの？
消すんじゃなくてハードリンクする所が
ミソなんだけど

[82 名無しさん＠お腹いっぱい。 NG NG]

>>81
使えるわけないじゃん

[83 名無しさん＠Ｅｍａｃｓ NG NG]

>>82 >> 77
じゃ、充実してないじゃん

[84 名無しさん＠Ｅｍａｃｓ NG NG]

どうせ焼く時は使わない

[85 名無しさん＠お腹いっぱい。 NG NG]

あげます、あげます

[86 名無しさん＠お腹いっぱい。 NG NG]

お前ら、最近どうですか？

[87 名無しさん＠お腹いっぱい。 NG NG]

どの板も、途中でＤＬが止まってしまうのだよ。なんでだ？？

[88 名無しさん＠お腹いっぱい。 NG NG]

>>81-82
Windowsでもハードリンク使えるみたい

CreateHardLink
これをMSDNかなんかでしらべれ

Unixと全く関係ないが、サゲたら忘れそうなのでｱｹﾞ

[89 名無しさん＠お腹いっぱい。 NG NG]

FAT でどうやって hardlink 作るんだ?

[90 名無しさん＠お腹いっぱい。 NG NG]

確か2000以降だっけかな、忘れた

[91 名無しさん＠お腹いっぱい。 NG NG]

NTFSならhard linkもsymbolic linkもできるよ。
あんまり使われてないのはFATだと使えないからかも。

[92 名無しさん＠お腹いっぱい。 NG NG]

symbolic linkをjunctionという、らしい。
ただこいつを使うと、WindowsのExplorerでさえ
摩訶不思議な挙動を示すことがあるというくらい、
ろくに使われてない機能。

[93 名無しさん＠お腹いっぱい。 NG NG]

思いつきとしか思えない機能追加が多いからな。
だったら DOS のころから linkfile をサポートしといてほしい。

[94 名無しさん＠お腹いっぱい。 NG NG]

DOSでFATでもハードリンク作れるYO!
ただし、chkdsk.exeにクロスリンクと言われてしまう、諸刃の剣。
素人にはお勧めできない。ってやつだ。

[95 名無しさん＠お腹いっぱい。 NG NG]

こえーーー

[96 名無しさん＠お腹いっぱい。 NG NG]

>>94
確かに間違いでは無いな(笑)

[97 名無しさん＠お腹いっぱい。 NG NG]

age て みた

[98 名無しさん＠お腹いっぱい。 NG NG]

やっぱり前回履歴に対応して欲しいなぁ。
毎日cronで走らせたいヨ。

[99 名無しさん＠お腹いっぱい。 NG NG]

>>92
俺使ってる。でもあれってsymlinkというのは詐欺だろう。
join(DOS)とかFreeBSDのunion fs & mountみたいのと言った方が正確
かな。で、俺が見つけてる不具合は

1.Explorerやインストーラの空き容量計算がmountに対応できてないので、
　インストーラで(空きがあっても)「ねーよ」と弾かれたりする
2.MoveFile() APIがmountを考慮してないので、src/destが同じドライブ
　名だけど別ボリュームの場合、ファイル移動に失敗する(API直/cmd.exe
　Explorer全滅)

だな。
一応どっちも回避方法があるし、従来アプリは1.に対応できんというのは
仕方がない所でもあるんだが、2.はどう考えても(仕様変更への)追従ミス。

# 同一ボリューム内の移動の場合、ディレクトリエントリだけの書き換え
# で高速化してるんだが、同一ボリュームかどうかの判定にsrc/destの
# ドライブ文字しか見てないという。アホ。

[100 名無しさん＠お腹いっぱい。 NG NG]

100

[101 名無しさん＠お腹いっぱい。 NG NG]

ある板のある日の<a href="...">を一括表示してくれるようなサイトない？
つくろうかな…。

[102 名無しさん＠お腹いっぱい。 NG NG]

>>101
作って！

[103 名無しさん＠お腹いっぱい。 NG NG]

>102
つくりはじめた。rawmodeを使おうかとも思ったけど、index.htmlをtidyでXHTMLに
変換してからXSLTで加工(XHTML to XML)して、XMLで日別にサーバ側に蓄積して、
CGIでXML選んでXSLTかまして(XML to HTML4)出力、みたいな感じにすることにした。
なんとなく。

とりあえず最初のXSLTまで書けましたわ。

[104 名無しさん＠お腹いっぱい。 NG NG]

age

[105 名無しさん＠お腹いっぱい。 NG NG]

>103
すばらしいあげ

[106 101 NG NG]

>>105
ども。マ板でもちょっと書いたんだけど、できました。
2ちゃんねるの 技術系/ニュース系 板の、URL流し読みサイト。

これ http://moso.borogrammers.net/newlin/ なんだけどどうかしら?

表示例↓
http://moso.borogrammers.net/newlin/read.cgi?board=news&yyyy=2002&mm=01&dd=23

[107 名無しさん＠お腹いっぱい。 NG NG]

祭り監視に良いNE >>106

[108 名無しさん＠お腹いっぱい。 NG NG]

>>106
面白いね
ちょっと遊んでみるよ

でもsage

[109 名無しさん＠お腹いっぱい。 NG NG]

スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。

[110 109 NG NG]

あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
視点の移動が少なくて良いんじゃないかと思います。

[111 名無しさん＠お腹いっぱい。 NG NG]

.datの形式変わった？

[112 106 NG NG]

本業でヘロヘロになってました。109さんご意見どうも。

>スレがばらばらに表示されるので、日付順、スレ順などのソートがあると嬉しいです。
トップ画面に「発言日が最近のURLほど上に表示する」と「スレッド番号+発言番号
でソートして表示する」というラジオボタンをつけました。

>あと、大量のリストを眺める作業になるので、スレタイトルは左揃えにしたほうが
>視点の移動が少なくて良いんじゃないかと思います。
確かにそうですね。左揃えにしました。スレッドでソートした場合、かなり見易くなったの
ではないかと思います。

URLは相変わらず http://moso.borogrammers.net/newlin/ です。

[113 106 NG NG]

新しい表示例:
http://moso.borogrammers.net/newlin/read.cgi?board=newsplus&yyyy=2002&mm=02&dd=21&abone=on&exclude=on&exclude_text=2ch.net%2F&ext_text=swf&thr_sort=yes

[114 名無しさん＠お腹いっぱい。 NG NG]

>>113のURLはなんか妙な表示になる気もするけど、良くなったと思います。
てーか誰か画面のデザインしてやれ。地味すぎるよ

[115 名無しさん＠お腹いっぱい。 NG NG]

>>111
datは>>106のviewerには無関係と思われ

[116 名無しさん＠お腹いっぱい。 NG NG]

>>1のスクリプトは、いまや改造しないとそのままでは使えないですね。

[117 名無しさん＠お腹いっぱい。 NG NG]

>>116
改造キボンヌ

[118 NG NG]

>>116,117
2ch のシステムはよく知らないんだけど現在では subject.txt と .dat
は直接見れないんだよね？ read.cgi から raw モードで取得するのかな。
その辺りを書き換えればオッケー。

[119 名無しさん＠お腹いっぱい。 NG NG]

monazilla ML 入るが吉。

[120 名無しさん＠お腹いっぱい。 NG NG]

使えなくなってるね…

[121 116 NG NG]

>>117
118が書いてるように、今は $ita/subject.txt が見られないようだから、
まずオリジナルスクリプトの subject.txt は subback.html にでも
しないといけない。
また、subback.html を参照するようにしたら、データナンバーの取り出し方も
変えないといけないね。いろいろなやり方があるだろうが、例えば
http://love.2ch.net/morningcoffee/subback.html
だったら
<a href="1014421686/l50">6: 中澤裕子ファン倶楽部 96 (977)</a>
みたいなスレッドのリストが得られて、要はこの中の 1014421686 を
切り出したいわけだから、38行目と60行目
($data_no) = split /\<\>/ , $_;
は、
@data = split /\//;
$data_no = $data[0];
$data_no =~ s%\D%%g;
とでもすれば $data_no に 1014421686 が入って、
あと、40行目の $target は、conf.txt に
$host = 'http://love.2ch.net/';
$categ = '/morningcoffee/';
を追加しといて
$target = "$host"."test/read.cgi"."$categ"."$data_no";
として使っているが、もっとエレガントなやり方があったら誰か教えて著。

[122 名無しさん＠お腹いっぱい。 NG NG]

>>1 のサイト、アクセスできなかったんですけど
件のスクリプトを落とせるところは他にありませんか

[123 名無しさん＠お腹いっぱい。 NG NG]

　　

[124 名無しさん＠お腹いっぱい。 NG NG]

wgetでダウンロードしたファイルを
ダウンロードしたYYYYMMDDという形式で
保存するにはどうすればいいのでしょう。

同じ名前でファイルが毎週更新されるので
cronでそのままで回すのでは上書きされて
しまいます。

[125 名無しさん＠Ｅｍａｃｓ NG NG]

% wget http://xxx.xxx.xxx/???.jpg -P `date +%y%m%d`
ってのはダメ？
大量に引っこ抜くならこれでいいと思うけど。

[126 login:Penguin NG NG]

-O --output-document=FILE FILE に文書を出力します。

[127 名無しさん＠お腹いっぱい。 NG NG]

>>125
> ってのはダメ？

それでもかまわないのですがファイルは1つなので
ディレクトリは作らずYYYYMMDD.jpgというファイル名
で保存したいのですが。

[128 名無しさん＠Ｅｍａｃｓ NG NG]

>>128

% wget http://xxx.xxx.xxx/???.jpg -O `date +%Y%m%d`.jpg

(´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

[129 名無しさん＠お腹いっぱい。 NG NG]

>>128

> (´-`).｡ｏＯ(>>127 がすでに答えてくれているけど…なんでだろう？)

あの書き込みはヒントだったのですね。
ドキュメントと書いてあったので他の事かと思っていました。
ありがとう。>>ALL

[130 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[131 名無しさん＠お腹いっぱい。 NG NG]

捕手

[132 名無しさん＠お腹いっぱい。 NG NG]

なんとなく

[133 名無しさん＠お腹いっぱい。 NG NG]

ほしゅ

[134 名無しさん＠お腹いっぱい。 NG NG]

どるどれい？

[135 名無しさん＠お腹いっぱい。 NG NG]

sage