monazilla Part 6

**デフォルトの名無しさん** · 2008/10/20(月) 05:58:19

２ちゃんねる専用のブラウザを作っちゃおう
というプロジェクトです。

Part 1　http://pc.2ch.net/test/read.cgi/tech/981726544/
Part 2　http://pc.2ch.net/test/read.cgi/tech/1005282763/
Part 3　http://pc3.2ch.net/test/read.cgi/tech/1012544484/
Part 4　http://pc2.2ch.net/test/read.cgi/tech/1042432238/
Part 5　http://pc11.2ch.net/test/read.cgi/tech/1057329161/

monazilla.org (w
http://www.monazilla.org/

**デフォルトの名無しさん** · 2011/12/31(土) 05:42:47.64

V2Cを使ってるんだけど、このソフトには過去ログ倉庫を表示する
という機能がある。●持ってるからこの機能を使って過去ログ探索
してみたんだけど、ほとんどはサルベージできるものの、ごく一部は
「ログがない」と言われて掘れないログがあった。
つまり移転があったとしても過去ログ倉庫にログが入っているものは
サルベージできる。何らかの理由で過去ログ倉庫に入らなかったログ
はサルベージできない。

**デフォルトの名無しさん** · 2011/12/31(土) 10:00:26.20

はぁ。

**デフォルトの名無しさん** · 2011/12/31(土) 10:38:10.35

過去倉庫ってのがスレが落ちたときのサーバー毎にあって
そのサーバーが無くなるとアクセスできなくなって困るよって話だよ
過去ログ倉庫がずっとあればいいんだけどね

**デフォルトの名無しさん** · 2011/12/31(土) 12:04:59.70

それだと証拠隠滅できないじゃまいか

**デフォルトの名無しさん** · 2011/12/31(土) 14:36:48.83

板移転を自動追尾するプログラムを作ろうと思っています。
試しにニュース速報＋板の一世代前のURLである http://raicho.2ch.net/newsplus/subject.txt を読みに行ったところ
次のようなレスポンスが返されました。

　<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
　<html><head>
　<title>302 Found</title>
　</head><body>
　<h1>Found</h1>
　<p>The document has moved <a href="http://www2.2ch.net/live.html">here</a>.</p>
　<hr>
　<address>Apache/2.2.15 (Unix) PHP/5.2.13 mod_ssl/2.2.15 OpenSSL/0.9.8n Server at raicho.2ch.net Port 80</address>
　</body></html>

移転先とされる http://www2.2ch.net/live.html は残念ながら「人大杉」ページでしてニュース速報＋板の新しい移転先に
関する情報は得られませんでした。なんとかして板の正確な移転先の情報を得る方法はないでしょうか？

**デフォルトの名無しさん** · 2011/12/31(土) 14:50:06.64

えーと、

2chにおいて、302は404の意味。
理由は、ErrorDocumentが外部にあるため。

移転先は、通常のブラウザでアクセスするのと同様に、板(つまりはindex.html)を読む。

**デフォルトの名無しさん** · 2011/12/31(土) 17:27:30.92

うちは板一覧を監視+subject.txtが読めなかったときに
板のindex.htmlをみて、移転してたら(javascriptで移動するコードがあったら)
板の移転処理をしてるな
http://raicho.2ch.net/newsplus/だと

<script language="javascript">
window.location.href="http://uni.2ch.net/newsplus/"</script>
<title>2chbbs..</title>

ここの部分ね。HTTP上でやってほしいけど
仕方がないのでTITLEとjavascriptをパースして判定してる。

**245** · 2011/12/31(土) 17:53:42.50

>>246
>>247
レスありがとうございます。
subject.txtではなくindex.htmlを読みに行ったところ正しい転送先が得られましたm(_ _)m

**デフォルトの名無しさん** · 2012/01/24(火) 14:34:24.65

JBBSでsubject.txt読めなくなった？

**デフォルトの名無しさん** · 2012/01/24(火) 14:40:29.61

>>249
読めないね

**デフォルトの名無しさん** · 2012/01/24(火) 15:21:50.36

直った。

**デフォルトの名無しさん** · 2012/02/03(金) 08:31:49.98

あー板一覧の取得めんどくせぇ・・・

板のアドレス(ホスト、ディレクトリ名)も名前もカテゴリも変わる可能性あるんじゃ、何を基準に同じ板だと判断すりゃいいんだよ・・・。

考え過ぎか？
もう板名とディレクトリ名はユニークな値だと思っていいかな？
複数のカテゴリでの板の重複はないよね、絶対ないと仮定していいよね

**デフォルトの名無しさん** · 2012/02/03(金) 09:48:18.87

板一覧の取得でエラーが返る
↓
板一覧ではなく掲示板トップ http://toro.2ch.net/index.html を取得する。
↓
板が移転している場合は移転先 URL の文字列が含まれている
↓
文字列を頼りに移転先の板情報を取得する

**デフォルトの名無しさん** · 2012/02/03(金) 12:08:29.92

>>252
いや、板名が変わる事はある

**デフォルトの名無しさん** · 2012/02/03(金) 14:36:15.14

変わる事があるのは知ってるけど、
変わった場合はもう別板とみなしちゃってもいいんじゃないか？
という話では。

**デフォルトの名無しさん** · 2012/02/03(金) 14:39:05.07

ディレクトリ名が変わることってあったっけ。

ディレクトリ名の重複は昔あった気がするけど、
いまいち正確な記憶がないな。
2chとbbspinkでカブった、って話だったかな。

**デフォルトの名無しさん** · 2012/02/03(金) 15:27:26.96

>>255
いや、内容が全く同じでも変わる場合がある

前にあった例だと、メニューの上の方にある「おすすめ」
というカテゴリに表示されている板名と、本来のカテゴリに
表示されている板名が違っていたことがあった
恐らく、コピペではなく打ち込んでためにミスしたんだろう

だから、板名で判定すると、同じ板なのに違う板だと
判定されてしまう事があった

**デフォルトの名無しさん** · 2012/02/03(金) 16:34:50.97

旧・Mac板は旧・macに変わりました
名称のみの変更です

**デフォルトの名無しさん** · 2012/02/03(金) 16:46:27.29

>>257
> だから、板名で判定すると、同じ板なのに違う板だと
> 判定されてしまう事があった
もうめんどくさいからそれでよくね？って話でしょう。

**デフォルトの名無しさん** · 2012/02/03(金) 21:09:17.71

>>258
ｶﾞｾﾈﾀ乙w

Mac板
　↓
Mac板＋新・mac板
　↓
旧・mac板＋新・mac板

っていう変遷をたどってるのであって、「旧Mac板」であったことは一度もない

**デフォルトの名無しさん** · 2012/02/03(金) 21:30:22.40

2chの歴史上で「mac」と「bike」は、全く別の板(のディレクトリ名)として
それぞれ同時に存在していた(鯖は別)、という話との混同かな？

当然ながら、いろいろな面で好ましくないということで
片方は別の名前に変更された。

mac板の歴史については知らないけど。

**デフォルトの名無しさん** · 2012/02/03(金) 21:59:42.83

板名変更は
ペット動物→動物大好き→ペット大好き
ペット大嫌い→ペット苦手→生き物苦手
日本の淡水魚→日本在来の淡水魚介類・金魚
電車、鉄道→鉄道総合
とかいろいろある。

**デフォルトの名無しさん** · 2012/02/03(金) 23:06:10.71

追跡するならURLの変更を追うのがよいだろ
一覧を出すだけなら板一覧を見ればいいけど
板移行の後数日間更新されていないことがあるので注意

**デフォルトの名無しさん** · 2012/02/04(土) 11:40:45.00

URLで追うものだとばっかり思ってたんだけど板名で追ってたのか。
そりゃうまく動かないわけだ。

**デフォルトの名無しさん** · 2012/02/04(土) 14:51:11.68

板のディレクトリは変わらないよね？
心配になってきた

**デフォルトの名無しさん** · 2012/02/04(土) 16:08:58.18

よっぽどのことがないと変わらないと思うよ。

**デフォルトの名無しさん** · 2012/02/04(土) 16:14:21.45

いつの時代も想定外は起こるもんだ

**デフォルトの名無しさん** · 2012/02/04(土) 17:14:12.34

URLを追うのもJavaScriptでlocation.href="http..と書いてある行を抜いているわけだが
あのコードも変えられると困るんだよな

**デフォルトの名無しさん** · 2012/02/12(日) 09:16:04.69

軽くプログラム組んで、板の重複を調べてみたよ。
bbsmenu.htmlに全ての板(2ch、bbspink、まちBBS)で、ディレクトリ名の重複はなかった。
同一の板であることは、ディレクトリ名の一致で判断していいと思う。

でも「新型感染症」は、おすすめカテゴリでは「豚インフル」という名前で表示されてたよ。

複数のカテゴリに表示されてる板を以下に列挙した。
3つ以上のカテゴリに重複している板はなかった。

・ふるさと納税(ftax) : おすすめ、ニュース
・ビジネスnews+(bizplus) : おすすめ、ニュース
・豚インフル(infection) : おすすめ、心と身体
・土産物・特産物(localfoods) : おすすめ、旅行・外出

・ニュース実況+(liveplus) : 実況ch、ニュース
・市況1(livemarket1) : 実況ch、政治経済
・市況2(livemarket2) : 実況ch、政治経済

・ゲーム速報(gamenews) : ニュース、ゲーム
・アニメ漫画速報(comicnews) : ニュース、漫画・小説等
・芸能音楽速報(musicnews) : ニュース、音楽
・PCニュース(pcnews) : ニュース、ＰＣ等

>>268
ほんとだよね。
少し仕様変更があるだけでウチのプログラム動かないと思うｗ

**デフォルトの名無しさん** · 2012/02/12(日) 09:38:34.71

まぁ「おすすめ」はカブって当然だろうね。

**デフォルトの名無しさん** · 2012/02/16(木) 08:20:55.88

>>269
おすすめに表示されている板名って違う場合あるよな

Janeってログが板名でフォルダ分けされてるが
これって同じ板なのに別板扱いになってしまうのか？

**デフォルトの名無しさん** · 2012/02/16(木) 09:55:24.00

>>271
> おすすめに表示されている板名って違う場合あるよな
↓で言えば直してもらえるかも。

■ ボード一覧更新情報6
http://qb5.2ch.net/test/read.cgi/operate/1302989578/

**デフォルトの名無しさん** · 2012/02/17(金) 23:37:41.59

datとかの仕様があるんだから
板一覧も作っとけよって話だよなw
情報を取得する為にわざわざhtmlを解析するのは本末転倒な気がしてならん

**デフォルトの名無しさん** · 2012/02/18(土) 03:47:52.00

和文の文字列一致で探すくらいならURLの一致検索のほうが
はるかに建設的だと思うけどね。

**デフォルトの名無しさん** · 2012/02/18(土) 10:10:34.44

ごく普通のJSONなりXMLなりのAPIをつくっとけやと思うわ

**デフォルトの名無しさん** · 2012/02/18(土) 11:21:42.40

ボード一覧のXMLがあればどんなに楽か
誰か作って統一規格化してくれ
カテゴリは重複する可能性があるからタグみたいな扱いでインデックス値を内包しとけば

**デフォルトの名無しさん** · 2012/02/18(土) 13:23:33.00

２ｃｈにそんなの求めても無駄
そもそもWeb掲示板のはずなのにこれほど専用ブラウザがあるのは
Webブラウザでまともに閲覧できないからだしな
各掲示板のindex.hemlにしてもsubback.htmlにしてもスレッド一覧は
人間が読むことを想定してないって言われても仕方がないほどの糞ＵＩだし
改善しようとも思ってないだろ

**デフォルトの名無しさん** · 2012/02/18(土) 13:37:13.98

いつの頃からかJS使って並び替えができるようになってたりして驚いた
それでも使いにくいのは確か

**デフォルトの名無しさん** · 2012/02/18(土) 13:39:59.98

UIは外部のプログラマに任せるなら任せるで全部任せて見た目にこだわらないでほしい

**デフォルトの名無しさん** · 2012/02/18(土) 17:12:41.57

アナログなものを無理矢理デジタル化してる感じだね
もともとデジタルなものなのに。

負荷軽減したいのか
専ブラ使わせたくないのか
方向性というのを見せてほしいかな

**デフォルトの名無しさん** · 2012/02/18(土) 22:04:40.15

>>280
何が言いたいのかさっぱりわからないけど２ちゃんねるのUIは
元からウェブブラウザしか考えてない。利便性とかも二の次。
ひろゆきが適当に作ったcgiがベースだからね。

専用ブラウザを使えって言うのは、ハードウェアが今よりかなり
貧弱だった昔に、datを直接取ってくるほうがcgi叩くより軽いから
使うのが流行になった＋専用ブラウザの付加機能が便利ってだけ。

**デフォルトの名無しさん** · 2012/02/18(土) 22:18:06.17

>>281
> ひろゆきが適当に作ったcgiがベースだからね。

まあよく一人でつくったもんだよ(´ω｀)ｂ

**デフォルトの名無しさん** · 2012/02/19(日) 00:35:24.95

>>281
ハードウェア的に軽いからではない。
datを直接叩く＋gzip圧縮により、転送量が圧倒的に圧縮できるので
くちびるげや★夜勤＝現ピロリは専ブラ使用を推奨してた。
当時の2chは転送量＝鯖代が膨大だったので家計は火の車。
パンク寸前だった。
なので、2001年8月の2ch危機が勃発した。
まぁ、知ったかしないでよく調べろってことだな。

**デフォルトの名無しさん** · 2012/02/19(日) 00:40:02.37

あ、こう書き直した方がいいかな。
× 当時の2chは転送量＝鯖代が膨大だったので家計は火の車。
○ 2chは転送量＝鯖代が膨大だったので当時の家計は火の車。

**デフォルトの名無しさん** · 2012/02/19(日) 00:52:31.17

差分取得すればgzip圧縮はかからないから本音を言うとあまり転送量は圧縮されないんだけどね

**デフォルトの名無しさん** · 2012/02/19(日) 01:02:16.08

差分取得は専ブラ特有の機能。
一般ブラウザはドバッと読み込む。
差分取得をするだけでも転送量は減少する。

**デフォルトの名無しさん** · 2012/02/19(日) 01:14:02.93

全体をgzipで読むよりdatを差分で読むほうが小さいからな。
新規の場合だけgzipで取得して、展開して、
後は差分にしているが、これまたあぼーんされたりでズレるのでチェックしないといけない。
レス番号を指定して、それ以降のレスをJSONなりXMLなりで返すAPIを作ればすむのにな。

**デフォルトの名無しさん** · 2012/02/19(日) 02:09:28.88

閉鎖危機当時ですでにウェブブラウザからの差分リード
には対応してなかったっけ。
あの事件Unix板がさも活躍したかのように語られてるが
実際どの程度貢献したかは未知数なんだよ。誰も知らん。
専用ブラウザが推奨される理由は昔と今で違うんだけど

サーバが貧弱だったころはCPUロードを減らすために
cgiを叩かない専用ブラウザが推奨されていた。実況が
よく落ちていたからな。今はアタックでも無い限りブラウザ
でも全く問題ないけど、専用ブラウザが便利＋負荷が低い
から推奨されている。

**デフォルトの名無しさん** · 2012/02/19(日) 02:20:51.59

専ブラも無節操に巡回機能付けたりしてもう負荷低くも無いだろ

**デフォルトの名無しさん** · 2012/02/19(日) 03:25:15.63

巡回機能は接続数1でやってる所がほとんど。
巡回自体はブラウザ上でもできるし。

リッチなコンテンツ主流の今
テキストファイルを取得したくらいでは何ともないよ

思い込みで語るのはやめてくれ

**デフォルトの名無しさん** · 2012/02/19(日) 12:46:10.62

と、思い込みで語るのであった

**デフォルトの名無しさん** · 2012/02/19(日) 16:51:20.86

>>290
じゃぁ巡回の接続数1にしてる理由は何よ
焼かれるからってのは焼かれる理由が有るからだよな？

**デフォルトの名無しさん** · 2012/02/20(月) 03:48:48.95

接続数最大まで2ちゃんねるとコネクションしてどうするのw

**デフォルトの名無しさん** · 2012/02/21(火) 04:40:54.97

オプソの接続数管理部分を無効化して配布するような連中がいたからな。
リロードバーボンが導入されてようやく制限されたっていう。

**デフォルトの名無しさん** · 2012/02/21(火) 21:46:36.94

お前らちゃんとmonazilla読んだのか...？

**デフォルトの名無しさん** · 2012/02/27(月) 11:48:40.74

dat集めていたのだが、マジで鯖移転でなくなってるdatがあるんだな
過去ログがとれねえ

**デフォルトの名無しさん** · 2012/03/05(月) 23:14:14.16

まちがい　過去ログが取れない
せいかい　初めから存在しない

**デフォルトの名無しさん** · 2012/03/07(水) 17:17:08.11

差分更新するときのETagって

Etag = "\"30842c-cf34-4b97b4257aa00\"-gzip";

みたいになってETagじゃない文字があると思うんですけど、
これって取り除いて「30842c-cf34-4b97b4257aa00」としてIf-Modifiedにセットするんですよね？
環境によって違うのかもしれませんが・・・

**デフォルトの名無しさん** · 2012/03/07(水) 20:40:28.48

差分更新するときは、Accept-Encodingにgzipを含めないようにしないとgzip後の範囲が取れるぞ

**デフォルトの名無しさん** · 2012/03/07(水) 21:55:10.09

>>296
っ logsoku

**デフォルトの名無しさん** · 2012/03/08(木) 01:52:28.03

差分にgzipオプションつけてたらうまくいかないのは当然。

**デフォルトの名無しさん** · 2012/03/10(土) 20:55:59.79

>>299 >>301
何とかうまくいきました。ありがと。

**デフォルトの名無しさん** · 2012/03/17(土) 10:11:55.59

http://kohada.2ch.net/gameurawaza/subject.txt
1268122775.dct<>【PSP】真・三國無双 MULTI RAID2【解析・改造】 (638)

dctって何
気にせず読めばいいのだろうけど
フォーマットチェックしてたらひかかった

**デフォルトの名無しさん** · 2012/03/17(土) 16:15:40.33

IE上だとdatは読めるけどdctは人大杉だな。

**デフォルトの名無しさん** · 2012/03/17(土) 18:52:13.81

放射線の影響でメモリが化けたのかな

**デフォルトの名無しさん** · 2012/03/17(土) 18:54:24.11

>>304
1268122775.datにしたら読めた
subject.txtだけdctだな

**デフォルトの名無しさん** · 2012/03/18(日) 00:24:51.63

>>303
修復完了。
http://qb5.2ch.net/test/read.cgi/operate/1327914972/444-446n

**デフォルトの名無しさん** · 2012/03/18(日) 20:24:12.70

>>307
乙

メモリが壊れることがあるのかな
サーバが落ちた後にsubject.txtの中身が減ってるのはよくあるが
あれも起動時に修復しろよと思ってた

**デフォルトの名無しさん** · 2012/03/18(日) 21:54:16.02

subject.txtの話題が出たついでに聞きたい。
スレが立ってからsubject.txtにそのスレの存在が繁栄されるまでに長いときだとどのくらいのタイムラグが生じる？

ブラウザを作るに際してより早期に新規スレの存在を検知するにはどうしたらいいだろうか？

**デフォルトの名無しさん** · 2012/03/18(日) 22:01:51.32

>>308
あれはマジで何で自動処理じゃないのか気になるよな

**デフォルトの名無しさん** · 2012/03/19(月) 04:43:43.35

>>309
専用ブラウザはsubject.txtを読んでるはずだし
何度もスレを立てた経験からするとスレがたつと同時でタイムラグはないと思う。
新スレ検出はsubject.txtをポーリングしていればいいと思うけど
あまり過剰にアクセスするとバーボン行きになって
一定期間読み取りアクセスすらできなくなるので注意。

**デフォルトの名無しさん** · 2012/03/19(月) 20:22:21.17

>>311
㌧㌧

**デフォルトの名無しさん** · 2012/03/20(火) 22:54:07.18

2chは専ブラ推奨してるんだから専ブラを開発しやすい仕様にするべき

専ブラ作るのが難しいような仕様でそれの普及を図っても意味ないだろう

まぁ難しいからやりがいがあるんだが。

**デフォルトの名無しさん** · 2012/03/20(火) 23:22:14.82

専ブラつくるのってIEコンポーネント使うのが普通なん？

**デフォルトの名無しさん** · 2012/03/21(水) 01:02:26.25

どれが普通とか気にせず
好きなように作っていいんじゃない？

**デフォルトの名無しさん** · 2012/03/21(水) 03:49:15.81

IEコンポーネントつかったら汎用ブラウザだろ

**デフォルトの名無しさん** · 2012/03/21(水) 15:32:17.20

>>313
datも
１レス目の末尾にスレタイトルが入ってます
ってどんな仕様やねん
て感じだよねｗ

**デフォルトの名無しさん** · 2012/03/21(水) 16:38:17.57

subject.txt内に板の名前が入っていないのも面倒くさいよな

**デフォルトの名無しさん** · 2012/03/21(水) 16:48:09.89

これはどの言語で開発してんの？

**デフォルトの名無しさん** · 2012/03/21(水) 17:02:45.29

これってどれ？

**デフォルトの名無しさん** · 2012/03/21(水) 18:52:40.79

monazillaのことだろ
そんなものないが

**デフォルトの名無しさん** · 2012/03/21(水) 18:55:41.97

>>318
そうそう
datだけ保持してたら板わからなくなるってゆー

**デフォルトの名無しさん** · 2012/03/22(木) 13:37:06.59

>>319
日本語でおk

**デフォルトの名無しさん** · 2012/03/24(土) 11:37:06.88

とりあえずカテゴリ名の解析はできたが板名はどうやって抜き出せばいいんだよ・・・

**デフォルトの名無しさん** · 2012/03/24(土) 12:00:57.30

>>324
どこぞの情報をつかってカテゴリ名の解析をしよったの？

**デフォルトの名無しさん** · 2012/03/24(土) 12:10:40.54

>>325
ここ
http://menu.2ch.net/bbsmenu.html

**デフォルトの名無しさん** · 2012/03/24(土) 12:59:24.30

>>326
なる～
というか既に板名も列挙されてね('A` )？

**デフォルトの名無しさん** · 2012/03/24(土) 13:18:17.82

>>327
そこから必要なものだけを抜き出すのが難しいんだよ

**デフォルトの名無しさん** · 2012/03/24(土) 13:26:05.55

正規表現を駆使しして板名っぽいものを片っ端から拾っていくとかどう？

**デフォルトの名無しさん** · 2012/03/24(土) 13:32:42.76

無駄に面倒では有るけれど、難しくはないぞ

**デフォルトの名無しさん** · 2012/03/24(土) 13:37:25.76

Cだから標準に正規表現ライブラリないんだよなぁ・・・
探したらどっかに落ちてるだろうけどなんか使いたくない

**デフォルトの名無しさん** · 2012/03/24(土) 13:39:58.56

なぜC・・・

**デフォルトの名無しさん** · 2012/03/24(土) 13:41:58.76

>>332
Cじゃだめ？

**デフォルトの名無しさん** · 2012/03/24(土) 13:49:49.12

>>333
別にそんなん自由だけど、現に苦労してるじゃないか

**デフォルトの名無しさん** · 2012/03/25(日) 01:53:07.08

pcreとか使えばCでも正規表現使えるだろ

**デフォルトの名無しさん** · 2012/03/25(日) 02:23:02.64

いまどきCで開発ってのが気になるな。
携帯端末向けアプリとかか？

**デフォルトの名無しさん** · 2012/03/25(日) 05:32:55.06

やっとできたー

**デフォルトの名無しさん** · 2012/03/25(日) 11:34:06.42

できたーって何がだい

**デフォルトの名無しさん** · 2012/03/25(日) 11:45:03.18

板名の解析だおっお

**デフォルトの名無しさん** · 2012/03/26(月) 02:34:50.79

（　＾ω＾）bbs.cgiに何を送信すればいいんだお？