monazilla Part 6

■ このスレッドは過去ログ倉庫に格納されています
2008/10/20(月) 05:58:19
２ちゃんねる専用のブラウザを作っちゃおう
というプロジェクトです。

Part 1　http://pc.2ch.net/test/read.cgi/tech/981726544/
Part 2　http://pc.2ch.net/test/read.cgi/tech/1005282763/
Part 3　http://pc3.2ch.net/test/read.cgi/tech/1012544484/
Part 4　http://pc2.2ch.net/test/read.cgi/tech/1042432238/
Part 5　http://pc11.2ch.net/test/read.cgi/tech/1057329161/

monazilla.org (w
http://www.monazilla.org/
2011/12/31(土) 17:27:30.92
うちは板一覧を監視+subject.txtが読めなかったときに
板のindex.htmlをみて、移転してたら(javascriptで移動するコードがあったら)
板の移転処理をしてるな
http://raicho.2ch.net/newsplus/だと

<script language="javascript">
window.location.href="http://uni.2ch.net/newsplus/"</script>
<title>2chbbs..</title>

ここの部分ね。HTTP上でやってほしいけど
仕方がないのでTITLEとjavascriptをパースして判定してる。
248245
垢版 |
2011/12/31(土) 17:53:42.50
>>246
>>247
レスありがとうございます。
subject.txtではなくindex.htmlを読みに行ったところ正しい転送先が得られましたm(_ _)m
2012/01/24(火) 14:34:24.65
JBBSでsubject.txt読めなくなった？
2012/01/24(火) 14:40:29.61
>>249
読めないね
2012/01/24(火) 15:21:50.36
直った。
252デフォルトの名無しさん
垢版 |
2012/02/03(金) 08:31:49.98
あー板一覧の取得めんどくせぇ・・・

板のアドレス(ホスト、ディレクトリ名)も名前もカテゴリも変わる可能性あるんじゃ、何を基準に同じ板だと判断すりゃいいんだよ・・・。

考え過ぎか？
もう板名とディレクトリ名はユニークな値だと思っていいかな？
複数のカテゴリでの板の重複はないよね、絶対ないと仮定していいよね
2012/02/03(金) 09:48:18.87
板一覧の取得でエラーが返る
↓
板一覧ではなく掲示板トップ http://toro.2ch.net/index.html を取得する。
↓
板が移転している場合は移転先 URL の文字列が含まれている
↓
文字列を頼りに移転先の板情報を取得する
254デフォルトの名無しさん
垢版 |
2012/02/03(金) 12:08:29.92
>>252
いや、板名が変わる事はある
2012/02/03(金) 14:36:15.14
変わる事があるのは知ってるけど、
変わった場合はもう別板とみなしちゃってもいいんじゃないか？
という話では。
2012/02/03(金) 14:39:05.07
ディレクトリ名が変わることってあったっけ。

ディレクトリ名の重複は昔あった気がするけど、
いまいち正確な記憶がないな。
2chとbbspinkでカブった、って話だったかな。
257デフォルトの名無しさん
垢版 |
2012/02/03(金) 15:27:26.96
>>255
いや、内容が全く同じでも変わる場合がある

前にあった例だと、メニューの上の方にある「おすすめ」
というカテゴリに表示されている板名と、本来のカテゴリに
表示されている板名が違っていたことがあった
恐らく、コピペではなく打ち込んでためにミスしたんだろう

だから、板名で判定すると、同じ板なのに違う板だと
判定されてしまう事があった
2012/02/03(金) 16:34:50.97
旧・Mac板は旧・macに変わりました
名称のみの変更です
2012/02/03(金) 16:46:27.29
>>257
> だから、板名で判定すると、同じ板なのに違う板だと
> 判定されてしまう事があった
もうめんどくさいからそれでよくね？って話でしょう。
2012/02/03(金) 21:09:17.71
>>258
ｶﾞｾﾈﾀ乙w

Mac板
　↓
Mac板＋新・mac板
　↓
旧・mac板＋新・mac板

っていう変遷をたどってるのであって、「旧Mac板」であったことは一度もない
2012/02/03(金) 21:30:22.40
2chの歴史上で「mac」と「bike」は、全く別の板(のディレクトリ名)として
それぞれ同時に存在していた(鯖は別)、という話との混同かな？

当然ながら、いろいろな面で好ましくないということで
片方は別の名前に変更された。

mac板の歴史については知らないけど。
2012/02/03(金) 21:59:42.83
板名変更は
ペット動物→動物大好き→ペット大好き
ペット大嫌い→ペット苦手→生き物苦手
日本の淡水魚→日本在来の淡水魚介類・金魚
電車、鉄道→鉄道総合
とかいろいろある。
2012/02/03(金) 23:06:10.71
追跡するならURLの変更を追うのがよいだろ
一覧を出すだけなら板一覧を見ればいいけど
板移行の後数日間更新されていないことがあるので注意
2012/02/04(土) 11:40:45.00
URLで追うものだとばっかり思ってたんだけど板名で追ってたのか。
そりゃうまく動かないわけだ。
2012/02/04(土) 14:51:11.68
板のディレクトリは変わらないよね？
心配になってきた
2012/02/04(土) 16:08:58.18
よっぽどのことがないと変わらないと思うよ。
2012/02/04(土) 16:14:21.45
いつの時代も想定外は起こるもんだ
2012/02/04(土) 17:14:12.34
URLを追うのもJavaScriptでlocation.href="http..と書いてある行を抜いているわけだが
あのコードも変えられると困るんだよな
2012/02/12(日) 09:16:04.69
軽くプログラム組んで、板の重複を調べてみたよ。
bbsmenu.htmlに全ての板(2ch、bbspink、まちBBS)で、ディレクトリ名の重複はなかった。
同一の板であることは、ディレクトリ名の一致で判断していいと思う。

でも「新型感染症」は、おすすめカテゴリでは「豚インフル」という名前で表示されてたよ。

複数のカテゴリに表示されてる板を以下に列挙した。
3つ以上のカテゴリに重複している板はなかった。


・ふるさと納税(ftax) : おすすめ、ニュース
・ビジネスnews+(bizplus) : おすすめ、ニュース
・豚インフル(infection) : おすすめ、心と身体
・土産物・特産物(localfoods) : おすすめ、旅行・外出

・ニュース実況+(liveplus) : 実況ch、ニュース
・市況1(livemarket1) : 実況ch、政治経済
・市況2(livemarket2) : 実況ch、政治経済

・ゲーム速報(gamenews) : ニュース、ゲーム
・アニメ漫画速報(comicnews) : ニュース、漫画・小説等
・芸能音楽速報(musicnews) : ニュース、音楽
・PCニュース(pcnews) : ニュース、ＰＣ等

>>268
ほんとだよね。
少し仕様変更があるだけでウチのプログラム動かないと思うｗ
2012/02/12(日) 09:38:34.71
まぁ「おすすめ」はカブって当然だろうね。
271デフォルトの名無しさん
垢版 |
2012/02/16(木) 08:20:55.88
>>269
おすすめに表示されている板名って違う場合あるよな

Janeってログが板名でフォルダ分けされてるが
これって同じ板なのに別板扱いになってしまうのか？
2012/02/16(木) 09:55:24.00
>>271
> おすすめに表示されている板名って違う場合あるよな
↓で言えば直してもらえるかも。

■ ボード一覧更新情報6
http://qb5.2ch.net/test/read.cgi/operate/1302989578/
2012/02/17(金) 23:37:41.59
datとかの仕様があるんだから
板一覧も作っとけよって話だよなw
情報を取得する為にわざわざhtmlを解析するのは本末転倒な気がしてならん
2012/02/18(土) 03:47:52.00
和文の文字列一致で探すくらいならURLの一致検索のほうが
はるかに建設的だと思うけどね。
2012/02/18(土) 10:10:34.44
ごく普通のJSONなりXMLなりのAPIをつくっとけやと思うわ
2012/02/18(土) 11:21:42.40
ボード一覧のXMLがあればどんなに楽か
誰か作って統一規格化してくれ
カテゴリは重複する可能性があるからタグみたいな扱いでインデックス値を内包しとけば
2012/02/18(土) 13:23:33.00
２ｃｈにそんなの求めても無駄
そもそもWeb掲示板のはずなのにこれほど専用ブラウザがあるのは
Webブラウザでまともに閲覧できないからだしな
各掲示板のindex.hemlにしてもsubback.htmlにしてもスレッド一覧は
人間が読むことを想定してないって言われても仕方がないほどの糞ＵＩだし
改善しようとも思ってないだろ
2012/02/18(土) 13:37:13.98
いつの頃からかJS使って並び替えができるようになってたりして驚いた
それでも使いにくいのは確か
2012/02/18(土) 13:39:59.98
UIは外部のプログラマに任せるなら任せるで全部任せて見た目にこだわらないでほしい
2012/02/18(土) 17:12:41.57
アナログなものを無理矢理デジタル化してる感じだね
もともとデジタルなものなのに。

負荷軽減したいのか
専ブラ使わせたくないのか
方向性というのを見せてほしいかな
2012/02/18(土) 22:04:40.15
>>280
何が言いたいのかさっぱりわからないけど２ちゃんねるのUIは
元からウェブブラウザしか考えてない。利便性とかも二の次。
ひろゆきが適当に作ったcgiがベースだからね。

専用ブラウザを使えって言うのは、ハードウェアが今よりかなり
貧弱だった昔に、datを直接取ってくるほうがcgi叩くより軽いから
使うのが流行になった＋専用ブラウザの付加機能が便利ってだけ。
2012/02/18(土) 22:18:06.17
>>281
> ひろゆきが適当に作ったcgiがベースだからね。

まあよく一人でつくったもんだよ(´ω｀)ｂ
2012/02/19(日) 00:35:24.95
>>281
ハードウェア的に軽いからではない。
datを直接叩く＋gzip圧縮により、転送量が圧倒的に圧縮できるので
くちびるげや★夜勤＝現ピロリは専ブラ使用を推奨してた。
当時の2chは転送量＝鯖代が膨大だったので家計は火の車。
パンク寸前だった。
なので、2001年8月の2ch危機が勃発した。
まぁ、知ったかしないでよく調べろってことだな。
2012/02/19(日) 00:40:02.37
あ、こう書き直した方がいいかな。
× 当時の2chは転送量＝鯖代が膨大だったので家計は火の車。
○ 2chは転送量＝鯖代が膨大だったので当時の家計は火の車。
2012/02/19(日) 00:52:31.17
差分取得すればgzip圧縮はかからないから本音を言うとあまり転送量は圧縮されないんだけどね
2012/02/19(日) 01:02:16.08
差分取得は専ブラ特有の機能。
一般ブラウザはドバッと読み込む。
差分取得をするだけでも転送量は減少する。
2012/02/19(日) 01:14:02.93
全体をgzipで読むよりdatを差分で読むほうが小さいからな。
新規の場合だけgzipで取得して、展開して、
後は差分にしているが、これまたあぼーんされたりでズレるのでチェックしないといけない。
レス番号を指定して、それ以降のレスをJSONなりXMLなりで返すAPIを作ればすむのにな。
2012/02/19(日) 02:09:28.88
閉鎖危機当時ですでにウェブブラウザからの差分リード
には対応してなかったっけ。
あの事件Unix板がさも活躍したかのように語られてるが
実際どの程度貢献したかは未知数なんだよ。誰も知らん。
専用ブラウザが推奨される理由は昔と今で違うんだけど

サーバが貧弱だったころはCPUロードを減らすために
cgiを叩かない専用ブラウザが推奨されていた。実況が
よく落ちていたからな。今はアタックでも無い限りブラウザ
でも全く問題ないけど、専用ブラウザが便利＋負荷が低い
から推奨されている。
2012/02/19(日) 02:20:51.59
専ブラも無節操に巡回機能付けたりしてもう負荷低くも無いだろ
2012/02/19(日) 03:25:15.63
巡回機能は接続数1でやってる所がほとんど。
巡回自体はブラウザ上でもできるし。

リッチなコンテンツ主流の今
テキストファイルを取得したくらいでは何ともないよ

思い込みで語るのはやめてくれ
2012/02/19(日) 12:46:10.62
と、思い込みで語るのであった
2012/02/19(日) 16:51:20.86
>>290
じゃぁ巡回の接続数1にしてる理由は何よ
焼かれるからってのは焼かれる理由が有るからだよな？
2012/02/20(月) 03:48:48.95
接続数最大まで2ちゃんねるとコネクションしてどうするのw
2012/02/21(火) 04:40:54.97
オプソの接続数管理部分を無効化して配布するような連中がいたからな。
リロードバーボンが導入されてようやく制限されたっていう。
2012/02/21(火) 21:46:36.94
お前らちゃんとmonazilla読んだのか...？
2012/02/27(月) 11:48:40.74
dat集めていたのだが、マジで鯖移転でなくなってるdatがあるんだな
過去ログがとれねえ
2012/03/05(月) 23:14:14.16
まちがい　過去ログが取れない
せいかい　初めから存在しない
2012/03/07(水) 17:17:08.11
差分更新するときのETagって

Etag = "\"30842c-cf34-4b97b4257aa00\"-gzip";

みたいになってETagじゃない文字があると思うんですけど、
これって取り除いて「30842c-cf34-4b97b4257aa00」としてIf-Modifiedにセットするんですよね？
環境によって違うのかもしれませんが・・・
2012/03/07(水) 20:40:28.48
差分更新するときは、Accept-Encodingにgzipを含めないようにしないとgzip後の範囲が取れるぞ
2012/03/07(水) 21:55:10.09
>>296
っ logsoku
2012/03/08(木) 01:52:28.03
差分にgzipオプションつけてたらうまくいかないのは当然。
2012/03/10(土) 20:55:59.79
>>299 >>301
何とかうまくいきました。ありがと。
2012/03/17(土) 10:11:55.59
http://kohada.2ch.net/gameurawaza/subject.txt
1268122775.dct<>【PSP】真・三國無双 MULTI RAID2【解析・改造】 (638)

dctって何
気にせず読めばいいのだろうけど
フォーマットチェックしてたらひかかった
2012/03/17(土) 16:15:40.33
IE上だとdatは読めるけどdctは人大杉だな。
305デフォルトの名無しさん
垢版 |
2012/03/17(土) 18:52:13.81
放射線の影響でメモリが化けたのかな
2012/03/17(土) 18:54:24.11
>>304
1268122775.datにしたら読めた
subject.txtだけdctだな
2012/03/18(日) 00:24:51.63
>>303
修復完了。
http://qb5.2ch.net/test/read.cgi/operate/1327914972/444-446n
2012/03/18(日) 20:24:12.70
>>307
乙

メモリが壊れることがあるのかな
サーバが落ちた後にsubject.txtの中身が減ってるのはよくあるが
あれも起動時に修復しろよと思ってた
2012/03/18(日) 21:54:16.02
subject.txtの話題が出たついでに聞きたい。
スレが立ってからsubject.txtにそのスレの存在が繁栄されるまでに長いときだとどのくらいのタイムラグが生じる？

ブラウザを作るに際してより早期に新規スレの存在を検知するにはどうしたらいいだろうか？
2012/03/18(日) 22:01:51.32
>>308
あれはマジで何で自動処理じゃないのか気になるよな
2012/03/19(月) 04:43:43.35
>>309
専用ブラウザはsubject.txtを読んでるはずだし
何度もスレを立てた経験からするとスレがたつと同時でタイムラグはないと思う。
新スレ検出はsubject.txtをポーリングしていればいいと思うけど
あまり過剰にアクセスするとバーボン行きになって
一定期間読み取りアクセスすらできなくなるので注意。
2012/03/19(月) 20:22:21.17
>>311
㌧㌧
313デフォルトの名無しさん
垢版 |
2012/03/20(火) 22:54:07.18
2chは専ブラ推奨してるんだから専ブラを開発しやすい仕様にするべき

専ブラ作るのが難しいような仕様でそれの普及を図っても意味ないだろう


まぁ難しいからやりがいがあるんだが。
314デフォルトの名無しさん
垢版 |
2012/03/20(火) 23:22:14.82
専ブラつくるのってIEコンポーネント使うのが普通なん？
2012/03/21(水) 01:02:26.25
どれが普通とか気にせず
好きなように作っていいんじゃない？
2012/03/21(水) 03:49:15.81
IEコンポーネントつかったら汎用ブラウザだろ
2012/03/21(水) 15:32:17.20
>>313
datも
１レス目の末尾にスレタイトルが入ってます
ってどんな仕様やねん
て感じだよねｗ
2012/03/21(水) 16:38:17.57
subject.txt内に板の名前が入っていないのも面倒くさいよな
319デフォルトの名無しさん
垢版 |
2012/03/21(水) 16:48:09.89
これはどの言語で開発してんの？
2012/03/21(水) 17:02:45.29
これってどれ？
2012/03/21(水) 18:52:40.79
monazillaのことだろ
そんなものないが

2012/03/21(水) 18:55:41.97
>>318
そうそう
datだけ保持してたら板わからなくなるってゆー
2012/03/22(木) 13:37:06.59
>>319
日本語でおk
324デフォルトの名無しさん
垢版 |
2012/03/24(土) 11:37:06.88
とりあえずカテゴリ名の解析はできたが板名はどうやって抜き出せばいいんだよ・・・
2012/03/24(土) 12:00:57.30
>>324
どこぞの情報をつかってカテゴリ名の解析をしよったの？
326デフォルトの名無しさん
垢版 |
2012/03/24(土) 12:10:40.54
>>325
ここ
http://menu.2ch.net/bbsmenu.html
2012/03/24(土) 12:59:24.30
>>326
なる～
というか既に板名も列挙されてね('A` )？
328デフォルトの名無しさん
垢版 |
2012/03/24(土) 13:18:17.82
>>327
そこから必要なものだけを抜き出すのが難しいんだよ
2012/03/24(土) 13:26:05.55
正規表現を駆使しして板名っぽいものを片っ端から拾っていくとかどう？
2012/03/24(土) 13:32:42.76
無駄に面倒では有るけれど、難しくはないぞ
331デフォルトの名無しさん
垢版 |
2012/03/24(土) 13:37:25.76
Cだから標準に正規表現ライブラリないんだよなぁ・・・
探したらどっかに落ちてるだろうけどなんか使いたくない
2012/03/24(土) 13:39:58.56
なぜC・・・
2012/03/24(土) 13:41:58.76
>>332
Cじゃだめ？
2012/03/24(土) 13:49:49.12
>>333
別にそんなん自由だけど、現に苦労してるじゃないか
2012/03/25(日) 01:53:07.08
pcreとか使えばCでも正規表現使えるだろ
2012/03/25(日) 02:23:02.64
いまどきCで開発ってのが気になるな。
携帯端末向けアプリとかか？
337デフォルトの名無しさん
垢版 |
2012/03/25(日) 05:32:55.06
やっとできたー
2012/03/25(日) 11:34:06.42
できたーって何がだい
339デフォルトの名無しさん
垢版 |
2012/03/25(日) 11:45:03.18
板名の解析だおっお
340デフォルトの名無しさん
垢版 |
2012/03/26(月) 02:34:50.79
（　＾ω＾）bbs.cgiに何を送信すればいいんだお？
2012/03/26(月) 04:56:21.46
>>340
（　＾ω＾）
↑これ
342デフォルトの名無しさん
垢版 |
2012/03/26(月) 04:57:45.61
（；＾ω＾）冗談やめてお
（；＾ω＾）本当に教えてくれお
2012/03/26(月) 05:02:19.88
無理





俺も知らないもんもん♪
2012/03/26(月) 16:22:34.51
[test]書き込みテスト　専用スレッド481[ﾃｽﾄ]
http://qb5.2ch.net/test/read.cgi/operate/1332719731/l50

のHTMLソースを見てみた。

<form method=POST action="../test/bbs.cgi?guid=ON">
<input type=submit value="書き込む" name=submit>
名前： <input name=FROM size=19>
E-mail<font size=1> (省略可) </font>: <input name=mail size=19><br>
<textarea rows=5 cols=70 wrap=off name=MESSAGE></textarea>
<input type=hidden name=bbs value=operate>
<input type=hidden name=key value=1332719731>
<input type=hidden name=time value=1104688508>
</form>

↑
これに書き込みメッセージをつけて投げてやればいいんじゃないの？
2012/03/26(月) 16:24:36.82
あと今の仕様だと忍法帖導入板は忍法帖のクッキーをサポートしないと
永久に書き込めなかったはず。
2012/03/26(月) 17:03:09.99
>>340
これ読め

2ちゃんねる開発資料
http://www.monazilla.org/index.php?e=192
レス書き込み
http://www.monazilla.org/index.php?e=199
スレッドの作成
http://www.monazilla.org/index.php?e=200
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況