monazilla Part 6

■ このスレッドは過去ログ倉庫に格納されています
2008/10/20(月) 05:58:19
２ちゃんねる専用のブラウザを作っちゃおう
というプロジェクトです。

Part 1　http://pc.2ch.net/test/read.cgi/tech/981726544/
Part 2　http://pc.2ch.net/test/read.cgi/tech/1005282763/
Part 3　http://pc3.2ch.net/test/read.cgi/tech/1012544484/
Part 4　http://pc2.2ch.net/test/read.cgi/tech/1042432238/
Part 5　http://pc11.2ch.net/test/read.cgi/tech/1057329161/

monazilla.org (w
http://www.monazilla.org/
365デフォルトの名無しさん
垢版 |
2012/03/28(水) 01:30:15.83
どんな大人に育つのだろうか・・・
2012/03/28(水) 07:00:31.85
いい加減にしろ。
2012/03/28(水) 14:19:08.78
メトロってこの延長線上な気がする

ttp://2ch.at/s/20mai00527004.jpg
ttp://2ch.at/s/20mai00527005.jpg
ttp://2ch.at/s/20mai00527006.jpg
ttp://2ch.at/s/20mai00527007.jpg
ttp://2ch.at/s/20mai00527008.jpg
ttp://2ch.at/s/20mai00527009.jpg
368デフォルトの名無しさん
垢版 |
2012/03/28(水) 19:38:59.81
割れ厨かよ
2012/05/03(木) 04:28:13.68
だれか教えてください
http://kage.monazilla.org/system_DOLIB100.html
ここ見て書いてみたんですがなぜか動かないです。

<?php


$sid="取得したセッションID";
$sid=urlencode($sid);


$fp = fsockopen('toro.2ch.net', 80);
$out = array(
'GET /test/offlaw.cgi?bbs=tech&key=1224449899&sid=$sid HTTP/1.0',
'Host: toro.2ch.net',
'User-Agent: Monazilla/1.00',

);
fwrite($fp, implode($out, "\r\n") . "\r\n\r\n");
ob_start();
fpassthru($fp);
$response = ob_get_clean();
fclose($fp);

$response = explode("\r\n\r\n", $response, 2);
echo 'ヘッダ<pre>' . $response[0] . '</pre>';
echo '中身<pre>' . mb_convert_encoding($response[1] , "UTF-8", "Shift_JIS"). '</pre>';

exit;
?>
2012/05/07(月) 02:31:59.68
誰もいない・・・
2012/05/07(月) 02:38:20.07
いるお
2012/05/07(月) 03:11:19.00
いるよ
でもPHPわからない
2012/05/07(月) 03:12:57.01
gzip 圧縮した content を受け取る場合は URI に raw=0.0 を 付加してヘッダに Accept-Encoding: gzip をつける
これでやらないとダメじゃなかったっけ？
2012/05/07(月) 03:19:16.21
(´；ω；｀)ﾌﾞﾜｯネットでも一人かと思った
2012/05/07(月) 03:24:56.27
本当はくろーら作りたいんだけど
公式が重すぎて話にならないしどうしようもないなPHPでやってる人少ないのか

http://info.2ch.net/wiki/index.php?%A4%C8%A4%AB%A4%B2%A4%CE%BF%AC%C8%F8%C0%DA%A4%EA%A1%A6%A5%D0%A1%BC%A5%DC%A5%F3%A5%CF%A5%A6%A5%B9#content_1_19
2012/05/07(月) 06:38:01.53
PHPでクローラー作るやつなんているわけないだろｗｗ
2012/05/07(月) 07:21:21.82
(;ﾟДﾟ)!ログ速とかunkerとかphpだと思ってたわ
2012/05/07(月) 09:27:25.26
unkerはgooglebotがアクセスしたタイミングでログ取得しているだけでクローラーではないな

2012/05/07(月) 10:22:30.42
PHPだとなんでだめなの？
2012/05/07(月) 10:38:43.06
>>379
ログが取得できないから・・・っていうより俺の技術不足・・・
2012/05/07(月) 12:40:14.20
PHPってテンプレートエンジンから始まったもので
汎用言語ではないだろ
2012/05/07(月) 13:54:33.66
昔は昔。
2012/05/07(月) 16:29:54.57
もっとソースとかガンガンアップして活発になったらいい！

のになぁ
2012/05/07(月) 16:34:32.29
どうぞどうぞ。
2012/05/08(火) 01:05:58.48
俺の長年継ぎ足してきた秘伝のソースを…！
2012/05/08(火) 09:27:18.44
そして結局過去ログを取得できないのであった完
2012/05/08(火) 10:16:39.60
日記？
2012/05/08(火) 10:17:46.00
>>369
だけどPHP専用スレでも聞いてみることにします
2012/05/12(土) 11:12:11.64
gzip圧縮かけて動かないんだったらまず圧縮しない状態で
やってみるのが早いんじゃないかな。
2012/05/12(土) 11:25:06.52
やってみたけど動かなかった

●はおためし●なら放置でいいんじゃねって言われて放置
2012/06/08(金) 09:19:23.21
unagiで5回ずつ一時間間隔？でしかテストできないんだけど
開発用に制限無い板とかない？
392391
垢版 |
2012/06/08(金) 09:22:15.41
ああ忍法帳新規取得のテストです
2012/06/24(日) 16:55:00.11
PT3のDrop対策のtimeBeginPeriodを見て
昔、WMPを動かしているとIEコンポの描画が速くなる、という話があったのを思い出した。
394デフォルトの名無しさん
垢版 |
2012/06/24(日) 19:14:35.24
GOBAKU
395 忍法帖【Lv=22,xxxPT】
垢版 |
2012/06/26(火) 08:12:16.83
PHPからレス書き込みするプログラムを書いてるんですが、Client-IPやX-Forwarded-Forを
リクエストヘッダに指定しても「公開ＰＲＯＸＹからの投稿は受け付けていません！！」と言われてしまいます。
根本的に間違ってるんでしょうか…
2012/06/26(火) 12:10:44.93
その鯖のIPアドレスがBBQされている
397デフォルトの名無しさん
垢版 |
2012/06/28(木) 09:11:55.73
スレが落ちてから見れなくなるまでどれくらいですか？
2時間くらい？
2012/06/28(木) 10:05:08.53
見れなくなることを「落ちる」って言うんじゃないのか？
2012/06/28(木) 10:07:33.29
dat落ちのことだろ
2012/06/28(木) 10:16:35.79
いみわかんね
2012/06/28(木) 10:23:04.06
「スレが落ちると同時に見れなくなります。」でいいのかな。
2012/06/28(木) 12:19:49.83
1000逝ってから落ちるまでの時間を聞きたかったのかも
2012/06/28(木) 13:02:01.98
であればおれの観測では24時間。
404デフォルトの名無しさん
垢版 |
2012/06/28(木) 13:22:03.72
板にもよる

速報系の板は結構速い
VIPとかだと特に
対して専門板はあまり・・・
2012/06/28(木) 14:14:45.92
>>404
それは1000(正確には981以上)行ったからじゃなく
スレ圧縮の方で落ちてんじゃないかな。
2012/06/28(木) 15:32:13.30
1000とか980とかじゃなくても10未満とかでも落ちるときがあるな
2012/06/28(木) 15:34:02.56
>>406
そっちは1週間とか2週間とか。板によって違う。
でも最近はそれ止まってる模様。
2012/06/28(木) 15:43:03.57
・圧縮
板のスレ数がある値（板により違う）を越えると発動。
最終書き込み時刻が古いスレから落とされる。

・即死1
レス数が981以上になって24時間書き込みがないと落とされる。
全板共通な気がする。
これが>>402。

・即死2
レス数がある値以下のまま一定期間書き込みがないと落とされる。
設定値は板により違う。
10レス以下で一週間、がデフォルトな気がする。
最近は止まってる模様。
2012/06/28(木) 15:49:47.11
圧縮の値は http://toro.2ch.net/kakolog.html とかに書いてある。
> toroサーバは 730超えたら 700スレッドに圧縮実施中。。。
2012/06/28(木) 19:53:19.48
C#でしたらばに書き込み成功
需要あったら貼る
2012/06/28(木) 20:04:55.81
はよ
2012/06/28(木) 20:10:33.09
ttp://ideone.com/CRGyf

dat取得とスレ欄取得もあるが完全ではないのでまた今度
413デフォルトの名無しさん
垢版 |
2012/06/28(木) 20:13:40.84
あとgetNowUnixTime()は
ttp://www.atmarkit.co.jp/fdotnet/dotnettips/980unixtime/unixtime.html
からコピペしてくれ。
414デフォルトの名無しさん
垢版 |
2012/06/28(木) 20:20:01.92
少し書きなおしてWriteShitaraba(~)を呼び出すための関数を追加
正規表現でdir,bbs,keyを抽出
415名前です
垢版 |
2012/06/28(木) 20:59:36.50
通信している情報を取得するためブラウザから通常の書き込み
416名前です
垢版 |
2012/06/28(木) 21:11:18.57
通信している情報を取得するためブラウザから通常の書き込み
2012/06/28(木) 22:51:58.86
1000に達したスレを全てクロールしたいとすると
何時間隔でsubject.txtをチェックすればいいですか？
と聞きたかったのですが、意外と長いのか。
2012/06/29(金) 00:06:31.50
言ってることぜんぜん違うじゃねーか。
419デフォルトの名無しさん
垢版 |
2012/06/29(金) 01:29:14.99
何が違うって？
2012/06/29(金) 10:50:34.78
夢と希望に満ちたあの頃の俺と今の俺がだよ
2012/06/29(金) 11:18:08.62
わろえない
2012/06/29(金) 16:36:52.08
書き込めた
>>412
乙
2012/06/30(土) 20:02:21.80
>>412
すげえ
ちょっとコード汚いけどな
424webapp2ch ◆I348uNQZxrTn
垢版 |
2012/07/02(月) 21:32:08.78
まだα版と言ってもいい出来ですが、Webアプリケーション版の2chブラウザを開発中です。
http://wa2ch.net/

webアプリケーション版の2chブラウザという事で"WebApp2ch"です。
HTML+CSS+JavaScriptで、ネイティブアプリ版の2chブラウザの使い勝手に出来るだけ近付けて行きたいと思います。
2chサーバとの通信はphpで実装しています。

* 出来ない事
- レス投稿は出来ません(phpでレス投稿すると、投稿者のIPアドレスが全てwa2ch.netのものになってしまうため)。
レス投稿は直接2ch.netでやってもらうしかないです。。。

* これから実装したい機能
- レスポップアップ
- 板/スレ/レス 検索

* いずれ実装したい機能
- 履歴
- お気に入り
- スマホ対応

など。
425webapp2ch ◆I348uNQZxrTn
垢版 |
2012/07/02(月) 21:33:12.27
phpによるdat取得の通信は、wa2ch.net自体がバーボン規制に掛からないように、公開プロキシ経由で行なっています。
従って遅いプロキシを経由してしまうとレスポンスも遅くなってしまいます。
一人の人間が2ch.netに過剰な負荷を掛けるわけではないので、バーボン規制の条件に当てはまらないと考え、
このような方法を取っています。何かもっと良い方法があればよいのですが。。。

感想やアドバイス、バグ報告などもらえるとありがたいです。
よろしくおねがいします。
426webapp2ch ◆I348uNQZxrTn
垢版 |
2012/07/02(月) 21:44:03.27
書くのを忘れていましたが、対応ブラウザはFirefoxかGoogle Chromeです。IEには対応していません。
IE9だともしかすると動くかもしれないですが。
2012/07/02(月) 21:56:24.42
すげ
2012/07/02(月) 22:47:46.86
rep2でいいやん
2012/07/02(月) 23:34:31.11
>>425
完全にdiv病だなｗｗ
html5なんだからheaderとかfooterとかnavとか使ったらええのに

複数スレ開けたらいいなーと思った
2012/07/03(火) 18:13:24.14
バカなこと言ってたらすまんが、ユーザ側でdat取得してサービス側にアップロードして表示みたいなことはできないの？
そうすれば公開櫛とか通らなくていいと思う
いちいち取得してアップロードしないといけないから表示はその分遅くなるかもしれないけど
2012/07/03(火) 18:19:53.28
こういう板だとそれでいいかもしらんが
速報板とかじゃ無理だね
432WebApp2ch ◆I348uNQZxrTn
垢版 |
2012/07/03(火) 21:02:54.58
http://wa2ch.net/

みなさんありがとうございます。

>>428
rep2知りませんでした。ダウンロードしてみます。

>>429
DOCTYPEはhtml5にしておいたんですが、自分の知識はhtml4で止まってます。
これからhtml5を勉強します。
とりあえずですが複数スレに対応してみました。

>>430
初めは、phpを経由せず通信部分も含めて最初から最後まで全てJavaScriptで実装したかったんですが、
今のバージョンのJavaScriptは、セキュリティの制約で他のドメイン(wa2ch.netから2ch.net)にはアクセス出来ないようなんです。
JavaScriptで通信出来れば、リクエスト側のIPはクライアントのものになるので、バーボン規制の事は考えなくて済みます。

JavaScriptでドメインを超える方法はJSONPがありますが、これは2ch側で対応してもらわないと実現出来ません。
運営にJSONP対応して欲しいという提案は、既に誰かが行なってそうですが。
433WebApp2ch ◆I348uNQZxrTn
垢版 |
2012/07/03(火) 21:03:52.37
http://info.2ch.net/wiki/index.php?%A4%C8%A4%AB%A4%B2%A4%CE%BF%AC%C8%F8%C0%DA%A4%EA%2F%A5%D0%A1%BC%A5%DC%A5%F3%A5%CF%A5%A6%A5%B9
バーボン規制について質問なのですが、規制はsubject.txtも対象になるんでしょうか？

現在は、datのみ公開プロキシを経由させており、subject.txtはプロキシなしで取得しています。
プロキシなしの方が当然速いので出来れば使いたくないのですが、subject.txtもバーボン規制の
対象になるなら、プロキシ経由の方がいいかと考えています。

まあ、今は全くサイトにアクセスがないので、もしアクセスが沢山来るような事態になれば、
その時に初めて考えればいいのかも知れないですが。

ちなみに、プロキシがタイムアウトした場合はbg20サーバからdatを取るようにしています。
使った事がある人は知っていると思いますが、bg20はめちゃくちゃ遅いですね。
2012/07/04(水) 05:25:59.90
>>433
unkar.orgはAmazon EC2を大量に借りてやっているらしい
年間300万くらいかかってるらしいが
435名前
垢版 |
2012/07/04(水) 06:11:17.45
C#からのてすと
436デフォルトの名無しさん
垢版 |
2012/07/04(水) 06:12:16.91
C#から
437デフォルトの名無しさん
垢版 |
2012/07/04(水) 06:13:17.25
C#から
438デフォルトの名無しさん
垢版 |
2012/07/04(水) 06:22:39.10
書き込みできたがまだスレ読む機能実装してないし・・・
Cookieも普通のウェブブラウザから拾ってきたものStringで書いただけだし・・・

15でこれは正直自分でもすごいと思う
439デフォルトの名無しさん
垢版 |
2012/07/04(水) 06:24:04.54
テストするスレどこかに無いですかね？
2012/07/04(水) 07:08:10.73
最悪板やなんでもあり板など制限のゆるい板にスレ立てて
テスト用に使うといい。
2012/07/04(水) 07:29:08.25
私はその昔、よく厨房！板でテストしてましたなぁ。
「厨房？なにそれ、叩かれまくるんぢゃないの？」と
ドキドキしながらテストしてましたが、案外応援してくれて
むしろテストが楽しかった思い出が。
2012/07/04(水) 08:36:01.94
>>434
料金体系がよくわからん…
大量にログ読むサービスはみんなそんな感じでやってんのかな
443デフォルトの名無しさん
垢版 |
2012/07/04(水) 08:36:50.38
あ
444デフォルトの名無しさん
垢版 |
2012/07/04(水) 08:43:52.24
あ
445デフォルトの名無しさん
垢版 |
2012/07/04(水) 08:46:50.35
あ
446デフォルトの名無しさん
垢版 |
2012/07/04(水) 08:48:35.96
あ
2012/07/04(水) 08:49:33.59
隠し項目の取得ができないでござる・・・

学校行ってくる
2012/07/04(水) 11:18:32.90
unkarは2chにもbbspinkにも歓迎されてないからね。
IP分散してイタチごっこしてるよ。
2012/07/04(水) 14:22:24.87
ログ保存サイトの使い勝手が良くなると●が売れなくなりそうだしなあ
2012/07/04(水) 15:08:33.45
>>438
これが厨二病か・・・
2012/07/04(水) 15:08:50.23
金払ったら負け
452デフォルトの名無しさん
垢版 |
2012/07/04(水) 17:31:21.74
あ
453デフォルトの名無しさん
垢版 |
2012/07/04(水) 17:35:30.84
あ
2012/07/04(水) 17:37:01.34
テストはよそでやっとくれ。
2012/07/04(水) 17:59:35.12
[test]書き込みテスト　専用スレッド511[ﾃｽﾄ]
http://qb5.2ch.net/test/read.cgi/operate/1341129232/
↑ここでやれ！
名前欄に ﾉtasukeruyo でＵＡ表示だ！
ﾉ がないとＩＰも出ちゃうだろが！！
ボケが！！
死ね！
2012/07/04(水) 18:03:33.42
UAはやっぱりたくさん指定しといた方がいいの？
2012/07/04(水) 18:09:06.87
は？
2012/07/04(水) 18:19:51.22
2chだとあんま関係ない希ガス
2012/07/04(水) 18:22:58.11
>>456
どういうこと？
2012/07/04(水) 18:30:31.12
User-Agentヘッダーの値のこと
2012/07/04(水) 18:35:18.34
んなこた解ってるんだよアホ
2012/07/04(水) 18:37:28.24
GoogleChromeのUAかなり多いから・・・
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11"
だって
2012/07/04(水) 18:38:24.64
それは多いじゃなくて長いだろ
2012/07/04(水) 18:39:19.74
そういうのはUAでブラウザの判定して挙動変えてくるようなサイトに対して互換性を確保するための物だから
多くすると強いとかそういう訳じゃない
2ch専用ブラウザなら気にする事は無い
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況