datファイルを共有するP2Pソフト o2on 17dat

■ このスレッドは過去ログ倉庫に格納されています
2011/02/11(金) 01:26:45
2chのdatファイルを共有するP2Pソフトです。
現段階ではまだαバージョンですので、マターリいきましょう。

公式サイト
http://o2on.sourceforge.jp/
http://sourceforge.jp/projects/o2on/

wiki
http://o2on.sourceforge.jp/wiki/

初期ノード
http://o2on.jf.land.to/node/
http://o2on.sourceforge.jp/nodes/

前スレ: datファイルを共有するP2Pソフト o2on 16dat
http://hibari.2ch.net/test/read.cgi/tech/1231570128/
2012/03/14(水) 00:57:36.94
>>262-264

あれ、、、俺寝ぼけてたのか・・・・3回も書き込んでたなんて（；^ω^）
2012/03/14(水) 09:39:43.99
俺ばっかりかよ

なかなか保管されない奴は
別途、過去ログDATで手にいれて
o2onの該当するフォルダにぶち込んでる
この作業がメチャクチャマンドクセ
2012/03/14(水) 18:40:28.57
結局外部ログ保管サイトが効率がいいことに気づいた。
そこで、それでもo2onのメリットがあれば教えてけれ。
2012/03/14(水) 18:47:24.04
外部ログ保管サイトのクロール開始時期より前のデータが手に入ることもある
2012/03/14(水) 19:52:21.36
外部ログ保管サイトと同期する役割を持ったプログラムとかがあればなー・・・
2012/03/14(水) 21:15:08.21
P2Pのロビーサーバーを構築して各o2onが保存しているdatを閲覧できるようにってアレ？
2012/03/14(水) 23:39:42.08
>>267
謎の圧力でサイト毎あぼんの危険がない。
公式には消されたdatをいつまでも回せる。

こんなところかな
272デフォルトの名無しさん
垢版 |
2012/03/15(木) 05:35:09.09
数万のDATを保持しているんだけど、自分のほしいDATはいつまでも補完されないｗ
ｎｙのように自分の興味のあるDATを絞り込む機能とかないのかな？？ｗ
2012/03/15(木) 05:39:05.67
クラスタリング機能はほしいよな
2012/03/15(木) 11:40:23.73
保管されないスレは誰も見て無い､保有してないって思って言いと思う
ソース見た感じだと近いノードから探してて、現状だとノード数が少ないからほとんど全部のノードに検索を求める感じになってる
それでも保管されない場合は保有者が居ないもしくはオフラインってことになる
2012/03/16(金) 00:29:43.23
保管関係はみんな同じ悩みもってるのねｗ
2012/03/22(木) 00:54:44.68
dat数100万超えたので記念ぱぴこ
277デフォルトの名無しさん
垢版 |
2012/03/22(木) 20:53:52.60
o2onをインストしていたHDDが逝ったｗ
ちなみにこれで2回目ｗ

nyのようにDownホルダーとCacheホルダーに別けられないだろうか。
誰かがほしいDatを要求するとCacheに要求ファイルを作って、Downファイルを検索すると。

このo2onシステムは素晴らしいし皆の為にPCを起動しているときは常に起動させているけど、これほどHDDが破損するなら考え直さないといけないかもしれん。
ちなみに2回とも古くなった２５０GHDDをo2on専用にしていたｗ
さすがにo2on用のNASを立てるのはあれだしｗ

どうにかならないもんだろうかｗ
2012/03/22(木) 21:39:46.11
書き込み専用と読み込み専用フォルダに分けるってことかな？
でも同一HDD内ならリスクは変わらないから、やるなら別HDDやオンメモリで保有しないとかな？

一応Datファイルを読み取る場合はSQLDBを通してヒットしたら読み込むようになってる
Dat保管時の書き込みは専用ブラウザやエージェント、P2P通信でのDatファイル取得時に
DBへの書き込みはキューをためておいて15秒ごとに更新するようになっている（O2DatDB.cppのUPDATE_THREAD_INTERVAL_Sで定義されてる）
ノードキーや検索キー、削除キー等は起動/終了時以外はメモリーで保有してる

DatフォルダとDBフォルダを別HDDに分けるなんてすれば少しはましになるかしら？
一応Profile.xmlでDatフォルダとDBフォルダを指定することはできる。
279デフォルトの名無しさん
垢版 |
2012/03/22(木) 22:59:10.42
>>278
作者さんですか？
HDDが破損したのは単に寿命だった可能性も大なのですがｗ

用語の意味が難しすぎてよくわからなかったのですが、
読み込みはヒットした場合のみ、
書き込みはファイル取得時にということですね。
あと、DBへの書き込みは15秒ごとと。

今後、もう一度再設定することがあれば、DatフォルダとDBフォルダをそれぞれ別HDDで運用してみようかと思います。
とりあえず、2個HDDが必要になるので、だいぶあとで。
2012/03/23(金) 07:53:22.05
うちは全く壊れたことないねえ

ttp://www.geocities.co.jp/lauhangwoo/jane/
ここにあるGetLogスクリプトでミラーから取得したdatを
自動でo2onのdatに登録するいい方法はないですかね？
2012/03/24(土) 20:55:02.70
dat形式で落とせるのならばwikiにあるインポートツールを使うのが手っ取り早いと思う
新しく2ch専用ブラウザを用意してそこのdatフォルダにぶち込んで
その後、用意した専用ブラウザ用のインポートツールを使用してo2onに追加登録する
これでいけると思う
2012/03/25(日) 01:09:59.26
>>281
なるほどやってみます
2012/03/25(日) 14:21:51.28
>>271
捏造対策が何もないから(そもそもP2Pで可能かどうかもわからんが)
公式には消されたdatは本当に正しいかどうか確かめようがないけどね
2012/03/30(金) 09:07:13.65
面白そうだから入れてみたけどこれ自分の取得したログだけでなく勝手にいろんなログ落としてくるのな
これ設定しょうがないよね？
2012/03/30(金) 09:13:50.07
>>284
右クリックして管理画面を開いて、全部のタブを良く見てみよう
2012/03/30(金) 09:43:51.24
>>285
理解ｗ
ありがとう
2012/04/19(木) 18:55:28.53
dat落ちスレのurlをクリックしてもo2onに登録されなくなっちゃったのですが
どこを見直しすれば良いでしょうか？

現状生きている↓のスレの1の過去スレurlをクリックしても
自動登録されないんです。
オプティマス No,06R
http://ikura.2ch.net/test/read.cgi/out/1322230196/

海外テレビスレとかAV女優スレとかの別板で、
過去スレ持ってないスレで試したけど、その板でも
o2onに登録してくれないですね。

↓で各スレを開いてからdat落ちスレurlのクリックしても登録してくれない。
【JaneStyleのバージョン】 Jane Style Version 3.72 (3.7.2.0)
【 Windowsのバージョン 】 WindowsXP Professional [Service Pack 3]
【 　　IEのバージョン　　 】 8.0.6001.18702
【　SQLiteのバージョン 】 3.7.0.1
【　正規表現ライブラリ　】 bregonig.dll Ver.1.46 with Oniguruma 5.9.2
2012/04/19(木) 19:06:15.50
>>287
何かの拍子に専ブラの読み込みProxyの設定が外れてるとか
2012/04/19(木) 19:49:22.48
dat落ちしてなくね？
2012/04/19(木) 19:49:42.79
ああ、過去のか
2012/04/19(木) 23:26:48.32
>288
それだーーーーーーーーーーーーーーーーっ

今自分でも思いついて見てきました。
ありがとうお手数かけました。

なんでチェック外れるかなぁ・・・
2012/04/27(金) 08:16:58.40
これってHTTPベースのプロトコル？
プロトコル詳解みたいなのないですかね
2012/04/27(金) 08:57:13.79
>HTTPベースのプロトコル？
YES

時間かかってもいいなら少しずつまとめる
2012/04/27(金) 17:44:23.67
>>293
おお、ありがと。お願いします。
プロトコルわかると違う言語でも実装しやすいし捗ります
2012/04/27(金) 23:22:50.77
とりあえずだけどノードと通信時のHTTPヘッダに関しての簡単な解説
ちょっと理解し難いかもしれないけど勘弁、ソース読めるなら照らしあわせてみてくれるとわかるかも。

http://o2on.sourceforge.jp/upfile/o2up0050.html
2012/04/27(金) 23:28:41.14
283行目付近ちょっと修正

まちがい
>X-O2-Target-Board
>書式：X-O2-Target-Board: BBS-Name
>例：X-O2-Target-Board: tech

せいかい
>X-O2-Target-Board
>書式：X-O2-Target-Board: Domain:BBS-Name
>例：X-O2-Target-Board: 2ch.net:tech
2012/04/28(土) 15:42:52.22
>>295
解説ありがとう
O2プロトコルとは直接？は関係ないかもだけど
ノードの暗号化複合化アルゴリズムってO2独自のもの使ってる？
2012/04/28(土) 18:40:49.52
独自のものは使っていないです、確か使用してるアルゴリズムは

キー情報のハッシュ取得にSHA-1（参照：O2DatPath.cpp - getHash)
IPやPortの暗号化にAESを使用しています（参照：dataconv.cpp - simple_aes_ctr , ip2e, port2e, etc...)

これらに関しても時間ができ次第まとめてみる予定です。
2012/04/28(土) 19:46:03.38
datキー、自ノード情報の取得方法を追加してみました。
http://o2on.sourceforge.jp/upfile/o2up0051.html
2012/04/29(日) 04:54:07.76
>>299
おつかれさまです
わかりやすい解説ありがとうございます
301デフォルトの名無しさん
垢版 |
2012/04/29(日) 13:00:09.22
お、ポストo2onつくるの？

歓迎するぜヽ(ﾟ∀ﾟ)メ(ﾟ∀ﾟ)メ(ﾟ∀ﾟ)ノ
2012/04/29(日) 23:24:06.40
実際の通信について追加
http://o2on.sourceforge.jp/upfile/o2up0052.html

うｐしまくるのもあれだから解説用のWikiでも借りたほうがいいかなぁ？
2012/04/29(日) 23:33:37.56
>>302
o2on wiki にページ作ればいいと思うけど
荒らしというかスパマーがな…
管理者って行方知れずなの?
2012/04/30(月) 04:20:58.99
個人的にはドキュメントのほうが読みやすくていいわ
wikiへはリンク程度で良いんじゃないの
2012/04/30(月) 06:14:12.36
わかりました、しばらくはこのまま続けてみようかな
他に解説して欲しい部分とか分かりにくい部分があれば改善してみますので
必要でしたら書き込みお願いします
2012/05/02(水) 01:45:31.60
興味本位で導入してみたんだけど
Proxy設定Onにしてると新着があっても専ブラから差分取得できてない様子
原因としては何が考えられるだろう．


Vista64bitなんで本体は64bit版．
JaneStyle使ってて，Proxy設定は使うにチェック入れて受信用のとこにだけアドレス入れてる

管理画面は起動日時の横のグローバルIPはちゃんと出てるし送受信速度も出てる
AgentのGetGlobaｌIPは赤いけど，これは取得できて用がなくなったから起動してないのかな
dat収集タブにちらほら増えてるからP2Pは動いてそう．
2012/05/02(水) 05:53:59.44
導入前から専ブラで開いていたスレはもう1度再取得しないと取得できませんよ〜
AgentのGetGlobalIPに関してはその認識であってます〜
2012/05/02(水) 14:01:26.09
>>307
後半はありがとう．そっちは正常に動いてる認識でよさそうね
しかし"再読み込み"でもProxy通そうとすると読めないな
なにも表示されないまま完了と言われてしまう
開いたことのないスレ開こうとしても何も表示されないまま
タブの文字色が新着がある旨の色で出てくるだけだな

何か勘違いしてるかな，もう少しいじってみよう
2012/05/02(水) 18:31:27.56
ポート番号はあってるの？
2012/05/02(水) 21:42:17.45
>>309
初期は8000でいいんだよな，オプションにある値変えてない
管理＞状態のServerにあるProxyの接続回数が増えてるけど，これは関係ないのかな
2012/05/20(日) 09:26:15.34
どんどんノードへっていくな
2012/05/20(日) 16:38:21.11
求）　ノード数を増やすアイデア
313デフォルトの名無しさん
垢版 |
2012/05/20(日) 18:04:01.18
ハードディスクが逝っちゃってから大分足洗ってたが

もうしばらくしたら再開しようかな(´・ω・｀)
2012/05/20(日) 21:16:27.53
テスト
2012/05/20(日) 21:20:13.42
>>313
もし新規の環境ではじめるのでしたらこれテストしていただけませんか？
ttp://o2on.sourceforge.jp/upfile/o2up0055.zip

Javaで作成した互換ソフトで、半年ほど問題なく動作していたので、
そろそろ他の環境でもテストしてもらいたく思っていました。

他にもLinux等の環境でテスト出来る人がいたらお願いしたいです。
Java環境が必要なので面倒ですが興味がありましたらお願いします。

バグ取りや清書してくれる方も募集です。
本家のソースと照らしあわせればなんとか理解できる…ハズ。
ttp://o2on.sourceforge.jp/upfile/o2up0057.zip
2012/05/23(水) 03:02:27.81
「2ちゃんねるのミラーサイトは、たくさんありますが、消せるサイトと消せないサイトがあります。消せるサイトの場合、1カ月以内で削除できます。
消す手法ですが、弊社で何か施策をして削除するというのは難しいので、直接サイト保有者と交渉する形になります。弊社がそういったルートを持っているわけです。
ダイレクトなパイプがあるというか、ミラーサイトの管理者とパイプのあるところとパイプがあるというか（笑）。早いとホントに1週間で消してもらえるという場合もあります。
これは時と場合によります。書かれた内容によっても、消してくれる場合と消してくれない場合があります。『C（仮称）』と呼ばれるサイトは消せませんが、
『D（仮称）』の場合は、ほとんどの場合、消せます。書き込みの内容に社名や社員名がダイレクトに出ていたりすると、消せる可能性が高い。費用はDの削除ですと、
20?30万円ぐらいになります」

http://www.cyzo.com/2012/05/post_10627.html

2ちゃんねるの埋め立て1スレ30万円　埋め立て作業は元2ちゃんねらーのスタッフが担当
http://engawa.2ch.net/test/read.cgi/poverty/1337703791/



やはりo2onは必要だな(･ω･)
2012/06/07(木) 00:46:56.66
起動させてるとスレの差分取得も書き込みもできなくなるのだが。

環境はwin7 64bit o2onもx64版
2012/06/07(木) 05:44:21.53
ポート開放汁
2012/06/07(木) 06:54:33.33
オプションからUPnPを設定しているのだが…
ルータはRV-230SE
2012/06/07(木) 10:46:48.78
プロクシだけならポート開放は関係ない
専用ブラウザの読み込みポート番号は正しい？
あと、書き込みはプロクシ通さないよ
2012/06/09(土) 12:10:35.13
どうもルータのログ見るとポート解放直後にまた閉じてる様なのだが
これって正常なの？
2012/06/09(土) 18:41:37.34
UPnP使ってるの？
てか、ポート開放の動作についてはルーターによるとしか言い用が無いんじゃ…
2012/06/12(火) 08:06:47.70
とりあえず手動でルータのポート開けてみなよ
それで正常に動作したらどこに不具合があるのかわかるでしょ
2012/06/12(火) 08:40:35.50
いや、まずルータなしの直結だろ。
つーかこれくらいの切り分けできない奴は使うなってカンジ。
2012/06/15(金) 22:19:58.42
http://o2on.sourceforge.jp/upfile/o2up0059.zip

板の移転等があった場合にApacheからのメッセージをそのまま保管してしまうバグがあったようです。
私が確認できたdatファイルは dat/2ch.net/radiation/1323/1323923664.dat　等です。

原因としてはProxyでの保管時にdatファイルの形式をチェックしていなかったことがひとつと、
サーバーからの返答を分別する処理にミスがあった（もしくはサーバーが正しいメッセージを返さなかったのかもしれません。）と思われます。

後者の方はいつ頃起きた移転での発生なのか状況再現が困難ですのでProxyでの保管前にdatファイルの形式をチェックする処理を追加してみました。
何スレか読み込んで正常なdatファイルの場合は正しく保管されることを確認しましたが、念の為に各自でテストを行なってから使用してもらえればと思います。

また、特に問題がないようでしたらビルド番号を上げたいと思うのですがいかがでしょうか？
2012/06/15(金) 22:53:58.95
乙
2012/06/16(土) 15:07:18.88
乙です
しばらく使ってみます
2012/07/13(金) 17:20:05.70
保守しなくても一ヶ月は持つのか？
2012/07/13(金) 20:14:02.33
この板は一か月くらい余裕
スレ保持数が750スレになれば最終書き込み時刻が古い順から50スレ落ちる
2012/07/21(土) 22:59:35.58
これ特定の板だけo2on用のdatに変換できるjaneのコンバータってないですか？
既存の試したら上位のログフォルダ指定しないとエラー出た

あとo2onのログ管理画面から専ブラで直接ログ開くことは設定ではできないですか？
2012/07/22(日) 22:59:32.67
janeのログフォルダと同じ構造のフォルダを作って、そこに保管したい板のdatだけコピーしてコンバートすればいけるんじゃね？
あと管理画面から専ブラ起動はできないかも
2012/07/23(月) 14:42:20.34
ありがとう
インスコは数年前なんだが結構不便だな
乞食風情だけど開発止まっちゃってるのが惜しい
333デフォルトの名無しさん
垢版 |
2012/07/23(月) 14:55:16.29
話は変わるが、JANESTYLEのログフォルダは、例えばν速ならば全部のDATが一箇所に集まるのはどうにかならんか？？
o2onとかをみればわかるが、1234と上４桁ごとに分かれている。
JANESTYLEのログフォルダのDATとか１つのフォルダに１００万ファイルとかあるｗｗ

ウィンドウズの設計上の数値を超えているだろｗ
2012/07/23(月) 15:20:14.74
おまいが2chやりすぎなんだよ
2012/07/23(月) 16:54:15.20
janeのことはどうしようもないよぉ
2012/07/23(月) 16:56:41.51
設計上の数値とか何妄想ほざいてんだ
2012/07/23(月) 17:08:01.07
Windowsのファイルシステムの設計では今後どうなってるかは分からないが
ファイルシステムの問題では結構深刻な部類に入る

以前にもdatのデータごと１つのデータベースに纏めてしまおうかとか話題があった気がする
2012/07/23(月) 17:09:02.00
inode最強ですね
わかります
2012/07/24(火) 05:37:11.26
2ch.net 過去ログを再掲載するいわゆる「過去ログリーダー」サイトの運営をされている方へ

N.T. Technology, Inc. (以下当社)が提供している２ちゃんねる過去ログ観覧サービス、
通称「●」(マル)の不正利用につきましてユーザー様より報告を受けており、調査を行っております。

調査終了後、２ちゃんねる、または当社に不利益に当たると判断するウェブサイトは
米国著作権法 (U.S. Code, Title 17)及びDigital Millennium Copyright Act (DMCA)に則り順次削除依頼をホスティングされているISPに送信いたします。
なお、運営者様よりの質問は下記メールより受け付けております。

kakolog@nttec.com

ご質問などは運営代表メールよりご連絡ください。
・サイト名
・サイトURL
・お名前 (またはハンドルネーム)
・住所 (都道府県まで)
以上、今後とも２ちゃんねる及びN.T. Technology, Inc.を宜しくお願いします。
（以下英文略）

http://2ch.net/maru_notice.txt
2012/07/24(火) 22:17:28.80
未だにo2onって更新されてるの？
2012/07/26(木) 23:19:11.34
>>337
1ディレクトリに多数のファイルがある場合
8.3ファイル名の生成をやめると劇的にパフォーマンス向上するようだ
http://gmt-24.net/archives/424
Windows 7ではドライブごとに設定できるようになったし
2012/08/20(月) 18:50:03.34
o2onはWindowsでしか動作しないんですね
興味を持ったのでソース弄りたいです
2012/08/20(月) 19:32:37.07
python版とJava版もあったような
と思ったらこのスレ内だった
>>54 >>315
2012/08/20(月) 21:08:50.45
>>54
http://pc12.2ch.net/test/read.cgi/tech/1231570128/
落ちてる
2012/10/08(月) 20:10:55.10
マシントラブルで100GBのdatをコピーしたいんだけど
なんか高速にコピーできるツールある？
XPのエクスプローラじゃ終わり予想時間すら出ないｗ
新旧HDDは同一マシン上にある
2012/10/08(月) 20:20:18.80
http://www.century.co.jp/products/pc/hdd-copy/kd25-35pro.html
347345
垢版 |
2012/10/08(月) 20:39:03.71
サブマシンにHDDつなぎ直したのでOSは生きてるが
コピーが終わらない
2012/10/08(月) 23:18:43.09
FFC
2012/10/09(火) 08:15:56.55
>>345
HDDの性能を調べて簡単に予想してみろって
思ったけど、性能を調べて何秒かかるか分かっても
何時間かかるか変換できそうにないな
2012/10/09(火) 19:11:43.88
一個のでかいファイルならそんなに時間掛からんけど
大量のファイルだといつ終わるか分からんよなｗ

とりあえずFFCかコマンドプロンプトで仕込んで寝るに一票
2012/10/09(火) 19:25:36.52
freeBSDでopy2on動かしたときサーバーがうまく動かない…
ちゃんとリスンしてるけどリクエストしても応答しない
352345
垢版 |
2012/10/10(水) 20:51:40.18
みんなありがと
FireFileCopyで6時間でコピーできた
いままでdat置いてたHDDは1Tの奴だったけど断片化とかもひどいので
dat置き場専用に激安鯖についてきた200GのHDDを使うことにした
コピーし終わってから気が付いたんだけど、何かファイルシステムの
チューニングってした方がいい？
2012/10/10(水) 21:27:57.09
なんかどっかで見たコピペ文章と良く似てる
2012/10/11(木) 08:02:46.85
コピー終わってからチューニングって遅せーよ
2012/10/11(木) 08:26:19.12
1つのDBファイルにdatの内容も含んじゃえば環境の移行も楽になるかな？
2012/10/11(木) 09:20:08.11
データ破壊に弱くなるよ
2012/10/12(金) 00:23:27.19
zfs最強
2012/10/15(月) 00:09:01.20
ノード数40いかないとかずいぶん人減ったな・・・
359デフォルトの名無しさん
垢版 |
2012/10/15(月) 00:32:42.19
2ch はオワコン
2012/10/18(木) 01:05:26.64
dat.db が壊れたのでo2onのタスクトレイの右クリック-DBメンテ-再構築を
やったんだけど、なぜかiPhon板だけdbに追加されない
>>212 の設定を反映して再度やってみたけどダメだった
o2on経由でiPhone板のスレは読めるし読んだスレはdbに登録されるんだけど
ローカルに持ってるdatのDB再構築がうまくいかない
2012/10/20(土) 02:52:23.46
一つ気になったのだが

うんかーからDATを落としてそれをデータベースに追加してP2Pにあげるのは問題あるかな？？

法律上とか 文字エンコードの問題とか
2012/10/20(土) 03:17:39.84
datファイルが2chと同じ形式なら問題ないよ、文字コードはbe鯖の一部がEUCで後はShiftJISならおｋ
うんかーの方でdatいじってないならそのまま流しても問題ないと思う
2012/10/20(土) 03:53:14.49
thx

とりあえず後でやってみよう

自分の巡回するスレの過去ログがこれじゃ集まらなくて… どうせ同じ規格なら少しでも貢献しておけばなと思って
2012/10/20(土) 20:04:53.20
うんこよりみみずんの方が良くね?
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況