X
トップページ⇒開発室
465コメント225KB
■　仔花子を一台で、
0001 ◆A/T2/75/82
垢版 |
NGNG
仔花子も10台近くなってきた、これを一台でまかなおうかと、

全てのサブドメインを一台のサーバに設定して、bg.2chみたいな構成で、
datは花子に
過去ログの削除は花子のを削除する
0184名無しさん＠お腹いっぱい。
垢版 |
NGNG
CGIの仕組みとしてはステータスコードを出力するには、例えば304 Not Modifiedだったら
Status: 403 Not Modified
とヘッダに混ぜて出力すれば良かった気がする

CGIでないやつならわかんないです
0186偽FOX ★
垢版 |
NGNG
こんなコードを書いてみた

r->status = HTTP_NOT_MODIFIED ;　って強引に代入して、return 0;でアパッチに返してやればいいのかなかな?
{
const char *if_modified_since ;
apr_time_t tmp_time;
apr_int64_t mtime;
int not_modified = 0;

if(if_modified_since = apr_table_get(r->headers_in,"If-Modified-Since") != NULL)
{
apr_time_t ims_time;
apr_int64_t ims, reqtime;

tmp_time = ((r->mtime != 0) ? r->mtime : apr_time_now());
mtime = apr_time_sec(tmp_time);

ims_time = apr_date_parse_http(if_modified_since);
ims = apr_time_sec(ims_time);
reqtime = apr_time_sec(r->request_time);

not_modified = ims >= mtime && ims <= reqtime;
if(not_modified)
{
r->status = HTTP_NOT_MODIFIED ;
return 0 ;
}
}
}
0188偽FOX ★
垢版 |
NGNG
DSO HTTP_NOT_MODIFIED でググッたら
sunosさんが書いておいてくれてるじゃありませなーんか、

http://sunos.saita.ma/dso-example.c

/* Not Modified の場合 */
/* return HTTP_NOT_MODIFIED; */

しろと、
0189偽FOX ★
垢版 |
NGNG
これでどうだ、ch2->mtimeはキャッシュファイルの日付だ


{
const char *if_modified_since ;
apr_time_t tmp_time;
apr_int64_t mtime;
int not_modified = 0;

if_modified_since = apr_table_get(r->headers_in,"If-Modified-Since") ;
if(if_modified_since)
{
apr_time_t ims_time ;
apr_int64_t ims ;

tmp_time = ((ch2->mtime != 0) ? ch2->mtime : apr_time_now());
mtime = apr_time_sec(tmp_time);

ims_time = apr_date_parse_http(if_modified_since);
ims = apr_time_sec(ims_time);

not_modified = ims >= mtime;
if(not_modified)
{
return HTTP_NOT_MODIFIED ;
}
}
}
0190偽FOX ★
垢版 |
NGNG
うまく行ってるのかどうかよくわからないけど、
クロールのスピードはかなり落ちたなぁ
半分くらいかしら、

負荷はなんなくさばけているんだけど
クロールされているからキャッシュはたまるたまる、
でかいSSDが欲しいなぁ　でかいのもあるの?
0191偽FOX ★
垢版 |
NGNG
今１番来ているのはここ　182.48.17.147
yahooさんもgoogleさんも来ていないみたい
EXpires Last-Modified　304の効果か !?
0192偽FOX ★
垢版 |
NGNG
明日は、　htmlを返すというのをやろう
つまり gimpo.2ch.net/accuse/index.html とかそういうの
これが出来たらほぼ完成か!
0194偽FOX ★
垢版 |
NGNG
高いのぅ

花子の負荷をさげめ為にyasaiもcloudに移してみる
0196偽FOX ★
垢版 |
NGNG
あれか、yasaiも古いから .dat じゃなくて .dat.gz しかないのか・・・
0197名無しさん＠お腹いっぱい。
垢版 |
NGNG
http://yasai.2ch.net/test/read.cgi/arc/1000086532/
（･∀･∀･）
（･∀･）ｻﾃｵｼｺﾞﾄ･･･　　　　　　　　　　ε三三三三（; ･∀･）鯖ﾏﾃﾞｵﾂｶｲ
HTTP/1.1 302 Found
HTTP/1.1 302 Found
HTTP/1.1 302 Found
（　･∀･）　　　 鯖ｶﾗﾍﾝｼﾞ（･∀･ ;）つ□　三三三三３
( @_@) □ ﾅﾆﾅﾆ･･･ +OK 0/1024K Location:temp/
（ ･∀･）（･∀･ ）ｵﾂｶｲｵﾜﾘ　三三三三３
（･∀･∀･）
（･∀･）新着 0件
0198偽FOX ★
垢版 |
NGNG
これは動いているから read.cgi@cloudの問題かしら、
0199名無しさん＠お腹いっぱい。
垢版 |
NGNG

これにレス

引用してレス

同じ名前

逆参照
同じ名前

同じメール
p2 info: ホストの移転を検出しました。(yasai.2ch.net/arc → toki.2ch.net/arc)
お気に板、お気にスレ、最近読んだスレを自動で同期します。

Error:
p2 info - http://yasai.2ch.net/test/read.cgi/arc/1000086532/ に接続できませんでした。
p2 info - 板サーバから最新のdatを取得できませんでした。

(p)http://yasai.2ch.net/test/read.cgi/arc/1000086532/l200


--------------------------------------------------------------------------------
アーケード 似スレ 情報 お気に+ 削除 元スレ

p2で取得しようとするとこんな感じに…
0201偽FOX ★
垢版 |
NGNG
なんかyasaiとかふるいのやってもいまいちなのでyasaiは元にもどして
他のを見繕ってこよう
0202偽FOX ★
垢版 |
NGNG
>>131
>>133
へっかんこが対応したらしい。
現在 piza gimpo tsushima
0203偽FOX ★
垢版 |
NGNG
あっそうそう yasaiじゃなくてtsushimaで実験継続していますー
0206偽FOX ★
垢版 |
NGNG
見れない datもあるさー　それは後回し、

引き続き
schiphol jsk takeshima を移してみた。
0208偽FOX ★
垢版 |
NGNG
今やっていることは、大体見(ら)れればokってことで、
見られないのがあるのはたぶんofflaw.cgiのbugだから
これがおわったらなおしに取り掛かるってことで、
0210偽FOX ★
垢版 |
NGNG
Filesystem 1K-blocks Used Avail Capacity Mounted on
/dev/ada0s1a 1012974 340460 591478 37% /
devfs 1 1 0 100% /dev
/dev/ada0s1e 289526798 8 266364648 0% /hd
/dev/ada1s2e 66547010 31714082 29509168 52% /home
/dev/ada0s1d 4058062 1705618 2027800 46% /usr
/dev/ada1s2d 8122126 43712 7428644 1% /var
/dev/md0 886686 386708 429044 47% /md
/md/usr/local/bin 886686 386708 429044 47% /usr/local/bin
/md/usr/local/sbin 886686 386708 429044 47% /usr/local/sbin
/md/usr/local/lib 886686 386708 429044 47% /usr/local/lib
/md/usr/local/libexec 886686 386708 429044 47% /usr/local/libexec
/md/usr/local/apache2/bin 886686 386708 429044 47% /usr/local/apache2/bin
/md/usr/local/apache2/lib 886686 386708 429044 47% /usr/local/apache2/lib
/md/usr/local/apache2/modules 886686 386708 429044 47% /usr/local/apache2/modules


/dev/ada1s2e 66547010 31714082 29509168 52% /home
SSDは50%を超えてしまったなぁ、hdで実験してみようかなぁ
0211偽FOX ★
垢版 |
NGNG
/hd/ にキャッシュ溜め込むようにしようと思ったら
/hd Permition ないしw
あした直してもらおう
0212偽FOX ★
垢版 |
NGNG
SSD 78% 超えたので、hdに切り替えてみた゜゜/dev/ada0s1a 1012974 340460 591478 37% /
devfs 1 1 0 100% /dev
/dev/ada0s1e 289526798 74 266364582 0% /hd
/dev/ada1s2e 66547010 47663928 13559322 78% /home
/dev/ada0s1d 4058062 1705618 2027800 46% /usr
/dev/ada1s2d 8122126 43968 7428388 1% /var
/dev/md0 886686 386708 429044 47% /md
/md/usr/local/bin 886686 386708 429044 47% /usr/local/bin
/md/usr/local/sbin 886686 386708 429044 47% /usr/local/sbin
/md/usr/local/lib 886686 386708 429044 47% /usr/local/lib
/md/usr/local/libexec 886686 386708 429044 47% /usr/local/libexec
/md/usr/local/apache2/bin 886686 386708 429044 47% /usr/local/apache2/bin
/md/usr/local/apache2/lib 886686 386708 429044 47% /usr/local/apache2/lib
/md/usr/local/apache2/modules 886686 386708 429044 47% /usr/local/apache2/modules
ul
0213偽FOX ★
垢版 |
NGNG
ここっすね

/dev/ada0s1e 289526798 74 266364582 0% /hd ←　HDD
/dev/ada1s2e 66547010 47663928 13559322 78% /home　← SSD
0215偽FOX ★
垢版 |
NGNG
なんかまだ動きがへんだなぁ

>>207 の場合
専ぶら立ち上げて一回目は読めるけど、ログ削除して再度読もうとすると・・・
読めない

専ぶらによるのかなぁ
私 Jane View
他の専ブラだとどうなりますか?
0218偽FOX ★
垢版 |
NGNG
私のJaneViewだけの現象のようだ
ちょっと気になるけど・・・　まっいいか
0220偽FOX ★
垢版 |
NGNG
たぶんねー
どれが原本かわからないという現在までの2ch

1. 原本の定義をする
2. 削除は原本を対象に行う
3. 原本以外は見えないようにするか、原本以外は原本に同期させる

これをやらなきゃってことですなー

過去ログへの旅　削除テスト
http://qb7.2ch.net/test/read.cgi/operate2/1295332682/
ということなので mentai , money , choco もお仲間に、
0221偽FOX ★
垢版 |
NGNG
都合

gimpo jfk piza schiphol takeshima tsushima mentai choco money　が参加しています
0222偽FOX ★
垢版 |
NGNG
まぁびっくりなわけで、
mentaiには.datはなかった。
全部　.dat.gz になっている、格納場所は
public_html/板名/kako/9xx/9xxxxxxxxx.dat.gz or
public_html/板名/kako/1xxx/1xxxx/1xxxxxxxxxx.dat.gz or

だ。　途方に暮れてみる。
0223garnet ★
垢版 |
NGNG
もう圧縮ってApacheがやってくれるんですよねぇ。
なら、このコマンドを。。。

find . -name \*.dat.gz | grep /kako/ | xargs gunzip
find . -name \*.dat | grep /kako/ | xargs chmod 0666
0225偽FOX ★
垢版 |
NGNG
今調べてもらったんだが、
サブドメインは全部で200以上あるそうだ、また途方に暮れる
仔花子を経由しないで直接花子に向いているのがあと40ほどあるらしい

cloud.ula.cc のhddはまだまったく忙しくないようなので
またcloudへ向けるのを増やしてみる

namidame mamono pc11 live28 society6 science6 が新たに参加します
0227偽FOX ★
垢版 |
NGNG
>>223 おわった@mentai

これでmentaiの過去ログは全部 read.cgi offlaw.cgiで読めるはずー
0228名無しさん＠お腹いっぱい。
垢版 |
NGNG
旧mentaiの中には、mukashiというディレクトリの中にも過去ログがあったんだ。
大昔のラウンジ
http://mentai.2ch.net/mukashi/entrance/kako/　←見れない
Googleキャッシュ：http://webcache.googleusercontent.com/search?hl=ja&q=cache%3Ahttp%3A%2F%2Fmentai.2ch.net%2Fmukashi%2Fentrance%2Fkako%2F&lr=

これが見れるようになってないよ？古い過去ログだから捨てるっていうならそれでもいいけど。
個人的には、昔みたいなhttp://mentai.2ch.net/mukashi/の下じゃなくて、最近のログと同じように、
http://なんとか.2ch.net/板フォルダ/kako/ の下に置くようにしてほしいな。
0229名無しさん＠お腹いっぱい。
垢版 |
NGNG
mukashiの中身も見られなくなってる
捨てるっていうか忘れてる悪寒？

http://mentai.2ch.net/test/read.cgi/mukashi/943986949/l50

・専ブラ：
1 名前： ERROR ret=2001 OL2ERROR##### dat(58)[/home/ch2mentai/public_html/mukashi/kako/943/943986949.dat]
投稿日：

・ブラウザ：
(`#(1)

1 ERROR ret=2001 OL2ERROR##### dat(58)[/home/ch2mentai/public_html/mukashi/kako/943/943986949.dat]
(`# /home/ulacloud/public_html/_jungle/2ch/mentai.hanako.2ch.net/mukashi/dat/943986949.dat
1ﾒ・???H弓$H酷・

総レス数 1

■ このスレッドは過去ログ倉庫に格納されています


/mukashi/フォルダってhuman、bubbleとか他にもあるのか
0230名無しさん＠お腹いっぱい。
垢版 |
NGNG
>>229
mukashiの下に、さらにもう一つ板ディレクトリがあって、その下のkakoディレクトリの中にはいってる感じで、
現在の形式に比べて階層が一つ多いから、
多分特殊な処理をread.cgiに施すとか、あるいはディレクトリ配置を他と同じようにしてもらうとかしてもらわないと
多分見れない。
0232偽FOX ★
垢版 |
NGNG
そだねぇ
0233偽FOX ★
垢版 |
NGNG
仔花子にじゃなく、直接花子に向いているサブドメインがあと31個ある
今日はそのなかから当たらし目のものを10個 cloudiに向けよう
0234偽FOX ★
垢版 |
NGNG
love6 live11 live23 live24 yutori money6 pc12 pc11 atlanta game13 です
これからDNSの変更します
0235偽FOX ★
垢版 |
NGNG
chocoも >>223 で展開中。
>>234 でたいして負荷上がらなかったからさらにやるー
0236偽FOX ★
垢版 |
NGNG
moneyも
0237偽FOX ★
垢版 |
NGNG
げっ　夜になるとyahooのクロールが大量にくる・・・
負荷あがってなんにもでけへん、朝方こいっちゅうの
0239偽FOX ★
垢版 |
NGNG
まだそこまで手が回ってませーん
読み出せるようにするつもりです、
その仕組みは上の方に書いてありますー

削除が優先です　進捗率 0.1%
0240名無しさん＠お腹いっぱい。
垢版 |
NGNG
ここまで現在参加中一覧
atlanta, choco, game13, gimpo, jfk, live11, live23, live24, live28,
love6, mamono, mentai, money, money6, namidame, pc11, pc12, piza,
schiphol, science6, society6, takeshima, tsushima, yutori,
0241偽FOX ★
垢版 |
NGNG
これで　hdの容量は・・・
みてくる
0242偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 78699630 187665026 30% /hd
0243偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 105700534 160664122 40% /hd
0244偽FOX ★
垢版 |
NGNG
本日移したのは、

jbbs 2chplus afox ebi natto piza2 pyon saki salad salami tako teri ton yasai tv food3

これで直接花子を見にいっているサブドメインはなくなったはず
cloud か仔花子経由になった。
0245偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 113237464 153127192 43% /hd
0246偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 147424870 118939786 55% /hd

今日も20くらい移すぜ
0247偽FOX ★
垢版 |
NGNG
本日収容分

science4 science5 society society2 society3 society4 society5
sports sports3 sports4 sports5 sports6 sports7 sports8 sports9 sports10
that that2 that3 that4 dubai

21個
0248偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 157497478 108867178 59% /hd
0249偽FOX ★
垢版 |
NGNG
/dev/ada0s1e 289526798 180858238 85506418 68% /hd

ううぅ　70%を越えようとしている、、、
0250偽FOX ★
垢版 |
NGNG
cloud2 投入

tmp tmp2 tmp3 tmp4 tmp5 travel travel2 travel3 tora3 v-v
tv2 tv3 tv4 tv5 tv6 tv7 tv8 tv9 tv10

19個

cloud3を来週に投入予定 HDD=2TB のハイブリッドBananaらしい
0251偽FOX ★
垢版 |
NGNG
調子にのって　cloud2に

academy6 anchorage changi hideyoshi qb6
0252偽FOX ★
垢版 |
NGNG
仔花子
3238
3279
3211
の３台があいたはず、
0254そよ風の削除屋 ★
垢版 |
NGNG
偽FOXさんへ

http://food3.2ch.net/ramen/kako/1020/10204/1020422093.html
630
http://tv.2ch.net/cm/kako/1029/10296/1029683059.html
11
http://tv.2ch.net/apple/kako/1037/10372/1037275114.html
75,250
http://tv.2ch.net/movie/kako/1020/10208/1020857991.html
230
http://tv.2ch.net/nhk/kako/1017/10171/1017179533.html
205
http://tv.2ch.net/natsudora/kako/1023/10237/1023795370.html
287

ジェンヌさんが消せないので残してある上記スレですが、今どばっとで
確認したところ、以下のメッセージが出て消えませんでした。

現役にないので過去ログ1を探す
過去ログ1にないので過去ログ2を探す
過去ログ2にないので過去ログ3を探す
過去ログ3にないので過去ログ4を探す
datがないよ

あと、以下もその他で残してあったんですが、この三つは消えているようです。

http://www.mentai.2ch.net/haken/kako/996/996770430.html
1
http://money.2ch.net/money/kako/1043/10433/1043328188.html
4
http://choco.2ch.net/news7/kako/1010/10103/1010314234.html
1

ただ、HTML化されているはずの上記全てのスレは
通常のブラウザで閲覧出来ない状況です。
取り急ぎ以上です。
0255偽FOX ★
垢版 |
NGNG
cloud に入れたのは全部htmlは見せていない状態です
本当のdatで削除を行えば全てに反映するシステムを構築中です
すみません

tv food3の削除ができるように次頑張ります。
来週私いないので、帰ってきてからやります
0257偽FOX ★
垢版 |
NGNG
cloud
/dev/ada0s1e 289526798 217650168 48714488 82% /hd
0258たかしっく ◆gG7vxdy//E
垢版 |
NGNG
本日 01/31 cloud2への収容分です。

academy,anime2,anime3,bubble6,etc6,etc7,ex18,ex19,ex2,ex20,
ex21,ex22,ex23,ex25,ex3,ex4,ex5,ex6,ex7,ex8,
ex9,food,food2,food3,food4,food5,food6,food8,game11,game12,
game14,hobby10,hobby11,human7,life8,life9,live25,live27,music8,news21,
news22,news23,news24,school7,science,sports11,tmp6,tmp7,tv11

計49個です。
0259たかしっく ◆gG7vxdy//E
垢版 |
NGNG
cloud初号機の残り容量を考慮して、キャッシュの大きかった
namidame と tsushima を cloud2 に移動させました。
動作確認も完了して、様子を見ていきます。
0262たかしっく ◆gG7vxdy//E
垢版 |
NGNG
本日 02/02 cloud2への収容分です。

1999, 2002a, aa, aa2, aa3, aa4, aa5, aa6, academy2, academy3,
academy4, academy5, anime, bg3, book, book2, book3, book4, bubble, bubble2,
bubble3, bubble4, bubble5, caramel, comic, comic2, comic3, comic4, comic5, comic6,
comic7, etc, etc2, etc3, etc4, etc5, ex, ex10, ex11, ex12,
ex14, ex15, ex16, ex17

計44個です。

ちなみに、cloud2にはこれ以上入れられない予感、、、
ハイブリッドBananaのHDDを 2TB に換装した
cloud3がそろそろ出来上がるので、以降はそっちに収容する予定です。
0263名無しさん＠お腹いっぱい。
垢版 |
NGNG
だんだん方針が見えなくなってきたんだけど、
一台にまとめるというよりは、仔花子の台数を減らすというのが現実の作業？
それとも、スーパースペックのcloudサーバを使えば、一台という目標は
完遂できるの？
0264名無しさん＠お腹いっぱい。
垢版 |
NGNG
仔花子（cloud）一台に収めてるのは現実の作業じゃないかな？花子をフロントエンドにして
過去ログの提出、過去ログ削除依頼に受付（過去ログ読出し→削除実行→ログ書き戻し）
を遣ってるのかな？花子、仔花子逆かも知らんけど
0266名無しさん＠お腹いっぱい。
垢版 |
NGNG
あくまでも>>13なんじゃ無かろうかね。
最終的には1台目指すけど今は現実的に稼働できる台数で動かすと言う事で。

と言ってもディスク容量的に一台化は激しく数年先になりそうだね。
キャッシュだけでまさかの合計1T越えとかなりそうで怖い。
0270たかしっく ◆gG7vxdy//E
垢版 |
NGNG
遅ればせながら、ようやくcloud3が到着です。
これからcloud用のセットアップを開始しますです。
ada0: <Hitachi HDS722020ALA330 JKAOA3EA> ATA-8 SATA 2.x device
/dev/ada0s1e 1878835782 8 1728528912 0% /hd

先代のcloud達の残り容量の様子をみると、
週末乗り切れそうになさそうなので、先にcloudやcloud2から
キャッシュが大きそうなものをcloud3へ移す予定です。
0271名無しさん＠お腹いっぱい。
垢版 |
NGNG
キャッシュのクリアって一日一回ぐらいがいいのだろうか？
一日二回とかだとcloudの台数削減にはなると思うんだが
キャッシュサーバとしては意味がない？

その前に、すべてのバーチャルホストがcloudへ向くまでは
実験する意味はないのは分かってるつもりだが。
全部で200以上あるという話だったけど、今どこまで進んだのだろうか？
0272たかしっく ◆gG7vxdy//E
垢版 |
NGNG
cloud3.ula.ccの転送量グラフです。
http://traffic.maido3.com/BPx7/uLvE/fXFs/

等言う事でcloud3のセットアップができた気がします。
なので、既にcloudにある以下のドメインをcloud3に向けて現在動作確認中です。
schiphol, mamono, gimpo, yutori7, pc11
anchorage, changi, hideyoshi, namidame, tsushima
tmp, ex21, tmp5, life9, game11

>>271
まだ色々理解してる最中なので勘違いかもしれませんが、
今の時点では、各cloudではキャッシュのクリアを
していないように見えます。

現時点でcloud化したドメインはざっと数えて約170、
まだ仔花子を参照してるのは約80程あります。
0274たかしっく ◆gG7vxdy//E
垢版 |
NGNG
動作確認も完了し、cloud3はかねがね問題なく動作してるようです。
現在各cloudから移行したドメインのキャッシュを削除して様子を見ます。
なんせ、花子の機嫌も取りつつの作業なので、
ゆっくりしか進められないのがなんとなく歯がゆいです。。
0275名無しさん＠お腹いっぱい。
垢版 |
NGNG
お疲れ様です。
楽しい実験！というイメージで見てます。
いろいろいじり甲斐があるかもしれないと言うことで
親方が家出から帰って来てからが本番という気分です。
0276偽FOX ★
垢版 |
NGNG
いまやっていることは・・・
「どっちの方向に進むべか?」を考えることかなぁ
いずれにしても定量的なものがなけりゃ始まらないので
化け物の大きさを測っているというのが適当か。
0279偽FOX ★
垢版 |
NGNG
フロントなんでたまに飛んでもいいんじゃないかな
0280名無しさん＠お腹いっぱい。
垢版 |
NGNG
FOXお兄様
お時間があるときに過去ログ削除の対応、みてやってくださいませ。
仮処分出てるけど削除できず10日以上経ってるのとかありますゆえ・・
0281偽FOX ★
垢版 |
NGNG
がんばります
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況