【Zenlogic】ファーストサーバ被害者の会 第3会場
■ このスレッドは過去ログ倉庫に格納されています
現在進行中の Zenlogic 長期大規模障害について情報交換をするスレです。
概要
以前より一部サーバにて不自然な負荷が生じる問題あり。*
2018年6月19日になって問題が突如拡大。
鯖が広範囲にわたって停滞もしくは停止。
緊急メンテナンスを実施。ストレージの増強と移転にて対応。
しかし復旧は一時的にとどまり、すぐに問題が再発。
根本的な原因はわからず。
いまのところ、メンテ→回復→再発 の無限ループ状態。
( * Zenlogic で大規模運用をしているスレ主の観察による Zenlogic 側は何も言ってない)
Zenlogicのファーストサーバ株式会社
https://www.firstserver.co.jp/
一部のお客様で発生する断続的な高負荷障害に関するお詫びとお知らせ
https://zenlogic.jp/support/syogai.html
https://zenlogic.jp/news/status/failure/20180619-1/
障害・メンテナンス情報
https://zenlogic.jp/news/status/
↓前スレは2012年のものになります。
ファーストサーバ被害者の会 第2会場
http://mevius.5ch.net/test/read.cgi/hosting/1340941973/ 06:23:01 dev252-0 0.24 0.00 3.02 12.47 0.00 20.30 8.22 0.20
06:23:01 dev252-32 0.16 0.00 0.45 2.90 0.00 11.09 5.32 0.08
06:23:01 dev253-1 0.14 0.00 0.45 3.25 0.00 14.39 5.96 0.08
06:33:01 dev252-0 0.26 0.00 3.11 12.03 0.01 27.83 12.59 0.33
06:33:01 dev252-32 0.14 0.00 0.39 2.89 0.00 10.27 5.19 0.07
06:33:01 dev253-1 0.11 0.00 0.39 3.44 0.00 13.18 6.18 0.07
06:43:01 dev252-0 0.25 0.00 3.07 12.35 0.02 64.36 39.87 0.99
06:43:01 dev252-32 0.12 0.00 0.40 3.43 0.00 9.52 6.10 0.07
06:43:01 dev253-1 0.09 0.00 0.40 4.23 0.00 12.25 7.52 0.07
06:53:01 dev252-0 0.25 0.00 3.12 12.32 0.01 53.55 24.89 0.63
06:53:01 dev252-32 0.13 0.00 0.45 3.45 0.00 8.95 5.29 0.07
06:53:01 dev253-1 0.11 0.00 0.45 4.14 0.00 11.49 6.52 0.07
07:03:01 dev252-0 0.26 0.00 3.12 11.92 0.01 48.27 16.68 0.44
07:03:01 dev252-32 0.16 0.00 0.50 3.21 0.01 43.67 29.52 0.46
07:03:01 dev253-1 0.14 0.00 0.50 3.68 0.01 51.66 34.26 0.47
07:13:01 dev252-0 0.26 0.00 3.15 12.03 0.01 54.32 38.77 1.02 07:13:01 dev252-32 0.13 0.00 0.42 3.35 0.00 9.87 5.92 0.07
07:13:01 dev253-1 0.10 0.00 0.42 4.05 0.00 13.69 7.94 0.08
07:23:01 dev252-0 0.29 0.00 3.42 11.91 0.01 38.49 19.90 0.57
07:23:01 dev252-32 0.15 0.00 0.44 3.06 0.01 75.71 21.84 0.32
07:23:01 dev253-1 0.13 0.00 0.44 3.45 0.01 87.16 25.29 0.32
07:33:01 dev252-0 0.25 0.00 3.03 12.35 0.01 23.63 7.93 0.19
07:33:01 dev252-32 0.13 0.00 0.39 3.00 0.00 15.69 8.79 0.11
07:33:01 dev253-1 0.11 0.00 0.39 3.61 0.00 19.66 10.58 0.11
07:43:01 dev252-0 0.27 0.00 3.30 12.20 0.01 20.35 7.75 0.21
07:43:01 dev252-32 0.15 0.00 0.45 3.08 0.03 215.54 207.47 3.01
07:43:01 dev253-1 0.13 0.00 0.45 3.53 0.03 247.67 237.50 3.01
07:53:01 dev252-0 0.26 0.00 3.11 12.03 0.03 111.94 22.92 0.59
07:53:01 dev252-32 0.12 0.00 0.32 2.76 0.01 124.27 87.14 1.02
07:53:01 dev253-1 0.09 0.00 0.32 3.51 0.01 158.67 110.91 1.02
08:03:01 dev252-0 0.28 0.00 3.28 11.78 0.01 46.07 15.35 0.43
08:03:01 dev252-32 0.13 0.00 0.38 3.03 0.00 15.08 8.28 0.10 08:03:01 dev253-1 0.11 0.00 0.38 3.59 0.00 19.72 9.83 0.10
08:13:01 dev252-0 0.27 0.00 3.12 11.63 0.05 196.09 95.27 2.56
08:13:01 dev252-32 0.16 0.00 0.47 2.95 0.01 79.18 26.76 0.42
08:13:01 dev253-1 0.14 0.00 0.47 3.46 0.01 93.59 31.38 0.42
08:23:01 dev252-0 0.27 0.00 3.16 11.85 0.07 261.76 116.30 3.10
08:23:01 dev252-32 0.13 0.00 0.39 3.08 0.01 83.86 80.97 1.03
08:23:01 dev253-1 0.10 0.00 0.39 3.77 0.01 103.61 99.26 1.03
08:33:01 dev252-0 0.27 0.00 3.11 11.65 0.20 755.51 498.71 13.33
08:33:01 dev252-32 0.14 0.00 0.38 2.77 0.01 84.99 80.17 1.11
08:33:01 dev253-1 0.12 0.00 0.38 3.24 0.01 100.62 93.72 1.11
08:43:01 dev252-0 0.24 0.00 2.88 11.92 0.09 370.03 192.01 4.64
08:43:01 dev252-32 0.14 0.00 0.39 2.83 0.00 17.61 9.29 0.13
08:43:01 dev253-1 0.12 0.00 0.39 3.31 0.00 21.35 10.86 0.13
08:53:01 dev252-0 0.26 0.00 3.14 11.97 0.01 41.77 14.24 0.37
08:53:01 dev252-32 0.12 0.00 0.36 2.97 0.01 70.97 54.88 0.67
08:53:01 dev253-1 0.10 0.00 0.36 3.62 0.01 87.13 66.77 0.67 >>299-310
昼まで載せようと思いましたが投稿がはじかれるようになったのでここまでにします。
説明は
>>140 でこれらがどうなん？
いいのか悪いのかぐらい書いたらどうだよ。 困ってる素人には何秒だろうがどうでもいこと
ただ数字の羅列貼り付けて面白がってるならやめてくれ
情報が欲しくてここを見てるんだよ 情報も何も月曜の朝に出勤するまで何もしねえぜって告知あるじゃん
どうせズルズル伸ばして再起不能になるだけ >>315
私はあってもいいと思うけど、前回の数字と比べてどうだったのかを素人にもわかりやすく教えてくれるといいかな
例えばサービス停止中の今でもありえない数値でストレージの値が異常だとか 中の人でもないのに経過だけ貼ってドヤ顔してる迷惑な人 >>317
いまはサービス全体が停止状態だ、ということが前提ですけどね。
昨日までは、使っていないサーバでも、
ディスクアクセスに100秒もかかっているという状況でした。
クラウドは、他のユーザーの影響を受けにくいということになっていますが、
ストレージは共有しているから、
今回、サーバを使っていても使っていなくても同じ影響を受けるらしいですね。
いまはまあ普通かと。
全体が止まっているから……と思います。
>>318
今回のトラブルは >>48 でいうところのSSD世代で発生していて、
HDD世代は何の問題もなく動いていた。
「うちは普通に動いてる」の報告があるのはそのせい。
で、7月5日から、クラウド基盤の総取り換えという大手術を始めたんだけど、
運用しながらこれをやるとものすごく時間がかかることが判明したようで、
それで今の状態。
クラウド基盤は福岡にある。ファーストサーバ本社のある大阪はすこしお休み状態。 >>319
よくわかる説明有難うございます
ファーストサーバもこの人ぐらい詳細に説明すればいいものを高負荷だの障害だの、まるで他人事のよう >>319
ありがとうございます。
こういった説明で状況がわかるだけでも（詳しい事は難しくて理解できませんが）
少し精神的に楽になりました。 今回を猛省して対策すれば、より強力で牽牛でパワフルになるな >>314
数字の羅列でもちゃんと情報なんですけどね
自分が理解できない情報は情報じゃないという考え方ですか？ ワーストサーバーと契約するような情弱なのにこれも情報なんですけど？とかドヤってるのうける 素人の俺はこれが知りたい。
要は月曜に本当に復帰するのか？
復帰しても前回の様にデータ消失の可能性もあるのか？
早めに復旧されることってないの？ Twitterで同じようなデータ貼ってる人いたけどその人か？
困ってる人がいればお互い様なのに当事者でない外野の野次馬が煽ってるだけか >>327
全くだ。早めの可能性、文面には歌ってるけど延長の可能性の方が高いと思う。
■日時：
2018年7月6日(金) 20時00分 〜 最長 7月9日(月) 08時00分まで
※時間は24時間表記です。
※予定より早くサービス利用を再開する場合には、末尾のWEBページ等にて
ご報告いたします。
■作業：
システムメンテナンス
■影響：
上記時間中、以下のサービスをご利用いただくことが出来ません。
・メールの送受信
・ホームページの閲覧
・サーバーへのファイル転送
・コントロールパネル操作 今回の失敗でより改良されるとか言ってる奴はアホか。ヤムチャがいくら心入れ替えたってゴミのまま。 今回を乗り越えたら良くなるとかアホのたわごと
ある程度大きな組織の問題は現場やエンジニアが努力したりノウハウ溜めたりしただけじゃダメで
経営陣総入れ換えとかしないと改善しない
日本の企業はそれをやらないからいつまでもダメ 一度だけなら許してもいい
でもファーストサーバは一度目じゃないからね
二度あることは三度ある
絶対に許してはならない ここの解析みるだけでも適当なことやっているのが分かって悍ましい
契約してはいけない Zenlogic
https://nakoruru.jp/?p=1752 >>333
セカンドサーバー…いや、サードサーバーに改名しますか コンパネ入れない、せめてドメインのDNS変えさせろって人、
カスタマーポータルにログインして「会員/契約管理」→「契約一覧」
→問題のドメインの右端にある「契約詳細」→ネームサーバー情報の「変更する」から変えられない？
自分は全停止後にその手順でさくらに脱出成功したよ なお、ZenlogicのDNS変える前にさくら側のコンパネで他社ドメインの追加をしとく必要があるよ >>97
まてwって事はまた高負荷になり得るって事だろwww 復旧したけどデータは全部消えました。とかだけは無しにしてね。 そろそろ復旧しねえかな
最長の月曜日とかやめてくださいね >>334
この人もdhclientの話あたりはちょっとダメっぽいけどねぇ
> dhclient が起動している時点でお察しください。
ゲストのIPアドレスをDHCPで配るのはクラウドじゃ結構普通にやるのご存じないみたい サポートセンターへの電話お問合せ窓口が非常に混雑し、
つながりにくい状態が発生しておりますため、
電話回線、体制を強化いたしました。
【受付時間：平日9〜18時】
強化ｗｗｗｗ おいおい削除されてるじゃないのｗ
ttps://zenlogic.jp/news/status/syogai-faq/ まぁサポセンの本音は「障害の件は電話しても何も進展ねーんだから普通のユーザーのサポートさせろや」だろうな >>334
自分もこの人はちょっと違うと思いました。
> 月1か2回起こる接続障害
これは少し前までありましたね。
いまも多少は残っていてかなり問題だと思います。
ただし、前に比べると影響受けるユーザーは少なくなっていますね。
> 自分は自社で7年運用実績がありますが、一度も障害を起こした事がありません。
うそっぽい。
> プランSをテストしてみました
> 実際に運用してみると想像以上に遅いです
> ロードアベレージが何もしていないのに、8とか10になります
なんだこれ。
> 150MBもswap落ちしているそうです
自分、Zenlogic でスワップ発生を見たことが一度もない。 まあこんなとこ使ってる弱小企業は潰れても何の問題もないんだけどな RAM1GBでDrWEB採用はちょっとおかしいけど
たとえばClamAVのclamdだって500MB超が常駐するわけだしアンチウイルスのメモリ消費はふつう大きい
それを知らないか、
あるいは知った上であえて正確な情報よりインパクトを優先した技術者としてはサイテーのクズか・・・ JETBOYに移転したらいいよ
こっちはもう2年くらい障害起きてないし安定そのもの クラウドは信用すんなって事だな、専鯖なら切り分け簡単だろうに・・・ >>356
昔みたいに専用サーバーや共有サーバー割り当てなら
トラブった機械だけ落とせばいいだけだから全体が被害被るなんて事は無かったよねって
事を言いたかったのよ 常駐プロセス満載でSWAP落ち、そんなアホな事は、いくら何でもせんでしょう あと23時間以内に復帰すんのか？マジで
月曜から復帰できないとマジで本社に行くぞ
会社から歩いて10分で行けるから
メールだけでもお願いします メンテナンスはこれまで予定どおり進捗しております
本当だな
嘘つくなよ >>360
予定ってのが自宅で酒飲んで寝る事じゃなければ メンテナンスはこれまで予定どおり進捗しております
と記載しておいてダメだった場合、重過失にならんの？
損害賠償金がっぽり請求できんじゃね？
弁護士さん出番だよ 駄目になる事も予定済みだから無理じゃね？
ここまでに絶対直しますって書いてあれば別だとは思う >>357
んなこたないでしょ。そこそこの規模のDCなら、ネットワーク巻き込んだ全体障害とか十分あり得る。 直る直る詐欺とか進捗してる進捗してる詐欺とかは詐欺罪にならんの？
顧客を騙す目的で嘘付いてるわけだろ
まあまだ結果はわからんけど、これまでは全部裏切られてここまで来てるわけで >>355
オンプレまともに運用できる技術者いないんだろ
そのぐらいわかれよ 最悪の事態に直面した場合、問題になってる部分だけ停止させる、
そんな仕組みでないと、全停止じゃナ。 ホスティングに限らん基本的な話。 クライアント企業の利用者を数日間まるまる落とすってｗｗ
どこの素人？前代未聞でしょ
ファーストサーバの事件に懲りて、分散しといて良かった
ここは反省しないんだね ファーストサーバの事件って、社長が新幹線で全裸になった事件？ >>372
ちがうｗ
大量のクライアントのデータを全部飛ばしてリセット。
半年分だか1年分の鯖料で、ごめんなさいした事件 現状予想
復旧はソフトバンクのシステム担当が数人くらいで
「だからこのシステムじゃダメだって前から俺は言ってたじゃん」
とか自社への文句をブツブツ言いながらやっている
ファーストサーバは月曜以降の言い訳を起こったトラブルは仕方がない事を前提に会議中
社長は何かあったら携帯にくれといいながら自宅でサボリ中 https://cloud.watch.impress.co.jp/docs/interview/696915.html
>数年後に新しく高性能なハードウェアが登場してきたら、新しいサービスとして再開発する必要がありました。
その考えた方が、変な気もするんだが
新しい別なのを、新しいハードで実行させても、
従来のを、そのまま、新しいハードで実行させても、どっちでも良い筈いうか、
ビジネス系は何かと手堅い策を取るが。 ホスティング分野の事は、詳しく知らないけど。 >>375
普通マイグレーションの自動化ぐらいできるからね
ワーストサーバにはその技術がなかったけど 今も届くことの送れることのないメールを送受信。。。 メンテナンス中のメールってちゃんと後で届く？
今自分宛に送ってみたがエラーにはならなかった エレコムのドライバーがDLできないとか連絡フェリーの運行確認ができないとか社会に影響与えるレベルの問題だと思うんだが頑として報道しないのな 月曜まで時間があると思って作業してんじゃねえぞ！
今すぐにでも復旧できるよう作業しろよ！！ https://twitter.com/elecom_pr/status/1015810848034439168
> 7月4日より当社サーバー管理会社で不具合が発生し現在メンテナンス中です。ご迷惑をおかけし申し訳ございません。原因は調査中です。7月9日AM8時復旧見込み。
> 製品ドライバダウンロードは、特にご迷惑をおかけしております。当社サイト経由以外にダウンロード方法が無いため、もう暫くお待ちください。
エレコムはちょっとアホなんじゃないかと思う
だってアカマイ使ってるんだよ？なんでバックエンドがファーストサーバ（笑）なのさ 高級車乗り回していながら家は風呂なし四畳半みたいなもんやな 大阪の皆さん、こいつらちゃんと仕事してるのか監視して下さい
村竹さん出てるんだよね？当然
ファーストサーバ株式会社
大阪市中央区安土町1丁目8番15号
野村不動産大阪ビル 3F https://www.firstserver.co.jp/effort/trust.html
最初のほうは、何時現在41%完了しましたとか流していたが、こういうのをやったりやらなかったり決まってないのは、上に書いてあることに違反しているだろう。 ここまでやってもニュースにすらならない
スポンサーへの忖度が過ぎるわ、せめて金曜の段階で
ニュースにでもなってれば繋がらないのはもしかしてって思ってもらえるかもしれんのに
うちの客に代わりに謝ってくれよマジで 親会社のヤフーに復旧に3日かかると言われて、言い返せずに受け入れ。
結果、ヤフーがのんびり対応。
ファーストサーバの社員はやることがなく、ゆっくり土日休んでHPの状況報告は全部コピペ。
多数の企業の利益を毀損しておいて。
今後もトラブルが起こったらまた同じ対応だろうな。 >>388
マスゴミ自身がくらうどとか理解できないバカ文系の集まりだから、
あまり事の重要性がわかってないだけ >>389
> ファーストサーバの社員はやることがなく、ゆっくり土日休んでHPの状況報告は全部コピペ。
実のところコピペどころか、時間になったらその内容に更新するという自動化を組んで、出社すらしてないんじゃないの? 「月曜朝にメンテが終わる、結果がわかる」という認識に慣らされてしまってるけど
本来の想定では月曜朝は"最長"でありリミットなんだよね 時間からしてあかんやろね
明日になってもメンテナンスやろうね
あかんやつや 月曜朝を待たずに途中でさくっと解決してるのが本来あるべきシナリオで、
月曜8時キッカリに何かリリースがあるとすれば「そうはいかなかったよ…」という案内やろね >>404
これまでずっと見通しが甘くて延長を繰り返してきたわけで
最長いつとか言われても、すでに信用してない人が大半じゃないかなｗ 明日も仕事に支障がでそうだな
安かろう悪かろうを体現する見本 ■ このスレッドは過去ログ倉庫に格納されています
