サーバが落ちた！　……って他人事じゃない。サーバが落ちた時の応急処置/緊急対応 (ケース別)

ファーストサーバのZenlogicが落ちました。

色々な企業の応急処置を見ている中で、技術的な対応は結構たくさん見るのですが、「お客様を守る」「お客様との関係を守る」ための情報・議論はもうちょっとあっても良いのかなと思い、拙い部分もありますが、まとめました。

エンジニア・プログラマ向けではなく、PM/経営者向けです。
具体的には「障害起こって、エンジニアは復旧に向けて色々対応してくれてるけど、こっちは何して良いかわからん！」という方々向けです。

Webサーバだけ落ちた場合
DNS+Webサーバが落ちた場合
メールサーバなど全部落ちた場合
国内金融機関の場合

　……のパターンで書いています。当てはまる部分を読んでください。

全ケース共通。

まず、応急処置の「目的意識」です。

「企業のイメージ低下を防ぐ！」が意思決定の最優先事項に来ることが多いですが、その流れはドンドンなくなってくると思います。

というのも、障害時、実は顧客が危険にさらされています。

障害が起きている間に事業者になりすまし、あなたのお客様を騙して金品を巻き上げる悪いやつがいます。

あなたは、そいつらからお客様を守る必要があります。

社会的には自社の体面よりも優先されるべき事かもしれません。

また、世間のリテラシ(特に高額決済する人のリテラシ)は向上しているので、「自社の体面より顧客の安全を優先する」ことは、企業イメージ保全の観点からも良い選択です。

1. なりすましがいないか監視して潰す。

なりすましは悪質です。

本サイトが潰れているすきに、なりすましサイトを立ち上げてログインフォームを作っておくだけで、そのサイトのログイン用ID/Passが大量に獲得できてしまいます。

facebook / twitter / google 等で検索し、なりすましが出てきたらSNS運営への通報、発信者情報開示請求などを行います。

2. お客様のメアドを持っているならお詫びメールを一斉送信する。

「障害の概要」・「緊急連絡先」・「便乗詐欺に気をつけて」　の内容を送ります。

一斉送信の仕組みを持っていないなら、 https://mailchimp.com/ あたりがおすすめです。

この２つは特にEC等の課金系サービスやBtoBでは必須ではないでしょうか。

ケース1
落ちたのはWebサーバだけで、DNSは無事な人。

所要時間 2時間

サイトは復旧できなくても、サイトにアクセスした人が「障害中」とわかって連絡先を知れる…という応急処置です。

1. レンタルサーバを借りる。

エラードキュメントの設定ができるレンタルサーバを借りましょう。
さくらのレンタルサーバのスタンダード、月額515円が良いです。

2. 「障害の概要」「緊急連絡先」「便乗詐欺に気をつけて」をまとめたHTMLを作る。

Microsoft Wordで一ページ作って「別名で保存」→「Webページ(フィルター後)」で、テキストだけのHTMLが簡単に作れます。

イベントのサイト等、地図がよく見られている場合などは、GoogleMap該当ポイントへのリンクも載せておくと良いでしょう。

連絡先の電話線がパンクしちゃいそうなサービスの場合は、google formなどを使って簡易な問い合わせフォームを設けて、HTMLからそこへリンクを貼ると良いですね。

3. レンタルサーバにHTMLをアップロードする。

ファイル名は半角英数でつけましょう。 maintenance.html など。

4. エラードキュメントをそのHTMLに設定する。

エラードキュメントとしてそのHTMLを見れるようにしましょう。

「.htaccess エラーページ」でググる等してみてください。

さくらのレンタルサーバだと、 https://chihochu.jp/52370205/ の解説が分かりやすいです。

5. DNSとレンタルサーバのドメイン情報を変更する。

準備ができたらDNSとレンタルサーバのドメイン情報を変更しましょう。

これでサイトにアクセスした人に最低限の情報を届けられます。

ケース2
WebサーバとDNSが落ちた人。

所要時間 4時間

DNSごと落ちた場合、ウェブサイトの復旧が絶望的です。ソーシャルに可能な限り情報を届けましょう。

1. twitter / facebookアカウントを開設する。

 障害中であることと緊急連絡先と、緊急用アカウントであることをbioに記載しましょう。

2. 障害内容と連絡先を詳細を投稿する。

bioを見られないケースが多いので、同内容の投稿も行っておきましょう。

3. 自社名・自社サービス名で検索して、落ちていることを嘆いている人をケアする。

「お待ち下さい」しか言えなくても、このタイミングでは声をかけておきましょう。

一人が声を上げている裏では10人くらいが同じ不安を持っていたりします。パブリックにやり取りをすることで、声を上げない人たちもそのやり取りを見て安心します。

DNSも落ちてしまうとサイトの更新ができないので、特になりすましの被害が甚大です。コピーサイトの登場でGoogleのランキングをかっさらわれる可能性もあります。

復旧するまでは気を緩めずにSearch & Destroyです。

ケース3
メールサーバ・業務システム・ERP等すべてが落ちた人。

所要時間 8時間

社内システム全部が落ちるなんて、ひぃぃ、恐ろしい。考えたくないですね。

1. 顧客・パートナーに連絡する。

電話番号・メールアドレス等どのチャネルでも良いので、顧客・パートナーに連絡の付く手段を集めてリスト化します。

その上で「障害発生中」「便乗詐欺に警戒すべき」と伝えます。

完璧な経緯報告でなくてOKです。速く連絡することに価値があります。

「便乗詐欺？大げさな」と思うかもしれませんが、そのために犯罪者がサイバーアタックをしかけてサーバが落ちているということもありえます。

日本の一般的な中小企業にサイバーアタックを仕掛けて、その顧客の財産やデータを盗むことは、日本語という言語的障害で難しいだけで、技術的には難しいことではありません。

2. システム無しで仕事を進めるルールを決定する。

復旧までの見通しが立たないようであれば、システムなしで仕事を進めることが可能か検討せざるを得ません。

各部門長を集めて、「システム無しでどのように仕事を進めるか」「その際の懸念点は何か」をヒアリングします。

内部統制担当・情シス担当(可能であればERP導入時の担当)・法務担当 を含むチームでその仕事の進め方を判断します。

その際は細かな運用手法を議論するより、「Go」「Stop」「xxx円以下の決済のみGo」「既存取引先に限りGo」など明確なルール化を目指すべきです。

明確なルールは混乱を防ぎます。

持ち帰って再度検討したいケースや、障害下の意思決定に対する責任についての話が持ち上がることもあるはずなので、この議論は動画撮影しておくと良いでしょう。

3. 社員・アルバイトに助けを乞い、奮起を促すメッセージを決定する。

システムがダウンすると、現場では混乱・ミス・事故が発生します。

それらの大変な状況を社員が「うちの会社のシステムマジくそだわーｗｗｗ」と愚痴りながら過ごすのと、「しゃーないけど、俺らが頑張らんとな」と思って過ごすのとでは、生産性・品質・お客様への影響諸々に大きな違いが生まれます。

皆の力が必要だと、社員・アルバイトの一人一人にまで伝えることは、混乱を乗り切るために大切なことです。

メッセージと、そのメッセージをどのように届けるかを決定します。

5. 決定された3, 4の結果を末端まで共有して運用開始

決まったルールとメッセージを社内の隅々まで行き届かせます。

ただ、どうあがいても社員が働けない状況なのだとしたら、必要なメンバー以外は休暇にしてしまうのはどうでしょうか。私もサーバー落としてハワイに行きたいです。駄目でしょうか。

ケース4
国内金融機関の場合

所要時間 ？時間

メガバンクやそれに関連するお仕事でサーバが落ちたらどうしましょう。

……胃が痛みます。考えたくないですね。

1. 保身

過去の資料を誰よりも速くまとめて、自分に非が無いと客観的に分かるレポートを作成しましょう。

2. 保身

自分の出したレポートベースで議論が進めばオッケーです。それベースで自分に責任が無いことを証明しましょう。

あとは知ったことではありません。

お客様？会社のこと？　忘れましょう。

メガバン関連の事故は、周り全員が「誰を生贄にするか」を虎視眈々と狙い続けるデスゲームです。余計なことをしないのが生き残る最善手です。

例えば、若く純粋なエンジニアが徹夜して「こうすれば速く復旧できます」とレポートを出せば、「本来それに気付くべきあなたがそれを怠ったのが事故の原因」として彼が生贄にされてしまいます。

3. 保身

自分に責任がありそうでも、苦しい言い訳を続けてでも、自分の罪が証明されない限り逃げてください。

逃げられなそうなら、辞表だけ置いて失踪もありです。

そして、綺麗に足を洗って、もうこの業界には関わらないでください。

一部の方は分かってくれると思いますが、これは決して冗談でも皮肉でもありません。

精神の健康や、大切な命を守るために真顔で書いています。

……と、色々な障害時の応急処置・緊急対応をまとめました。

役に立つと嬉しいです。

ですが、それ以上に、

「うちのあれが障害起こしたらどうしよう」
「バックアップとって置くか」
「DNS信頼できる所に変えておくか」

とか、予防措置を講じてもらえると、もっと嬉しいです。

「いやいや、それよりこの対応のほうが良いでしょJK」という方は、はてブあたりで適当にボコっていただけますと！

「うち、やばいかもだけど、何したら良いかわからない」という方は、美味しいお肉で釣られるのでFish meです！