見出し画像

障害対応訓練を実施しました

岩崎のぼる

iCAREでは年に2回、障害対応訓練を実施しているのですがその風景を少しご紹介したいと思いNoteにまとめることにしました。

障害対応訓練の目的

障害対応訓練では、その目的を明確に定めることが重要となります。目的を曖昧にすると障害対応訓練実施中に意識すべき点がみんなバラバラになってしまうので、何を意識しながら訓練を実施するかを明確にします。
iCAREの障害対応訓練では以下の項目を目的としています。

  • サービス障害発生時に、各部署が連携し迷うことなく、サービスの復旧ならびにお客様への連絡等の対応を迅速に行えるようにするための訓練である

  • 各部署の担当者がサービス障害発生時に何をすべきかを各部相互に認識をあわせる

  • 対応手順に沿って訓練を行い、実務に即していること確認する。

  • 障害発生報告から、復旧報告までの流れを体験する

最も重要な目的は、各部署の関係者が有事の際に何をすべきかをお互いに認識をすることだと考えています。
障害発生時は一秒でも早い対応おが求められますが、想定外の事象に直面することが少なくありません。各部署、担当者が起こすアクションに対して理解を深めることにより、全員が臨機応変な対応ができるようになります。
また、実際に体験をすることは手順をなぞるだけでも擬似的な体験となり知識をつけるよりも頭に残るものなので、定期的な障害対応訓練は必要不可欠であると考えています。

障害対応訓練で準備するもの

なにも準備することなく障害対応訓練をすると、誰が何をやるのか？どう対応していいかわからず、グダグダな進行となります。
実は、このグダグダ進行は、障害対応訓練をしていない状態で本当の障害が発生したときにも発生する現象だったりします。
これを防ぐために、障害対応訓練では、以下のものを準備する必要があります。

  1. 障害対応マニュアル（実際に運用しているもの）

  2. 障害対応フロー（実際に運用しているもの）

  3. 障害対応訓練のしおり

  4. 参加者一覧表

障害対応マニュアルとフローについては実際に障害が発生した際に参照すべきものを使いますので訓練用に作る必要はありませんが、障害対応訓練のしおりは必ず用意しましょう。
これはマニュアルやフローがあっても実際参加者の方はどう訓練したら良いのかがわからずこれまたグダグダ進行に繋がります。なので障害対応訓練でもっとも重要なことは「どう訓練をするのか」が明確になっている「障害対応訓練のしおり」が必要不可欠です。

iCAREで実際に利用している障害対応訓練のしおり
障害対応訓練のしおりの目次

障害対応訓練のしおりの内容

障害対応訓練のしおりの内容は項目としてはさほど多くありません。が、特に重要なものがあります。
メンバー紹介と役割説明
これは訓練をする際に非常に重要なものとなります。iCAREの障害対応訓練では、障害発生のテーマは違えど、毎回以下のような役割を決めて、訓練の際にその役割になりきってもらうことにしています。

  • お客様役（お問い合わせ係やクレーム係になる）

  • サポート担当者（直接お客様とやりとりをする役割）

  • 現場責任者

  • 指揮係

  • エンジニア

  • 当社ボードメンバー係

大まかな訓練の流れ
訓練の手順になる項目になります。これがこの訓練の肝になる部分で、みなさんはこの訓練の手順を通じて、障害発生時に自分がどのような行動を取らなければならないのか、他者がどのような行動をとっているのかを自覚することになります。
想定する障害によって毎回訓練用に作成することになりますが、障害対応フローに基づき、どの役割の人が何をするのかを明確に、訓練のシナリオを作ります。基本はお客様からのお電話からの問い合わせや、アラートからのストーリーを、台本という形で作成しています。

実際に使われた台本より抜粋

訓練をする際は、訓練の主催者が台本の進行役として各関係者に「はい次○○担当の方電話連絡お願いします」というように指示をしていきます。

障害対応訓練から得られるものまとめ

障害対応というものは実際起きてみるとなかなかスムーズに対応できないもので、様々な想定外の事象と向き合う形となります。しかし、障害対応訓練をすることで、想定外と想定内の差分を縮めることができるため、実際の対応時の想定外の幅が狭くなり、何も予備知識がない状態と比べて格段に対応速度、対応品質が向上します。
特に、問題が発生している場合は目の前の問題に注目してしまい、外部の関係者への情報共有がおろそかになりがちです。
擬似的にでも障害対応を体験することにより、関係者全員が「訓練と同じだ」「訓練とはここが違う」が明確に判断できるようになり、臨機応変な対応ができる知見が得られます。

また、この障害訓練は実際にお客様と接するカスタマーサクセス担当者と、お客様とはなかなか接することのない開発者がお互いの理解を深める意味でも有効です。訓練はお芝居的に進めるものではありますが、お客様からの問い合わせや厳しい追求はアドリブを交えてリアルに演じてくれるので、カスタマーサクセス担当者が受ける緊張感や、原因究明する技術者がどんな視点で調査をしているかがお互いに伝わります。

最後に振り返りを必ずやるべし

障害対応訓練をしたら必ず訓練の内容の振り返りを行います。
振り返りをすることでフロー上の課題が発生したり、より効率の良い連携のアイデアが出るものです。それに訓練を「体験」として認識するのは実はこの振り返りがあるからであり、振り返りを通じて関係者各自がどのように感じ、考え、行動していたかを理解できるようになります。
会社はどんどん成長し、変化するものでもあります。組織の変化により対応フローに矛盾が生じることは往々にしてあるため、このような訓練を通じてフローを見直し課題を出し、解決することにより、いつ何が起きても品質の高い対応が実現できるように準備することができます。

さて、いかがでしたでしょうか。
今回は、当社が信頼されるサービスの提供を維持するための取組について障害対応訓練についてご紹介しました。今後もこの取組は続けていき、社内の対応力向上に努めていきたいと思います！

そんな当社の取組に少しでもご興味がありましたら是非当社に遊びに来てください。お待ちしています！

この記事が気に入ったらサポートをしてみませんか？