密着！石狩データセンター年次点検＆非常用発電機実負荷試験（2日目）

さくらインターネット広報の朝倉です。
当社の北海道石狩市にある石狩データセンターの年次点検＆非常用発電機負荷試験の2日目をレポートします。
年次点検とはどんなものか？などの基本的な情報や、1日目の現地作業の様子については、こちらをぜひご覧ください。

リモートでの確認作業

1日目は現地での作業に密着しましたが、2日目はリモートでの確認作業に密着します。
1日目の記事でもお分かりいただけたと思うのですが、点検作業のための確認項目は非常に多岐に渡り、現地にはたくさんの保守点検業者の皆さまが集まって作業を行っています。
それぞれが持ち場に分かれ、分散して作業をしていますし、作業箇所は広い敷地の中をあちこち移動しますので、全てを網羅的に把握するのは非常に困難です。

年次点検と非常用発電機実負荷試験の進行は、さくらインターネットが委託した電気主任技術者が責任を持っています。一方、全体をチェックしながら、点検中に万が一不具合が発生した時などにお客さまへの影響を確認して社内に報告する役割は、石狩データセンター長の森田が中心となり当社社員が行っています。

作業の状況を一元で確認することのできる設備監視システムを使い、ビデオ会議システムで各所と連携を図りながら、リモートで確認作業を実施していました。

【年次点検2日目】 1系側の点検作業

この日は1系側の停止から作業がスタートします。
2系の場合、メインで受電しているのは2号棟だけでしたが、1系の場合は1号棟と3号棟がメインで受電しており、メインから待機系へ切り替え時の瞬時停電も、1号棟と3号棟でそれぞれ発生します。

まずは、2号棟の非常用発電機が1系へ送電しないように操作します。
設備監視システムではこのように表示されます。
通常時と比べて、緑のランプが増えていることがおわかりいただけますでしょうか？1系のブレーカーが停止し、電気の負荷がないことを示しています。2系は、赤のランプが点灯し、万が一の停電の際発電した電気を送電できるようになっています。

次は、2号棟高圧電気室で、1系の送電を停止します。2号棟は予備電源が1系で、メイン電源には影響がないため1系から2系への切り替えは発生しません。
電気の入り口の部分で、赤のランプが緑に切り替わっていますね。

前日の現地作業の密着ではわからなかったのですが、ブレーカーの停止などで通常と異なる状態になると、設備監視画面では次々とアラートが発報します。そのたびに「予定されたアラート」と「意図しないアラート」を見分ける必要があります。アラート発報＝障害ではないため、たくさんのアラートが鳴り響く中、冷静に何が起こっているのかを判断する必要があります。
わかっていても、アラートが鳴るとドキドキしてしまいますね。

続いて3号棟、1号棟の順にメイン電源を1系から2系に切り替える作業が発生します。それらが完了した後、1日目と同様電力会社や同じ変電所から受電する事業者様と連携を取りながら、常用線の停止を行います。

特高電気室には定点カメラを設置し、作業の状況をリモートで確認できるようにしてみました。

こちらは、1系を完全に停止した時の特高受変電全体の設備監視モニターです。1系停電時の電気の流れを簡単に示した模式図と比較してみましょう。
設備監視モニター上の赤いランプが点灯している個所に、電気の負荷がかかっています。

1系の電源供給が完全に停止したので、電気設備点検作業が始まります。
夕方には電気設備点検が終了し、これまでとは逆の順に復電の操作を行って、電源供給態勢は一旦通常通りの状態に戻ります。

1系の年次点検はこれで終了です。
朝8:00から始まった作業は、17:00頃に終了しました。
今年も年次点検はトラブルなく無事に終了し、点検で見つかったメンテナンスの必要な個所については、この後設備管理を担当している防災センターが中心となって計画を立て、実施していきます。

【非常用発電機実負荷試験2日目】 1系側の停止

続いて1系の非常用発電機実負荷試験が行われます。
その時の電源供給態勢はこの図のようになります。
1号棟の非常用発電機からは、1号棟と3号棟に送電しますので、作業するポイントが1日目の時よりも増え、さらに慎重に作業が進められます。

非常用発電機から送電されている様子を設備監視モニターで確認すると、このような状態になっています。

設備監視モニターは、リモートで機器の動作状況などを確認できるため、非常に便利です。ですが、ここにも不具合が発生する可能性があるため、モニター上で想定外の動作を検知した時には、現地の確認を合わせて行っていました。モニターと現地の情報が合っているかどうかというのも、重要なチェックポイントですね。

5月16日の18:50頃、1系の非常用発電機実負荷試験も無事に終了し、電源供給態勢は通常の状態に戻されました。
2021年の年次点検＆非常用発電機実負荷試験はこれで全て終了しました。

まとめ

まずは大きなトラブルがなく無事に全ての日程が終えられたことに対し、防災センター、保守点検業者の皆さま、そして当社のファシリティ運用メンバーに心から感謝したいと思います。
現地にいるスタッフだけでなく、サービスを支える社員も、無事に終了するまで気が抜けない思いで見守っていました。
それを表すかのように、点検の終了を報告するSlackのポストには、土日にもかかわらずたくさんの労いのスタンプがついていました。

データセンターを支える電気設備はたくさんの機器で構成されるシステムであり、それぞれの機器の耐用年数や必要なメンテナンスに合わせて日常的に保守・点検を実施していますが、それでも「モノ」はいつか壊れるもの。
システムを構成するソフトウエアについても、潜在的なバグや想定不可能な未知の状態に対する判定の不具合など、安定的な電気供給を脅かすいろいろな「リスク」を完全に0にすることはできません。

冗長構成の片系ずつの停止とは言え、電気設備を停止して点検すること、非常用発電機を実負荷稼働させることにもリスクは存在しますが、予期せぬ停電による大きな不具合が起こらないように、このような毎年の点検はとても重要であることがわかりました。

これからも、さくらインターネットのクラウドサービスの基盤として、安定的なデータセンター運用を維持できるよう、社員一同取り組んでまいります！