新型コロナウイルスに関係する内容の可能性がある記事です。
新型コロナウイルス感染症については、必ず1次情報として 厚生労働省 首相官邸 のウェブサイトなど公的機関で発表されている発生状況やQ&A、相談窓口の情報もご確認ください。※非常時のため、すべての関連記事に本注意書きを一時的に出しています。

GCPで約800万円の請求がきた話

はじめに

エンジニア5年目くらいでフリーランス3年目でスマホアプリ以外はなんとか作れるような感じのエンジニアです。
普段僕は開発にGCPを使っています。本番にもデモの公開にも、気軽に使っていました。
無料枠もあるし、適当に使っても毎月少ししか請求がない程度しか僕の使い方では課金されないし。GCPを舐めきっていました。

事件の発覚した時

Googleから今月のGCPの使用料のメールがきていました。ですが、普段数百円なのであまり気にせずスルーしていました。
ちらっとメールを見ると、雰囲気がいつもと違うメールでした。請求が正常に完了していないので、請求先のカードを確認しろ、という内容のメールだったのです。
この時も僕はまだあまり気にしておらず、あとで見るか、と思っていました。

5月3日
ゴールデンウィークの真っ只中、コロナウィルスで外出もできないので家でゲームをしたりだらだらしている時でした。確か嫁は友人とオンライン飲み会をやっており、僕は部屋でゲームをしていたはずです。
その時に、GCPのメールを思いだして確認をしたところ支払い先に請求が正常にできない、番号の間違いや期限切れのカードとかの可能性があるから確認をしろというような内容でした。
そこで、請求アカウントを確認すると800万以上の請求額が表示されており、僕は目を疑いました。一度ブラウザを落として、もう一度見たりしましたが、そのまま800万の請求です。
原因のプロジェクトを見ると、GCEのインスタンスが数百個と大量に立ち上げられており、スペックもものすごい盛ったものでした。GPUがすごかったのとインスタンス名から推測するに、おそらくマイニング用だと思われます。

その後の対応

まず、インスタンスをすぐに全て停止をしました。削除をしたかったのですが、この後サポートに見せる事を考え削除はせず現状を保持しました。
Googleの課金サポートは英語であれば24時間チャットでのサポートが受けられます。そこに連絡をして、事情を説明しました。
すると、アカウントハックや不正使用であれば免除できるから、こちらで調べる、少し待てというような返答でした。
また、すぐにやるべきとして、原因のプロジェクトを請求先から切り離す、という対応でした。こうすることで、課金されるような一切の事ができなくなるので安全だという事です。
また、サービスアカウント、APIキーの作りなおし、などを指示されました。
どこでキーが流出したのかが、完全に判明していませんがサービスアカウントのキーが流出していたらしいのです。おそらく、適当に管理していたプロジェクトだったのでGitに公開していたものに紛れていたのだと思われます。
そして、サポートは48時間後にまた連絡をする、といってこの日は終わりましたが、待っても全然連絡がなくこちらからメールをすると、調査に時間がかかっているとのこと、まだまってくれという返事がきました。
そこから放置されたり、サポート担当が変わったりと色々あるのですが、結局その期間は調査と承認待ち時間でここに書くようなことでは無いです。
ただ待たされる時間が長く辛かった事だけは書いておきます。きっと大丈夫と、もしダメだったら、の間で何度も行ったり来たりで死にそうでした。

その間の出来事と対策

まず、他の例を探しました。結構みんなあるようで色々話が読めました。しかし、ざっと探してでてくるのでも最高額は300万円で、僕の800万はやばいのでは?クラウド破産関連の最高額を叩き出した疑惑があります。もっとやばい人がいたら教えてください。
Googleアカウントは全て2段階認証の導入とパスワードを長いものに変えたりもしました。アカウントをハックされた訳ではないですが、一応。
当然、請求アカウント全てに予算設定とその使用金額での通知の設定をしました。これは絶対にした方がいいです。これをしていれば今回、ここまでの被害になっていなかったので。皆さんも今すぐしてください。

結果

6月3日に全額免除になった新しい請求と、二度目は無い、というメッセージでした。
5月3日からの出来事なので丸々1ヶ月かかりました。前例をみると、もっと早く結果が出てるものが多いので、金額がやばかったので調査に時間がかかったか、コロナで時間がかかったか。そのどちらもか。
やっと肩の荷がおりて、この文章が書けています。

今後について

GCPは便利なので、これからも使って行きます。
しかし、今回のような事はもう二度と起こしたく無い、起こせないので、できる限りの対策はして使って行こうと思います。
GCPのセキュリティ関係のドキュメントは読み漁っており、勉強を続けています。
また、毎日のルーチンとしてGCPの請求アカウントの金額を確認するようにしています。
便利ですが、課金は青天井なので気をつけて使っていきましょう。ほんとに。

この記事が気に入ったら、サポートをしてみませんか?
気軽にクリエイターの支援と、記事のオススメができます!
327

こちらでもピックアップされています

#エンジニア 系記事まとめ
#エンジニア 系記事まとめ
  • 714本

noteに投稿されたエンジニア系の記事のまとめ。コーディングTIPSよりは、考察や意見などを中心に。

コメント (1)
参考までにAWSで80000ドルの被害を受けた方の記事です
https://qiita.com/koyama9876/items/add70cba3cccdb7fa995
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。