node.jsを利用したクローラー作成(50)

GAEのクローラー不具合の調査を行ったが、結論としては24時間起動しているクローラーはGAEだと（1インスタンス運用の場合）突発的なインスタンス再起動に対処できず、取りこぼしが発生した。そのため、backendのシステムの構成を変更しCloud Scheduler + Cloud Tasks + CloudFunctionsで実現することにする。

まずは、各サービス間の連携とTasksのリトライ処理の検証辺りから作っていく。それらが確認できたら実処理部分を移植していく感じ。
移植完了までは、治せる部分の不具合修正したGAEクローラーで引き続き頑張る。頑張れ。

不具合調査やってるときはめちゃくちゃ元気なくなったけど、新しいシステム構成での立ち上げはなんとなく気合が入る。頑張ろう😀

調べたこと

Node.jsではCloudFunctionの開発用フレームワークがある。

GoogleCloudPlatform/functions-framework-nodejs

日本語解説はここが新しい。

[GCP] 効率いい Cloud Functions の開発環境を整備する [JavaScript]

CloudFunctionsは初回のdeployが非常に遅いので、動作不良の処理を何度もdeployしたりしていると開発が非効率だ。
フレームワークを利用しローカルで十分に検証してからdeployすると良いだろう。

やるぞー。