node.jsを利用したクローラー作成(50)
GAEのクローラー不具合の調査を行ったが、結論としては24時間起動しているクローラーはGAEだと(1インスタンス運用の場合)突発的なインスタンス再起動に対処できず、取りこぼしが発生した。そのため、backendのシステムの構成を変更しCloud Scheduler + Cloud Tasks + CloudFunctionsで実現することにする。
まずは、各サービス間の連携とTasksのリトライ処理の検証辺りから作っていく。それらが確認できたら実処理部分を移植していく感じ。
移植完了までは、治せる部分の不具合修正したGAEクローラーで引き続き頑張る。頑張れ。
不具合調査やってるときはめちゃくちゃ元気なくなったけど、新しいシステム構成での立ち上げはなんとなく気合が入る。頑張ろう😀
調べたこと
Node.jsではCloudFunctionの開発用フレームワークがある。
日本語解説はここが新しい。
CloudFunctionsは初回のdeployが非常に遅いので、動作不良の処理を何度もdeployしたりしていると開発が非効率だ。
フレームワークを利用しローカルで十分に検証してからdeployすると良いだろう。
やるぞー。
この記事が気に入ったらサポートをしてみませんか?