node.jsを利用したクローラー作成(47)

GAEでポツポツ発生していた429エラーの対処。
根本的な発生原因がいまいち分からんが、幾つかの処置を決めた。

原因調査

1.なんかしらのquotaが上限に達した
1.1 instance当たりの時間辺りのリクエスト最大数に達している
2.instance立ち上がり時にまれによくある
3.リクエストがキュー内に入って10秒以内で処理されない場合に発生

以下の記事を参考。

GAE/Jで運用中に発生する例外（と一部対処法） : CB NANASHI管理人ブログ

【Google App Engine】 TaskQueueのスケーラビリティを阻害している原因について

割り当ての操作  |  ドキュメント  |  Google Cloud

CGPコンソールで色々調査したが、quotaに引っかかってる感じはない。
また、アクセスが集中しないように、CloudTasksで間隔を制御している。
調査出来ない部分で3が発生していると思われる。

対処

・GCPの429発生時ガイドにしたがい、リトライ処理を実装する。
(最低リトライ待機時間30sec + backoffアルゴリズムで指数的にリトライ)
・タスクの処理内容を効率化して、1タスクの処理時間を早くする。
(実処理を効率化しても、429発生には関係ないという記事もあったので、あくまでおまじない程度に)

という感じで、やる。やった。

あとは引き続きデータ分析など。
今どきだとpythonなんだろうなと切なく思いつつexcelで頑張る。

夜ふかししても良いこと無い！
寝る。