マガジンのカバー画像

node.jsを利用したクローラーと表示サイトの構築

50
Node.js + GCP(GAE/etc) + FirebaseAuthでクローリングと収集データ表示サイトを構築します。 試作はherokuにて行いました。 基礎的な知識はN… もっと読む
運営しているクリエイター

記事一覧

node.jsを利用したクローラー作成(56)

日曜日にリリース。色々終わらなかったので、機能を大幅に削った。 主に不具合修正などやった…

node.jsを利用したクローラー作成(54)

色々作業が終了したので、こっちの個人開発を再開するぞ!😤 GAEのホスティングでindex.html…

node.jsを利用したクローラー作成(52)

若干やる気を失ったけど、部屋掃除しまくったら治る。不思議! クローラーの新設計移行はちょ…

node.jsを利用したクローラー作成(51)

システム構成変更の試作など。 合わせて新規リトライアルゴリズムの実装した。 テストはまだ。…

1

node.jsを利用したクローラー作成(50)

GAEのクローラー不具合の調査を行ったが、結論としては24時間起動しているクローラーはGAEだと…

node.jsを利用したクローラー作成(49)

GAEで発生してるエラーの分類と大まかな対処方法の検討。 対策までは出来なかった。タケノコ掘…

node.jsを利用したクローラー作成(48)

体調悪くて、寝たり起きたりデータ分析したり。😷 やっとこ分析完了。慣れてないからひどく時間がかかる。 前回修正時のリトライアルゴリズムはわりと上手く行ってた。 あとは性能を上げる修正を検討。検討して設計完了。 実装しようと思ったけど、GAEのエラーログで対処必要な不具合多いことに気づく。そちらを先にやることに…。 データ解析とアルゴリズム変更だけで済むかと思ったけど、思ったよりやることが増えてしまった。 調べたことutf-8のcsvデータをexcelで開くと文字化けする。

node.jsを利用したクローラー作成(47)

GAEでポツポツ発生していた429エラーの対処。 根本的な発生原因がいまいち分からんが、幾つか…

1

node.jsを利用したクローラー作成(46)

ゲーム製作一段落ついたので、こっちを再開。 とりあえず開発環境開いたら…未コミットファイ…

node.jsを利用したクローラー作成(43)

後回しにしてた各モジュールのテスト…。 テストはものすごくやりたくない。不思議だ…。あま…

1

node.jsを利用したクローラー作成(42)

フロントエンドとバックエンドのセキュリティ検討を行う! 🤯うわー ベストプラクティスにし…

node.jsを利用したクローラー作成(41)★

✅DB再設計・実装完了 ✅Storageデータ配置し直し ✅プロジェクト手順書など作成 v0.7完了。 …

node.jsを利用したクローラー作成(40)★

CloudStorageでの個別ACL制御のため、DBとStorageの再設計・実装中。 工数食いまくる再設計は…

node.jsを利用したクローラー作成(39)★

✅クローリング結果表示ページにて無限ページング処理実装 v0.6 完了。 もー色々大変だった…。各種フレームワークの習熟度合いが低くて1行ごとにデバッグするレベル…🙈つらすぎ クライアント側のフレームワーク勉強しなおさんとダメ。 次のv0.7ではcrawling結果をmhtmlファイルに固めて、アクセス時には署名付きurlを利用し、セキュリティを担保する考え。 …だったのだが、mhtmlの仕様調査したらひどかったので取りやめ。 代わりにCloudStorageでACL制