【小さな最適化】 chromiumで情報の整理を自動化（chromedriverのインストール方法）

めんどくさい作業があったので自動化しました。そのメモです。

やること

• https://dentsulab.tokyo/works（仮）に掲載されているページを開いて

• Ubuyashikiさん（仮）のお名前が載っているページだけを見つけてリスト化

• Ubuyashikiさん以外にも複数人（割と多い人数）に対して同じ作業を行う

手作業でやる気は最初からなかったです。２０ページくらい（雑）を大体２０人くらい（雑）でやると、４００ページをチェックしなければいけません。新書が１冊読めてしまいます。時間と気力が勿体無い。

やったこと

• Javascriptの動的に読み込まれるサイトだったので、seleniumで動かして処理

  • そのためにChromedriverをインストール

• ChatGPTと相談しながらコードを書いて実行

ChatGPTと相談して、読み込みの時間を待機する処理を入れたり、スクロールさせたりしたのは、まぁすぐにできるとして、つまづいたのが、chromedriverの適当なバージョンのインストール先URLを見つけること。

頑張ってgithub内の読むべきファイルを特定した上で、

GPTに聞いた様子

ChatGPTに確認して、適切なURLをゲットしました。
具体的には

• https://github.com/GoogleChromeLabs/chrome-for-testing#json-api-endpointsにあるknown-good-versions-with-downloads.jsonを開いて、自分のChromeのバージョンに合致する部分をCmd＋Fで探したところ

• https://storage.googleapis.com/chrome-for-testing-public/XXX.X.XXXXX.XXX/mac-arm64/chromedriver-mac-arm64.zipというそれっぽいURLが載っていた

• これでいいのか確認でChatGPTに聞いて、よさそうだったのでアクセスしてダウンロードしてbinディレクトリに格納したら上手くいった。

という感じです、binへの格納の仕方などはシンプルなのでその都度GPTに聞いてもOKそうだったけど、chromedriverの導入は色々なやり方があるらしく、ChatGPTに聞いたら毎回違う結果になりそうだったのでここにメモしました。