2020/11/21

今日は14時少し前に起きた。
12時くらいまでLINEしてて、4時ぐらいまでスマブラしてたしな。
pythonのscrapingをやって見た。
requestとbeautifulsoup4では取得ができなかった。
恐らくバックエンドで受け取ったでたをJSで処理しているからかなと思ってはいた。
しかしそれでもデータは取得出来るみたいな記事を予め見ていたので、とりあえず今日はそれをやろうと思った。
seleniumというモジュールを使った。
phantomJSが開発終了？のせいか、インストールしても使えなかったので、渋々Chromeドライバーを入れた。
いざやって見ると、まずは
Chromeで自動コントロールは出来ないようになってるぜ？
みたいなエラーが出たのでまずはオプションで解除。
そこまでは良かった。
その後はidやclass等の属性で絞り込んで取得。
それから更に深い階層にアクセスするためにcss-selectorを使った。

案外スムーズに出来た。
単純に今日やった事を箇条書きにすると、
・ページを表示
・データ取得
・ページ遷移
繰り返し。
ただそれだけだ。
しかしコードを書くと1,2時間くらいはかかってしまった。
コードを書くというか調べる時間が多い。
楽しいので時間忘れる程には集中出来るのは良い事なのだが、検索速度や理解速度をもっと上げたいところだ。
やはり知らないことを知る。
やったことがないことをやってみる。
ということは楽しい。
学校にいる時よりも価値のある学校で学ぶべきことを家でやっている気はする。
早く働いてみたい。趣味を仕事として使えるなら
幸せなことは無いだろうな。
仕事になったら面白くないのなら向いていないのだから、転職すると思うけど。業種は一生変わらんやろな。