【独学12日目】プログラミング初心者がPythonでWebスクレイピングして業務効率化しようとする

概要

WEBスクレイピングを、YouTubeで復習する。目的は、Excel入力の効率化。思わぬところでつまづき、時間を30分以上ロスしてしまった。結局、解決はしたのだが、つまづきの原因は、馬鹿馬鹿しいほど初歩的なミスだった。しかし、そこからわかったミスへの対処法をつづる。

本日の勉強時間

１４：００～１６：００
使った教材

【Webスクレイピング超入門】2時間で基礎を完全マスター！PythonによるWebスクレイピング入門 連結版

独学で身につけるPython〜基礎編〜【業務効率化・自動化で残業を無くそう！】

詳細

前回に引き続き、Webスクレイピングを勉強していく。やろうとしているのは、Webサイトへのアクセス・ログインの自動化だ。実は、Udemyのコースで一度習っているのだが、なかなか思うように進まない。
その理由が、今回よくわかった。
jupyternotebookの使い方自体にまだ慣れていないからだ。

練習用のサイトに自動でアクセスしようとしたら、こんなエラーがでた。

正しくタイピングしているのに、なぜ定義できないんだ？
結論から言うと、これを解決するのに30分以上時間がかかった。どうやって解決したかというと、休憩して、気を取り直して、元の教材を見直した。つまり、Udemyのコースを見返したのだ。
すると、直接的にではないが、気づくことができた。
原因はタイピングではなく、ココの設定がCodeではなく、Raw NBConvertに変わっていたのだ。

確かに、タイピングしながら、なんか変だなあと思っていた。Codeモードだと「（」と入力しただけで自動で「( )」カッコが生成される。なのに、エラーが出てからというもの、生成されなくなっていたのだ。
実に初歩的なミスだった。

しかし、収穫はある。
行き詰まったら休憩を入れること。そして、いったん分かる教材まで戻ることだ。そうすることで、「あれ、もしかして・・・」と視野が広がるからだ。

また、自動ログインの際には、htmlの知識が必要だとわかった。これは、先述のYouTube動画で初めてわかった。Webスクレイピングの件が片付いたら、htmlもprogateで学ぼうと思う。

今のところ、2時間のYouTube動画のうち、進んだのは24分間。おそらくだが、あと30分間も進めれば、僕のやりたい業務効率化のヒントがつかめるのではないだろうか。

次回

YouTube動画を見ながら、テスト用サイトへのログインをする。そして、Webページ内のデータを自動抽出_Seleniumしていく。