PythonでWebスクレイピングをやってみた ～２～

その１でざっくりやりたいことを書きましたが、作成したマップは下記のようになりました。

まずPythonでWebスクレイピングをするにはライブラリを使うことになりますが、どんなライブラリがあってどう使えばいいのか分からなかったのでUdemyのコースで学ぶことにしました。

Pythonによるビジネスに役立つWebスクレイピング（BeautifulSoup・Selenium・Requests）

上のコースにある無料で見られる「各セクションで学ぶトピックス2(スクレイピング用ライブラリの種類・役割)」というビデオを見ればどんなライブラリがあってどんな特徴があるのかがざっくり分かります。

今回はこの中でRequestsとBeautifulSoupというライブラリを使って、ミュージアムのリストを作成することにしました。

やろうと思えばRequestsだけでもできそうでしたが、BeautifulSoupを使った方が楽なところもあったので使ってみました。

最初はWebスクレイピングを使わずに、Google ChromeでCtrl＋Uキーを押してウェブページのソースコードをテキストファイルに保存しミュージアムのリストを抽出したりしました。これをやる時にChatGPTにコードを作らせたので、今回作成したコードもそのコードを元に作成しています。

ちなみにその時のChatGPTとのやり取りは以下のような感じでした。

ChatGPT

次回からは実際に使ったコードの中身についてあれこれ書いていくことにします。