第２回　PythonでWEBスクレイピング→HTMLファイルとして保存

おはようございます。KUROMAMEです。

本日もPythonのWEBスクレイピングを実践していきます。

前回までのコードはこちらです。

１．import requests

２．res = requests.get('収集したいページのURL'）

３．print(res.text)

これでWEBページのHTMLの情報が全て抜き取れましたね。今回は、

・抜き取った情報をHTMLファイルとして保存していきます。

それでは早速、先ほどのコードに追記していきましょう

１．import requests

２．res = requests.get('収集したいページのURL'）

３．#print(res.text)

４．with open('保存したいhtml名（今回はyahoo.html）','w')as file:

５．　　file.write(res.text)

すると・・・下記のエラーコードが発生しました。

UnicodeEncodeError: 'cp932' codec can't encode character '\xa9' in position 34569: illegal multibyte sequence

どうやらWindowsを使用すると上記のようなエラーコードが発生しやすいみたいですね。　解決方法の参考サイト↓

Pythonにおけるunicode decode errorに関する回避方法を現役エンジニアが解説【初心者向け】

今回は

４．with open('保存したいhtml名（今回はyahoo.html）','w')as file:

の'w'の後ろに,encoding="utf-8"を追記しました。

４．with open('保存したいhtml名（今回はyahoo.html）','w',encoding="utf-8")as file:

すると

「yahoo.html」のファイルが新規で作成され、上記のようにhtmlが全て詰まったデータが出来ました。

今回と前回の記事で

１．WEBページを丸々抜き取る

２．それをHTMLファイルに保存する

までできましたね。

次回をお楽しみにしててください。