【Python】BeautifulSoupでcontentやtextが取得できない

Pythonを使ってのスクレイピング

投資で、自分自身が見たいと思っていることなんかをPython使ってまとめられたら便利だなというところから。

そのため株のデータ取得などをやりたいと思いBeautifulSoupでのrequestをすることでスクレイピングしたいと思っていました。

ただ、最初からrequestでgetした内容を見ても全く中身(content、text)が取得できなかったので、メモ残します。

BeautifulSoupでcontentやtextが取得できないサイト

今回、取得できなかったサイトは、
https://stockcharts.com/

ここから必要なデータを取得したいと思いました。

と思いましたが、最初からつまづきました。
下記のようにやっても、何も取れません。

import requests
from bs4 import BeautifulSoup

url = "https://stockcharts.com/"
response = requests.get(url)

soup = BeautifulSoup(response.content, "html.parser")

print(soup)

ちなみにURLをhttps://www.yahoo.co.jp/だったり
https://finviz.com/に変えてみたら、バーっとcontent取れたので、
書き方が間違っているではなさそう。

requestsで返ってくるページ内容が自分がchromeなどで見ているのと異なる

いろいろ調べて見ると、
requestでダウンロードしたhtmlが、ブラウザを通して表示されるhtmlが違うようでした。

このサイトあたりが参考になりました。

requestsで取得できないWebページをスクレイピングする方法 - ガンマソフト株式会社

【Python】requestsで返るページ内容がブラウザの実際と異なる場合 - ゆうきのせかい

【私が実施した解決方法】BeautifulSoupにてuser agentの設定

先に実施したコードを記載します。

import requests
from bs4 import BeautifulSoup

url = "https://stockcharts.com/"
header = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.61 Safari/537.36"}


response = requests.get(url, headers=header)

soup = BeautifulSoup(response.content, "html.parser")

print(soup)

変更を加えたのは、下記の2点だけです。

• headerという変数を作り、user-agentを設定

• getの部分でheader(user-agent)を指定してあげる

これで一応contentが取得できました。

なお、今使っているブラウザのuser agentの確認は下記でできます。

IPアドレスとユーザーエージェントの確認

↓にあるように、ブラウザのユーザーエージェントってやつをコピーする

終わり

※ちなみにですが、この内容を取得できたところで使いませんでした😇😇