指定したキーワードに関連するツイートを取得

書籍「Pythonでスクレイピングを始めよう: for Macユーザー入門学習編」のサンプルプログラムです。

import requests
from bs4 import BeautifulSoup
import os

if os.path.isfile("result.txt"):
    os.remove("result.txt")
    os.remove("newinfo.txt")


headers={"User-Agent": "Mozilla/5.0 (iPad; CPU iPhone OS 12_1_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0 Mobile/15E148 Safari/604.1"}
url="https://search.yahoo.co.jp/realtime/search?p=python+OR+パイソン&ei=UTF-8&ifr=tl_sc"
r=requests.get(url, headers=headers)
soup=BeautifulSoup(r.text, 'lxml')
elems=soup.select('.Tweet_body__3JAGe')
for a in elems:
    with open("newinfo.txt","a") as f:
        f.write(a.text +"\n")
with open("newinfo.txt") as f:
    all1=f.readlines()
keywordB=["requests","selenium"]

for keyword in keywordB:
    result=[]
    for tweet in all1:
        if keyword in tweet:
            result.append(tweet)
    if len(result)==0:
        pass
    else:
        with open("results.txt","a") as f:
            f.write(keyword +"-------------------------------" +"\n")
            f.writelines(result)

指定したキーワードに関連するツイートを取得するプログラムです。

詳しい解説は書籍をご覧いただけると嬉しいです。