Pythonでスクレイピング学習-その１-ブラウザ起動

今回は、いまにゅさん（@03Imanyu）がYouTubeに投稿されている動画「【PythonによるWebスクレイピング入門】vol.01：ログインなどのブラウザ操作を自動化しよう（Selenium）」見ながら、学習しました。

【学習環境】

OS：Windows 10 HOME
エディタ：Spider(Python 3.7)

【学習したこと】

・Chromeの起動方法
・特定のブラウザを開く方法
・ログイン方法
・Chromeを閉じる方法

【コードの概要】

学習したことを書き留める前に、まずは全容を載せます。
私が覚えやすいように、重要なコードや、そのコードがなにをしているのかをコメントで残してあります。

#プラウザの起動コード

#ブラウザを起動するために必須なものたち
from selenium import webdriver
from time import sleep

#WindowsのChrome起動
browser = webdriver.Chrome('chromedriver.exe')

#browser.get():特定のブラウザを開く
url = 'https://scraping-for-beginner.herokuapp.com/login_page'
browser.get(url)

#.find_element_by_id():要素をID指定で見つける
element_username = browser.find_element_by_id('username')
element_password = browser.find_element_by_id('password')
element_login_btn = browser.find_element_by_id('login-btn')

#.send_keys():キーの送信
element_username.send_keys('imanishi')
element_password.send_keys('kohei')

#.click():指定場所をクリックする
element_login_btn.click()


#sleep():待ち時間
sleep(3)

#.quit():ブラウザを閉じる
browser.quit()

【Chromeの起動方法】

WindowsでのChrome起動コードです。ここでは、ブラウザを「browser」という変数に代入して使っていきます。これ以降の内容に、変数名と出てきたら、「browser」に代入したブラウザなんだ！と思ってください。

以下はそのコードです。

#WindowsのChrome起動
browser = webdriver.Chrome('chromedriver.exe')

【特定のブラウザを開く方法】

変数名.get('開きたいブラウザのURL')　とすると、そのブラウザを自動的に開けます。今回は、url　という変数にブラウザのURLを代入しています。

以下はそのコードです。

#browser.get():特定のブラウザを開く
url = 'https://scraping-for-beginner.herokuapp.com/login_page'
browser.get(url)

【ログイン方法】

変数名.find_element_by_id('idタグの名前')　とすると、要素をidで指定して見つけることができます。これは、id以外でも可能です。

以下はそのコードです。

#.find_element_by_id():要素をID指定で見つける
element_username = browser.find_element_by_id('username')
element_password = browser.find_element_by_id('password')
element_login_btn = browser.find_element_by_id('login-btn')

#.send_keys():キーの送信
element_username.send_keys('imanishi')
element_password.send_keys('kohei')

#.click():指定場所をクリックする
element_login_btn.click()

【Chromeを閉じる方法】

sleep(秒数)　は、次のコードまで何秒待機するか設定するものです。時間をおいて次のコードを呼んでもらいときに便利です。

変数名.quit()　とすると、変数に代入していたブラウザを自動的に閉じることができます。

以下はこれら2つのコードです。

#sleep():待ち時間
sleep(3)

#.quit():ブラウザを閉じる
browser.quit()

【まとめ】

今回は、スクレイピングを第1歩として、ブラウザの起動からログイン、ブラウザを閉じるまでを学習しました。自分が理解できるように書いたので、もしかしたらとらえ方が間違っているかもしれません。

引き続き学習したことは、こちらに載せていこうかと思います。
「ここ違うよ！」等のご指摘がありましたらお声かけいただけると幸いです。