マガジンのカバー画像

Webスクレイピング(Python)

9
運営しているクリエイター

#python

スクレイピングで全プロ野球選手の画像データを取得する

スクレイピングで全プロ野球選手の画像データを取得する

1.使用言語・ライブラリ・環境言語:Python3.9.10
標準ライブラリ:time
外部ライブラリ:BeautifulSoup4.10.0・requests2.27.1・selenium4.1.0
端末:mac book air (macOS Monterey 12.3)
エディタ:Visual Studio Code

2.抽出方法を考える(1) NPB(日本野球機構)の選手一覧から画像を

もっとみる
Webスクレイピングでlifehackerの新着記事を取得する

Webスクレイピングでlifehackerの新着記事を取得する

1.使用言語・ライブラリ・環境言語:Python3.9.10
標準ライブラリ:re
外部ライブラリ:BeautifulSoup・requests
端末:mac book air (macOS Monterey 12.3)
エディタ:Visual Studio Code

Google Colaboratoryなら、初めからBeautifulSoupもrequestsも利用可能。環境構築も不要です

もっとみる
Pythonを使ってお気に入りサイトのRSSを取得する➁ 対象を絞る

Pythonを使ってお気に入りサイトのRSSを取得する➁ 対象を絞る

前回、PythonでRSSを取得する方法を記載しましたが、今日は取得したRSSから欲しい記事だけを選別する方法を書いていきます。

1. 今回の目的(情報の選別・効率化)RSSリーダーアプリって便利ですよね。

Feedlyや、Inoreader(僕はこれを使っています),feederなど。
ただ、登録したサイトの新着記事がずらーっと並ぶので、結構欲しい記事を探して読むのが面倒というのが実態。

もっとみる
Pythonを使ってお気に入りサイトのRSSを取得する①

Pythonを使ってお気に入りサイトのRSSを取得する①

Webサイトには、新着情報を配信するRSSという仕組みを利用しているところがあります。

これをPythonを使って、取得するということを今日は書いていきます。
なお、ここに正規表現や、ファイル書き込み、更にバッチファイル等と組み合わせれば自動的に新着情報を取得するということも可能です。

RSSリーダーを使っているけど、興味がない記事もわんさか表示されてしまう・・・という私自身の悩みを解決するた

もっとみる
PythonでWebスクレイピング(その➀)~まずはWebから抽出してみる

PythonでWebスクレイピング(その➀)~まずはWebから抽出してみる

正直、基礎をひたすらやってもつまらないです。笑
一番いいのは、何かを作ってみて、「ここどうなってるんだろ?」というところを自分なりに調べて理解し、メモっておく。
そして、また何かに取り組む。
この繰り返しです。

1.Pythonでスクレイピングをしてみよう今日は、比較的簡単だと思うスクレイピングをやりながら、簡単に何をやっているかを説明。そして、後日基本となる部分を掘り下げる記事を追加していこう

もっとみる