見出し画像

Pythonによるスクレイピング③「次へ」があるサイトからデータを全件取得する

*********************************************************************
このチュートリアルは、Pythonによるスクレイピングコースの中に含まれています。全コース5つのチュートリアルが入っています。


〇単品で購入する場合:2980円
〇セットで購入する場合:4980円
〇セットの内容をすべて単品で購入した場合:1万円以上

と非常に安くなっていますので、ゼロから学ぶ場合はセットで購入されたほうが学習が進めやすくお得です。


*********************************************************************

Pythonによるスクレイピング第三弾です。以前のチュートリアルをおさらいしておきます。まず、第一編では、ブログの一ページの記事名、記事URLw自動取得しました。また、第二編では、Google検索の結果から、ページ一つ一つに入り、アフィリエイトコードを抽出するコードを実装しました。

今回の第三編では、あるVtuberのサイトから、データをすべて自動収集する方法を学んでいきたいと思います。

この続きをみるには

この続き: 12,951文字 / 画像7枚
この記事が含まれているマガジンを購入する
以下のコースをまとめた割引プランです。 ・PythonによるWebスクレイピング 基礎編 ¥1,980 ・PythonによるWebスクレイピング 実践編 ¥1,980 ・顔認識アプリ作成チュートリアル ¥2,980 ¥6,940相当のチュートリアルを、セット割で¥4,980で販売します。スクレイピングから顔認識アプリケーションを作ってみたい人におすすめのプランです。 スクレイピングの基礎から、顔認識を利用したLINEアプリ作成までを学べるようになっています。

以下のコースをまとめた割引プランです。 ・PythonによるWebスクレイピング 基礎編 ¥1,980 ・PythonによるWebスクレ…

・プログラミングの学習方法 ・受託案件を取るまでの営業方法 ・SNS、メディアの運用方法 ・ポートフォリオの作成方法 等を学べます。複数のチュートリアルを購入するよりも、こちらのチュートリアルを買っていただいた方がお得です。

プログラミングを学習して、Web案件を受託できるようになるまでのスキルセットをまとめているコースです。

または、記事単体で購入する

Pythonによるスクレイピング③「次へ」があるサイトからデータを全件取得する

Dai

2,980円

この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

note.user.nickname || note.user.urlname

サポートでいただいたお金はFanzaの動画を購入するために利用されます。

うれしいです!ぜひ感想を#DAINOTE とツイッターでお願いします!
25
マーケターです。プログラミング初心者が、自分自身でプロダクトを作れるようになれる技術チュートリアル・試行錯誤した結果などを記事にまとめています。たまにLINE@でもIT系のキャリアについて相談にのっております。 http://bit.ly/2HJsQAU

この記事が入っているマガジン

スクレイピング ~ AIアプリ開発コース
スクレイピング ~ AIアプリ開発コース
  • 8本
  • ¥4,980

以下のコースをまとめた割引プランです。 ・PythonによるWebスクレイピング 基礎編 ¥1,980 ・PythonによるWebスクレイピング 実践編 ¥1,980 ・顔認識アプリ作成チュートリアル ¥2,980 ¥6,940相当のチュートリアルを、セット割で¥4,980で販売します。スクレイピングから顔認識アプリケーションを作ってみたい人におすすめのプランです。

コメント (3)
max_page = 40
for i in range(max_page):
こちらですと、40ページ目が取れないと思います。(1ページ目がダブります)
for i in range(1, max_page + 1):
ではないでしょうか。
HTMLを確認するために
print (soup.prettify())
を実行すると、「403 Forbidden」(閲覧権限が無い)と表示されるのですが解決策をご存じの方おりませんでしょうか。

User-AgentをFirefoxに偽装したのですが、ダメでした。
VTuberの名前をURLを取得する箇所、記載された通りのコードを入力しても
「****************************************」
が数十行並ぶだけでデータがうまく取得できないのですが、原因に心当たりはありますでしょうか?
ご教示頂けると幸いです。
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。