見出し画像

48【学びシェア】Python初心者必見！Scrapyで始める簡単Webスクレイピングのオススメの学び方

友季子@Python学習中

こんにちは！TechCommitメンバーの友季子です♬
今回は、Pythonの人気ライブラリScrapyについてまとめてみます。特にPythonを学ばれている方や、これからWebスクレイピングに挑戦したい方にお役に立てればと思い執筆しました。ぜひ、Scrapyを通じてWebからデータを効率的に収集する楽しさを感じてみてください。


0. 前提

Scrapyを学ぶ前に、いくつか前提知識があるとスムーズに進められます。

  • Pythonの基礎（Pythonのインストール、パッケージの管理）

  • HTMLとCSSの基礎（Webページの構造を理解するため）

  • コマンドラインの操作（ターミナルやコマンドプロンプトの使い方）

これらを理解していると、Scrapyのチュートリアルをより楽しく学べます！

1. Scrapyって何？

Scrapyは、Pythonで作られた強力なWebスクレイピングフレームワークです。データを収集したいWebサイトにアクセスし、ページ内の情報を効率的に取得・保存できます。

Scrapyは単純なスクレイピングにとどまらず、クローラーのようにWebページを次々と探索し、大量のデータを集めることも可能です。そのため、データサイエンスやSEOリサーチなど、さまざまな分野で活用されています。

2. Scrapyの学び方

Scrapyを学ぶためには、公式ドキュメントやチュートリアルを活用するのが一番の近道です。特に公式サイトには、ステップバイステップで進めるチュートリアルが用意されているので、これに沿って進めるだけで基本を習得できます。

学び方のポイント：

  • 公式チュートリアルを実践する：実際にコードを書きながら学ぶことで、理解が深まります。

  • わからない点はドキュメントを確認：Scrapyのドキュメントは非常に充実しているので、迷ったらすぐに確認することができます。

  • 小さなプロジェクトに挑戦：学んだことを応用して、独自のスクレイピングプロジェクトを作ってみましょう。

3. Scrapyの公式ドキュメント

Scrapyの公式ドキュメントは、Scrapyを使う上で欠かせないリソースです。公式サイトには、初めて使う人向けに丁寧に説明されたチュートリアルがあります。

公式チュートリアルのリンクはこちら：
Scrapy公式チュートリアル

「このチュートリアルでは、次に紹介する「スクレイピングするためのサイト」を題材にしていますので、まずは公式チュートリアルを参考にしながら進めるのが推奨」と、尊敬する方に教えていただきました。

4. "quotes.toscrape" の通り「スクレイピングするためのサイト」

Scrapyの公式チュートリアルでは、quotes.toscrape.comというサイトを題材にスクレイピングを行います。このサイトは「スクレイピングするための練習サイト」として作られており、名言とその著者が掲載されています。

4.1 チュートリアル概要

公式チュートリアルでは、このサイトにアクセスし、以下のデータをスクレイピングします。

  • 名言（テキスト）

  • 著者

  • タグ（カテゴリ）

サイト自体がシンプルな構造になっているため、初めてのスクレイピングには最適です。まずはこのサイトを使って、基本的なスクレイピングの手順に慣れることが目標となります。

4.2 実際にスクレイピングしてみよう

以下のコマンドでプロジェクトを作成し、スパイダー（クローラー）を作成します。

scrapy startproject quotesbot

次に、スパイダーを作成し、対象サイトの情報を取得する準備をします。

import scrapy

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ['http://quotes.toscrape.com/']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span small::text').get(),
                'tags': quote.css('div.tags a.tag::text').getall(),
            }

このスパイダーは、http://quotes.toscrape.com/ の各ページから名言、著者、タグを抽出します。ターミナルでスパイダーを実行すると、収集したデータが出力されます。

scrapy crawl quotes

これで基本的なスクレイピングは完了です！

5. 参考文献

Scrapyについてもっと学びたい方は、公式ドキュメントや他の学習リソースもご参照ください。

6. おわりに

今回は、Pythonを使ったスクレイピングフレームワーク「Scrapy」の基本を紹介しました。Scrapyは強力なツールで、生産性の高いデータ収集ができるようになると思います。
もし、この記事が皆さんの学習に少しでも参考になれば幸いです。引き続き、楽しくPythonとWebスクレイピングを学んでいきましょう！
Happy Coding！

この記事が気に入ったらサポートをしてみませんか？