マガジンのカバー画像

初心者Scrapy

4
運営しているクリエイター

#Webスクレイピング

【Scrapy初心者】連番収集の仕組み

【Scrapy初心者】連番収集の仕組み

スクレイピングするものは、ページ単体だけでなく、複数ページにまたがるのがほとんどだと思う。今回は、複数ページ、連番をどう収集するか?を考えてみます。

参考:10分で理解する Scrapy

ここに記載されているソースで考えていきます。

import scrapyfrom ten_min_scrapy.items import Postclass ScrapyBlogSpiderSpider(s

もっとみる