- 運営しているクリエイター
#python
【Scrapy初心者】コマンドで簡単なHTML取得を学ぶ
今回は、スパイダーの中身を考えていきたいと思います。
class ScrapyBlogSpiderSpider(scrapy.Spider): name = 'topics' allowed_domains = ['news.yahoo.co.jp'] start_urls = ['https://news.yahoo.co.jp/']
クラス名がへんなので、変更してみた。
その
【Scrapy初心者】最初につまずいたとこ
インストールは簡単にできたのだが、pythonで起動させようとファイルを追加した際にごちゃごちゃになったので、その整理図
Scrapyを起動させるまでは、多数他のブログあるので探してみてください。
https://doc-ja-scrapy.readthedocs.io/ja/latest/intro/tutorial.html
ファイルの関係値crawl.py
from scrapy.cr