お手製のRubyクローラー@Mac
課題:SEOのために、自分とこのサイトの情報と、競合サイトの情報を知りたい。
何年か前に対応した時は、SEOspiderを使ったのだけど、いつの間にか有料ツールになってて、お値段が£149(2万円オーバー)する。しかも年間使用料で。
https://www.screamingfrog.co.uk/seo-spider/
やりたいことは「サイト内の全ページのURLとTitle,Description,H1をリストにして出力」なので、いまどきの開発言語ならそんなに難しくなかろ