Fess 用に note の記事一覧ページを作った

僕は自分の過去に書いた文章を参照することがよくある。そういうとき Fess が便利だ。Fess は自分で立てる検索サーバーであり、複数のサイトを検索対象とすれば横断検索ができる。

オープンソース全文検索サーバー Fess
https://fess.codelibs.org/ja/

ただし Fess は、検索対象とするサイトによってはクローリングの設定に苦労したり、場合によってはうまくクローリングができないことがある。

note もその部類のサイトであり、個別アカウントのトップページは検索できても、過去記事すべての検索はうまくできなかった。

もともと note が不便なのは、検索機能はあってもアカウントごとの検索ができないこと。アカウント名を検索語に含めればいいけど、やっぱり手間だ。

note の過去記事はこれまで個別の URL 一覧を Fess に直接入力し、最新記事、すなわちアカウントトップページに表示される 20 程度の記事だけを随時 Fess でクローリングさせていた。これなら一応 note の過去記事すべてを Fess で検索できる。

その際 Fess に個別 URL を登録するには 100 記事ずつに分割しないとうまくいかない。滅多にやる作業ではないとはいえ、何百と記事があると大変だ。

でももっとスマートに過去記事を一括登録する方法を思い付いた。

過去記事の URL 一覧をまとめたページを note に投稿すればいい。そうすれば何百と記事があっても、Fess にそのページだけをクローリングさせればいい。あとは前述のとおり追加されていく投稿は随時定期的にクローリングする。

記事一覧ページを公開することで他の人の役に立つこともあるだろう。

「クローリング」と「スクレイピング」 (I/O BOOKS)