見出し画像

汎化のための標準化ポエム

bash で汎化したりモジュール化したりしながら、web をクローリングするアプリを作ってるんだけれども。汎化すればするほど、標準化された技術があるって素晴らしいなと思う今日このごろ。

Web サービスをクローリングして、データを取得する流れは。

  1. 該当する URL から web コンテンツや JSON を取得する

  2. html や JSON をパースして必要な情報を取得する

  3. その情報をダウンロードしたり、ローカルに保管する

だけです。ここで Web サービスの場合、OAuth で認可された情報を取得するケースが多いのです。アクセストークンを取得さえしてしまえば、あとは定期的にリフレッシュするだけです。一度取得したら、特にリフレッシュすらしないケースもあるでしょう。このへんは、OAuth のフローによっていくつかのパターンに凝集されています。

また、ここにはないケースで、Json Web Token などの認証済みトークンを利用して、認可させるようなケースもあるでしょう。

種類はいくつかあるものの、方法は共通化されています。ありがたい。汎化したり、共通化した昨日を開発するにあたって、こういった標準化された(こんなにあるんだと標準化されたとは言い難いけど)フローがあると大変に便利です。ありがたい。

困ったことに、まれに、ここからちょっとずれているようなケースもあったりして泣けてくることもあります。ホント、落ちぶれてほしい。

というわけで、日々 bash script のリファクタリングとか、珍しいことしながら生きてます

貴方がサポートしてくれると、私が幸せ。 私が幸せになると、貴方も幸せ。 新しいガジェット・ソフトウェアのレビューに、貴方の力が必要です。