noteはAWSをやめて、固定IPのサービスを使うべき
みなさんこんにちは、ガノー（Ganohr）です。
今回は、ここ「note」に苦言を呈します。fladdict、よく聞け❗
著者について
私は日本最大手のクラウドソーシングサイトにて、認定ランサーという評価を得ている、SEOライター（※）です。
※ 認定ランサーやSEOライター、著者情報は以下の記事をご参照ください。
運営ブログ
Lancers公開プロフィール
note上のプロフィール
この記事の目次
noteのクローラーであるnotebotの存在
noteは記事内へのリンク埋め込みと、リッチカードを用いたプレビュー表示が可能になっています。
この時に動作するのが「notebot」です。使用されるUser Agentはまんま「notebot」であり、リファラーは送信されません。リファラーはセキュリティ的に不要ですが、設定してくれると便利なので後で言及します。
実際にnotebotが使用したIPを2020年1月のみに限定して抽出したところ、以下のようになっていました。
notebotが実際に使用したIP（Amazon AWS）
3.112.24.236
3.115.18.188
13.113.106.154
13.113.128.242
13.114.222.21
13.231.114.75
13.231.160.207
13.231.181.59
18.182.37.61
18.182.47.197
52.194.232.245
52.197.8.145
52.199.56.60
54.65.81.148
54.199.249.224
54.250.179.57
54.250.183.76
176.32.71.180
このIPアドレスはすべて『Amazon AWS』のIPアドレスであり、ホスト名に「compute.amazonaws.com」が含まれています。
noteは信頼できるサービスだが、notebotは信頼たり得ない
noteは素晴らしいサービスです。
記事執筆で最も手軽でスマートな手段と言っても構わないでしょう。ブログ記事を平均7日に1本しか書いていない私が、1月15日から今まで休まずに書くことができています。
noteでの執筆は超絶楽。
無駄な機能はないし、執筆を阻害されることもない。本当にnoteは素晴らしいサービスです。
しかし、だからといってnotebotは信頼に足る存在にはなりえません。むしろnotebotは、ウェブサイトのアクセスを遮断されて然るべきbotです。
それはなぜかって？
そんなの、Amazon AWSを使っているからに決まっているでしょう。
Amazon AWSはコスパもよく、大規模サービスにも対応できるが、不正アクセスの温床であることも留意すべき
Amazon AWSは、日本を含めた全世界的に支持されています。様々なウェブサービスが展開され、今回言及しているnotebotも構築されています。
しかし、それこそが問題なのです。
Amazon AWSは、利用者が多い反面、不正アクセスの温床であることをご存知でしょうか。
分かりやすく例を上げれば、Amazon AWSからの当サイトへの日々の不正アクセスの試みは、1日あたり500件前後に上ります。これらは「不正なコンテンツのコピーを取得すること」が主目的です。
AWS上に構築したクローラーを介して上位にあるウェブサイトからコンテンツを抜き出し、そのキーワードや内容をブラックハットSEOのためにウェブサイト内部に流用する攻撃が横行しています。
当サイトのコンテンツはSEO平均順位が高いため、数多くのコンテンツが不当にコピーされています。例えば、海外の運営者によるショッピングサイトの商品情報に、当サイトのコンテンツがmeta descriptionやHIDDEN要素へ混入されています。
このような攻撃はホワイトハットSEOを実施している当方へも多大な驚異となります。そのため一時期はAWSを全般的に遮断する対策を行い、当該の攻撃を行っていた全てのショッピングサイトをリンク否認ツールを用いて排除して回避してきました。
されどAWS全体を遮断せずとも、同様の攻撃を行う攻撃者を見抜くWAFをオリジナルで開発しました。そのため、2020年1月よりAWSからのアクセスを解禁しました。
これにより、晴れてnotebotへも一部の情報を解禁で出来るようになりました。
しかし、画像に関しては信頼できるクローラーのみに対して公開するようにしています。notebotは信頼できるクローラーではないため、画像を公開しないようにしています（一部のURLで画像がでないのは、notebotが不審であると認定されたため）。
notebotは検証可能な方法を公開するか、日本の固定IPが割り当てられるレンタルサーバーへ移行すべき
notebotは、「本当にそれがnotebotなのか？」を検証することができません。
なぜなら、notebotは検証されることを一切考慮していないからです。notebotが唯一行うのは、User Agentに「notebot」と設定するだけという手抜き実装だからです。
これでは、notebotを信頼することはできません。
インターネットに詳しければ、User Agentを偽装することはいとも容易いことをご存知でしょう。一時期、有料サイトを不正にアクセスするためにUser AgentをGooglebotに偽装する手法が蔓延しましたよね。
当サイトは以下の情報を公開し、こちらに対しても対策を行ってきました。
同様にBingbotの成りすましも対策しています。
なお、情報は公開していませんがFacebookやLINEのクローラーなどの成りすましも対策しています。
基本的に多くのクローラーが、UAにアクセスを制限したり検証するための情報を設定します。「notebot」のみというのは非常に手抜きであると言わざるを得ず、またそういった手抜き実装は不正アクセスのためのボットに通ずる点であることも考慮すべきでしょう。
例えば同じAWS上に構築されているSlackbotは、ちゃんとUAに検証用の情報が記載されています。
Slackbot-LinkExpanding 1.0 (+https://api.slack.com/robots)
ただし、実際はAWS上で構築されているサービスには、それだけで信頼性が低いと認識しているため、AWS採用者はそのリスクを考慮して運用すべきです。
notebotはUAに検証用のURLを記載すべきであり、そもそもIPアドレスが固定になる日本のレンタルサーバーを用いるべきです。
もしもこのままAWSで運用するならば、「notebotのUAに検証可能な一意キーを仕込み、必要であれば時間とIPと一意キーを元に検証URLへアクセスすれば、成りすましではないことが確認できる」というような実装をしてはどうでしょうか。
これなら、ウェブ運営者が安心してnotebotを信頼できると評価するようになるでしょう。
最後に
せっかく便利で素晴らしいサイトなのに、そのサイトが飼っているボットが不正アクセスの温床のようなAWS上で実装されており、検証可能性にも配慮していないというのはどうかと思います。
せっかく素晴らしいサイトなので、ぜひウェブ運営者が安心して情報を渡せるボットになれば嬉しいと思います。
以上、今日の苦言はこれで終わりです！
よろしければ「いいね」や「ブクマ」、「YouTube」や「Twitte」rのフォローをお願いします✊❗
↓ ↓ ↓ YouTubeチャンネル登録お願いします（っ'-') =͟͟͞͞ ﾌﾞｫﾝ👍 ↓ ↓ ↓
↓ ↓ ↓ Twitterのフォローもお願いします📲_(:3｣∠)_ ↓ ↓ ↓
↓ ↓ ↓ ブログ運営中です🌏 ↓ ↓ ↓
↓ ↓ ↓ SEOライティング他ご依頼受付中です😉 ↓ ↓ ↓
記事を読んでいただき、ありがとうございます。何かの参考になりましたら、ツイッター等でシェアして頂けると嬉しいです！😉 サポートいただけるとモチベアップに繋がります！