SEOに必要な基礎知識「クローラー」

株式会社ニュークラウドのゆうです。

SEO対策に欠かせないキーワードの一つに「クローラー」というのがあります。認知度はさほど高くないので今回は「クローラー」についてご紹介していきたいと思います。

検索エンジンの仕組みにおいてかなり関係性が深いです。

---

まずクローラーとは？

クローラーとはインターネット上に存在するWebサイトや画像などのあらゆる情報を集める巡回プログラムのロボットみたいなもので、集めた情報をデータベース化し、それを基に検索順位をランク付けします。

這い回るという意味【crawl】から、このように呼ばれています。

Webサイトが検索エンジンの検索結果に表示されるには、クローラーの巡回で認識されることが必要になります。

---

何をしているか？

クローラーは集めた情報を基に作られたデータベースに登録されているWebサイトから、リンク先へ遷移して巡回します。

巡回したらパーシングと呼ばれる解析作業を行います。ページの情報を処理し、検索アルゴリズムが扱いやすいデータに変換、その結果をデータベースに登録します。解析によりリンクを見つけると、そのリンク先に飛び、リンク先のページで収集した情報を解析し登録する、という工程を繰り返します。

何を解析しているかというと

・HTML
・テキストファイル
・CSSファイル
・JavaScriptファイル
・画像
・PDF 
・etc…

これらを収集し結果をデータベースに登録していきます。

解析→データ変換→データ登録→リンクを見つける→情報収集→解析→
これらを繰り返し行っております。

---

クローリングされると？

クローリングはロボットがWebサイトの情報を集めることです。

クローリングされることによって初めて検索エンジンの検索結果に自サイトや次ページが表示されます。検索でサイトにたどり着いてもらうためには、何よりもまずクローリングされることが大事です。

そして何度もクローリングされることによって、検索アルゴリズムに自サイトやページのより正確な最新の情報が解析・評価され、検索結果一覧での表示が上位に反映される。という仕組みになっております。

多くの情報を収集してもらうことが、検索順位の向上につながります。

---

最後に

いかがでしょうか？少しでも「クローラー」を知って頂けると嬉しいです。

補足ですが、クローラーの巡回しやすさのことを「クローラビリティ」といい、クローラーが巡回しやすくすることを「クローラビリティを高める」と言います。

今度はクローラーに検索されやすくするためにはどうすれば良いのか、もっと掘り下げた内容をご提供できればと思います。

株式会社ニュークラウド　ゆう