「検出 – インデックス未登録」の解決法をGoogle社員が解説！まとめてみました【SEO】
【追記】こちらの記事の最新版はこちらです↓
「検出 インデックス未登録」の解決法をGoogle社員が解説！インデックスに悩む人は必見
Search Consoleで「検出 – インデックス未登録」という表示が出ることがあります。
グーグルはヘルプページで、それが「サーバーの過負荷」に関連しているかもしれないと書いています...
しかし、グーグルのジョンミューラーはこれからご紹介する動画セッションで、全く別の問題であると回答しています。
（Googleのヘルプサイトと担当者の発言が違うというのはかなり厄介ですが、仕方ありません）
この記事では、担当者のミューラー氏の発言をまとめます。
Google担当者が説く３つの解決法
とっても長い回答なので、まず結論から伝えると、
ミューラー氏が考える解決策は、3つ。
1. （意図せずに）自動生成しているたくさんのURLを修正する
2. 不適切な内部リンク構造を修正する
3. サイト全体をより強力にするためにページ数を減らす
のどれかで解決できると言っています。
以下、Google担当者の回答全文（一部編集）
(動画の開始11分ごろから解説がはじまります)
一般論として、 Search Consoleでは、Googleが把握しているWebページの99％が「検出されたが現在はインデックスされていません」で除外されています。
具体的にどういう状況かというと、サイトマップや内部リンクを通して一応は検出している（＝Googleは、そのページの存在を知っている）ということを意味しますが、
Googleは、少なくとも現時点では、そのページをクロールするほどの価値がないと判断しているということです。
ページ数が多いWebサイトの場合、よく起きます。
それは、単純に内部リンクがシンプルでない場合や、コンテンツの問題、自動生成ページのみの場合、単にデータベースをオンラインにしただけの場合が当てはまります。
対象のサイトを見て、多くのコンテンツがあると認識していても、Googleは「ほとんどが同程度の価値のページなのでインデックスする必要はない」と判断してしまうのです。
Googleがオススメの３つの解決策
それでは、あなたのサイトの99%がインデックスされない場合の対策を紹介しましょう。
１．URL生成に、技術的問題があるかも →あれば修正しよう
まず最初に、URL生成における技術的な問題があるかもしれません。これをいくつか見てみましょう。
- あなたが誤って様々なパターンのURLを生成していませんか？
- 「微妙に違うけど、非常によく似ている」ようなページがたくさんあったりしませんか？
たとえば、URLに含まれているパラメータのように大文字、小文字、これらすべてが重複したコンテンツにつながる可能性があります。
また、これらの重複URLを多数発見した場合は、このページの一部のバリエーションが既にあるため、実際にはこれらすべての重複をクロールする必要はないと思われるかもしれません。
これが最初にチェックしたいことです。つまり、「重複とみなされるページが無いか？」チェックすべきということです。
２．内部リンクに問題があるかも →Screaming Frogを使ってみよう
それから私がここでする次のステップは、内部リンクが全ての（インデックスさせたい）ページをつなげているかチェックすることです。
つまり、Googleがあなたのウェブサイト上のページの全てをリンクを通して動き回ることができて、そして最後（末端）のページまでいけるか。
Screaming Frog、DeepCrawlなどのようなクローラーツールを使って、これを大まかにテストできます。
これらのツールは優れています。
そしてクローラーツールが「あなたがインデックスさせたい全URL」を見つけられれば、OKでしょう。
３．ページの品質が低いかも →ページ数を減らす、品質を高める
ツールを使って、そのクロールがうまくいくならば、次はこれらのページの品質に注目しましょう。
たとえば、あなたが2000万ページについて話していて、それらの99％がインデックスされていない状態。あなたのウェブサイトのほんのごく一部だけがインデックスされている状態の場合。
そんなときには、ページを現在の50%や10%に減らしてみてください。
たとえば、もともと2000万ページあったものを100万ページに減らすと、Googleが100万ページを見て、「これには価値がある、もっとクロールしよう」と思うかもしれないということ。
ただページを減らすのも良いですが、複数のページを１つのURLにしてコンテンツを結合するもの良いでしょう。
これらが、３つの問題と解決策です。
まとめ
これまでの話をまとめます。
以下の3つに注意してください。
１．誤って多くのURLを生成していないことを確認してください。
２．内部リンクが正しく機能していることを確認してください。
３．ページ数を減らし、コンテンツを結合してコンテンツをより強力にすることを試みてください
（翻訳は、以上です。）
筆者の個人的見解（外部からの被リンクについて）
私はこの解説動画を見ていて発見がありました。
「たくさんページはあるが、その全てがそこそこの価値のコンテンツ」
よりも、
「少ないページ数だが、その全てが高い価値のあるコンテンツ」
のほうがインデックスには強いということでした。
たしかに、この傾向は僕の個人的経験を元にも感じます。
ただ、もちろん記事系・ブログ系のサイトなら、この対策は簡単ですし、むしろ必要ないでしょう。
しかし、エリア名などでロングテールを取らなければいけない大規模サイトについては、対策方法が難しく、上記のジョンミューラー氏の言うようなことをやるべきです。
ただ、私はもう1つの解決策があると考えています。
そして恐らくもっとも有効なもの。それは外部からの「被リンク」でしょう。コンテンツに本当に高い価値があって、それをGoogleが認識してくれないのであれば、もうあとは被リンクをやるしかないのではないでしょうか。もちろんサイテーションも効くでしょう。
なぜなら、リンクやサイテーション（言及）があれば、「クロールする価値があるかも」と判断してくれる可能性は高いと考えられるからです。
大規模サイトの運営者は特に、外に出ていってサイトの認知度を上げたり、SNSでバズったりすることも、1つの有効な施策であると認識しましょう。