「検出 - インデックス未登録」の解決策をGoogle担当者が解説!

Search Consoleで「検出 – インデックス未登録」という表示が出ることがあります。

グーグルはヘルプページで、それが「サーバーの過負荷」に関連しているかもしれないと書いています。

しかし、グーグルのジョンミューラーはこれからご紹介する動画セッションで、全く別の問題であると回答しています。

Googleのヘルプサイトと担当者の発言が違うというのはかなり厄介ですが、仕方ありません)

 

この記事では、担当者のミューラー氏の発言をまとめます。

 

Google担当者が解説する3つのポイント

 

とっても長い回答なので、まず結論から伝えると、

ミューラー氏が考える解決策は、3つ。

  1. (意図せずに)自動生成しているたくさんのURLを修正する
  2. 不適切な内部リンク構造を修正する
  3. サイト全体をより強力にするためにページ数を減らす

についてのどれかだと言っています。

 

以下、Google担当者の回答全文(一部編集)

一般論として、 Search Consoleでは、Googleが把握しているWebページの99%が「検出されたが現在はインデックスされていません」で除外されています。

具体的にどういう状況かというと、サイトマップや内部リンクを通して一応は検出している(=Googleは、そのページの存在を知っている)ということを意味しますが、

Googleは、少なくとも現時点では、そのページをクロールするほどの価値がないと判断しているということです。

多数のページがあるWebサイトを見ているときは特にそういうことが起きます。

それは、単純に内部リンクがシンプルでない場合や、コンテンツの問題、自動生成ページのみの場合、単にデータベースをオンラインにしただけの場合なんかが当てはまります。

それを見て、多くのコンテンツがあると認識していても、Googleは「ほとんどが同じ価値のページなのでインデックスする必要はない」と判断してしまうのです。

 

おすすめの3つの解決策

それでは、あなたのサイトの99%がインデックスされない場合の対策を紹介しましょう。

1.URL生成に、技術的問題があるかも →あれば修正しよう

まず最初に、技術的なことをいくつか見てみましょう。

特に、あなたが誤って異なるURLパターンの種類のURLを生成していませんか?

「非常によく似ているが、微妙に違う」というようなページがたくさんあったりしませんか?

たとえば、URLに含まれているパラメータのように大文字、小文字、これらすべてが基本的に重複したコンテンツにつながる可能性があります。

また、これらの重複URLを多数発見した場合は、このページの一部のバリエーションが既にあるため、実際にはこれらすべての重複をクロールする必要はないと思われるかもしれません。

これが最初にチェックしたいことです。

2.内部リンクに問題があるかも →Screaming Frogを使ってみよう

それから私がここでする次のステップは、内部リンクからすべてが実際に問題ないことを確認することです。

Googleがあなたのウェブサイト上のページの全てをリンクを通して動き回ることができて、そして最後(末端)のページまでいけるもの。

Screaming Frog、DeepCrawlなどのようなクローラーツールを使って、これを大まかにテストできます。

それらは現在そこにあるこれらのツールの束です、そして大部分のために私は彼らが本当に素晴らしい仕事をしていると思います。

そしてクローラーツールがクロールによって全てのインデックスさせたいURLを見つけられれば、OKでしょう。

3.ページの品質が低いかも →ページ数を減らす

ツールを使って、そのクロールがうまくいくならば、次はこれらのページの品質に強くフォーカスします。

たとえば、あなたが2000万ページについて話していて、それらの99%がインデックスされていない状態。あなたのウェブサイトのほんのごく一部だけがインデックスされている状態の場合。

そんなときには、ページを50%や10%に減らしてみてください。

たとえば、もともと2000万ページあったものを100万ページに減らしすと、Googleが100万ページを見て、「これには価値がある、もっとクロールしよう」と思うかもしれないということ。

これらが、3つの問題と解決策です。

 

これまでの話をまとめます。

以下の3つに注意してください。

1.誤って多くのURLを生成していないことを確認してください。

2.内部リンクが正しく機能していることを確認してください。

3.ページ数を減らし、コンテンツを結合してコンテンツをより強力にすることを試みます。

 

筆者の個人的見解(外部からの被リンクについて)

翻訳は、以上です。

僕はこの動画を見ていて、すごく思ったのは

「たくさんページはあるが、全部がそこそこ価値のコンテンツ」よりも、

「少ないページ数だが、全部が高い価値のあるコンテンツ」

のほうがインデックスには強いということでした。

たしかに、この傾向は僕の個人的経験を元にも感じます。

ただ、もちろん記事系・ブログ系のサイトなら、この対策は簡単ですし、むしろ必要ないでしょう。

しかし、エリア名などでロングテールを取らなければいけない大規模サイトについては、対策方法が難しく、上記のジョンミューラー氏の言うようなことをやるべきです。

ただ、私はもう1つの解決策があると考えています。

そして恐らくもっとも有効なもの。それは外部からの「被リンク」でしょう。コンテンツに本当に高い価値があって、それをGoogleが認識してくれないのであれば、もうあとは被リンクをやるしかないのではないでしょうか。もちろんサイテーションも効くでしょう。

なぜなら、リンクやサイテーション(言及)があれば、「クロールする価値があるかも」と判断してくれる可能性は高いと考えられるからです。

 

大規模サイトの運営者は特に、外に出ていってサイトの認知度を上げたり、SNSでバズったりすることも、1つの有効な施策であると認識しましょう。