クローラーのさじ加減!?作った記事がインデックス未登録、その原因と対処法をわかりやすく解説!

この記事にたどり着いた方は、いま新規記事がインデックスされていなくてお困りなのではないでしょうか

インデックスがされていなければ、検索結果にそもそも表示すらされません。SEO施策のスタートラインに立てていない状態ともいえます。

そんな状況はなぜ起こったのか、そしてどう対処をすればいいのか。今回はそんな内容にフォーカスして、ご説明していきたいと思います。

▼クローラーの概要についてはこちら▼

あわせて読みたい
クローラーの仕組みを理解して、SEOに強いサイトを作ろう! クローラーとはWebを巡回するロボットのことで、あなたのサイトの情報を検索エンジンに届け、評価してもらう重要な役割を担っています。そこで今回はSEO初心者の方に向けて、クローラーの基本的な仕組みから、SEO対策に役立つクローラーとの付き合い方まで、わかりやすく解説します!
目次

この記事を書いた人

川上サトシ。Webマーケター合同会社ぎあはーと代表。
東京学芸大学卒業後、ヴァイオリニストとして活動していた20代の頃、Webマーケティングの重要性を痛感。ネットオークション専門店やWeb広告会社を経て、Webコンサル会社のマーケティング担当として地域密着型引っ越し会社のサイトをSEO施策により【半年で1万PVから20万PVまで成長させる】、上場アパレル企業の【売上を1年で3倍にする】など数多くの実績を残して独立。専門はSEOと広告運用ルリニコクのヴァイオリニストとしても活動している。

あわせて読みたい
SEOの解体新書!押さえるべき9つのポイントなどを専門家が徹底解説! 「SEO」という言葉は世間一般的なものになりつつあります。しかし、それを意図的に出来ている会社は少ないように見受けられます。なぜならば、SEOには専門技術が必要だからです。そこで今回は、正しいSEOの認識から押さえるべきポイント、キーワード選定や記事の制作の流れについて、できるだけ詳しく解説をさせていただきます。

インデックスとは?

インデックスとは、Webページが検索エンジンのデータベースに登録されることを意味します。これをされないと、どんなに質の高いコンテンツでも検索結果に表示されません

クローラーというロボットがWebページを巡回し、その内容を分析してデータベースに登録します。彼のお仕事は、ずばり「質の高いページをインデックスしていくこと」です。

クローラーはリンクをたどってWebの世界を常に移動しています。クローラーに見つけてもらって、Googleのデータベースにインデックスされることで、初めてWebサイトが検索結果に表示されることとなるのです。

SEO施策におけるスタートラインといっても過言ではありません。

インデックスされていないときの表示は2パターン

SEO施策におけるスタートラインであるインデックスですが、それがされていない場合はGoogleサーチコンソール上で「検出-インデックス未登録」もしくは「クロール済み-インデックス未登録」という表示になります。

検出-インデックス未登録

「検出 – インデックス未登録」とは、Googleのクローラーがページを検出したがクロールされていない状態を指します。

たとえるなら「こういうサイトがあるよ!」と言われた状態にもかかわらず、「あとで行こうかな…」といった感じでクローラーが後回しにしています

クロール済み-インデックス未登録

「クロール済み – インデックス未登録」は、Googleがページをクロールしたものの、インデックス登録していない状態を指します。

こちらの場合は新しい場所にクローラーが実際に訪れたものの、そこで見聞きした情報を上司に報告していない状態といえます。

これは正直、かなり厄介な状態です。

あわせて読みたい
【無駄を省いて解説】クロール済み-インデックス未登録となった記事の原因と対処法を専門家がわかりやす... せっかく作った記事が検索結果に表示されないのは残念ですよね…。今回は「クロール済み-インデックス未登録」の状態について、専門家の視点から詳しく解説し、原因と具体的な対処方法をお伝えします。

検出-インデックス未登録の原因

この状態になるのは、サイトへの負荷が大きい場合クロール優先度が低い場合ドメインパワーが低い場合です。

ちょっとクローラーに意思をもたせて考えてみましょう。

サイトへの負荷が大きい場合

クローラーはロボットです。自分がサイトを訪れたことでそのサイトのシステム負荷が大きくなり、エラーなどを起こしてしまうと、クローラーはやはり責任を感じてしまいます。

よって、その可能性があると判断した場合はクローラーは訪問を延期してしまうのです。

ただしこの場合、いちおう「中止」ではなく「延期」となります。形としてはリスケジュールして、また後日に訪れようと考えています。

ただしクローラーも忙しいので、その予定日は表示されません。いつまたサイトを訪れる計画を立ててくれるかはわからないのです。

クロール優先度が低い場合

クローラーはとても忙しい身なので、調査する場所に優先順位をつけて回っています内部リンクが全く貼られていないサイトの場合、クロール優先度は低くなってしまうことが多いです。

「調査してきて」と言われた場所が孤島だった場合、クローラーは「いま訪れる意味があるのかな?」と勝手に思ってしまうからです。

サイトの深い階層にあるページアクセスがほぼないサイトドメインパワーの低いページの場合も同様に、優先度は低くなってしまいます。

クローラーは質の高いページをインデックスすることがお仕事なので、成果の上がらなそうな場所に訪れるのは嫌なのです。

あわせて読みたい
ドメインパワーゼロの恐怖!体験談多めでドメインパワーについて専門家が徹底解説! ドメインパワー(Domain Authority)とは、Webサイトの信頼度を示す0〜100の数値です。今回はSEOにおいて非常に大切とされているこの指標について、専門家が実体験を踏まえながら徹底解説させていただきます。
あわせて読みたい
【ブックマーク推奨】ドメインパワーを無料でチェックしよう! ドメインパワー(Domain Authority)はSEO施策をおこなうときに重要な指標のひとつです。 今回はそんなドメインパワーについて、無料でチェックする方法をご紹介させていただきます!

検出-インデックス未登録の対処

この状態の場合、以下のどれかで解決することが多いです。

・ページ表示速度やサーバーの負荷をチェック。
・サイトの階層を見直して、複雑な構造にならないように調整。
・ページのなかに内部リンクを貼る。
・インデックスされている他ページに対象ページのリンクを貼る。
・サイトマップをチェックし、再送信する。

【上記のチェックが終わったら】
・サーチコンソールからクローラーにインデックス登録をリクエストする。

クローラーはサーチコンソール上からインデックス登録をリクエストすることで、また訪問をしてくれるようになります。

またサイトマップというのはサイトの地図のようなもので、構造の全体像がわかりやすくまとめられたものです。

.xmlという拡張子でできていて、WordpressならばAll One SEOなどのプラグインで自動作成することができます。

もしまだ登録されていないようであれば、それをGoogleサーチコンソールで入力すれば、以降は自動で毎日チェックして確認してくれるようになります。

上記画像の「サイトマップURLを入力」という部分にサイトマップのURLを貼ればOKです。

これらすべてを試してもダメならば、ページ自体の品質を見直す必要があるかもしれません。

クロール済み-インデックス未登録の原因

考えられる原因をまとめると、以下の通りです。

・記事の品質が低い。
・noindexタグが設定されてしまっている。
・URLの誤差により重複したページがあると認識されている。
・クローラーのミス

noindexタグとは、「この記事をインデックスしないで!」とクローラーに命令するタグのことです。

主に記事をリスティング広告に出稿する際に設定することが多いです。通常のSEO施策目的で制作する記事に誤ってこれがついていると、インデックスしてもらえません。

noindexタグが設定されていないか、まずは見直してみましょう。

さて、そこを確認したうえで問題なかった場合…「クロール済み-インデックス未登録」の状態は正直、かなり厄介です。

クローラーが訪問した上で、その内容を上司に報告していないという状態。それは言い換えれば、クローラーが「報告するまでもないページ」だと判断しているからです。

そもそもコンテンツとしてのページではないURLの誤差で同じページを訪問してしまっている(重複したページと思われている)、複数ページで構成された記事の2ページ目以降という場合にもこの状態になりますが、それは気にする必要がありません

ただ通常のコンテンツとしてのページでこの状態になっているときは、ページの品質が低すぎるとクローラーに判断されていることが多いです。

たとえば外部サイトからのコピペと判断されていたり、サイトのテーマと関連性がないと判断されたページは低品質とみなされます。

実際に品質に心当たりがあるのであれば、リライトすることで改善することもできます。しかし、改善されないこともあります

私が個人的に運営していたサイトでも、どんなにリライトや構成の調整をしてもインデックスしてもらえない記事がありました。

心当たりがない場合は、もうリライトで色々と試してみるしかありません。そこに労力をかけるよりも、諦めて新しい記事に取り組むほうがいいかもしれません。
また、クローラーのミスによってこの状態になってしまっていることもあり得ます。運用開始して間もないサイトドメインパワーが低いサイトの場合、また内部リンクが少ないページなどはこのようなミスが起こりやすいです。私の過去の経験でも、「クロール済み-インデックス未登録」の状態になった10記事のうち半分はミスだったことがあります。その場合は、時間が経てば解消されるでしょう

クロール済み-インデックス未登録の対処

記事コンテンツがこのような状態になってしまった場合、具体的な改善策としてはやはりページコンテンツのリライトしかありません。

誤字・脱字のチェック読みやすさの向上関連する情報や画像の追加記事の構成をより読者にとってわかりやすいものにする、などの修正を繰り返しましょう。

内部リンクを増やすことで、そのページがサイトのテーマと関係性が高いことをアピールできるかもしれません。

「検出-インデックス未登録」の際にご説明した解決方法を試してみることもオススメです。

要はコンテンツの品質向上と構造の最適化を行い、クローラーがページを適切に評価できるようにすることが、「クロール済み – インデックス未登録」の解決に繋がります。

あわせて読みたい
【無駄を省いて解説】クロール済み-インデックス未登録となった記事の原因と対処法を専門家がわかりやす... せっかく作った記事が検索結果に表示されないのは残念ですよね…。今回は「クロール済み-インデックス未登録」の状態について、専門家の視点から詳しく解説し、原因と具体的な対処方法をお伝えします。

【体験談】インデックスされなかった記事

どのように対策をしても、結局はGoogleが運用しているクローラーの匙加減であることは念頭に置いておいた方がいいです。

構成の変更で大部分がインデックスされた

子連れのお出かけをテーマにしたブログで、ドメインパワーが0のときに更新した30記事のうち、ほとんどが「検出-インデックス未登録」になっていました。

そのサイトはそのまま放置していたのですが、半年ほど経ってそのうち半数ほどがインデックス登録されることになり、アクセスも上がってきたのでまた運用を始めることにしました。

運用を再開すると、おのずと記事コンテンツでの「検出-インデックス未登録」はなくなりました。しかし、その代わりに「クロール済み-インデックス未登録」が10記事ほどあらわれたのです。

時間経過の影響でドメインパワーが5になり、さらにその後運用を再開したことでクローラーが訪問の優先度を改め、該当ページを訪問してくれたわけです。しかしそのうち10記事については、クローラーの判断でインデックスはされませんでした。

それからさらに半年ほど経ったころ、その10記事のうち半分はインデックス登録済みの状態になっていました。これはおそらく、クローラーのミスによるものだったのでしょう。

そして私は残った5記事のリライトにとりかかりました。観光地や飲食店へのお出かけに関する体験記事でしたが、施設内容を記事前半にまとめたり情報を追加したり記事の軸を整えたりと、読者にとってわかりやすく編集しなおしたのです。

結果、5記事のうち3記事はインデックス登録されるに至りました。しかし、残った2記事に関してはどうしても「クロール済み-インデックス未登録」のままでした。

何をしてもインデックスされない記事もある

このように、何をしてもインデックスしてもらえない記事というのは出てきます。もはやその記事にこだわるよりも、新しい記事に着手したほうが生産的だと思います。

ただ、読者にとってなにが有益か書いた記事は本当に有益なものだったのかサイトの軸とは関係性が本当にあるのか、などを再確認することもまた大切なことだったと思います。

「クロール済み-インデックス未登録」となってしまった記事を最初から完全に切り捨てるのではなく、どこまで対応するかの線引きを決めて一度見直してみることも必要です。

まとめ

今回は制作した記事がインデックスされない現象について、その原因や対策を解説させていただきました。

インデックスがされていない状態には「検出 – インデックス未登録」、「クロール済み – インデックス未登録」の2パターンがあり、前者は構造的な改善で解決することが多く、後者は内容のリライトで解決させるということがわかったかと思います。

とくに「クロール済み – インデックス未登録」はSEO業者のあいだでも厄介な現象として知られています。どこまでも対応した方がいい、と考える人もいれば、最初からすべて切り捨てた方がいいという人もいます。

私の場合は、その中間です。一度内容を見直すことは、新規記事の制作に関しても活きることだと思うからです。

また、せっかく制作した質の高い記事は多くの方に読まれるべきです。

インデックスがされていなくてお悩みの方は、まずその状態を確かめて、少しずつでも対処をしてみることをオススメします!

サイト改善をお考えなら、「AI×知見」のぎあはーとへ!

合同会社ぎあはーとは「AI×プロの知見」で強いSEO戦略を安く、早くお届けする化け物です。

・改善施策半年で月間1万PVから20万PVへ引き上げ

・サイトコンバージョン数、昨対比700%

こんな実績を持つSEOおよびWebマーケティングのプロが、最新のAIスキルを使って強い施策を素早く回転させます。

そんな当社は本当にお困りの方のみを対象として、戦略から記事投入、結果分析までをワンストップで1ヶ月99,800円から受けつけております。また、コンサルタント業務もお受けしております。

まずは面談による無料のサイト診断ができますので、ぜひお気軽にご相談ください!

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメント一覧 (5件)

コメントする

目次