← 戻る 雨に濡れたロンドンのオフィス窓、夕暮れ時の机の上の手書きノートと冷めたお茶、映画的な編集調のムード

クロール済みだがインデックス未登録:修正方法

2021年のことですが、マンチェスターの地元法律事務所がSeahawkに相談に来ました。ブログがSearch Consoleで4ヶ月間ずっと停止していたのです。投稿は43件。インデックス登録はゼロ。すべてのページが「クロール済み、現在インデックス未登録」と表示されていました。前の代理店は肩をすくめて、Googleが「単に時間がかかっているだけ」だと彼らに言っていました。午後にサイトを調べて、90分以内に根本原因を特定しました。コンテンツが薄い、専門分野ページ全体でメタディスクリプションが重複してブログのクロール予算を圧迫している、Yoastのサイトマップが誤設定でノーインデックスのカテゴリアーカイブを指している。これら3つが問題でした。

「クロール済み、現在インデックス未登録」というフレーズは、Google Search Consoleが表示できる最も苛立たしいステータスの1つです。Googleがページを見つけた。リソースを使ってダウンロードした。そしてそこに何があるかを見て、価値がないと判断したということです。Googleがこの判断を下す理由を理解し、12,000以上のサイト全体で体系的に修正することは、私が非常に上達する必要があった分野です。

---

「クロール済み、現在インデックス未登録」の実際の意味

このステータスはGoogleがまだインデックス登録に至っていないという誤解が一般的です。それは意味が違います。GoogleはURLをクロールしました。インデックスに含めないという意図的な選択をしたのです。これはまったく異なる問題であり、異なる対応が必要です。

大きく分けると2つの原因があります。品質シグナルと技術シグナルです。品質シグナル:Googleがページがユーザーに十分な価値をもたらさないと判断している。技術シグナル:あなたのセットアップの何かがGooglebotを混乱させているか、あなたの意図と矛盾している。どちらも修正可能です。どちらも自動的には解決しません。

Googleがクロールからインデックスへのパイプラインがどのように機能するかを理解したい場合は、Google自身のドキュメント「Google検索の仕組み」を読む価値があります。退屈ですが有用です。

---

ステップ1:Search Consoleで全体像を把握する

推測しないでください。Google Search Consoleを開いて「ページ」(旧:カバレッジ)に移動します。「クロール済み、現在インデックス未登録」にフィルタリングします。リストをエクスポートします。サンプルではなく、完全なURL一覧が必要です。

その後、そのリストを同じサイトのScreaming Frogクロール結果と照合します。毎回です。Screaming Frogはページの単語数(カスタム抽出または組み込みの可読性メトリクス経由)、XMLサイトマップに含まれているかどうか、正規タグのステータス、メタロボットディレクティブ、ページへの内部リンク数、レスポンスコードを教えてくれます。この組み合わせであなたが知る必要があるほぼすべてがわかります。

最初に確認すること

  • 本文が300語未満のページ
  • 他のインデックス登録済みページと同じまたはほぼ同じメタディスクリプションのページ
  • XMLサイトマップに含まれていないページ
  • 内部リンクがゼロのページ
  • クロールされている孤立したペジネーションURLまたは薄いアーカイブページ

マンチェスターの法律事務所の場合、ブログ投稿の平均は180語でした。これが中核の問題でした。他はすべて二次的でした。

---

品質上の問題:Googleがあなたのページが十分な品質ではないと判断している

聞くのは不快ですが、これが最も一般的な原因です。Googleの品質基準は2022年以降かなり変わってきました。3年前には静かにインデックスに留まっていたページが、今では積極的に除外されています。

シンコンテンツ

ページが400~500語未満で、強いE-E-A-T信号(著者紹介、引用、独自の洞察)がない場合、Googleはしばしばそれをクロールして放置します。特に以下のケースで見かけます:

  • 製造元のコピーをそのまま貼り付けたWooCommerceの商品ページ
  • 2行の物件説明しかない不動産リスティングページ
  • テンプレートから作成され、市区町村名だけを入れ替えたロケーションページ
  • 1つの質問を1段落で答えるだけの古いFAQページ

修正はただ単語を増やすことではありません。フィラーを追加するとむしろ悪くなります。修正は、実際に人間が読みたいと思う有用で具体的な情報を追加することです。弁護士事務所の場合、ブログ記事を改稿して、実際の事件結果(匿名化)、具体的なイギリスの法律参照、作業例を盛り込みました。語数は180から900に増えました。8週間後、43件中31件の記事がインデックスされていました。

重複およびほぼ重複したコンテンツ

Screaming Frogの重複コンテンツレポートは強い味方です。サイト間の重複を心配している場合は、URLをCopyscape または Siteliner で実行してください。私が対応したe-commerceクライアントの中には、サプライヤーが同じ商品説明を40の他の小売業者に提供していたケースがありました。Googleは1つをインデックスしてあとは無視します。これはバグではなく、意図した動作です。

サイト内での微かな重複はより厄介です。「Leeds のプラマー」「Sheffield のプラマー」「Bradford のプラマー」というサービスページがあり、市区町村名以外は95%同じ場合、Googleは1つを選んであとは抑制します。このパターンが、ファセット検索システム全体を「クロール済み、現在インデックスされていない」という地獄に陥れるのを見ました。

---

技術的な問題:セットアップが混合シグナルを送信している

コンテンツは本当に良いのに、Googleがインデックスを拒否することもあります。ここで技術シグナルを掘り下げます。

Canonical タグの混乱

これが私が見つける第1位の技術的な原因です。ページが自身にcanonicalされている(正しい)のに、上流のカテゴリーページまたはページネーション URL がカノニカルタグでインデックスしたいページを指しています。Googleはこれを、カノニカルソースが複製であるという信号と解釈することがあります。WordPressのテーマがクロールなしでこれを自動的に行う方法を見たことがあります。

確認:「クロール済み、現在インデックスされていない」リストのすべてのページに自己参照カノニカルタグはありますか?サイトの他の何かが、予期せず これらのURLを指すカノニカルタグを持っていませんか?

XML サイトマップの問題

サイトマップには、アクティブにインデックスしたいURLのみを列挙すべきです。それは当たり前に聞こえます。実際には、Yoast、Rank Math、その他のほとんどのSEOプラグインは、注意しないとnoindex ページ、ページネーション URL、タグアーカイブをサイトマップに含めます。Googleはサイトマップ内のURLを見つけ、クロールして、noindex またはシンコンテンツを見つけ、それはクロール予算の無駄であり、サイトをどう管理すべきか本当に分かっていないという信号です。

私はシンプルなプロセスでサイトマップを監査します:

  1. サイトマップXMLをダウンロード
  2. すべてのURLをスプレッドシートにインポート
  3. Screaming Frog で各URLを実行(またはバルク書き出しを使用)
  4. noindex、リダイレクト、または200以外のステータスを返すURLにフラグを付ける
  5. サイトマップからそれらのURLを削除

これだけで、昨年3人のクライアントについて「クロール済み、現在インデックスされていない」ステータスをクリアしました。コンテンツを一切触らずに。

内部リンクのギャップ

PageRank(2024年でも関連性がありますし、実際に機能しています)は内部リンクを通じて流れます。ページに指し込む内部リンクがゼロの場合、そのページは権威という観点ではGooglebot にとって事実上見えません。Googleはサイトマップ経由でクロールする可能性はありますが、サイト内の何もそのページを指していないため、インデックス対象として重要度が不足していると判断します。

孤立ページはよく見かけます。Screaming Frogの「Orphan URLs」レポート(Site Structureの配下)を使って探しています。「未インデックス」の状態にあるすべてのページに3~5個の関連する内部リンクを追加すれば、4~6週間以内に動きが見られることが多いです。

---

クロールバジェット:実際に容量が問題になる場合

1,000ページ以下の小規模サイトでは、クロールバジェットはほぼ実際の問題になりません。多くの人がこの説明を使い回していることは知っていますが。ただし大規模なEコマースサイト(Seahawk Mediaには80,000SKUを扱うファッション小売業者がいました)では、本当に重要です。

Googlebotが無限のファセットナビゲーション、セッションIDパラメータ、または内部検索結果ページのクロールに訪問を費やしているなら、実際に重要な商品ページまで到達していません。クロールバジェットに関するGoogleのドキュメンテーションは、SEOの公式ガイダンスの中でも、最初から最後まで読む価値がある数少ないものの一つです。

修正方法:URL Parameters toolを使用して重複ページに近いページを生成するURLパラメータをブロック(古いSearch Consoleをまだ使用している場合)するか、Googlebot用にrobots.txtで行い、内部検索ページは必ずnoindexにします。これにより重要なページのクロール容量が解放されます。

---

インデックス登録のリクエスト:使うべき時と使わない時

Search Consoleの「インデックス登録をリクエスト」ボタンは、変更を加えた後の優先度の高い個別URLに役立ちます。基本的な原因を修正する代替手段ではありません。触れていないページ上でそのボタンをやたらと押すフリーランサーを見かけます。それ自体は何もしません。

私のルール:まず修正、次にリクエスト。コンテンツ、canonicalタグ、または内部リンクに実質的な変更を加えた後、URL検査ツール経由でURLを送信します。2~4週間待ちます。その後もインデックスされていない場合、基本的な問題はまだ解決していません。

もう一つ:インデックス登録リクエストのクォータには制限があります。コンテンツが薄いまたはcanonical設定が壊れているページで浪費しないでください。GoogleにGoogleの決定を確認するよう頼んでいるだけです。

---

クリアにはどのくらい時間がかかりますか?

正直なところ、ほとんどのSEOガイドが認めるよりばらつきがあります。コンテンツ更新後5日以内に「クロール済み、現在インデックス中ではありません」から「インデックス登録済み」に変わったページを見たこともあります。12週間かかったものもあります。最も重要だと思われる要因は:

  • ドメイン全体がどの程度の権威を持っているか(より古く、リンクされているドメインはより速い再考を見ます)
  • 修正がコンテンツ関連(遅い)か技術的(速い)か
  • Googlebotがサイトを訪問する頻度(Search ConsoleのCrawl Statsレポートで確認)

トラッキングスプレッドシートを設定します。変更を加えた日付を記録します。2週間ごとにSearch Consoleで確認します。1週目で何も動きがなくてもパニックにならないでください。

---

FAQ

なぜGoogleはページをクロールしてからインデックスしないのですか?

クロールとインデックス登録はGoogleのパイプラインの別々のステップです。クロールはGooglebotがページをダウンロードしたことを意味するだけです。インデックス登録はGoogleがそれが検索結果に表示される価値があると判断したことを意味します。Googleの品質評価がページが十分な価値を追加していない、インデックス内の既存コンテンツと重複している、またはnoindexタグのようなチェーン内のどこかに矛盾した信号を含んでいると判断した場合にギャップが生じます。

Search ConsoleでURLを送信するとインデックス登録が保証されますか?

いいえ。URLを優先度キューに入れるだけで、Googleはそれでも独自の品質判定を行います。ページに薄いコンテンツまたは技術的な問題がある場合、送信するだけではGoogleがそれをインデックスしないと確認するプロセスが速くなります。

ページは長期間このステータスに留まった後、インデックスできますか?

はい、絶対に。「クロール済み、現在インデックス中ではありません」に1年以上留まっていたURLをクリアしたことがあります(コンテンツが適切に改善されたとき)。Googleは再評価します。永続的なブラックリストではありません。とはいえ、ページが6か月以上このステータスにある場合、インデックスされる価値があるかどうかを正直に自問する価値があります。

このステータスは「発見済み、現在インデックス中ではありません」と同じですか?

いいえ、その区別は重要です。「発見済み、現在インデックス中ではありません」はGoogleがURLの存在を知っているが、まだクロールしていないことを意味します。クロールバジェットまたは内部リンクの問題であることがよくあります。「クロール済み、現在インデックス中ではありません」は既に評価され、脇に置かれたことを意味します。両方に注意が必要ですが、修正方法は若干異なります。

---

「クロール済み - インデックス未登録」に対する万能な解決策はありません。私の経験では、ほぼ常にコンテンツ品質の問題か技術的シグナルの問題、またはその両方の組み合わせです。データから始めて、見つかった問題を修正し、時間をかけましょう。Googleはあなたを罰しようとしていません。ページについて注意を払う理由が必要なだけです。その理由を与えてください。

← 戻る