Ein Klient rief mich an einem Dienstagmorgen im letzten Frühjahr an, echte Panik in der Stimme. Er betrieb eine Immobilien-Listenseite mit etwa 42.000 Seiten, und die Google Search Console hatte ihm gerade mitgeteilt, dass nur noch 5.800 davon indexiert waren. Er hatte etwa 86 % seiner indexierbaren Seiten verloren, scheinbar über Nacht. Kein Algorithmus-Update. Keine manuelle Maßnahme. Keine aktuellen Deployments, an die er sich erinnern konnte. Einfach weg.
Wichtigste Erkenntnis: Wenn eine WordPress-Website mit 40.000 Seiten nur 6.000 Seiten indexiert hat, liegt die Ursache fast immer in der Architektur – facettierte URLs, dünne Templates und Crawl Waste –, nicht an einer Google-Strafe.
Ich habe dieses exakte Szenario bei mehr als 12.000+ WordPress-Builds von Seahawk unzählige Male gesehen. Und das Verrückte daran ist, dass Indexierungsverluste bei großen Websites selten eine einzige Ursache haben. Normalerweise sind es drei oder vier kleine Fehler, die sich leise aufstauen, bis etwas zusammenbricht.
So diagnostiziere ich es tatsächlich.
---
Beginne mit Google Search Console, stoppe aber nicht dort
Das Erste, das ich immer mache, ist den Pages-Bericht in der Google Search Console aufzurufen. Nicht den alten Coverage-Bericht – Google hat das 2023 aktualisiert –, und die neue Pages-Ansicht unterteilt indexiert vs. nicht indexiert mit korrekten Fehlercodes. Mache einen Screenshot am ersten Tag. Du brauchst einen Ausgangswert.
Die Fehlercodes sind enorm wichtig. „Gecrawlt, aktuell nicht indexiert" ist ein völlig anderes Problem als „Ausgeschlossen durch 'noindex'-Tag". Das eine ist ein Qualitätssignal-Problem, das andere ist ein Konfigurationsdisaster. Ich habe schon Entwickler gesehen, die beide identisch behandelt haben und Wochen damit verschwendet haben, das Falsche zu jagen.
Die Gründe, Die Ich Am Häufigsten Bei Großen Websites Sehe
- Gecrawlt, aktuell nicht indexiert: Google hat die Seite besucht, aber entschieden, dass sie indexiert werden lohnt sich nicht. Normalerweise dünne Inhalte, nahe Duplikate oder Seiten, die keine Backlinks oder interne Links erhalten.
- Entdeckt, aktuell nicht indexiert: Google hat die URL gefunden (wahrscheinlich in deiner Sitemap), hat sie aber noch nicht gecrawlt. Das ist ein Crawl-Budget-Problem, nicht ein Content-Problem.
- Ausgeschlossen durch 'noindex'-Tag: Jemand, möglicherweise du, möglicherweise ein Plugin, hat eine noindex-Direktive hinzugefügt. Mehr dazu weiter unten.
- Doppelter Eintrag, Google hat ein anderes Canonical gewählt: Deine Canonical-Tags verweisen auf etwas Unerwartetes, oder Google überschreibt sie.
- Seite mit Redirect: Eine Seite, die indexierbar sein sollte, leitet irgendwohin weiter – entweder korrekt oder fehlerhaft.
Schau dir nicht nur die Gesamtzahlen an. Lade für jeden Fehlercode die vollständige Liste als CSV herunter. Bei einer Website mit 40.000 Seiten brauchst du die Möglichkeit zu sortieren und zu filtern.
---
Crawl Budget ist real und wird große Websites zerstören
Im Jahr 2019 arbeitete Seahawk Media mit einem großen E-Commerce-Kunden zusammen, etwa 28.000 Produktseiten, und wir konnten nicht herausfinden, warum Google nur etwa 3.000 Seiten pro Tag crawlte. Die Site war schnell. Die Sitemap war sauber. Alles sah an der Oberfläche gut aus.
Es stellte sich heraus, dass die Website Tausende von facettierten Navigations-URLs generierte, ?colour=red&size=large&sort=price, die crawlbar waren, nicht korrekt kanonisiert wurden und Googlebots Crawl-Budget aufbrauchten, bevor es jemals die echten Produktseiten erreichte.
Crawl Budget ist im Grunde die Anzahl der URLs, die Googlebot bereit ist, innerhalb eines bestimmten Zeitraums auf deiner Website zu crawlen. Googles eigene Dokumentation zum Crawl Budget ist wirklich lesenswert, sie sind ehrlich, wie es funktioniert. Die Kurzfassung: Wenn du es auf Müll-URLs verschwendest, werden die wichtigen Seiten nicht gecrawlt.
So auditierst du Crawl Budget richtig
- Ziehe deine Server-Logs heran. Nicht Googles Crawl-Statistiken, sondern echte Server-Logs. Tools wie Screaming Frog Log File Analyser lassen dich rein nach Googlebot-Hits filtern.
- Schau dir an, welcher Prozentsatz der Besuche von Googlebot auf URLs landet, die dir wirklich wichtig sind. Liegt dieser Wert unter 60%, hast du ein Budget-Problem.
- Finde die URL-Muster, die die meisten Crawls verbrauchen. Sortiere nach Häufigkeit. Die größten Übeltäter sind fast immer: facettierte Navigation, Pagination auf paginierten Archiven, Session-ID-Parameter und leere Kategorie-/Tag-Archivseiten.
- Behebe die Ursache, nicht nur das Symptom. Sperr in robots.txt Parameter aus, die niemals gecrawlt werden sollten. Canonical-Tags für alles andere.
Bei diesem E-Commerce-Projekt haben wir die facettierten URLs über robots.txt blockiert und rel="canonical" zu allen gefilterten Ansichten hinzugefügt. Innerhalb von sechs Wochen stieg die Zahl der indizierten Seiten von 8.000 auf 24.000. Der Inhalt war derselbe. Googlebot konnte endlich darauf zugreifen.
---
Die noindex-Katastrophe (Es passiert häufiger, als du denkst)
Ich muss darüber sprechen, weil ich es selbst verursacht habe. Nicht mein bester Moment. Bei einer Staging-zu-Live-Migration für eine Nachrichten-Website 2021 haben wir vergessen, das Kontrollkästchen „Suchmaschinen von der Indexierung dieser Website abhalten" unter WordPress-Einstellungen → Lesen zu deaktivieren. Die Website ging live mit einem sitewide noindex. Es dauerte elf Tage, bis dem Kunden aufiel, dass der organische Traffic in den Keller gegangen war.
WordPress versteckt dieses Kontrollkästchen an einem Ort, den niemand erwartet. Und bestimmte SEO-Plugins, Yoast, Rank Math, sogar AIOSEO, haben ihre eigenen noindex-Schalter auf Post-Type-Ebene, auf Taxonomie-Ebene und auf Einzelseiten-Ebene. Jeder von ihnen kann stillschweigend große Teile deiner Website noindexen.
So prüfst du noindex im großen Maßstab
Führe Screaming Frog auf der gesamten Website aus und filtere nach Seiten, die eine noindex-Direktive zurückgeben. Exportiere die Liste. Dann vergleiche sie mit deinen wichtigen URL-Gruppen, Produktseiten, Service-Seiten, Blog-Posts, was auch immer für das Geschäft relevant ist.
Überprüfe auch deine robots.txt unter yourdomain.com/robots.txt. Suche nach übermäßig breiten Disallow:-Regeln. Ich habe Regeln wie Disallow: /wp-content/ gesehen, die CSS und JS blockiert haben, die Google zum korrekten Rendern von Seiten benötigt, was zu Rendering-Fehlern führen kann, die wie Indexierungsprobleme aussehen, aber tatsächlich Googlebot sieht eine fehlerhafte Seite.
---
Canonical-Tags, die stillschweigend fehlzünden
Canonicals sind der heimtückischste Indexierungs-Killer auf großen WordPress-Sites. Weil sie isoliert betrachtet korrekt aussehen und ihren Schaden erst in größerem Maßstab offenbaren.
Hier ist ein Muster, das ich ständig sehe: Eine Website mit WooCommerce hat Produkte, auf die über mehrere URL-Pfade zugegriffen werden kann, /product/red-shoes/, /product-category/footwear/red-shoes/, und manchmal /shop/red-shoes/. Jede hat ein Canonical-Tag, aber wenn diese Canonicals auf leicht unterschiedliche URLs zeigen (HTTP vs HTTPS, Trailing Slash vs kein Trailing Slash, www vs non-www), behandelt Google sie als Signale, die auf verschiedene Seiten verweisen, und weigert sich, sie zu konsolidieren.
Die Lösung ist langweilig, aber notwendig:
- Überprüfen Sie jede URL-Struktur, die Ihre WordPress-Installation generiert. Verwenden Sie Screaming Frog's Site Crawl → Filter nach „Canonical" → Export.
- Überprüfen Sie auf unterschiedliche Protokolle, Trailing Slashes und Subdomains-Variationen.
- Stellen Sie sicher, dass Ihr Canonical exakt Ihre bevorzugte URL entspricht, Zeichen für Zeichen.
Rank Math und Yoast generieren Canonical-Tags automatisch, aber keines der beiden Plugins kennt Ihre .htaccess-Weiterleitungen oder die URL-Normalisierung Ihres CDN. Sie müssen den gerenderten Canonical überprüfen, nicht nur das, was das Plugin denkt auszugeben. Rufen Sie die Seite mit einem Tool wie httpstatus.io auf und prüfen Sie die tatsächlichen Response-Header und HTML.
---
XML-Sitemaps sind auf großen Websites oft fehlerhaft
Die meisten WordPress-SEO-Plugins generieren Sitemaps automatisch. Die meisten von ihnen enthalten auch URLs, die du nicht in deiner Sitemap haben möchtest, paginierte Seiten (/page/2/, /page/3/), Autorenarchive, Tag-Seiten mit zwei Posts darauf, Anhang-Seiten.
Eine Sitemap sollte eine Kurzliste deiner besten, kanonischsten Seiten sein. Keine Auflistung aller URLs, die WordPress je generiert hat.
Sitemap-Hygiene-Regeln, die ich wirklich befolge
- Paginierte Archiv-Seiten immer ausschließen.
- Autoren-Archive ausschließen, es sei denn, es ist eine Website mit mehreren Autoren, auf der Autoren-Seiten echten Content-Wert haben.
- Tag-Archive ausschließen, es sei denn, Tags werden redaktionell verwaltet und haben aussagekräftigen Content.
- Lege einen Schwellenwert für die Postzahl fest, ich schließe normalerweise alle Archiv-Seiten mit weniger als fünf Posts aus.
- Große Sitemaps in Sitemap-Indizes aufteilen. Einzelne Sitemap-Dateien sollten unter 10MB und unter 50.000 URLs liegen. Google hat hier dokumentierte Grenzen.
Bei der Property-Listing-Website vom Anfang dieses Posts hatte die Sitemap 41.000 URLs, einschließlich aller Tag-Archive, aller Seiten und, das tut mir immer noch weh zu sagen, der WordPress-Anmeldeseite. Räume das zuerst auf. Immer.
---
Interne Verlinkung ist ein Indexierungsproblem
Menschen denken nicht an interne Verlinkung als Indexierungswerkzeug. Das sollten sie aber.
Wenn eine Seite keine internen Links hat, die auf sie verweisen, kann Googlebot sie möglicherweise nie finden, selbst wenn sie in deiner Sitemap enthalten ist. Sitemaps teilen Google mit, dass eine URL existiert. Interne Links teilen Google mit, dass eine URL wichtig ist. Das sind unterschiedliche Signale.
Auf großen Content-Seiten sind verwaiste Seiten weit verbreitet. Ein Blogbeitrag, der vor drei Jahren veröffentlicht wurde und nur aus den Beitragsarchiven verlinkt ist, aber nie von einem anderen Beitrag aus verlinkt wird, wird im Laufe der Zeit seine Crawl-Häufigkeit auf praktisch null senken.
Ich nutze Screaming Frogs „Orphan Pages"-Report (unter Site Structure), um Seiten in der Sitemap zu identifizieren, die null interne Links haben. Dann arbeite ich mich durch den Content zurück, um logische Stellen zum Hinzufügen von Links zu finden. Keine erzwungenen Links, sondern wirklich relevante. Es braucht Zeit, aber die Auswirkung auf die Indexierung ist real.
---
Eine systematische Diagnose-Checkliste
Wenn ich das einem Junior-Entwickler bei Seahawk in die Hand geben würde, so würde ich die Reihenfolge festlegen, in der er es durcharbeitet:
- Google Search Console → Seiten-Bericht → alle nicht indexierten URLs mit Fehlercodes herunterladen.
- robots.txt auf versehentliche breite Disallow-Einträge prüfen.
- Überprüfen, dass das WordPress-Kontrollkästchen „Suchmaschinen entmutigen" deaktiviert ist.
- Screaming Frog ausführen und nach noindex-Direktiven auf Seitenebene filtern.
- Überprüfe Canonical Tags, die gerenderte Ausgabe, nicht die Plugin-Einstellungen.
- Server-Logs abrufen und Googlebots Crawl-Verteilung über URL-Typen hinweg überprüfen.
- XML-Sitemap auf Spam-URLs prüfen (Paginierung, leere Archive, nicht-kanonische Varianten).
- Bericht „Verwaiste Seiten" ausführen und intern nicht verlinkte Seiten identifizieren.
- Auf facettierte Navigation oder parameterbasierte URLs prüfen, die doppelte Crawl-Pfade erzeugen.
- Überprüfe die Seitengeschwindigkeit – Seiten, die konsistent Timeouts verursachen, werden von Googlebot deprioritisiert.
Versuchen Sie nicht, alles auf einmal zu reparieren. Beheben Sie eine Kategorie von Problemen, warten Sie drei bis vier Wochen, bis Google erneut crawlt, messen Sie, und gehen Sie dann zur nächsten über. Wenn Sie alles gleichzeitig ändern, werden Sie niemals wissen, was tatsächlich funktioniert hat.
---
FAQ
Warum werden Seiten in einer Woche indexiert und dann die nächste Woche wieder entfernt?
Googles Index ist nicht statisch. Er bewertet Seiten ständig neu, basierend auf Qualitätssignalen, Aktualität und Crawl-Effizienz. Eine Seite, die vor sechs Monaten indexiert wurde, kann aus dem Index entfernt werden, wenn sie keine Links erhalten hat, nicht intern verlinkt wird oder wenn Googles Qualitätsbewertung deiner Domain sich verschoben hat. Das ist besonders häufig nach einer Site-Migration oder einem umfangreichen Content-Relaunch – Google crawlt erneut, bewertet erneut und entscheidet manchmal, dass zuvor indexierte Seiten nicht mehr den Standard erfüllen.
Beeinflusst die Seitenladegeschwindigkeit die Indexierung?
Ja, deutlicher als die meisten denken. Wenn Seiten regelmäßig über 2–3 Sekunden für die initiale Server-Antwort brauchen, deprioritisiert Googlebot das Crawlen. Das heißt in der Praxis: langsame Seiten werden einfach nicht oft genug gecrawlt, um indexiert zu bleiben. Kümmere dich zuerst um deine Time to First Byte (TTFB), alles andere kann warten. Ein Plugin wie WP Rocket macht da einen großen Unterschied. Core Web Vitals sind für Rankings relevant, aber TTFB entscheidet beim Crawlen.
Können zu viele Seiten in einer Sitemap die Indexierung beeinträchtigen?
Nicht direkt, aber eine überladene Sitemap mit URLs niedriger Qualität verwässert das Signal, das du Google sendest, über das, was wichtig ist. Wenn deine Sitemap 40.000 URLs enthält und 30.000 davon dünne Archiv-Seiten sind, lernt Google, deine Sitemap als Rauschen zu behandeln. Halte Sitemaps knapp und qualitativ hochwertig. Denk daran wie an redaktionelle Kuratierung, nicht als URL-Inventar.
Sollte ich Googles URL-Inspektionstool verwenden, um manuell Indexierung anzufordern?
Für einzelne wichtige Seiten ja, absolut. Aber versuche nicht, manuell Indexierung für tausende URLs anzufordern. Das funktioniert nicht im großen Maßstab und Google hat gesagt, es gibt manuell angeforderten URLs langfristig keine besondere Behandlung. Behebe die zugrunde liegenden Crawl- und Qualitätsprobleme und lass Googles natürliches Crawlen die Arbeit machen. Nutze manuelle Inspektionen, um zu überprüfen, dass spezifische Seiten indexiert werden können, nicht um alles zu erzwingen.
---
Die ehrliche Wahrheit ist, dass Indexierungs-Diagnose keine glamouröse Arbeit ist. Es sind Tabellenkalkulationen, Log-Dateien und viel Warten. Aber auf einer großen Website kann selbst die Wiederherstellung von 20 % deiner verlorenen indexierten Seiten einen bedeutsamen Sprung im organischen Traffic bedeuten, und auf einer 40.000-Seiten-Immobilienangebots-Website ist das echtes Geld. Bekomme die Grundlagen richtig hin, bevor du etwas Exotischeres verfolgst. Es ist fast nie exotisch.