Warum ist meine Seite (URL) nicht bei Google zu finden?
Keine Artikel mehr verpassen? Jetzt Newsletter abonnieren »
Du hast viel Arbeit in deine Inhalte investiert, du hast deine Website optimiert, eine gute logische Struktur entwickelt und viele relevante Links für deine Inhalte bekommen? Eigentlich müsste deine Website gute Positionen bei Google & Co. haben, nur leider kannst du weder über eine eigene Suche oder auch über relevante SEO Tools, wie der Google Search Console, Searchmetrics oder Sistrix, Rankings für deine URL erkennen. Ich habe dir im folgenden Artikel Gründe und Tools zusammengestellt, mit denen du überprüfen könnt, aus welchen Gründen deine Seiten nicht über Google gefunden werden kann.
Szenarien warum deine Seite nicht bei Google auftaucht
Eigentlich gibt es erst einmal zwei Möglichkeiten, warum deine Seite nicht bei Google zu finden ist
- Neue URL-nicht bekannt: Die URL ist neu und Google nicht bekannt
- Alte-URL-nicht bekannt: Die URL ist alt und Google nicht bekannt
- Alte-URL-bekannt: Die URL ist alt, sie ist Google bekannt, aber nicht indexiert
Also was geht jetzt wirklich schief? Im Folgenden findest du einige Szenarien, warum deine Seite nicht von Google verarbeitet wurde und sie du deswegen nicht im Index von Google finden kannst. Ich beziehe mich jetzt für dich in der Hauptsache auf das Szenario, das ein einzelnes Dokument, also eine URL nicht bei Google zu finden ist.
- Fehlende Verlinkung: Das Dokument (URL) ist nicht oder nicht ausreichend verlinkt ( intern oder extern)
- Crawling: Deine URL ist neue und ist noch nicht von Google gecrawlt worden
- Indexierung: Deine URL ist von Google gecrawlt worden aber du hast die Indexierung unterdrückt.
- Robots.txt: Du hast den Google Crawler den Zugang zu deiner URL nicht erlaubt
- Doppelte Inhalte: Du hast „Duplicate Content“ und Google hat sich nur für eine URL entschieden
- Kanonisierung: Der Inhalt ist vorhanden, aber du hast eine falsche Kanonisierung vorgenommen (rel=“canonical“)
- gecrawlt und nicht indexiert: Deine URL ist alt, sie wurde gecrawled aber nicht indexiert
Wie analysierst du ob Google deine URL kennt?
Du kannst mit einfachen Bordmitteln analysieren, ob Google deine Seite kennt. Dazu kopierst du dir deine URL und gibts dann auf der Google Suche deine URL in Kombination mit dem „site:deineneueurl“ Befehl ein. Hier findest du mal ein Beispiel, wie das dann aussehen kann.
Google hat deine Seite noch nicht gecrawlt und indexiert
Auch Google braucht Zeit. Wenn ihr also eure Seite erst unlängst live gestellt habt, kann es passieren, das Google eure Seite einfach noch nicht gefunden und indexiert hat. Üblicherweise folgt der Google Crawler bekannten URLs und folgt alle neuen URLs, die Google in diesem Crawl Prozess finden kann. Die letzte bekannte Zahl (2016) ist das Google mehr als 130 Billionen Seiten in seinem Index hat.
Und auch wenn Google eine der größten Rechenkapazitäten weltweit besitzt, so priorisiert Google sein Crawling und Indexing. Welche Möglichkeiten hast du Google auf eine neue URL auf deiner Seite aufmerksam zu machen:
- Du verlinkst deine neue URL intern von wichtigen Seiten
- Du versuchst deine neue URL von einer externen (vertrauenswürdigen) Seite zu verlinnken
- Du reichst deine neue URL über eine XML-Sitemap ein
- Du verwendest das URL-Inspection Tool in der Google Search Console
So verwendest du das URL-Inspection-Tool: Es gibt, wie beschrieben, eine Reihe von Möglichkeiten Google auf eine neue URL aufmerksam zu machen. Eine Möglichkeit ist das URL-Inspection Tool in der neuen Google Search Console. Du gehts in die Search Console und gibts oben im Suchfenster die URL ein, die du gerne von Google crawlen und indexieren lassen möchtest. In einem ersten Schritt, ruft analysiert Google die URL und gibt dir ein Feedback zur URL. In dem folgenden Screenshot siehst du, wie das aussehen könnte.
Handelt es sich bei dir um eine komplett neue URL, dann gibt dir Google folgendes Feedback.
URL ist nicht auf Google: Diese Seite ist nicht im Index, aber nicht aufgrund eines Fehlers. Abdeckung: URL ist Google nicht bekannt. In einem nächsten Schritt klickst du dann auf der rechten Seite auf „Indexierung beantragen“. Dieser Prozess dauert ca. 1-2 Minuten und du bekommst dann als Meldung, das deine URL einer bevorzugten Crawling-Warteschlange hinzugefügt wurde.
Tipp für Fortgeschrittene: Seit dem Februar 2022 kannst du diese Daten über die URL-Inspection API auch in andere Tools wie dem ScreamingFrog ziehen und systematische Analyse deines Crawling- und Indexierungs-Status durchführen. Mehr Informationen findest du hier bei Google und wie du diese Daten für den URL-Inspection API im ScreamingFrog nutzt hier.
URL Inspection Tool & das Canonical-Tag
Mit dem Canonical-Tag (rel=canonical) kann man dafür sorgen, dass bei mehreren URLs mit gleichem oder ähnlichem Inhalt nur eine URL (Quelle) zur Indexierung verwendet wird. Dadurch entgeht man den Nachteilen von Duplicate Content. Wenn nun also zum Beispiel nach einem Relaunch das Canonical auf eine andere URL verweist, führt das dazu, dass die Ursprungs-URL nicht korrekt indexiert werden kann. Auch hier führt dich der Weg in die Google Search Console., Du verwendest das URL-Inspection Tool und überprüfst die URL, die du gerne im Index von Google finden möchtest. Ich habe für dieses Beispiel eine URL genommen, die wir mit Absicht nicht im Index von Google haben möchten. Du siehst auch hier sagt Google wieder „URL ist nicht bekannt“, aber der Grund liegt darin, das Google von einer anderen URL als der richtigen URL ausgeht ( vom Nutzer angegebene kanonische URL).
Wenn du das mit Absicht über das sogenannte rel=“canonical“ Google angezeigt hast, dann ist alles in Ordnung. Vielleicht hast du aber das in deinem Content Management System aus Versehen ein rel=“canonical“ angegeben. Dann kann es dir passieren, das Google deine Seite zwar crawlt, aber nicht indexiert. Was machst du jetzt? Du gehst jetzt in dein Content Management System und überprüfst in den Einstellungen für deine URL, ob du hier vielleicht ein rel=“canonical“ auf eine andere Seite gesetzt hast. Meistens werden diese Einstellungen über WordPress-Plugins ermöglicht. Wenn du das nicht wolltest, dann entferne jetzt das rel=“canonical“ und gebe die URL erneut Google zum Crawling.
Ihr habt Google per noindex ausgesperrt
Möglicherweise hindert das Meta-Tag „Robots“ mit dem Wert „noindex“ Google daran, eure Seite zu indexieren. Möchtet ihr das ändern, entfernt den Wert „noindex“. Meistens werden diese Einstellungen über eure Content Management Systeme vorgenommen. Hinweis: Der noindex-Befehl befindet sich im Head-Bereich eurer Website und sollte ungefähr so aussehen:
<meta name="robots" content="noindex" />
Ein einfaches Tool, um die falsche Auszeichnung über ein „noindex“ festzustellen ist browseo. Im Folgenden haben wir für euch hier mal ein Screenshot dargestellt, wie das entsprechend aussehen könnte. Neben vielen relevanten Daten, die euch bei der Suchmaschinenoptimierung helfen, wie Titel, Description etc. findet ihr auch weiter unten die Angaben, ob eure Seite auf „index“ oder „noindex“ gesetzt ist.
Ihr habt Crawler per robots.txt generell ausgesperrt
Wenn sich im Rootverzeichnis eurer Domain eine Datei namens robots.txt befindet, welche die folgenden Zeilen beinhaltet, habt ihr sowohl Googles Crawler als auch allen anderen Crawlern die Sicht auf eure Seite verwehrt:
User-Agent: *
Disallow: /
Entfernt ihr diese beiden Zeilen, kann eure Seite wieder gecrawlt und damit auch indexiert werden. Ihr könnt rure robots.txt Datei recht einfach auslesen. Da diese frei zugänglich sein muss, müsst ihr nur hinter eurer Domain bzw. Startseite ein /robots.txt anhängen und könnt damit mal überprüfen, welche Verbote hier ggf. hinterlegt sind. Hier seht ihr mal wie das aussehen könnte. https://www.121watt.de/robots.txt und hier könnt ihr euch auch mal unsere robots.txt ansehen. Üblicherweise schließt man zum Beispiel Seiten wie
- Seiten mit duplicate content
- Paginierungs Seiten
- Dynamische Produkt- und Service Seiten
- Admin Seiten
- Warenkorbseiten
- Chatseiten
- Vielen Dank Seiten aus.
Mehr zur robots.txt und welche Seiten ihr hier ausschließen solltet und welche auch besser nicht, findet ihr hier.
121-Stunden Online-Marketing Newsletter:
Keine SEO- und Online-Marketing-News mehr verpassen!
- Wöchentlich aus 500 Quellen die besten Artikel übersichtlich zusammengefasst.
- Wir berichten regelmäßig über die wichtigsten Branchen-Events und aktuelle Seminare.
- Bereits mehr als 10.000 Online Marketers verfolgen mit uns die Branche.
Ihr habt lediglich Googles Crawler per robots.txt ausgesperrt
Es ist mit der robots.txt auch möglich, Crawler spezifisch auszusperren. In diesem Falle lautet der Eintrag beispielsweise:
User-Agent: Googlebot
Disallow: /
Entfernt ihr diesen Eintrag, kann fröhlich weiterindexiert werden.
Eure Pagination ist SEOseitig nicht korrekt eingestellt
Falls eine Unterseite eures Projekts nicht erreichbar ist, kann das daran liegen, dass die Pagination mit nofollow belegt ist.
Einzelne Links stehen auf nofollow
Es ist ebenso möglich, dass einzelne Links per nofollow nicht erreichbar sind. Ihr könnt das überprüfen, indem ihr den Head eurer Seite nach folgender Sequenz durchsucht:
<meta name="robots" content="nofollow" />
Ihr habt zu viel Duplicate Content
Wenn ihr Content bereitstellt, der exakt so oder sehr ähnlich auf einer anderen Seite zu finden ist, wird Google diese Seite zwar indexieren, aber wahrscheinlich nicht dort anzeigen, wo ihr sie gerne hättet. Der Grund: dieser Content ist nicht einzigartig. Das passiert besonders häufig bei Produktbeschreibungen in Online-Shops oder Facetten-Navigationen.
Tipp: Ihr könnt leicht herausfinden, ob ihr Duplicate Content bereitstellt, indem ihr einen Satz aus dem fraglichen Text nehmt und in Anführungszeichen bei Google sucht oder eure URL bei Copyscape auf DC überprüft.
Die URL wurde mittels der Google Search Console entfernt
Vielleicht habt ihr beabsichtig oder unbeabsichtigt eine URL über die Google Search Console aus dem Google Index entfernt. Am Ende wurde von jemandem beantragt, dass eure Seite aus dem Index entfernt wird. Um das herauszufinden, loggt euch in die Google Search Console ein und klickt auf Index -> Entfernen. Taucht dort keine URL auf, ist dies jedenfalls nicht der Grund für die Unauffindbarkeit eurer Seite. Hier findest du mal ein Beispiel, wie eine entfernte URL in der Google Search Console zu finden ist.
Status „gecrawled – zurzeit nicht indexiert
Laut einer Erhebung von onely aus dem Mai 2021 sind 16 % der wertvollen Seiten auf beliebten Websites nicht indiziert. Beispiele die in diesem Artikel genannt werden sind unter anderem:
- Walmart.com: 45 % der Produktseiten sind nicht indiziert.
- dictionary.cambridge.org: 99,5 % der Seiten sind nicht indiziert.
Wie kannst du aber selber überprüfen, ob du ggf. Seiten hast die gecrawlt- zurzeit nicht indexiert wurden.
- Schritt 1: Du gehst in die Google Search Console > Bericht Abdeckung
- Schritt 2: Du wechselst im Bericht Abdeckung auf ausgeschlossen
- Schritt 3: Du überprüfst in einem nächsten Schritt, welche URLs den Status „Gecrawlt – zurzeit nicht indexiert“ haben
- Schritt 4: Du überprüfst, ob du hier ggf. für dich wichtige Seite entdeckst die den Status „Gecrawlt – zurzeit nicht indexiert“ haben
Was sind Gründe für Gecrawlt – zurzeit nicht indexiert“ ?
Dieser Status ist in der Google-Hilfe nicht exakt beschrieben. Die Gründe, die hier genannt werden sind:
- Deine Seite ist unter Umständen von manuellen oder rechtlichen Massnahmen betroffen
- Deine Seite darf kein Duplikat einer anderen Seite sein
- Deine Seite muss so relevant und qualitativ hochwert sein, das eine Indexierung lohnt
Du kannst zum Beispiel mit dem Screamingfrog alle deine Seite analysieren und bewerten. Interessant sind hier die
- exakten Duplikate
- nahe Duplikate und
- Seiten mit wenigen Inhalten
Mit großer Sicherheit findest du hier viele deiner Seite, die von Google gecrawled aber nicht indexiert wurden
Was ist die Lösung für diesen Status?
Die Lösung hat natürlich hauptsächlich mit deinen Inhalten zu tun, wenn es um wichtige Seite geht, die hier nicht indexiert wurden. Versuche bei deine Inhalte an folgenden Punkte zu arbeiten
- Erweitere deine Inhalte um originelle Informationen, aufschlussreiche Berichte oder Analysen, die über das offensichtliche hinausgehen
- Vermeide es andere Quellen nur zu kopieren und leicht umzuschreiben
- Halte deine Inhalte aktuell!
Diese Vorschläge von mir für dich, basieren apropos auf den Google Search Quality Evaluator Guideline, die eine große Hilfe für die Entwicklung guter Inhalte darstellt. Hier findest du auch noch einen sehr umfangreiche Artikel zu „gecrawled – zurzeit nicht indexiert“ und mehr Informationen in der Google Hilfe
Ihr wurdet Opfer von Malware oder Hijacking
Hierauf werdet ihr in der Search Console (Webmaster-Tools) meistens hingewiesen. Werft deshalb immer einen Blick auf Benachrichtigungen oben rechts oder schaut euch die Sicherheitsbenachrichtigungen in der linken Navigation an. Alternativ dazu empfehle ich euch den Anti-Malware SaaS Sucuri – dieser Dienst überwacht eure Website ständig und informiert euch bei Problemen und hilft bei der Lösung!
Ist eure Seite immer noch nicht zu finden?
Natürlich ist es möglich, dass keiner dieser Fehler Auslöser einer mangelnden Indexierung ist. Die oben genannten Ursachen decken allerdings die häufigsten Fehlerquellen ab. In jedem Fall solltet ihr nicht in Panik verfallen, wenn euer Projekt plötzlich nicht mehr in den SERPs auftaucht. Nehmt euch eine Tasse Kaffee und geht diesen Artikel Schritt für Schritt durch. Ich bin sicher, ihr findet die Lösung – falls nicht, besucht mich in einem meiner Technical SEO Seminare oder fragt mich auf Twitter & Co. ;-)
Regelmässige SEO-Audits durchführen!
Passieren Fehler in der Suchmaschinenoptimierung? Aber natürlich, deswegen habe ich mir das angewöhnt in regelmässigen Routinen einen SEO-Audit auf meiner Seite zu machen. Das Ziel eine hohe Sichtbarkeit in den Suchmaschinen. In meinem Artikel zur Definition, Analyse und Verbesserung deiner Sichtbarkeit in der Suchmaschinenoptimierung findest du alle relevanten Informationen zur Beurteilung deiner Sichtbarkeit.
- Check Google Search Console. Bericht Abdeckung – täglich
- Wichtige Seite, wie Produktseiten einmal die Woche über den Screamingfrog
- Alle Seiten – einmal den Monat im ScreamingFrog
- Wie entwickeln sich Impressionen. Klicks, CTR und Position – einmal die Woche in der GSC
Hier siehst du mal einen Screenshot meines wöchentlichen SEO-Audits im ScreamingFrog. Besonders schaue ich mir die HTTP-Statuscodes, den Indexierungsstatus und die Indexierbarkeit an. Bei Problemen mit Weiterleitungen, falsch gesetzten NoIndex Anweisung, Ausschluss durch robots.txt, rel=“canonical“ etc. verfahren ich dann, wie hier in diesem Artikel dargestellt.
Die nächsten Termine für das Technical-SEO-Seminar:
-
13.06.2023 - 14.06.2023 Tag 1: 09:00 Uhr - 17:30 Uhr
Tag 2: 09:00 Uhr - 17:30 Uhr
Webinar mit Alin Radulescu
1295,- €*Jetzt anmelden -
25.07.2023 - 26.07.2023 Tag 1: 09:00 Uhr - 17:30 Uhr
Tag 2: 09:00 Uhr - 17:30 Uhr
Webinar mit Alin Radulescu
1295,- €*Jetzt anmelden -
19.09.2023 - 20.09.2023 Tag 1: 10:00 Uhr - 18:00 Uhr
Tag 2: 09:00 Uhr - 17:30 Uhr
Frankfurt am Main mit Alin Radulescu
1495,- €*Jetzt anmelden
- Legende:
- Ausreichend freie Plätze.
- Wenige freie Plätze!
- Leider ausgebucht.
Wie hilfreich ist dieser Artikel für dich?
Noch ein Schritt, damit wir besser werden können: Bitte schreibe uns, was dir am Beitrag nicht gefallen hat.
Noch ein Schritt, damit wir besser werden können: Bitte schreibe uns, was dir am Beitrag nicht gefallen hat.
Vielen Dank für dein Feedback! Es hilft uns sehr weiter.
gar nicht hilfreich
weniger hilfreich
eher hilfreich
sehr hilfreich
ich habe ein anderes Thema gesucht
Hallo :),
die Webseite hier ist total witzig. Aber eine Sache verstehe ich nicht. Wenn oben nicht die Lösung steht, was soll man in deinen Seminaren? Trinken wir dort in Ruhe Kaffee und lernen wir Milch einschütten oder besser einen Ausrufe-Crashkurs: Sehhhhh Ohhhhh
In diesem Sinne
Alles Gute
Jörg
P.S: Falls Du noch eine korrekte Antwort finden solltest, schreib mir eine Mail bitte!
Hallo Jörg,
dieser Artikel ist nur ein kleines und sehr spezielles Thema im Bereich der SEO. Ein ganzes Seminar soll und kann er auch gar nicht ersetzen. Er soll denen, die nach diesem Problem suchen und uns dabei finden, helfen, die Antwort zu erfahren. Ich hoffe, dass uns das auch gelingt.
Unsere Seminare dauern 8, respektive 16 Stunden. Sei versichert, dass die dort behandelten Themen umfassend behandelt werden.
Kaffee gibt es dort übrigens auch. Mit und ohne Milch.
Auch Dir alles Gute
Christian
Hallo,
ich gehe schon mal davon aus, dass man viel in Euren Seminaren lernen kann. Aber ich möchte mal einen Punkt anbringen, den Euer Artikel wohl nicht abdeckt. Folgender Fall bei einem Kunden:
Seite ist nicht indexiert
Seite ist nicht im Report: gecrawlt – zur Zeit nicht indexiert
Soweit alles klar (die übergeordnete Kategorienseite wurde zur Indexierung eingereicht).
Nun kommt meine Frage: im Leistungsreport => Seitenansichten taucht genau die Seite mit 200 Impressions auf. Google hat sie weder gecrawlt noch indexiert und gibt sie dennoch in Suchergebnissen der Search Console aus? Habt Ihr dafür eine plausible Erklärung? (Die Seite wurde vor vier Wochen unter eine neue Kategorie gestellt, die geänderte URL erhält eine Weiterleitung von der alten URL, die aber auch nicht indexiert war. An der Inhaltsquaalität kanns nicht liegen, tausende ähnlich aufgebauter Seiten sind indexiert).
Vielen Dank – freue mich, wenn Ihr eine Erklärung habt.
Grüße
Gerd
Hallo lieber Gerd, danke für deine Frage. Ich glaube ohne jetzt ganz den konkreten Fall zu kennen (vielleicht kannst du mir mal die Seiten via alexander.holl@121watt.de) zu schicken, war meine erste Idee, das es mit der Zählung der Impressionen in der Google Search Console zu tun haben könnte. Hier ist ja mal die Definition: Klick-, Impressions- und Positionsdaten werden, sofern verfügbar, der kanonischen URL der Seite zugeordnet, auf die der Nutzer weitergeleitet wird, wenn er auf den Link im Browser klickt. Die kanonische URL ist im Wesentlichen eine einzelne URL, die von Google ausgewählt wird, wenn mehrere URLs auf dieselbe Seite verweisen. Dies ist zum Beispiel der Fall, wenn eine Website separate URLs für die mobile und die Desktopversion einer Seite hat. Hier auch der Link https://support.google.com/webmasters/answer/7042828?hl=de#impressions. Aber das ist nur der erste Anasatz für die Analyse, also vielleicht kannst du mir mal die betreffende Seite zuschicken. Liebe Grüße aus München Alexander