Warum ist meine Seite (URL) nicht bei Google zu finden?

Wie analysierst du ob Google deine URL kennt?

Du kannst mit einfachen Bordmitteln analysieren, ob Google deine Seite kennt. Dazu kopierst du dir deine URL und gibts dann auf der Google Suche deine URL in Kombination mit dem „site:deineneueurl“ Befehl ein. Hier findest du mal ein Beispiel, wie das dann aussehen kann.

Google hat deine Seite noch nicht gecrawlt und indexiert

Auch Google braucht Zeit. Wenn ihr also eure Seite erst unlängst live gestellt habt, kann es passieren, das Google eure Seite einfach noch nicht gefunden und indexiert hat. Üblicherweise folgt der Google Crawler bekannten URLs und folgt alle neuen URLs, die Google in diesem Crawl Prozess finden kann. Die letzte bekannte Zahl (2016) ist das Google mehr als 130 Billionen Seiten in seinem Index hat.

 

Und auch wenn Google eine der größten Rechenkapazitäten weltweit besitzt, so priorisiert Google sein Crawling und Indexing. Welche Möglichkeiten hast du Google auf eine neue URL auf deiner Seite aufmerksam zu machen:

1. Du verlinkst deine neue URL intern von wichtigen Seiten
2. Du versuchst deine neue URL von einer externen (vertrauenswürdigen) Seite zu verlinnken
3. Du reichst deine neue URL über eine XML-Sitemap ein
4. Du verwendest das URL-Inspection Tool in der Google Search Console

So verwendest du das URL-Inspection-Tool: Es gibt, wie beschrieben, eine Reihe von Möglichkeiten Google auf eine neue URL aufmerksam zu machen. Eine Möglichkeit ist das URL-Inspection Tool in der neuen Google Search Console. Du gehts in die Search Console und gibts oben im Suchfenster die URL ein, die du gerne von Google crawlen und indexieren lassen möchtest. In einem ersten Schritt, ruft analysiert Google die URL und gibt dir ein Feedback zur URL. In dem folgenden Screenshot siehst du, wie das aussehen könnte.

Handelt es sich bei dir um eine komplett neue URL, dann gibt dir Google folgendes Feedback.

URL ist nicht auf Google: Diese Seite ist nicht im Index, aber nicht aufgrund eines Fehlers. Abdeckung: URL ist Google nicht bekannt. In einem nächsten Schritt klickst du dann auf der rechten Seite auf „Indexierung beantragen“. Dieser Prozess dauert ca. 1-2 Minuten und du bekommst dann als Meldung, das deine URL einer bevorzugten Crawling-Warteschlange hinzugefügt wurde.

Tipp für Fortgeschrittene: Seit dem Februar 2022 kannst du diese Daten über die URL-Inspection API auch in andere Tools wie dem ScreamingFrog ziehen und systematische Analyse deines Crawling- und Indexierungs-Status durchführen. Mehr Informationen findest du hier bei Google und wie du diese Daten für den URL-Inspection API im ScreamingFrog nutzt hier.

URL Inspection Tool & das Canonical-Tag

Mit dem Canonical-Tag (rel=canonical) kann man dafür sorgen, dass bei mehreren URLs mit gleichem oder ähnlichem Inhalt nur eine URL (Quelle) zur Indexierung verwendet wird. Dadurch entgeht man den Nachteilen von Duplicate Content. Wenn nun also zum Beispiel nach einem Relaunch das Canonical auf eine andere URL verweist, führt das dazu, dass die Ursprungs-URL nicht korrekt indexiert werden kann. Auch hier führt dich der Weg in die Google Search Console., Du verwendest das URL-Inspection Tool und überprüfst die URL, die du gerne im Index von Google finden möchtest. Ich habe für dieses Beispiel eine URL genommen, die wir mit Absicht nicht im Index von Google haben möchten. Du siehst auch hier sagt Google wieder „URL ist nicht bekannt“, aber der Grund liegt darin, das Google von einer anderen URL als der richtigen URL ausgeht ( vom Nutzer angegebene kanonische URL).

 

Wenn du das mit Absicht über das sogenannte rel=“canonical“ Google angezeigt hast, dann ist alles in Ordnung. Vielleicht hast du aber das in deinem Content Management System aus Versehen ein rel=“canonical“ angegeben. Dann kann es dir passieren, das Google deine Seite zwar crawlt, aber nicht indexiert. Was machst du jetzt? Du gehst jetzt in dein Content Management System und überprüfst in den Einstellungen für deine URL, ob du hier vielleicht ein rel=“canonical“ auf eine andere Seite gesetzt hast. Meistens werden diese Einstellungen über WordPress-Plugins ermöglicht. Wenn du das nicht wolltest, dann entferne jetzt das rel=“canonical“ und gebe die URL erneut Google zum Crawling.

Ihr habt Google per noindex ausgesperrt

Möglicherweise hindert das Meta-Tag „Robots“ mit dem Wert „noindex“ Google daran, eure Seite zu indexieren. Möchtet ihr das ändern, entfernt den Wert „noindex“. Meistens werden diese Einstellungen über eure Content Management Systeme vorgenommen. Hinweis: Der noindex-Befehl befindet sich im Head-Bereich eurer Website und sollte ungefähr so aussehen:

<meta name="robots" content="noindex" />
Ein einfaches Tool, um die falsche Auszeichnung über ein „noindex“ festzustellen ist browseo. Im Folgenden haben wir für euch hier mal ein Screenshot dargestellt, wie das entsprechend aussehen könnte. Neben vielen relevanten Daten, die euch bei der Suchmaschinenoptimierung helfen, wie Titel, Description etc. findet ihr auch weiter unten die Angaben, ob eure Seite auf „index“ oder „noindex“ gesetzt ist.

Ihr habt Crawler per robots.txt generell ausgesperrt

Wenn sich im Rootverzeichnis eurer Domain eine Datei namens robots.txt befindet, welche die folgenden Zeilen beinhaltet, habt ihr sowohl Googles Crawler als auch allen anderen Crawlern die Sicht auf eure Seite verwehrt:

User-Agent: *
Disallow: /

Entfernt ihr diese beiden Zeilen, kann eure Seite wieder gecrawlt und damit auch indexiert werden. Ihr könnt rure robots.txt Datei recht einfach auslesen. Da diese frei zugänglich sein muss, müsst ihr nur hinter eurer Domain  bzw. Startseite ein /robots.txt anhängen und könnt damit mal überprüfen, welche Verbote hier ggf. hinterlegt sind. Hier seht ihr mal wie das aussehen könnte. https://www.121watt.de/robots.txt und hier könnt ihr euch auch mal unsere robots.txt ansehen. Üblicherweise schließt man zum Beispiel Seiten wie

• Seiten mit duplicate content
• Paginierungs Seiten
• Dynamische Produkt- und Service Seiten
• Admin Seiten
• Warenkorbseiten
• Chatseiten
• Vielen Dank Seiten aus.

Mehr zur robots.txt und welche Seiten ihr hier ausschließen solltet und welche auch besser nicht, findet ihr hier.

---

121-Stunden Online-Marketing Newsletter:
Keine SEO- und Online-Marketing-News mehr verpassen!

• Wöchentlich aus 500 Quellen die besten Artikel übersichtlich zusammengefasst.
• Wir berichten regelmäßig über die wichtigsten Branchen-Events und aktuelle Seminare.
• Bereits mehr als 10.000 Online Marketers verfolgen mit uns die Branche.

---

Ihr habt lediglich Googles Crawler per robots.txt ausgesperrt

Es ist mit der robots.txt auch möglich, Crawler spezifisch auszusperren. In diesem Falle lautet der Eintrag beispielsweise:

User-Agent: Googlebot
Disallow: /

Entfernt ihr diesen Eintrag, kann fröhlich weiterindexiert werden.

Eure Pagination ist SEOseitig nicht korrekt eingestellt

Falls eine Unterseite eures Projekts nicht erreichbar ist, kann das daran liegen, dass die Pagination mit nofollow belegt ist.

Einzelne Links stehen auf nofollow

Es ist ebenso möglich, dass einzelne Links per nofollow nicht erreichbar sind. Ihr könnt das überprüfen, indem ihr den Head eurer Seite nach folgender Sequenz durchsucht:

<meta name="robots" content="nofollow" />

Ihr habt zu viel Duplicate Content

Wenn ihr Content bereitstellt, der exakt so oder sehr ähnlich auf einer anderen Seite zu finden ist, wird Google diese Seite zwar indexieren, aber wahrscheinlich nicht dort anzeigen, wo ihr sie gerne hättet. Der Grund: dieser Content ist nicht einzigartig. Das passiert besonders häufig bei Produktbeschreibungen in Online-Shops oder Facetten-Navigationen.

Tipp: Ihr könnt leicht herausfinden, ob ihr Duplicate Content bereitstellt, indem ihr einen Satz aus dem fraglichen Text nehmt und in Anführungszeichen bei Google sucht oder eure URL bei Copyscape auf DC überprüft.

Die URL wurde mittels der Google Search Console entfernt

Vielleicht habt ihr beabsichtig oder unbeabsichtigt eine URL über die Google Search Console aus dem Google Index entfernt.  Am Ende wurde von jemandem beantragt, dass eure Seite aus dem Index entfernt wird. Um das herauszufinden, loggt euch in die Google Search Console ein und klickt auf  Index -> Entfernen.  Taucht dort keine URL auf, ist dies jedenfalls nicht der Grund für die Unauffindbarkeit eurer Seite. Hier findest du mal ein Beispiel, wie eine entfernte URL in der Google Search Console zu finden ist.

 

Status „gecrawled – zurzeit nicht indexiert

Laut einer Erhebung von onely aus dem Mai 2021 sind 16 % der wertvollen Seiten auf beliebten Websites nicht indiziert. Beispiele die in diesem Artikel genannt werden sind unter anderem:

• Walmart.com: 45 % der Produktseiten sind nicht indiziert.
• dictionary.cambridge.org: 99,5 % der Seiten sind nicht indiziert.

Wie kannst du aber selber überprüfen, ob du ggf. Seiten hast die gecrawlt- zurzeit nicht indexiert wurden.

• Schritt 1: Du gehst in die Google Search Console > Bericht Abdeckung
• Schritt 2: Du wechselst im Bericht Abdeckung auf ausgeschlossen
• Schritt 3: Du überprüfst in einem nächsten Schritt, welche URLs den Status „Gecrawlt – zurzeit nicht indexiert“ haben
• Schritt 4: Du überprüfst, ob du hier ggf. für dich wichtige Seite entdeckst die den Status „Gecrawlt – zurzeit nicht indexiert“ haben

Was sind Gründe für Gecrawlt – zurzeit nicht indexiert“ ?

Dieser Status ist in der Google-Hilfe nicht exakt beschrieben. Die Gründe, die hier genannt werden sind:

• Deine Seite ist unter Umständen von manuellen oder rechtlichen Massnahmen betroffen
• Deine Seite darf kein Duplikat einer anderen Seite sein
• Deine Seite muss so relevant und qualitativ hochwert sein, das eine Indexierung lohnt

Du kannst zum Beispiel mit dem Screamingfrog alle deine Seite analysieren und bewerten. Interessant sind hier die

• exakten Duplikate
• nahe Duplikate und
• Seiten mit wenigen Inhalten

Mit großer Sicherheit findest du hier viele deiner Seite, die von Google gecrawled aber nicht indexiert wurden

• 

Was ist die Lösung für diesen Status?

Die Lösung hat natürlich hauptsächlich mit deinen Inhalten zu tun, wenn es um wichtige Seite geht, die hier nicht indexiert wurden. Versuche bei deine Inhalte an folgenden Punkte zu arbeiten

• Erweitere deine Inhalte um originelle Informationen, aufschlussreiche Berichte oder Analysen, die über das offensichtliche hinausgehen
• Vermeide es andere Quellen nur zu kopieren und leicht umzuschreiben
• Halte deine Inhalte aktuell!

Diese Vorschläge von mir für dich, basieren apropos auf den Google Search Quality Evaluator Guideline, die eine große Hilfe für die Entwicklung guter Inhalte darstellt. Hier findest du auch noch einen sehr umfangreiche Artikel zu „gecrawled – zurzeit nicht indexiert“ und mehr Informationen in der Google Hilfe

 

Ihr wurdet Opfer von Malware oder Hijacking

Hierauf werdet ihr in der Search Console (Webmaster-Tools) meistens hingewiesen. Werft deshalb immer einen Blick auf Benachrichtigungen oben rechts oder schaut euch die Sicherheitsbenachrichtigungen in der linken Navigation an. Alternativ dazu empfehle ich euch den Anti-Malware SaaS Sucuri – dieser Dienst überwacht eure Website ständig und informiert euch bei Problemen und hilft bei der Lösung!

Ist eure Seite immer noch nicht zu finden?

Natürlich ist es möglich, dass keiner dieser Fehler Auslöser einer mangelnden Indexierung ist. Die oben genannten Ursachen decken allerdings die häufigsten Fehlerquellen ab. In jedem Fall solltet ihr nicht in Panik verfallen, wenn euer Projekt plötzlich nicht mehr in den SERPs auftaucht. Nehmt euch eine Tasse Kaffee und geht diesen Artikel Schritt für Schritt durch. Ich bin sicher, ihr findet die Lösung – falls nicht, besucht mich in einem meiner Technical SEO Seminare oder fragt mich auf Twitter & Co. ;-)

Regelmässige SEO-Audits durchführen!

Passieren Fehler in der Suchmaschinenoptimierung? Aber natürlich, deswegen habe ich mir das angewöhnt in regelmässigen Routinen einen SEO-Audit auf meiner Seite zu machen. Das Ziel eine hohe Sichtbarkeit in den Suchmaschinen. In meinem Artikel zur Definition, Analyse und Verbesserung deiner Sichtbarkeit in der Suchmaschinenoptimierung findest du alle relevanten Informationen zur Beurteilung deiner Sichtbarkeit.

• Check Google Search Console. Bericht Abdeckung – täglich
• Wichtige Seite, wie Produktseiten  einmal die Woche über den Screamingfrog
• Alle Seiten – einmal den Monat im ScreamingFrog
• Wie entwickeln sich Impressionen. Klicks, CTR und Position – einmal die Woche in der GSC

Hier siehst du mal einen Screenshot meines wöchentlichen SEO-Audits im ScreamingFrog. Besonders schaue ich mir die HTTP-Statuscodes, den Indexierungsstatus und die Indexierbarkeit an. Bei Problemen mit Weiterleitungen, falsch gesetzten NoIndex Anweisung, Ausschluss durch robots.txt, rel=“canonical“  etc. verfahren ich dann, wie hier in diesem Artikel dargestellt.