In den Suchmaschinen gefunden zu werden ist Grundvoraussetzung für ein gutes Onlinebusiness. Und dennoch gibt es Situationen, wo es besser ist, spezielle Informationen nicht in den Suchergebnissen zu haben. Wieso, wie genau das funktioniert und was der Befehl „No Index“ damit zu tun hat, erfährst Du hier in diesem Beitrag.

  • Was bedeutet No Index
  • Das Vorgehen der Suchmaschinen: crawlen und indexieren
  •  Wie Du eine No-Index-Anweisung implementieren
  • Warum Google bei den robots.txt kein No Index mehr erlaubt

No Index- Wie Du eine No-Index-Anweisung implementierstHeutzutage haben wir eine unglaubliche Flut an Informationen. Um dennoch die besten Ergebnisse gerade bei Suchanfragen zu erhalten, legen die Suchmaschinen einen Index mit allen wichtigen Inhalten an. Dabei speichern sie Webseiten, Keywords zu Inhalten, Inhalte und Verlinkungen und entfernen wiederum auch Seiten und ähnliches aus diesem. Dieser ist also sehr dynamisch gestaltet und verändert sich tagtäglich. Um im Internet überhaupt erst einmal gefunden zu werden, ist eine Indexierung also maßgeblich erforderlich für Dich. Das ist übrigens nicht nur bei der Google-Suche so, sondern auch bei anderen Suchmaschinen, je nach Search Console, wie zum Beispiel Bing oder Yahoo.

Jetzt gibt es aber auch Inhalt, der nicht für die Suchmaschinen und deren Anfragen relevant ist bzw. wo Du nicht möchtest, dass dieser überhaupt indexiert wird. Und genau dafür nutzt Du die noindex-Anweisung. Diese gehört zu den sogenannten Meta Tags und hilft Dir, deine Seite SEO-freundlicher zu gestalten. Vor allem wird der noindex-Tag dazu verwendet, um doppelte Inhalte zu vermeiden und den bestmöglichen Content für die Suchmaschinen und den Usern bei den Suchergebnissen zu liefern. Und um damit letztendlich auch Verwirrung und Frust bei den Nutzern und somit ein schlechtes Ranking beim SEO für dich zu vermeiden. Es geht hiebei um die best mögliche Google Positionierung.

Keine Indexierung kann beispielsweise bei den folgenden Inhalten von Vorteil sein:

  • Impressum
  • Datenschutz
  • AGB
  • Dankesseite nach Bestellung

Das Vorgehen der Suchmaschinen: crawlen und indexieren

No Index- Wofür ist der No Index Tag gut?Damit die Suchmaschinen die besten und auch aktuellen Ergebnisse liefern können, muss der Index natürlich auch laufend auf dem neuesten Stand sein. Die Masse an Informationen händisch zu durchsuchen, ist allerdings einfach nicht mehr möglich. Genau aus diesem Grund werden sogenannte Robots bzw. Bots eingesetzt. Diese durchforsten inzwischen eigenständig und permanent das Internet und folgen den Links und Inhalten auf den Webseiten – auch bekannt als crawlen. Jeder Bot kann dabei nur eine bestimmte Menge an Informationen aufnehmen und legt diese dann im Register der Suchmaschine ab. Dieser Prozess ist die Indexierung bei den Suchmaschinen. Damit Du also überhaupt gefunden werden kannst, muss deine Seite indexiert sein.

Du kannst Dir das ganze ähnlich wie bei einer Bibliothek vorstellen. Statt bei einer Anfrage jedes Buch immer wieder neu zu durchsuchen, wird ein Katalog angelegt. In diesem sind dann unter den gesuchten Begriffen die jeweiligen Buchinformationen hinterlegt, wie zum Beispiel Titel, Autor oder ähnliches. Das Zusammentragen der Informationen aus den jeweiligen Büchern zu den entsprechenden Suchbegriffen ist im Onlinebereich das Crawling. Das Eintragen ist die Indexierung und der angelegte Katalog ist das Register der Suchmaschinen. Gefunden wirst Du aber nur, wenn Du auch indexiert bist.

Optimierung

Durch die begrenzte Speicherkapazität der Bots ist es für dich von Vorteil, ihnen die Arbeit so einfach als möglich zu machen. Zum einen schaffst Du dies, indem Du nicht relevante Seiten aus der Suche rausnimmst. Und zum anderen in dem Du Links, die auf solche Seiten führen, bewusst mit einer „Nicht-verfolgen“- Anweisung markierst. Dafür nutzt Du am besten den Befehl „nofollow“. Nofollow dient dabei dazu, deine Seite für die Bots zu verschlacken, Wege einzusparen und Daten sinnvoller zu nutzen. Und damit zusätzlich für eine bessere SEO-Bewertung für dich zu sorgen. Gerade die Kombination der beiden Anweisungen noindex und nofollow spielen dafür eine wichtigere Rolle.

Aus diesem Grund prüfen diese Bots immer zuerst, wie die Regeln für die entsprechende Website ausschauen. Und genau an der Stelle platzierst Du auch deinen nofollow- und noindex-Tag.

Gratis-Download

Hilfreiche Anleitungen und Checklisten für Dein Onlinemarketing.

Gratis-Sichtbarkeitsanalyse

Entdecke welches Potential in Deiner Webseite schlummert.

Kontakt

Du hast Fragen zum Onlinemarketing oder speziell zu diesem Thema?

Wie Du eine No-Index-Anweisung implementierst

No Index- Warum Google bei den robots.txt kein No Index mehr erlaubtHier kommt es natürlich ganz darauf an, mit welchem System Du arbeitest. Wenn Du zum Beispiel ein Baukastensystem für deine Website nutzt, dann haben die meisten dieser Systeme diese Funktion bereits implementiert. Möchtest Du das ganz genau überprüfen bzw. darüber hinaus für andere Seiten nutzen, dann wende dich am besten deinen Anbieter. Wenn Du WordPress verwendest, benötigst Du das Plugin „Yoast SEO“. Dort kannst Du unter Einstellungen auf das Dropdown-Menü bei der Option „Meta robots index“ klicken und den jeweiligen Befehl auswählen. Wenn Du deine Website dagegen eigenständig programmierst, hängt es von der von dir verwendeten Variante ab: Meta Robot Tag oder X-Robot-Tag. Wie Du da am besten vorgehst, findest Du unten aufgeführt.

Natürlich kannst Du auch mehrere Befehle bei diesen beiden Varianten eintragen. Nutze dafür den gleichen Metanamen und füge bei „content“ deine entsprechende Anweisung ein. Der Bot liest diese und führt sie entsprechend aus. Bitte beachte bei der Verwendung von mehreren Tags auf die Kombination derer. So würde zum Beispiel die Kombination noindex und die Sperrung einer Seite eine negative Auswirkung für Dich haben. Denn durch die Sperrung der Seite wird auch der Befehl „noindex“ nicht gelesen und somit landet die Seite eventuell doch in den Suchergebnissen.

Robots-Meta-Tag nutzend

Die Platzierung der Meta Tags erfolgt im Head-Bereich einer Seite und gibt die spezifischen Anweisungen aus. Dabei kannst Du auch entscheiden, ob die Regel für alle Bots gelten soll oder nur für bestimmte Bots. Zum Beispiel kann es sein, dass Du gern in den Suchergebnissen, aber nicht in den News-Ergebnissen von Google auftauchen möchtest. Um dies zu erreichen, gibst Du beim „name=“-Befehl nicht „robot“ ein, sondern den konkreten Botnamen. Dies wäre in unserem Beispiel „googlebot-news“.  Die Eintragung sehe wie folgt aus:

<!DOCTYPE html>

<html><head>

<meta name=“googlebot-news“ content=“noindex“ >

[…]

</head>

X-Robots-Tag nutzend

Jede Anweisung, die als Meta-Robot-Tag verwendet wird, kann auch als X-Robot-Tag eingesetzt werden. Dabei kann dieser als Element der HTTP-Header-Antwort genutzt werden. Und Du kannst hier auch mehrere Anweisungen eintragen, wie Du es auch bei den Meta Tag kannst. Hier ein Beispiel:

HTTP/ 1.1. 200 OK

Date: [….]

(…)

X-Robot-Tag: noindex

(…)

Warum Google bei den robots.txt kein No Index mehr erlaubt

No Index- URL aus Indexierung ausschließenBereits seit den 90ern wurde die robots.txt-Datei, auch bekannt als Robots-Exklusion-Standard-Protokoll (REP), genutzt, um den Crawlern von Google die zu durchsuchenden Websitebereiche vorzugeben. Seit September 2019 hat Google allerdings beschlossen, REP als Internetstandard zu machen und gleichzeitig ein paar Änderungen eingeführt. Denn seit diesem Zeitpunkt werden die Befehle noindex, nofollow und crawl-delay nicht mehr von den Bots in der robots.txt anerkannt und somit auch nicht ausgeführt. Der Grund dafür ist, dass laut Google viel zu wenig Nutzer diese Befehle verwendet haben, nämlich gerade mal 0,001 Prozent.

Wenn Du dennoch diese Regeln für dich anwenden möchtest, wurden alternative Möglichkeiten von Google geschaffen:

  • Nutze für deinen No Index-Befehl die X-Robots-Tags im HTTP-Header oder die Meta Robots Tags. Effektivste und am meisten empfohlene Variante, auch von Google selbst
  • Mit Hilfe eins Passwortes schützt die Inhalte ebenfalls davor, in den Index aufgenommen zu werden
  • Mit dem disallow-Befehl wie eine Art Stoppschild setzen, wodurch der Inhalt von den Crawlern nicht durchsucht wird. Damit tauchst Du wesentlich weniger in den Suchergebnissen auf, kannst allerdings durch Verlinkungen von anderen Seiten dennoch nochmal auftauchen
  • Das Tool „Remove URL“ in der Google Search Console verwenden. Damit kannst Du eine URL temporär aus dem Index entfernen
  • Dem Crawler mit den Befehlen 404- oder 410-Status die Info geben, dass diese Unterseite nicht existiert. Was nicht existiert, wird nicht indexiert.

Somit kannst Du also weiterhin Gebrauch von den Regeln machen und diese für eine bessere SEO deiner Site nutzen.

Gratis-Download

Hilfreiche Anleitungen und Checklisten für Dein Onlinemarketing.

Gratis-Sichtbarkeitsanalyse

Entdecke welches Potential in Deiner Webseite schlummert.

Kontakt

Du hast Fragen zum Onlinemarketing oder speziell zu diesem Thema?

MEHR LESEN ÜBER: "Marketing"