Robots Tags verstehen

Wusstest Du, dass Du selbst bestimmen kannst, was Suchmaschinen von Deiner Website sehen und was nicht? Kein Hexenwerk – das Ganze nennt sich Robots Exclusion Protocol, kurz REP. Es gibt Dir die Möglichkeit, ganz genau zu sagen: „Diese Seite bitte nicht anzeigen“ oder „Diese Datei nicht indexieren“. Und das kann gerade für Dich als Website-Betreiber total wichtig sein.

Stell Dir die robots.txt-Datei wie einen Türsteher vor. Sie steht ganz am Eingang Deiner Website und sagt den Suchmaschinen-Crawlern (also den Programmen, die Deine Website durchforsten), welche Bereiche sie betreten dürfen – und welche tabu sind. Das ist sehr praktisch, wenn Du zum Beispiel Seiten hast, die für Google & Co. nicht relevant sind, wie ein internes Suchergebnis oder ein Login-Bereich.
Aber Achtung: Diese Datei verhindert nur, dass etwas gecrawlt wird – sie hält Inhalte nicht davon ab, trotzdem in den Suchergebnissen zu landen, wenn sie über andere Wege bekannt werden. Dafür brauchst Du eine zweite Ebene.

Jetzt wird es spannend: Mit sogenannten meta-Robots-Tags kannst Du jeder einzelnen Seite auf Deiner Website sagen, was damit passieren soll. Zum Beispiel:

html
KopierenBearbeiten
<meta name=“robots“ content=“noindex“>

Das heißt: „Bitte nicht in den Suchergebnissen anzeigen.“ Und das Beste: Du kannst das sogar direkt über Dein Content-Management-System (CMS) einstellen – meistens mit nur einem Klick.
Wenn es um PDFs, Bilder oder andere Dateien geht, kannst Du stattdessen einen sogenannten X-Robots-Tag im HTTP-Header verwenden. Auch hier sagst Du ganz klar: „Diese Datei soll nicht indexiert werden.“ Damit hast Du die gleiche Kontrolle – auch ohne HTML.

Ganz einfach: Du vermeidest, dass unwichtige oder doppelte Seiten in Google auftauchen. Du schützt Inhalte, die nicht öffentlich sein sollen. Und Du sorgst dafür, dass Suchmaschinen nur das zeigen, was wirklich relevant ist – das verbessert Deine Sichtbarkeit und Deine Marke.
Außerdem kannst Du auch steuern, ob ein Snippet (also die kleine Vorschau in den Suchergebnissen) angezeigt werden soll oder nicht. Oder ob die Links auf einer Seite verfolgt werden dürfen. Alles sehr gezielt – und alles von Dir steuerbar.

Wenn Du eine Website betreibst, lohnt es sich, mal genau hinzuschauen. Hast Du bereits eine robots.txt-Datei? Sind Deine wichtigen Seiten mit den richtigen Meta-Tags versehen? Gibt es Dateien, die Du lieber aus dem Index raushalten willst? Sprich uns am besten direkt an, wenn Du Fragen dazu hast, wir helfen wir Dir gerne weiter.
Mit dem richtigen Einsatz von robots.txt, meta-Tags und Headern gibst Du den Ton an – und nicht die Suchmaschinen. Das heißt: weniger unerwünschte Seiten im Index, bessere Kontrolle über Deine Inhalte und ein professionellerer Auftritt im Netz.