Crawlbare Inhalte mit robots.txt bestimmen

Vielleicht hast Du noch nie von der Datei robots.txt gehört – aber sie kann einen echten Unterschied machen. Mit dieser kleinen Textdatei steuerst Du, welche Seiten Deiner Website von Suchmaschinen gecrawlt werden dürfen. Das ist besonders wichtig, wenn Du selbst bestimmen willst, was in der Google-Suche erscheint – und was nicht. Dadurch kannst Du sensible oder unfertige Inhalte der Öffentlichkeit verwehren und gleichzeitig Ladezeit und Performance Deiner Seite verbessern.

Du brauchst kein Programmierer zu sein! Du erstellst einfach eine Datei mit dem Namen „robots.txt“ (ein ganz normaler Texteditor reicht) und fügst dort ein paar einfache Regeln ein – zum Beispiel:

makefile
KopierenBearbeiten
user-agent: *
disallow: /intern

Das heißt: Alle Bots (user-agent: *) dürfen den Ordner „/intern“ nicht besuchen. Klingt kompliziert? Ist es nicht. Und wenn Du ein Content-Management-System wie WordPress nutzt, gibt es oft sogar Plug-ins oder Einstellungen, mit denen Du das ganz bequem erledigen kannst – ganz ohne Dateien hin- und herladen.
Mit der robots.txt hast Du ein mächtiges Werkzeug in der Hand – ganz ohne Technikstress. Du sorgst dafür, dass Suchmaschinen sich auf das konzentrieren, was für Deine Besucher relevant ist – und alles andere einfach ignorieren. Wenn Du Unterstützung brauchst oder Fragen hast: Wir sind für Dich da.