Braucht Ihre Homepage eine robots.txt-Datei?

28. April 2016
Achim Wagenknecht Von Achim Wagenknecht, Freeware & Open Source, News & Trends, Linux, OpenOffice, Picasa, GIMP, Multimedia ...

Viele Betreiber von Internetseiten sind verunsichert. Angeblich muss man unbedingt eine Datei namens robots.txt haben. Was ist da dran?

Windows+Linux / Englisch / Open Source. Wer eine Homepage hat, will meistens auch gefunden werden. Da ist der Frust groß, wenn die eigene Seite bei Google nicht auftaucht. Das kann durchaus an der Datei robots.txt liegen. Allerdings nur, wenn sie vorhanden ist. Diese Datei kann nämlich nur eins: verbieten.

In der Datei robots.txt können Sie automatischen Programmen, die rund um die Uhr das Internet abgrasen, verbieten, auf Ihre Seiten zuzugreifen. Sie können das Verbot pauschal für alle diese Robots aussprechen oder für bestimmte. Sie können Ihre Seiten komplett sperren oder nur bestimmte Bereiche.

Ist die Datei nicht vorhanden, gibt es dementsprechend auch keine Verbote. Ihre Seiten stehen allen Suchmaschinen offen. Tauchen sie trotzdem nicht bei Google auf, stellt sich eine ganz andere Frage: Haben Sie Ihre Seiten überhaupt schon angemeldet? Am besten holen Sie das gleich nach. Einfach die Adresse hier eintragen:
https://www.google.com/webmasters/tools/submit-url
Dazu müssen Sie sich an Ihrem Google-Konto anmelden.

Damit eine fehlende robots.txt-Datei zum Problem werden könnte, müsste zusätzlich der Server falsch konfiguriert sein. Dann könnte ein Robot versuchen, auf die Datei zuzugreifen und dabei auf ungewöhnliche Fehlermeldungen stoßen, so dass der Vorgang abbricht. Dieser Fall ist aber sehr unwahrscheinlich.

Wenn Sie eine robots.txt-Datei anlegen möchten, dann speichern Sie sie im Hauptordner Ihres Webservers. Möchten Sie allen alles erlauben, schreiben Sie folgendes hinein:
User-Agent: *
Disallow:

Die Zeile "User-Agent" bezeichnet, für wen das Verbot gilt. * bedeutet: für alle. Die Zeile "Disallow" spricht das Verbot aus. Wenn da weiter nichts steht, heißt das, alle Zugriffe sind erlaubt.

Mehr zum Thema: Ihre eigene Homepage - ganz einfach

Die besten Linux- und OpenSource Tipps für Sie!

Jetzt gratis per E-Mail

DDV Ehrencodex E-Mail-Marketing
  • Wir benötigen Ihre E-Mail-Adresse für die Zusendung des Newsletters.
  • Wir geben Ihre E-Mail-Adresse garantiert nicht an Dritte weiter.
  • Jederzeit abbestellbar durch einen Link im Newsletter.

Unsere Datenschutzgarantie:

Wir benötigen Ihre E-Mail-Adresse für die Zusendung des Newsletters. Wir geben Ihre E-Mail-Adresse garantiert nicht an Dritte weiter. Jederzeit abbestellbar durch einen Link im Newsletter.

Weitere Artikel zum Thema

Die besten Linux- und OpenSource Tipps für Sie!

Jetzt gratis per E-Mail

  • die besten Tipps
  • völlig kostenlos
  • jederzeit abbestellbar
DDV Ehrencodex E-Mail-Marketing
  • Wir benötigen Ihre E-Mail-Adresse für die Zusendung des Newsletters.
  • Wir geben Ihre E-Mail-Adresse garantiert nicht an Dritte weiter.
  • Jederzeit abbestellbar durch einen Link im Newsletter.

Unsere Datenschutzgarantie:

Wir benötigen Ihre E-Mail-Adresse für die Zusendung des Newsletters. Wir geben Ihre E-Mail-Adresse garantiert nicht an Dritte weiter. Jederzeit abbestellbar durch einen Link im Newsletter.

Unsere Experten

Rudolf Ring twittert für @Computerwissen

Die von Ihnen eingegebene E-Mail Adresse ist nicht korrekt. Bitte korrgieren Sie Ihre Eingabe und klicken Sie auf "OK":

Bitte wählen Sie mindestens einen Newsletter aus und klicken Sie auf "OK"