Was Robots sind und was eine robots.txt Datei bewirkt.

Beschreibt in Beispielen warum die Datei robots.txt so wichtig ist damit Seiten in Suchmaschinen auffindbar werden.

Werkzeug, mit welchem man eine angepasste robots.txt-Datei online erstellen kann.

Kurzeinleitung zur Konfiguration einer robots.txt Datei.