SEO & Suchmaschinen
Robots.txt
Crawl-Richtlinien für Suchmaschinen
Robots.txt ist eine Datei im Root-Verzeichnis, die Suchmaschinen-Bots anweist, welche Seiten crawlen dürfen. Wichtig für Ressourcen-Verwaltung und Datenschutz. Fehler in robots.txt können Rankings schaden.