Mit der Datei robots.txt kann man Suchmaschinen mitteilen, ob und wo sie suchen dürfen – Siehe hierzu auch den Wikipedia-Artikel.
Für den einfachsten Fall, dass man alle Suchmaschinen auf alle Verzeichnisse und Dateien loslassen möchte, schreibt man ganz einfach:
User-Agent: *
Disallow:
Bei der Umsiedelung meines Webspaces zu einem neuen Hosting-Provider wollte ich auch gleich die Entwicklungstechnologie mitändern. Weil ich den benötigten Zeithorizont nicht ausreichend überblicken konnte, habe ich 2 Domains verwendet. Große Inhaltsteile waren auf beiden Adressen erreichbar.
Es hat dann leider nicht allzu lange gedauert, und Google muß diese Inhalte wohl als „Duplicate Content“ identifziert haben. Meine indizierten Seiten nahmen in den Google Webmaster Tools recht schnell von fast 4.000 Seiten auf knapp 600 Seiten ab.
Zwar erholte sich das Ergebnis einige Tage später wieder über 3.000 Seiten, aber da ich sicher noch länger mit der Umstellung doppelt fahren würde, habe ich Google durch folgenden robots.txt-Eintrag mitgeteilt, dass auf den alten Seiten nicht mehr gesucht werden darf.
User-Agent: *
Disallow: /unterverzeichnis/seiten_auf_alter_domain/