seochild.com

Mit einer robots.txt Datei kann man bei einer Webseite festlegen, wie soll die Webseite von Webcrowler untersucht werden. Man kann damit bestimmte Seiten oder Dateien “schützen” vor Suchmaschinen. Eine “robots.txt” Datei ist reine Text Datei und kann daher mit ganz hekömmlichen Text Editor wie Notepad bearbeitet werden. Hier paar Beispielen wie könnte auch Ihre “robots.txt” Datei aussehen.

Sie können alle Seiten auf einmal aktivieren:

User-Agent: *
Allow: /

oder alle deaktivieren:

User-Agent: *
Disallow: /

Falls Sie nur bestimmte Seiten aktivieren oder deaktivieren wollen. Folgendes Beispiel ist für: alle Seiten aktiviert, nur für Googlebot sind die Seiten: Kontakt, AGB und alle PDF Dateien nicht erlaubt durchzusuchen:

User-Agent: *
Allow: /
User-Agent: Googlebot
Disallow: /kontakt.php
Disallow: /agb.html
Disallow: /*.pdf$

Falls Sie ein ganzen z.B.: Privat Ordner für Google und Yahoo! deaktivieren und für andere aktivieren wollen:

User-Agent: *
Allow: /
User-Agent: Googlebot
Disallow: /privat/
User-Agent: Googlebot
Disallow: /privat/

• Hinweis:

Sie können aber auch mit einem “Meta” Eintrag bestimmte Seite “sperren” oder “freigeben.”

<meta name="robots" content="noindex,nofollow" />

Dazu werde ich mich in einem anderem Beitrag widmen.

* * *

Fragen und Anregungen: