E robots.txt Akten, déi am Root vun der Websäit gespaart ginn, suguer Webroboter wéi Suchmaschinn spuer wéi déi Verzeichnungen a Fichieren déi se erlaabt hunn ze kräischen. Et ass einfach, eng Datei robots.txt ze benotzen, awer et ginn Saachen déi Dir erënnert:
- Schwaarz Hutt Webroboter ignoréieren Är Robots.txt Datei. Déi meescht Gängst Typen sinn Malware Bots a Roboter déi E-Mail Adressen op d'Ernte setzen.
- E puer neie Programméierer schreiwen Roboter déi ignoréiert déi robots.txt Datei. Dëst gëtt normalerweis vu Feeler gemaach.
- Jidderee kann Är robots.txt Datei gesinn. Si gi stil ëmmer als Robots.txt genannt a gi ëmmer an der Wuerzel vun der Websäit gelagert.
- Endlech, wann e Link op e Fichier oder Verzeichnis deen vun Ärem robots.txt-Datei aus enger Säit ausgeschloss ass, déi net vun senger robots.txt-Datei ausgeschloss ass, kënnen d'Sichmotoren et iergendwou fannen.
Benotz d 'Argumente vun robots.txt net fir näischt ze verstoppen. Stéit sollt Dir eng wichteg Informatioun hannert enger sichere Passwuert zouloossen oder se ganz aus dem Internet verlassen.
Wéi benotze dës Beispiller Dateien
Kopie vum Text aus der Probe déi am nootsten ass wat Dir wëllt maachen an en an Är Robots.txt Datei fënsteren. Ändert de Roboter, Verzeichnisser an Dateinamen fir Är Lieblingsconfiguratioun ze passen.
Zwee Basic Robots.txt Files
User Agent: *
Verstouss: /
Dëst Fichier weist datt all Roboter (Benotzer-Agent: *), deen zougitt ass, all Säit op der Säit ignoréiert (Disallow: /).
User Agent: *
Verstouss:
Dëst Fichier weist datt e Roboter (Benotzer-Agent: *), deen op deen zougitt ass, erlaabt all Säit op der Säit ze gesinn (Disallow:).
Dir kënnt dat och maachen andeems Dir Är robots.txt Datei lee bliwwen oder net eng Kéier op Ärem Site huet.
Protect Specific Directories aus Roboter schützen
User Agent: *
Disallow: / cgi-bin /
Disallow: / temp /
Dëst Fichier weist datt all Roboter (Benotzer-Agent: *) déi zougitt ass, d'Verzeichnisser / cgi-bin / a / temp / (Disallow: / cgi-bin / Disallow: / temp /) ignoréieren.
Besonnesch Säite vu Roboter schützen
User Agent: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
Dëst Fichier weist datt all Roboter (User-Agent: *) déi zougitt ass, d'Dateien / jenss-stuff.htm a /private.php ignoréieren (Disallow: /jenns-stuff.htm Disallow: /private.php).
Präventiv ee spezifesche Robot aus Zougang zu Ärem Site
Benotzer-Agent: Lycos / xx
Verstouss: /
Dëst Fichier weist datt de Lycos Bot (User-Agent: Lycos / xx) net zougänglech sinn op der Säit zougänglech (Disallow: /).
Liwweren nëmmen een spezifesche Roboter
User Agent: *
Verstouss: /
Benotzer-Agent: Googlebot
Verstouss:
Dëse Fichier zitt als éischt all Robotere wéi mir et gemaach hunn, an dann explizit den Googlebot (User-Agent: Googlebot) Zougang zu alles hunn (Disallow:).
Kombinéiere vu Multiple Lines, fir exakt dës Exclusiounen déi Dir wëllt
Obwuel et besser ass eng enklusive User-Agent Linn ze benotzen, wéi User-Agent: *, kënnt Dir esou spezifesch wéi Dir wëllt. Denkt drun datt Roboteren d'Datei liest. Also wann déi éischt Linnen suergen datt all Robotere vu alles blockéiert sinn, a spéider an der Datei seet datt all Roboteren Zougang zu alles hunn, hunn déi Roboteren Zougang zu alles.
Wann Dir net sécher sidd, ob Dir Är Datei robots.txt korrekt geschriwwe hutt, kënnt Dir de Webmaster Tools vun Google benotzen fir Är robots.txt Datei ze schécken oder eng nei ze schreiwen.