Suchmaschinen direkten eine große , manchmal sogar überwältigende Menge der meisten Verkehr Websites . Als der größte im Bunde , ist Google entscheidend zu einer Website für den Erfolg. Damit es korrekt funktioniert , muss es zu kriechen Ihre Website regelmäßig . Selbst nachdem Sie die erforderlichen robots.txt -Datei für Google benötigt, um Ihre Website zu crawlen gesetzt , sollten Sie testen, die Google Crawl , um sicherzustellen, dass es funktioniert . Sie können dies von Ihrem Webmaster -Tools-Konto zu tun. Things You
Webmaster -Tools-Konto
brauchen anzeigen Weitere Anweisungen
1
Log in Ihr Webmaster Tool Account ( Link in Ressourcen). Um Google crawl testen, müssen Sie , um sich für dieses kostenlose Tool, wenn Sie nicht bereits haben.
2
Wählen Sie " Site Configuration " und dann " Crawler-Zugriff ".
3
Klicken Sie auf die "Test robots.txt "-Registerkarte.
4
prüfen , dass alle Informationen ( URL Ihrer Website , robots.txt-Datei ) korrekt ist , klicken Sie dann auf "Test . "