SERPtimizer ist ein SEO Tool, welches Webseiten analysiert und auf Fehler überprüft. Ihre Webseite wurde aus einem der folgenden Gründen vom SERPtimizerBot besucht:
- Überprüfung von externen Links die zu Ihrer Seite geführt haben.
- Analyse von Suchergebnis Seiten für ein bestimmtes Keyword.
- Suche nach Verlinkungen zu anderen Seiten.
- Die Seite wurde von einem unserer Kunden als Projekt angelegt und wird auf SEO Kriterien analysiert.
Vor dem Zugriff lesen wir zuerst die Robots.txt Datei. Hier können einzelne Seiten oder der vollständige Zugriff für bestimmte oder alle crawler gesperrt werden.
SERPtimizerBot vor dem Zugriff blockieren
Um unseren Bot vor weiteren Zugriffen auf Ihre Seite zu blockieren müssen Sie folgenden Eintrag in die robots.txt Datei hinzufügen.
User-agent: SERPtimizerBot Disallow: /
Seiten und Unterverzeichnisse für alle Bots blockieren
Wenn Sie nur einzelne Seiten oder Unterverzeichnisse vor dem Zugriff schützen möchten, können Sie diese auf folgende Weise eintragen. Das * Wildcard Zeichen im User-agent sperrt die angegebenen Resourcen gleich für alle Bots.
User-agent: * Disallow: /imprint.html Disallow: /private/
Die Zugriffe durch das Setzen einer Wartedauer verringern
Eine Weitere Methode die Last des Webservers zu verringern, ist die Angabe eines Crawl Delays. In folgendem Beispiel wird unser Bot nur alle 0,5 Sekunden einen Request ausführen.
User-agent: SERPtimizerBot Crawl-delay: 0.5