Der Traffalyzer-Crawler

Wenn in deinem Serverlog ein Besucher namens Traffalyzer auftaucht, war das unser Crawler. Hier steht, wer er ist, wann er kommt und wie du ihm einzelne Seiten verbietest.

So weist er sich aus

Der Crawler sendet bei jedem Aufruf diesen User-Agent:

Traffalyzer/1.0 SEO Analyzer (+https://traffalyzer.com/bot)

Für die Vorab-Analyse von Websites, die noch kein Traffalyzer-Konto haben, gibt es eine zweite Kennung. Sie ruft nur wenige Seiten auf und hält zwischen den Aufrufen mindestens zwei Sekunden Abstand:

Traffalyzer-Prospect/1.0 (+https://traffalyzer.com/bot)

Wann er eine Website besucht

Der Crawler läuft nicht dauerhaft über das Netz. Er besucht eine Website, wenn jemand einen Scan dafür anstößt: der Inhaber im Dashboard, ein Besucher über den kostenlosen Check auf traffalyzer.com oder der regelmäßige Scan einer angelegten Domain. Er holt dabei bis zu fünf Seiten gleichzeitig, folgt internen Links und der Sitemap und prüft höchstens 2.000 Seiten je Scan.

Seiten per robots.txt ausnehmen

Der Crawler liest die robots.txt der Domain und lässt alles aus, was dort für ihn gesperrt ist. Als Kennung in der robots.txt reicht der Name Traffalyzer. So nimmst du zwei Bereiche nur aus dem Scan, ohne etwas für Google zu ändern:

User-agent: Traffalyzer
Disallow: /intern/
Disallow: /warenkorb

Regeln für alle Bots (User-agent: *) gelten ebenso. Was du dort sperrst, sehen wir nicht an.
Die Startseite prüft der Crawler immer, auch bei einem pauschalen Disallow: /. Sonst käme ein leerer Scan heraus, der niemandem hilft.
Eine Änderung greift ab dem nächsten Scan. Den kannst du im Dashboard jederzeit neu anstoßen.

Fragen oder Ärger

Wenn der Crawler etwas tut, das er nicht sollte, schreib uns mit der betroffenen Adresse an info@traffalyzer.com. Wir schauen direkt nach.