Robots.txt Metriken

Damit Sie schnell erkennen, ob eine bestimmte URL von robots.txt geblockt wird, bieten wir nun genaue robots.txt Metriken für jeden Link an.

Metrik	Beschreibung
Robots.txt Bots	txt erlaubt normale Bots für diese URL
Robots.txt Googlebot	txt erlaubt den Googlebot für diese URL
Robots.txt Allowed Bots	Robots.txt erlaubt major Bots* für diese URL
Robots.txt Blocked Bots	Robots.txt blockiert major Bots für diese URL

*major Bots = applebot, baiduspider, bingbot, googlebot, msnbot, naverbot, seznambot, slurp, teoma, yandex