Yandex laeuft Amok

[Christoph Schneegans]

Hallo allerseits!

Vor drei Monaten hat mich der durchgeknallte Youdao-Bot genervt, vgl.
<news:***@mid.individual.net> ff.

User-agent: YodaoBot
Disallow: /

hat diesen Amoklauf beendet, wenn man mal davon absieht, daß diese
Spinner die robots.txt selbst weiterhin etwa zehnmal täglich abrufen.

Neuerdings dreht nun ein Bot namens "Yandex" durch. Gestern war dieser
Bot für etwa ein Drittel aller Zugriffe auf meine Website
verantwortlich! Ähnlich wie der verblödete Youdao-Bot denkt sich auch
Yandex irgendwelche URLs aus, die es niemals unter schneegans.de gab:

• <http://schneegans.de/panorama/los-angeles-mike-tyson-schlaegt-fotografen-nieder-1521247/>
• <http://schneegans.de/support/help_buyfonts.html>
• <http://schneegans.de/forgot_password.php>
• <http://schneegans.de/wiredscience/2009/11/pluto_qa_alan_boyle/>
• <http://schneegans.de/support/general/disclaimer.do>
• <http://schneegans.de/java/awt/Component/>

Hoffen wir mal, daß

User-agent: Yandex
Disallow: /

wirkt.

[Andreas Treichel]

Post by Christoph Schneegans
Neuerdings dreht nun ein Bot namens "Yandex" durch. Gestern war dieser
Bot für etwa ein Drittel aller Zugriffe auf meine Website
verantwortlich! Ähnlich wie der verblödete Youdao-Bot denkt sich auch

Etwas ähnliches hatte ich vor einiger Zeit mit der Suchmaschine CUIL.
Anstatt unsere Seite zu indizieren, hat die alle paar Sekunden die
robots.txt erneut abgerufen und hat so zu recht viel nutzlosen Traffic
geführt.

[Christoph Schneegans]

Post by Andreas Treichel

Post by Christoph Schneegans
Neuerdings dreht nun ein Bot namens "Yandex" durch. Gestern war
dieser Bot für etwa ein Drittel aller Zugriffe auf meine Website
verantwortlich!

Etwas ähnliches hatte ich vor einiger Zeit mit der Suchmaschine CUIL.

So, der Spuk ist vorbei; immerhin hält sich Yandex an die robots.txt.