Pozor na ClaudeBot

V minulém týdnu nám začal vypadávat server, v pátek už to dostoupilo kritické hranice, že všechny weby byly více nedostupné než dostupné. Nakonec jsme zjistili, že na nás “zaútočil” ClaudeBot (ClaudeBot/1.0; +claudebot@anthropic.com).
Píšu to v uvozovkách, protože to nebyl cílený, úmyslný útok, ale vyrovnalo se to DDOS útoku. Pokud si ho vyhledáte, tak je tímto v poslední době poměrně známý…
U nejpostiženějšího webu narostl počet requestů o 33 000 %.

Řešením je přidat tohoto robota do robots.txt, případně nasadit globální ban list na serveru – podle toho jaké máte možnosti.

2 Likes

Narazili jste někdo někdo na info, proč to ti roboti dělají? Normální scraping webu chápu, ale proč stahujou dokola web, který se nemění?