Блокировка ai ботов по user agent

Блокировка ai ботов по user agent

Ботов стало очень много. Их совместное посещение сайта создаёт немалую нагрузку. Блокируем?

В конфиге nginx. В разделе server добавляем:

if ($block_bots = 1) {
	return 403;
}

В разделе http добавляем подключение файла:

include /path/to/file/ai-bots.conf;

Содержимое файла (буду дополнять со временем):

map $http_user_agent $block_bots {
	default 0;
	~*AhrefsBot 1;
	~*AI2Bot 1;
	~*aiHitBot 1;
	~*Amazonbot 1;
	~*anthropic-ai 1;
	~*Baiduspider 1;
	~*bedrockbot 1;
	~*BLEXBot 1;
	~*Brightbot 1;
	~*BTWebClient 1;
	~*Bytespider 1;
	~*CCBot 1;
	~*ChatGPT 1;
	~*ClaudeBot 1;
	~*CommentReader 1;
	~*Copier 1;
	~*Crowsnest 1;
	~*Diffbot 1;
	~*DISCo 1;
	~*discobot 1;
	~*DotBot 1;
	~*DuckAssistBot 1;
	~*Ezooms 1;
	~*FirecrawlAgent 1;
	~*GoParserBot 1;
	~*GPTBot 1;
	~*HTTrack 1;
	~*ia_archiver 1;
	~*igdeSpyder 1;
	~*JS-Kit 1;
	~*MistralAI 1;
	~*MJ12bot 1;
	~*netvampire 1;
	~*OAI-SearchBot 1;
	~*PaperLiBot 1;
	~*peerindex 1;
	~*Perplexity-User 1;
	~*PerplexityBot 1;
	~*PetalBot 1;
	~*PhindBot 1;
	~*QuillBot 1;
	~*rogerbot 1;
	~*SBIntuitionsBot 1;
	~*SemrushBot 1;
	~*SputnikBot 1;
	~*Tagoobot 1;
	~*Teleport 1;
	~*Twiceler 1;
	~*WebCopier 1;
}

Есть вопросы или нашли ошибку? Напишите комментарий (можно без регистрации), отвечать стараюсь быстро.