Блокировка ai ботов по user agent

Блокировка ai ботов по user agent

Ботов стало очень много. Их совместное посещение сайта создаёт немалую нагрузку. Блокируем?

В конфиге nginx. В разделе server добавляем:

if ($block_bots = 1) {
	return 403;
}

В разделе http добавляем подключение файла:

include /path/to/file/ai-bots.conf;

Содержимое файла (буду дополнять со временем):

#Обновлено: 08.12.2025
map $http_user_agent $block_bots   {
	default 0;
	~*AhrefsBot 1;
	~*AI2Bot 1;
	~*aiHitBot 1;
	~*anthropic-ai 1;
	~*Aport 1;
	~*Baiduspider 1;
	~*bedrockbot 1;
	~*BLEXBot 1;
	~*Brightbot 1;
	~*BTWebClient 1;
	~*Bytespider 1;
	~*CCBot 1;
	~*ChatGPT 1;
	~*ClaudeBot 1;
	~*cohere 1;
	~*CommentReader 1;
	~*Copier 1;
	~*Crowsnest 1;
	~*Diffbot 1;
	~*DISCo 1;
	~*discobot 1;
	~*DotBot 1;
	~*DuckAssistBot 1;
	~*Ezooms 1;
	~*FirecrawlAgent 1;
	~*GoParserBot 1;
	~*GPTBot 1;
	~*HTTrack 1;
	~*ia_archiver 1;
	~*igdeSpyder 1;
	~*JS-Kit 1;
	~*MistralAI 1;
	~*mj12bot 1;
	~*MJ12bot 1;
	~*NetcraftSurveyAgent 1;
	~*netvampire 1;
	~*NING 1;
	~*OAI-SearchBot 1;
	~*Offline 1;
	~*PaperLiBot 1;
	~*peerindex 1;
	~*Perplexity-User 1;
	~*PerplexityBot 1;
	~*PetalBot 1;
	~*PhindBot 1;
	~*serpstatbot 1;
	~*Turnitin 1;
	~*QuillBot 1;
	~*rogerbot 1;
	~*SBIntuitionsBot 1;
	~*SemrushBot 1;
	~*SeekportBot 1;
	~*Slurp 1;
	~*SputnikBot 1;
	~*Tagoobot 1;
	~*Teleport 1;
	~*TerraCotta 1;
	~*Turnitin 1;
	~*Twiceler 1;
	~*WebCopier 1;
	~*Yeti 1;
	# Блокировать этих или нет, решать вам, но % от посещения у них самый высокий:
	~*Amazonbot 1;
	~*meta-externalagent 1;
	~*facebookexternalhit 1;
	# хорошие ребята (нужны для статистики):
	#Googlebot
	#YandexBot
	#YandexRenderResourcesBot
	#bingbot
}

Есть вопрос или нашли ошибку? Напишите комментарий (можно без регистрации), отвечать стараюсь быстро.