問題： 我注意到有一些機器人經常訪問我的nginx驅動的網站，並且進行一些攻擊性的掃描，導致消耗掉了我的網絡服務器的大量資源。我一直嘗試著通過用戶代理符串來阻擋這些機器人。我怎樣才能在nginx網絡服務器上阻擋掉特定的用戶代理呢？
現代互聯網滋生了大量各種各樣的惡意機器人和網絡爬蟲，比如像惡意軟件機器人、垃圾郵件程序或內容刮刀，這些惡意工具一直偷偷摸摸地掃描你的網站， 干些諸如檢測潛在網站漏洞、收獲電子郵件地址，或者只是從你的網站偷取內容。大多數機器人能夠通過它們的“用戶代理”簽名字符串來識別。
作為第一道防線，你可以嘗試通過將這些機器人的用戶代理字符串添加入robots.txt文件來阻止這些惡意軟件機器人訪問你的網站。但是，很不幸 的是，該操作只針對那些“行為良好”的機器人，這些機器人被設計遵循robots.txt的規范。許多惡意軟件機器人可以很容易地忽略掉 robots.txt，然後隨意掃描你的網站。
另一個用以阻擋特定機器人的途徑，就是配置你的網絡服務器，通過特定的用戶代理字符串拒絕要求提供內容的請求。本文就是說明如何在nginx網絡服務器上阻擋特定的用戶代理。
要配置用戶代理阻擋列表，請打開你的網站的nginx配置文件，找到server定義部分。該文件可能會放在不同的地方，這取決於你的nginx配置或Linux版本（如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/<your-site>,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/<your-site>）。
server {
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
....
}
在打開該配置文件並找到 server 部分後，添加以下 if 聲明到該部分內的某個地方。
server {
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
# 大小寫敏感的匹配
if ($http_user_agent ~ (Antivirx|Arian) {
return 403;
}
#大小寫無關的匹配
if ($http_user_agent ~* (netcrawl|npbot|malicious)) {
return 403;
}
....
}
如你所想，這些 if 聲明使用正則表達式匹配了任意不良用戶字符串，並向匹配的對象返回403 HTTP狀態碼。 $http_user_agent是HTTP請求中的一個包含有用戶代理字符串的變量。‘~’操作符針對用戶代理字符串進行大小寫敏感匹配，而‘~*’操作符則進行大小寫無關匹配。‘|’操作符是邏輯或，因此，你可以在 if 聲明中放入眾多的用戶代理關鍵字，然後將它們全部阻擋掉。
在修改配置文件後，你必須重新加載nginx以激活阻擋：
$ sudo /path/to/nginx -s reload
你可以通過使用帶有 “--user-agent” 選項的 wget 測試用戶代理阻擋。
$ wget --user-agent "malicious bot" http://<nginx-ip-address>
目前為止，我已經展示了在nginx中如何阻擋一些用戶代理的HTTP請求。如果你有許多不同類型的網絡爬蟲機器人要阻擋，又該怎麼辦呢？
由於用戶代理黑名單會增長得很大，所以將它們放在nginx的server部分不是個好點子。取而代之的是，你可以創建一個獨立的文件，在該文件中 列出所有被阻擋的用戶代理。例如，讓我們創建/etc/nginx/useragent.rules，並定義以下面的格式定義所有被阻擋的用戶代理的圖 譜。
$ sudo vi /etc/nginx/useragent.rules
map $http_user_agent $badagent {
default 0;
~*malicious 1;
~*backdoor 1;
~*netcrawler 1;
~Antivirx 1;
~Arian 1;
~webbandit 1;
}
與先前的配置類似，‘~*’將匹配以大小寫不敏感的方式匹配關鍵字，而‘~’將使用大小寫敏感的正則表達式匹配關鍵字。“default 0”行所表達的意思是，任何其它文件中未被列出的用戶代理將被允許。
接下來，打開你的網站的nginx配置文件，找到裡面包含 http 的部分，然後添加以下行到 http 部分某個位置。
http {
.....
include /etc/nginx/useragent.rules
}
注意，該 include 聲明必須出現在 server 部分之前（這就是為什麼我們將它添加到了 http 部分裡）。
現在，打開nginx配置定義你的服務器的部分，添加以下 if 聲明：
server {
....
if ($badagent) {
return 403;
}
....
}
最後，重新加載nginx。
$ sudo /path/to/nginx -s reload
現在，任何包含有/etc/nginx/useragent.rules中列出的關鍵字的用戶代理將被nginx自動禁止。
原文：https://linux.cn/article-5487-1.html