歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux基礎 >> Linux技術

Linux系統怎麼分析Nginx日志

  Linux系統下Nginx 日志可以查看系統運行記錄和出錯說明,對Nginx 日志的分析可以了解系統運行的狀態。那麼Linux系統Nginx日志怎麼分析呢?

Linux系統怎麼分析Nginx日志

  Nginx 日志相關配置有 2 個地方:access_log 和 log_format 。

  默認的格式:

  access_log /data/logs/nginx-access.log;

  log_format old ‘$remote_addr [$time_local] $status $request_time $body_bytes_sent ’

  ‘“$request” “$http_referer” “$http_user_agent”’;

  相信大部分用過 Nginx 的人對默認 Nginx 日志格式配置都很熟悉,對日志的內容也很熟悉。但是默認配置和格式雖然可讀,但是難以計算。

  Nginx 日志刷盤相關策略可配置:

  比如,設置 buffer,buffer 滿 32k 才刷盤;假如 buffer 不滿 5s 鐘強制刷盤的配置如下:

  access_log /data/logs/nginx-access.log buffer=32k flush=5s;

  這決定了是否實時看到日志以及日志對磁盤 IO 的影響。

  Nginx 日志能夠記錄的變量還有很多沒出現在默認配置中:

  比如:

  請求數據大小:$request_length

  返回數據大小:$bytes_sent

  請求耗時:$request_time

  所用連接序號:$connection

  當前連接發生請求數:$connection_requests

  Nginx 的默認格式不可計算,需要想辦法轉換成可計算格式,比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。

  log_format 的格式可以變成這樣:

  log_format new ‘$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A’

  ‘$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent’;

  這樣之後就通過常見的 Linux 命令行工具進行分析了:

  查找訪問頻率最高的 URL 和次數:

  cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c

  查找當前日志文件 500 錯誤的訪問:

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’

  查找當前日志文件 500 錯誤的數量:

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l

  查找某一分鐘內 500 錯誤訪問的數量:

  cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l

  查找耗時超過 1s 的慢請求:

  tail -f access.log | awk -F ‘^A’ ‘{if($6》1) print $0}’

  假如只想查看某些位:

  tail -f access.log | awk -F ‘^A’ ‘{if($6》1) print $3″|”$4}’

  查找 502 錯誤最多的 URL:

  cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c

  查找 200 空白頁

  cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 《 100) print $3″|”$4″|”$11″|”$6}’

  查看實時日志數據流

  tail -f access.log | cat -e

  或者

  tail -f access.log | tr ‘^A’ ‘|’

  照著這個思路可以做很多其他分析,比如 UA 最多的訪問;訪問頻率最高的 IP;請求耗時分析;請求返回包大小分析;等等。

  這就是一個大型 Web 日志分析系統的原型,這樣的格式也是非常方便進行後續大規模 batching 和 streaming 計算。

  以上就是Linux系統Nginx日志怎麼分析的全部內容了,可以看出來Nginx日志還是有很強大的作用的。

Copyright © Linux教程網 All Rights Reserved