歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux編程 >> SHELL編程

Shell統計PV,UV,獨立IP

Shell統計PV,UV,獨立IP   每天分析日志的哥們實在傷不起,經常需要給出PV,UV,獨立IP等一些統計值,使用C/C++,java都可以寫,過程是這樣的,先讀取文件,逐行掃描,把能標記的值放入數據結構中,排重得出最終結果,其實Linux本身有很強大的文本處理功能,完全可以用shell + 一些文本小工具得出結果。 每天分析日志的哥們實在傷不起,經常需要給出PV,UV,獨立IP等一些統計值,使用C/C++,java都可以寫,過程是這樣的,先讀取文件,逐行掃描,把能標記的值放入數據結構中,排重得出最終結果,其實Linux本身有很強大的文本處理功能,完全可以用shell + 一些文本小工具得出結果。   Nngix輸出的access log文件如下:   日志文件代碼   192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /index.html HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"   192.168.1.166 - - 119272312 [05/Nov/2011:16:06:59 +0800] "GET /poweredby.png HTTP/1.1" 200 3034 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"   192.168.1.177 - - 1007071650 [05/Nov/2011:16:06:59 +0800] "GET /favicon.ico HTTP/1.1" 404 3650 "-" "Chrome/15.0.874.106" "-"   192.168.1.178 - - 58565468 [05/Nov/2011:16:17:40 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)" "-"   192.168.1.166 - - 119272312 [05/Nov/2011:16:17:40 +0800] "GET /nginx-logo.png HTTP/1.1" 200 370 "http://192.168.1.201/" "Chrome/15.0.874.106" "-"     PV很簡單,大致就是統計某個URL的訪問次數,例如統計/index.html的訪問次數   Shell代碼     grep "/index.html" /var/log/nginx/access.log –c     UV呢,我們根據用戶標識(第四列) ,首先需要字符串截取,使用cut命令,以空格符號分割,-d “ ”, 再取第四列-f 4,然後這裡需要排重,需要使用uniq工具,uniq速度很快,但是基於就近排重,前一個後一個一樣會排重,之間間隔了不一樣的,就不行了,這就必須使用sort工具來對標識符進行排序,排序後再使用uniq工具就可以達到目的,之間我們用管道符號鏈接, 最後再用 wc –l 輸出統計數   比如我們統計訪問了/index.html這也頁面的uv:   Shell代碼     grep "/index.html" /var/log/nginx/access.log | cut –d “ ” –f 4| sort | uniq | wc –l     獨立IP:   假設我們要統計整站的獨立IP,那麼我們不需要使用 grep來匹配具體頁面,只需要使用cat輸出即可:   Shell代碼     cat /var/log/nginx/access.log | cut –d “ ” –f 1 | sort| uniq | wc -l     都木有使用強大的awk,就完成了基本的統計需求:)
Copyright © Linux教程網 All Rights Reserved