Linux下apache日志（按日期存放）分析與狀態查看方法
一、apache日志按日期記錄
在apache的配置文件中找到
ErrorLog logs/error_log
CustomLog logs/access_log common
Linux系統配置方法：
將其改為
ErrorLog “| /usr/local/apache/bin/rotatelogs /home/logs/www/%Y_%m_%d_error_log 86400 480″
CustomLog “| /usr/local/apache/bin/rotatelogs /home/logs/www/%Y_%m_%d_access_log 86400 480″ common
Windows系統下配置方法：
#ErrorLog “|bin/rotatelogs.exe logs/vicp_net_error-%y%m%d.log 86400 480″
#CustomLog “|bin/rotatelogs.exe logs/vicp_net_access-%y%m%d.log 86400 480″ common
第一次不知道設置480這個參數，導致日志記錄時間和服務器時間相差8小時，原來是rotatelogs有一個offset參數，表示相對於UTC的時差分鐘數，中國是第八時區，相差480分鐘。86400是表示1天。
附rotatelogs說明
rotatelogs logfile [ rotationtime [ offset ]] | [ filesizeM ]
選項
logfile
它加上基准名就是日志文件名。如果logfile中包含’%’，則它會被視為用於的strftime(3)的格式字串；否則，它會被自動加上以秒為單位的.nnnnnnnnnn後綴。這兩種格式都表示新的日志開始使用的時間。
rotationtime
日志文件回卷的以秒為單位的間隔時間
offset
相對於UTC的時差的分鐘數。如果省略，則假定為0，並使用UTC時間。比如，要指定UTC時差為-5小時的地區的當地時間，則此參數應為-300。
filesizeM
指定回卷時以兆字節為單位的後綴字母M的文件大小，而不是指定回卷時間或時差。
二、設置apache日志記錄格式
定制日志文件的格式涉及到兩個指令，即LogFormat指令和CustomLog指令，默認httpd.conf文件提供了關於這兩個指令的幾個示例。
LogFormat指令定義格式並為格式指定一個名字，以後我們就可以直接引用這個名字。CustomLog指令設置日志文件，並指明日志文件所用的格式（通常通過格式的名字）。
LogFormat指令的功能是定義日志格式並為它指定一個名字。例如，在默認的httpd.conf文件中，我們可以找到下面這行代碼：
LogFormat “%h %l %u %t \”%r\” %>s %b” common
該指令創建了一種名為“common”的日志格式，日志的格式在雙引號包圍的內容中指定。格式字符串中的每一個變量代表著一項特定的信息，這些信息按照格式串規定的次序寫入到日志文件。
Apache文檔已經給出了所有可用於格式串的變量及其含義，下面是其譯文：
%…a: 遠程IP地址
%…A: 本地IP地址
%…B: 已發送的字節數，不包含HTTP頭
%…b: CLF格式的已發送字節數量，不包含HTTP頭。例如當沒有發送數據時，寫入‘-’而不是0。
%…{FOOBAR}e: 環境變量FOOBAR的內容
%…f: 文件名字
%…h: 遠程主機
%…H 請求的協議
%…{Foobar}i: Foobar的內容，發送給服務器的請求的標頭行。
%…l: 遠程登錄名字（來自identd，如提供的話）
%…m 請求的方法
%…{Foobar}n: 來自另外一個模塊的注解“Foobar”的內容
%…{Foobar}o: Foobar的內容，應答的標頭行
%…p: 服務器響應請求時使用的端口
%…P: 響應請求的子進程ID。
%…q 查詢字符串（如果存在查詢字符串，則包含“?”後面的部分；否則，它是一個空字符串。）
%…r: 請求的第一行
%…s: 狀態。對於進行內部重定向的請求，這是指*原來*請求 的狀態。如果用%…>s，則是指後來的請求。
%…t: 以公共日志時間格式表示的時間（或稱為標准英文格式）
%…{format}t: 以指定格式format表示的時間
%…T: 為響應請求而耗費的時間，以秒計
%…u: 遠程用戶（來自auth；如果返回狀態（%s）是401則可能是偽造的）
%…U: 用戶所請求的URL路徑
%…v: 響應請求的服務器的ServerName
%…V: 依照UseCanonicalName設置得到的服務器名字
在所有上面列出的變量中，“…”表示一個可選的條件。如果沒有指定條件，則變量的值將以“-”取代。分析前面來自默認httpd.conf文件的 LogFormat指令示例，可以看出它創建了一種名為“common”的日志格式，其中包括：遠程主機，遠程登錄名字，遠程用戶，請求時間，請求的第一 行代碼，請求狀態，以及發送的字節數。
有時候我們只想在日志中記錄某些特定的、已定義的信息，這時就要用到“…”。如果在“%”和變量之間放入了一個或者多個HTTP狀態代碼，則只有當請 求返回的狀態代碼屬於指定的狀態代碼之一時，變量所代表的內容才會被記錄。例如，如果我們想要記錄的是網站的所有無效鏈接，那麼可以使用：
LogFormat @4{Referer}i BrokenLinks
反之，如果我們想要記錄那些狀態代碼不等於指定值的請求，只需加入一個“!”符號即可：
LogFormat %!200U SomethingWrong
三、專門記錄某個蜘蛛記錄
SetEnvIfNoCase User-Agent Baiduspider baidu_robot
LogFormat “%h %t \”%r\” %>s %b” robot
linux下
CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot
windows下
CustomLog “|bin/rotatelogs.exe logs/baidu_%Y%m%d.txt 86400 480″ robot env=baidu_robot
這樣在logs目錄下，就會每天產生baidu_年月日.txt的日志了，每條的記錄和下面的類似：
61.135.168.14 [22/Oct/2008:22:21:26 +0800] “GET / HTTP/1.1″ 200 8427
四、去掉日志中的圖片、js、css、swf文件
<FilesMatch "\.(ico|gif|jpg|png|bmp|swf|css|js)">
SetEnv IMAG 1
</FilesMatch>
CustomLog "|bin/cronolog.exe logs/cpseadmin/access_%Y%m%d.log" combined env=!IMAG
清除error.log、access.log並限制Apache日志文件大小的方法
Apache下的access.log和error.log文件從安裝服務器到現在沒有動過，今天突然discuz 的MYSQL數據庫連接錯誤，提示2003 錯誤，檢查發現原來是error.log、access.log爆滿，文件達到30個G，奶奶的，立馬搜索，得把這兩個小子干掉。
下面是在網上搜索到的方法，立馬見效，頂一個！
在 Windows 下的設置例子如下：
第一步：刪除 Apache2/logs/目錄下的 error.log、access.log文件
第二步：打開 Apache 的 httpd.conf配置文件並找到下面兩條配置
ErrorLog logs/error.log
CustomLog logs/access.log common
直接注釋掉，換成下面的配置文件。
# 限制錯誤日志文件為 1M
ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”
# 每天生成一個錯誤日志文件
#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″
# 限制訪問日志文件為 1M
CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common
# 每天生成一個訪問日志文件
#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ common
參考：
Apache下的access.log和error.log文件處理方法
這幾天有會員和我說到網站訪問速度越來越慢。我查了一下，看到Apache2下面有兩個日志文件非常大了，加起來有800多M了。
分別是access.log和error.log。
於是在網上找找了給access.log和error.log減肥的方法，這個方法可讓這兩個文件按每天日期生成。這樣你可以選擇
把前面的舊文件刪除了。
在Apache下的httpd.conf配置文件下找到下面兩句：
ErrorLog logs/error.log
CustomLog logs/access.log common
然後把這兩句分別改為如下：
CustomLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/access_%Y_%m_%d.log 86400 480″ common
ErrorLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/error_%Y_%m_%d.log 86400 480″
一切就這麼簡單，這樣這兩個日志文件每天都會起一個新文件，就不至於單個文件太大，打不開，而無法看到日志信息了.
你還可以把前面的日志文件刪除。
access.log,件在 WEB 服務器運行一段時間之後會達到幾十兆甚至上百兆，如果Apache運行有錯誤,error.log也會增大到幾十兆，我們知道系統讀寫一個大的文本文件是非常耗內存的，因此限定日志文件大小十分必要。
日志文件大小的配置指令，通過參考http://httpd.apache.org/docs/2.0/programs /rotatelogs.html，可以用apache 自己的程序 rotatelogs.exe(位於 {$apache}/bin/目錄下)，來限制日志文件的大小。
Usage: rotatelogs [-l] [offset minutes from UTC] or
Add this:
TransferLog “|rotatelogs /some/where 86400″
or
TransferLog “|rotatelogs /some/where 5M”
to httpd.conf. The generated name will be /some/where.nnnn where nnnn is the system time at which the log nominally starts (N.B. if using a rotation time, the time will always be a multiple of the rotation time, so you can synchronizecron scripts with it). At the end of each rotation time or when the file size is reached a new log is started.
在 Windows 下的設置例子如下：
# 限制錯誤日志文件為 1M
ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”
# 每天生成一個錯誤日志文件
#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″
# 限制訪問日志文件為 1M
CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common
# 每天生成一個訪問日志文件
#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ common
linux/Unix下 應該類似。
清除apache的access.log方法
有個客戶服務器是用apache搭建的，最近總是感覺站很慢，服務器很慢很卡，有時候甚至網站都打不開，後來經過排查分析原來是裡面的access.log和error.log這兩個文件要經常上去看，和清理，如果時間忙，忘記看和清理了，過不了多久，這兩個文件就膨脹的非常的大，打都打不開了。 下面就跟你說下 清理access.log和error.log這兩個日志文件的方法希望對大家有些幫助。也懷疑懷疑是有其他的爬蟲，明天都在爬我的幾個網站。
優化access.log和error.log的方法如下 ：
CustomLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/access_%Y_%m_%d.log 86400 480″ common
ErrorLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/error_%Y_%m_%d.log 86400 480″
一切就這麼簡單，這樣這兩個日志文件每天都會起一個新文件，就不至於單個文件太大，打不開，而無法看到日志信息了.
解決Apache日志文件ACCESS.LOG日益膨脹的一個辦法
將httpd.conf中customlog logs/access.log common 改成
customlog “|c:/apache/bin/rotatelogs c:/apache/logs/%y_%m_%d.access.log 86400 480″ common
重啟apache
其中c:/apache/是你安裝apache的路徑
這樣每一天生成一個日志文件
解決Apache日志文件ACCESS.LOG日益膨脹的一個辦法
APACHE 日志查看與分析
假設apache日志格式為：
118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; GTB6.3)”
問題1：在apachelog中找出訪問次數最多的10個IP。
awk '{print $1}' apache_log |sort |uniq -c|sort -nr|head -n 10
awk 首先將每條日志中的IP抓出來，如日志格式被自定義過，可以 -F 定義分隔符和 print指定列；
sort進行初次排序，為的使相同的記錄排列到一起；
upiq -c 合並重復的行，並記錄重復次數。
head進行前十名篩選；
sort -nr按照數字進行倒敘排序。
我參考的命令是：
顯示10條最常用的命令
sed -e "s/| //n/g" ~/.bash_history | cut -d ' ' -f 1 | sort | uniq -c | sort -nr | head
問題2：在apache日志中找出訪問次數最多的幾個分鐘。
awk '{print $4}' access_log |cut -c 14-18|sort|uniq -c|sort -nr|head
awk 用空格分出來的第四列是[09/Jan/2010:00:59:59；
cut -c 提取14到18個字符
剩下的內容和問題1類似。
問題3：在apache日志中找到訪問最多的頁面：
awk '{print $11}' apache_log |sed 's/^.*cn/(.*/)/"//1/g'|sort |uniq -c|sort -rn|head
類似問題1和2，唯一特殊是用sed的替換功能將”http://www.a.cn/common/index.php”替換成括號內的內容：”http://www.a.cn（/common/index.php）”
問題4：在apache日志中找出訪問次數最多（負載最重）的幾個時間段（以分鐘為單位），然後在看看這些時間哪幾個IP訪問的最多？
1,查看apache進程:
ps aux | grep httpd | grep -v grep | wc -l
2,查看80端口的tcp連接:
netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l
3,通過日志查看當天ip連接數，過濾重復:
cat access_log | grep "19/May/2011" | awk '{print $2}' | sort | uniq -c | sort -nr
4,當天ip連接數最高的ip都在干些什麼(原來是蜘蛛):
cat access_log | grep "19/May/2011:00" | grep "61.135.166.230" | awk '{print $8}' | sort | uniq -c | sort -nr | head -n 10
5,當天訪問頁面排前10的url:
cat access_log | grep "19/May/2010:00" | awk '{print $8}' | sort | uniq -c | sort -nr | head -n 10
6,用tcpdump嗅探80端口的訪問看看誰最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr
接著從日志裡查看該ip在干嘛:
cat access_log | grep 220.181.38.183| awk '{print $1"/t"$8}' | sort | uniq -c | sort -nr | less
7,查看某一時間段的ip連接數:
grep "2006:0[7-8]" www20110519.log | awk '{print $2}' | sort | uniq -c| sort -nr | wc -l
8,當前WEB服務器中聯接次數最多的20條ip地址:
netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -n -r | head -n 20
9,查看日志中訪問次數最多的前10個IP
cat access_log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 |less
10,查看日志中出現100次以上的IP
cat access_log |cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'｜sort -nr |less
11,查看最近訪問量最高的文件
cat access_log |tail -10000|awk '{print $7}'|sort|uniq -c|sort -nr|less
12,查看日志中訪問超過100次的頁面
cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less
13,列出傳輸時間超過 30 秒的文件
cat access_log|awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20
14,列出最最耗時的頁面(超過60秒的)的以及對應頁面發生次數
cat access_log |awk '($NF > 60 && $7~//.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100
