一、使用背景
當生產環境有很多服務器、很多業務模塊的日志需要每時每刻查看時
二、環境
系統：centos 6.5
JDK：1.8
Elasticsearch-5.0.0
Logstash-5.0.0
kibana-5.0.0
三、安裝
1、安裝JDK
下載JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
本環境下載的是64位tar.gz包，將安裝包拷貝至安裝服務器/usr/local目錄
[root@localhost ~]# cd /usr/local/
[root@localhost local]# tar -xzvf jdk-8u111-linux-x64.tar.gz
配置環境變量
[root@localhost local]# vim /etc/profile
將下面的內容添加至文件末尾（假如服務器需要多個JDK版本，為了ELK不影響其它系統，也可以將環境變量的內容稍後添加到ELK的啟動腳本中）
JAVA_HOME=/usr/local/jdk1.8.0_111
JRE_HOME=/usr/local/jdk1.8.0_111/jre
CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME
export JRE_HOME
ulimit -u 4096
[root@localhost local]# source /etc/profile
配置limit相關參數
[root@localhost local]# vim /etc/security/limits.conf
添加以下內容
* soft nproc 65536
* hard nproc 65536
* soft nofile 65536
* hard nofile 65536
創建運行ELK的用戶
[root@localhost local]# groupadd elk
[root@localhost local]# useradd -g elk elk
創建ELK運行目錄
[root@localhost local]# mkdir /elk
[root@localhost local]# chown -R elk:elk /elk
關閉防火牆：
[root@localhost ~]# iptables -F
以上全部是root用戶完成
2、安裝ELK
以下由elk用戶操作
以elk用戶登錄服務器
下載ELK安裝包：https://www.elastic.co/downloads，並上傳到服務器且解壓，解壓命令：tar -xzvf 包名
配置Elasticsearch
修改如下內容：
保存退出
啟動Elasticsearch
查看是否啟動成功
用浏覽器訪問：http://192.168.10.169:9200
Elasticsearch安裝完畢
安裝logstash
logstash是ELK中負責收集和過濾日志的
編寫配置文件如下：
解釋：
logstash的配置文件須包含三個內容：
input{}：此模塊是負責收集日志，可以從文件讀取、從redis讀取或者開啟端口讓產生日志的業務系統直接寫入到logstash
filter{}：此模塊是負責過濾收集到的日志，並根據過濾後對日志定義顯示字段
output{}：此模塊是負責將過濾後的日志輸出到elasticsearch或者文件、redis等
本環境采用從文件讀取日志，業務系統產生日志的格式如下：
[2016-11-05 00:00:03,731 INFO] [http-nio-8094-exec-10] [filter.LogRequestFilter] - /merchant/get-supply-detail.shtml, IP: 121.35.185.117, [device-dpi = 414*736, version = 3.6, device-os = iOS8.4.1, timestamp = 1478275204, bundle = APYQ9WATKK98V2EC, device-network = WiFi, token = 393E38694471483CB3686EC77BABB496, device-model = iPhone, device-cpu = , sequence = 1478275204980, device-uuid = C52FF568-A447-4AFE-8AE8-4C9A54CED10C, sign = 0966a15c090fa6725d8e3a14e9ef98dc, request = {
"supply-id" : 192
}]
[2016-11-05 00:00:03,731 DEBUG] [http-nio-8094-exec-10] [filter.ValidateRequestFilter] - Unsigned: bundle=APYQ9WATKK98V2EC&device-cpu=&device-dpi=414*736&device-model=iPhone&device-network=WiFi&device-os=iOS8.4.1&device-uuid=C52FF568-A447-4AFE-8AE8-4C9A54CED10C&request={
"supply-id" : 192
output直接輸出到Elasticsearch
本環境需處理兩套業務系統的日志
type：代表類型，其實就是將這個類型推送到Elasticsearch，方便後面的kibana進行分類搜索，一般直接命名業務系統的項目名
path：讀取文件的路徑
這個是代表日志報錯時，將報錯的換行歸屬於上一條message內容
start_position => "beginning"是代表從文件頭部開始讀取
filter{}中的grok是采用正則表達式來過濾日志，其中%{TIMESTAMP_ISO8601}代表一個內置獲取2016-11-05 00:00:03,731時間的正則表達式的函數，%{TIMESTAMP_ISO8601:date1}代表將獲取的值賦給date1，在kibana中可以體現出來
本環境有兩條grok是代表，第一條不符合將執行第二條
其中index是定義將過濾後的日志推送到Elasticsearch後存儲的名字
%{type}是調用input中的type變量(函數)
啟動logstash
代表啟動成功
安裝kibana
保存退出
啟動kibana
其中api-app-*和api-cxb-*從來的，*代表所有
代表實時收集的日志條數
紅色框內的就是在剛才filter過濾規則中定義的