一、limits.conf原理
工作原理
limits.conf文件實際是Linux PAM(插入式認證模塊,Pluggable Authentication Modules)中 pam_limits.so 的配置文件,突破系統的默認限制,對系統訪問資源有一定保護作用。 limits.conf 和sysctl.conf區別在於limits.conf是針對用戶,而sysctl.conf是針對整個系統參數配置。
limits.conf是pam_limits.so的配置文件,然後/etc/pam.d/下的應用程序調用pam_***.so模塊。譬如說,當用戶訪問服務器,服務程序將請求發送到PAM模塊,PAM模塊根據服務名稱在/etc/pam.d目錄下選擇一個對應的服務文件,然後根據服務文件的內容選擇具體的PAM模塊進行處理。
文件格式
username|@groupname type resource limit
1)username|@groupname
設置需要被限制的用戶名,組名前面加@和用戶名區別。也可用通配符*來做所有用戶的限制
2)type
類型有soft,hard 和 -
soft 指的是當前系統生效的設置值
hard 表明系統中所能設定的最大值,soft 的限制不能比 hard 限制高
- 就表明同時設置了 soft 和 hard 的值
3)resource: 表示要限制的資源
core - 限制內核文件的大小
core file : 當一個程序崩潰時,在進程當前工作目錄的core文件中復制了該進程的存儲圖像。core文件僅僅是一個內存映象(同時加上調試信息),主要是用來調試的。core文件是個二進制文件,需要用相應的工具來分析程序崩潰時的內存映像,系統默認core文件的大小為0,所以沒有被創建。可以用ulimit命令查看和修改core文件的大小。 #ulimit -c 0 #ulimit -c 1000 #ulimit -c unlimited 注意:如果想讓修改永久生效,則需要修改配置文件,如 .bash_profile、/etc/profile或/etc/security/limits.conf
date - 最大數據大小
fsize - 最大文件大小
memlock - 最大鎖定內存地址空間
nofile - 打開文件的最大數目
對於需要做許多套接字連接並使它們處於打開狀態的應用程序而言,最好通過使用ulimit -n,或者通過設置nofile參數,為用戶把文件描述符的數量設置得比默認值高一些
rss - 最大持久設置大小
stack - 最大棧大小
cpu - 以分鐘為單位的最多 CPU 時間
noproc - 進程的最大數目
as - 地址空間限制
maxlogins - 此用戶允許登錄的最大數目
示例
限制admin用戶登錄到sshd的服務不能超 過2個
echo session required pam_limits.so >> /etc/pam.d/sshd
echo admin - maxlogins 2 >> /etc/security/limits.conf
查看應用程序能否被PAM支持,用ldd
同理limits.conf要使用就必須保證/etc/pam.d/login 中有下面:session required pam_limits.so
設置
暫時生效,ulimit 命令
永久生效,通過將一個相應的 ulimit 語句添加到由登錄 shell 讀取的文件之一(例如 ~/.profile),即特定於 shell 的用戶資源文件;或者通過編輯 /etc/security/limits.conf
二、ulimit
ulimit 用於限制 shell 啟動進程所占用的資源,支持以下各種類型的限制:所創建的內核文件的大小、進程數據塊的大小、Shell 進程創建文件的大小、內存鎖住的大小、常駐內存集的大小、打開文件描述符的數量、分配堆棧的最大大小、CPU 時間、單個用戶的最大線程數、Shell 進程所能使用的最大虛擬內存。同時,它支持硬資源和軟資源的限制
作為臨時限制,ulimit 可以作用於通過使用其命令登錄的 shell 會話,在會話終止時便結束限制,並不影響於其他 shell 會話。而對於長期的固定限制,ulimit 命令語句又可以被添加到由登錄 shell 讀取的文件中,作用於特定的 shell 用戶
只對當前tty(終端有效),若要每次都生效的話,可以把ulimit參數放到對應用戶的.bash_profile裡面
ulimit命令本身就有分軟硬設置,加-H就是硬,加-S就是軟
默認顯示的是軟限制,如果運行ulimit命令修改的時候沒有加上的話,就是兩個參數一起改變生效
ulimit命令用來限制系統用戶對shell資源的訪問,常用參數解釋如下
ulimit(選項)
-a:顯示目前資源限制的設定;
-c <core文件上限>:設定core文件的最大值,單位為區塊;
-d <數據節區大小>:程序數據節區的最大值,單位為KB;
-f <文件大小>:shell所能建立的最大文件,單位為區塊;
-H:設定資源的硬性限制,也就是管理員所設下的限制;
-m <內存大小>:指定可使用內存的上限,單位為KB;
-n <文件數目>:指定同一時間最多可開啟的文件數;
-p <緩沖區大小>:指定管道緩沖區的大小,單位512字節;
-s <堆疊大小>:指定堆疊的上限,單位為KB;
-S:設定資源的彈性限制;
-t <CPU時間>:指定CPU使用時間的上限,單位為秒;
-u <程序數目>:用戶最多可開啟的程序數目;
-v <虛擬內存大小>:指定可使用的虛擬內存上限,單位為KB。
Linux是有文件句柄限制的,而且Linux默認不是很高,一般都是1024,生產服務器用其實很容易就達到這個數量
系統的限制文件在 /proc/sys/fs/file-max 、/proc/sys/fs/file-nr中
/proc/sys/fs/file-max
決定了當前內核可以打開的最大的文件句柄數
The value in file-max denotes the maximum number of file handles that the Linux kernel will allocate. When you get a lot of error messages about running out of file handles, you might want to raise this limit. The default value is 10% of RAM in kilobytes. To change it, just write the new number into the file
意思是file-max一般為內存大小(KB)的10%來計算,如果使用shell,可以這樣計算
grep -r MemTotal /proc/meminfo | awk '{printf("%d",$2/10)}'
/proc/sys/fs/file-nr
Historically, the three values in file-nr denoted the number of allocated file handles, the number of allocated but unused file handles, and the maximum number of file handles. Linux 2.6 always reports 0 as the number of free file handles -- this is not an error, it just means that the number of allocated file handles exactly matches the number of used file handles.
查找文件句柄問題的時候,還有一個很實用的程序lsof.可以很方便看到某個進程開了那些句柄.也可以看到某個文件/目錄被什麼進程占用了.
lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more
修改完重新登錄就可以見到,使用 ulimit -a 查看確認
設置
針對所有用戶的設置,在/etc/security/limits.conf文件,其是可以對系統用戶、組進行cpu、文件數等限制的,通過它可以針對某個用戶或全部進行限制。但不能超越系統的限制;
(*表示所有用戶、soft表示可以超出,但只是警告;hard表示絕對不能超出,unlimited用於表示不限制)如果想對所有用戶設置,也可以放在/etc/profile文件裡面,下面是該文件裡面的默認參數:ulimit -S -c 0 > /dev/null 2>&1
修改ulimit最大限制
1)使用命令修改
查詢當前終端的文件句柄數: ulimit -n 回車,一般的系統默認的1024.
修改文件句柄數為65535,ulimit -n 65535.此時系統的文件句柄數為65535.
2)將ulimit 值添加到/etc/profile文件中(適用於有root權限登錄的系統)
為了每次系統重新啟動時,都可以獲取更大的ulimit值,將ulimit 加入到/etc/profile 文件底部
echo ulimit -n 65535 >>/etc/profile
source /etc/profile
ulimit -n
3)OK,好多朋友都以為大功告成了,可以突然發現自己再次登錄進來的時候,ulimit的值還是1024,這是為什麼呢?
關鍵的原因是你登錄的用戶是什麼身份,是不是root用戶,由於服務器的root用戶權限很大,一般是不能用來登錄的,都是通過自己本人的登錄權限進行登錄,並通過sudo方式切換到root用戶下進行工作。 用戶登錄的時候執行sh腳本的順序:
/etc/profile.d/file
/etc/profile
/etc/bashrc
/home/.admin/.bashrc
/home/.admin/.bash_profile
由於ulimit -n的腳本命令加載在第二部分,用戶登錄時由於權限原因在第二步還不能完成ulimit的修改,所以ulimit的值還是系統默認的1024
解決辦法: 修改linux的軟硬件限制文件
echo '
* soft nproc 11000
* hard nproc 11000
* soft nofile 655350
* hard nofile 655350' >> /etc/security/limits.conf
4)經過以上修改,在有些系統中,用一般用戶再登陸,仍然沒有修改過來,那麼需要檢查是否有如下文件,如果沒有,則要添加如下內容:
echo session required /lib/security/pam_limits.so >> /etc/pam.d/sshd
service sshd reload
5)如果仍然不行,那麼需要修改如下文件
echo UsePrivilegeSeparation no >> /etc/ssh/sshd_config
ulimit -n and /proc/sys/fs/file-max 有什麼區別
1、file-max 是內核級別的,所有的進程總和不能超過這個數
2、ulimit是進程級別的
me@superme:~$ ulimit -n
1024
me@superme:~$ lsof | grep me | wc -l
8145
#!/usr/bin/perl
$count = 0;
@filedescriptors;
while ($count <= 1024) {
$FILE = ${count};
open $FILE, ">", "/tmp/example$count" or die "\n\n FDs: $count $!";
push(@filedescriptors, $FILE);
$count ++;
}
//FDs: 1021 Too many open files at ./test.pl line 8.
//1021 because there were 3 open file descriptors before reaching the while loop (stdout, stdin and stderr)
三、關閉IPV6
目前為止我們還不需要IPv6,系統安裝完之後是自帶並且開啟了的,需要我們關閉
1
ifconfig | grep inet6 || lsmod | grep ipv6
1、如果出現inet6 addr…的字樣,說明就是安裝了
2、顯示內核加載的ipv6相關模塊
通過以下命令禁用
sed -i 's/^NETWORKING_IPV6=yes/NETWORKING_IPV6=no/' /etc/sysconfig/network
echo '
alias net-pf-10 off
alias ipv6 off ' >> /etc/modprobe.d/dist.conf
chkconfig ip6tables off
四、sysctl.conf工作原理
sysctl命令被用於在內核運行時動態地修改內核的運行參數,可用的內核參數在目錄/proc/sys中。它包含一些TCP/IP堆棧和虛擬內存系統的高級選項, 這可以讓有經驗的管理員提高引人注目的系統性能。用sysctl可以讀取設置超過五百個系統變量
sysctl.conf設置
這是一個在網絡上流傳依舊的sysctl.conf優化配置sysctl.conf設置
#禁用包過濾功能
net.ipv4.ip_forward = 0
#啟用源路由核查功能
net.ipv4.conf.default.rp_filter = 1
#禁用所有IP源路由
net.ipv4.conf.default.accept_source_route = 0
#使用sysrq組合鍵是了解系統目前運行情況,為安全起見設為0關閉
kernel.sysrq = 0
#控制core文件的文件名是否添加pid作為擴展
kernel.core_uses_pid = 1
#開啟SYN Cookies,當出現SYN等待隊列溢出時,啟用cookies來處理
net.ipv4.tcp_syncookies = 1
#每個消息隊列的大小(單位:字節)限制
kernel.msgmnb = 65536
#整個系統最大消息隊列數量限制
kernel.msgmax = 65536
#單個共享內存段的大小(單位:字節)限制,計算公式64G*1024*1024*1024(字節)
kernel.shmmax = 68719476736
#所有內存大小(單位:頁,1頁 = 4Kb),計算公式16G*1024*1024*1024/4KB(頁)
kernel.shmall = 4294967296
#timewait的數量,默認是180000
net.ipv4.tcp_max_tw_buckets = 6000
#開啟有選擇的應答
net.ipv4.tcp_sack = 1
#支持更大的TCP窗口. 如果TCP窗口最大超過65535(64K), 必須設置該數值為1
net.ipv4.tcp_window_scaling = 1
#TCP讀buffer
net.ipv4.tcp_rmem = 4096 131072 1048576
#TCP寫buffer
net.ipv4.tcp_wmem = 4096 131072 1048576
#為TCP socket預留用於發送緩沖的內存默認值(單位:字節)
net.core.wmem_default = 8388608
#為TCP socket預留用於發送緩沖的內存最大值(單位:字節)
net.core.wmem_max = 16777216
#為TCP socket預留用於接收緩沖的內存默認值(單位:字節)
net.core.rmem_default = 8388608
#為TCP socket預留用於接收緩沖的內存最大值(單位:字節)
net.core.rmem_max = 16777216
#每個網絡接口接收數據包的速率比內核處理這些包的速率快時,允許送到隊列的數據包的最大數目
net.core.netdev_max_backlog = 262144
#web應用中listen函數的backlog默認會給我們內核參數的net.core.somaxconn限制到128,而nginx定義的NGX_LISTEN_BACKLOG默認為511,所以有必要調整這個值
net.core.somaxconn = 262144
#系統中最多有多少個TCP套接字不被關聯到任何一個用戶文件句柄上。這個限制僅僅是為了防止簡單的DoS攻擊,不能過分依靠它或者人為地減小這個值,更應該增加這個值(如果增加了內存之後)
net.ipv4.tcp_max_orphans = 3276800
#記錄的那些尚未收到客戶端確認信息的連接請求的最大值。對於有128M內存的系統而言,缺省值是1024,小內存的系統則是128
net.ipv4.tcp_max_syn_backlog = 262144
#時間戳可以避免序列號的卷繞。一個1Gbps的鏈路肯定會遇到以前用過的序列號。時間戳能夠讓內核接受這種“異常”的數據包。這裡需要將其關掉
net.ipv4.tcp_timestamps = 0
#為了打開對端的連接,內核需要發送一個SYN並附帶一個回應前面一個SYN的ACK。也就是所謂三次握手中的第二次握手。這個設置決定了內核放棄連接之前發送SYN+ACK包的數量
net.ipv4.tcp_synack_retries = 1
#在內核放棄建立連接之前發送SYN包的數量
net.ipv4.tcp_syn_retries = 1
#開啟TCP連接中time_wait sockets的快速回收
net.ipv4.tcp_tw_recycle = 1
#開啟TCP連接復用功能,允許將time_wait sockets重新用於新的TCP連接(主要針對time_wait連接)
net.ipv4.tcp_tw_reuse = 1
#1st低於此值,TCP沒有內存壓力,2nd進入內存壓力階段,3rdTCP拒絕分配socket(單位:內存頁)
net.ipv4.tcp_mem = 94500000 915000000 927000000
#如果套接字由本端要求關閉,這個參數決定了它保持在FIN-WAIT-2狀態的時間。對端可以出錯並永遠不關閉連接,甚至意外當機。缺省值是60 秒。2.2 內核的通常值是180秒,你可以按這個設置,但要記住的是,即使你的機器是一個輕載的WEB服務器,也有因為大量的死套接字而內存溢出的風險,FIN- WAIT-2的危險性比FIN-WAIT-1要小,因為它最多只能吃掉1.5K內存,但是它們的生存期長些。
net.ipv4.tcp_fin_timeout = 15
#表示當keepalive起用的時候,TCP發送keepalive消息的頻度(單位:秒)
net.ipv4.tcp_keepalive_time = 30
#對外連接端口范圍
net.ipv4.ip_local_port_range = 2048 65000
#表示文件句柄的最大數量
fs.file-max = 102400
這是我在實際生產系統自動化部署中用的配置
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_wmem = 8192 4336600 873200
net.ipv4.tcp_rmem = 32768 4336600 873200
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 786432 1048576 1572864
net.ipv4.tcp_fin_timeout = 30
#net.ipv4.tcp_keepalive_time = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.ip_local_port_range = 1024 65000
/sbin/sysctl -p最後記得刷新立即生效