寫(xiě)在前面
最近在進(jìn)行服務(wù)器的優(yōu)化，正好在看nginx相關(guān)的知識(shí)，所以把一些知識(shí)整理一下。參考資料為《Nginx高性能web服務(wù)器詳解》，建議大家都去讀讀這本書(shū)。
我的機(jī)器為四核CPU，16G內(nèi)存。
內(nèi)核參數(shù)優(yōu)化
把如下的參數(shù)追加到Linux系統(tǒng)的/etc/sysctl.conf文件中，然后使用如下命令使修改生效：/sbin/sysctl -p
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.core.netdev_max_backlog參數(shù)
參數(shù)net.core.netdev_max_backlog,表示當(dāng)每個(gè)網(wǎng)絡(luò)接口接受數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時(shí)，允許發(fā)送隊(duì)列的數(shù)據(jù)包的最大數(shù)目，我們調(diào)整為262144.
net.core.somaxconn
該參數(shù)用于調(diào)節(jié)系統(tǒng)同時(shí)發(fā)起的TCP連接數(shù)，一般默認(rèn)值為128，在客戶端高并發(fā)的請(qǐng)求的情況下，該默認(rèn)值較小，可能導(dǎo)致連接超時(shí)或者重傳問(wèn)題，我們可以根據(jù)實(shí)際情況結(jié)合并發(fā)數(shù)來(lái)調(diào)節(jié)此值。
net.ipv4.tcp_max_orphans
該參數(shù)用于設(shè)定系統(tǒng)中最多允許存在多少TCP套接字不被關(guān)聯(lián)到任何一個(gè)用戶文件句柄上，如果超過(guò)這個(gè)數(shù)字，沒(méi)有與用戶文件句柄關(guān)聯(lián)到TCP套接字將立即被復(fù)位，同時(shí)發(fā)出警告信息，這個(gè)限制只是為了簡(jiǎn)單防治Dos攻擊，一般系統(tǒng)內(nèi)存充足的情況下，可以增大這個(gè)參數(shù)。
net.ipv4.tcp_max_syn_backlog
該參數(shù)用于記錄尚未收到客戶端確認(rèn)信息的連接請(qǐng)求的最大值，對(duì)于擁有128內(nèi)存的系統(tǒng)而言，此參數(shù)的默認(rèn)值為1024，對(duì)小內(nèi)存的系統(tǒng)則是128，一般在系統(tǒng)內(nèi)存比較充足的情況下，可以增大這個(gè)參數(shù)的賦值。
net.ipv4.tcp_timestamps
該參數(shù)用于設(shè)置時(shí)間戳，這個(gè)可以避免序列號(hào)的卷繞，在一個(gè)1Gb/s的鏈路上，遇到以前用過(guò)的序列號(hào)概率很大，當(dāng)此值賦值為0時(shí)，警用對(duì)于TCP時(shí)間戳的支持，默認(rèn)情況下，TCP協(xié)議會(huì)讓內(nèi)核接受這種異常的數(shù)據(jù)包，針對(duì)Nginx服務(wù)器來(lái)說(shuō)，建議將其關(guān)閉。
net.ipv4.tcp_synack_retries
該參數(shù)用于設(shè)置內(nèi)核放棄TCP連接之前向客戶端發(fā)送SYN+ACK包的數(shù)量，為了建立對(duì)端的連接服務(wù)，服務(wù)器和客戶端需要進(jìn)行三次握手，第二次握手期間，內(nèi)核需要發(fā)送SYN并附帶一個(gè)回應(yīng)前一個(gè)SYN的ACK，這個(gè)參數(shù)主要影響這個(gè)過(guò)程，一般賦予值為1，即內(nèi)核放棄連接之前發(fā)送一次SYN＋ACK包。
net.ipv4.tcp_syn_retries
該參數(shù)的作用與上一個(gè)參數(shù)類似，設(shè)置內(nèi)核放棄建立連接之前發(fā)送SYN包的數(shù)量，賦值為1。
nginx優(yōu)化
nginx的配置文件如下：
user www-data;
pid /run/nginx.pid;
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
worker_rlimit_nofile 65535;
events {
use epoll;
worker_connections 65535;
accept_mutex off;
multi_accept off;
}
http {
##
# Basic Settings
##
sendfile on;
tcp_nopush on;
tcp_nodelay on;
keepalive_timeout 60 50;
send_timeout 10s;
types_hash_max_size 2048;
client_header_buffer_size 4k;
client_max_body_size 8m;
include /etc/nginx/mime.types;
default_type application/octet-stream;
##
# Logging Settings
##
access_log /var/log/nginx/access.log;
error_log /var/log/nginx/error.log;
##
# Gzip Settings
##
gzip on;
gzip_disable "msie6";
gzip_min_length 1024;
gzip_vary on;
gzip_comp_level 2;
gzip_buffers 32 4k;
gunzip_static on;
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;
##
# Virtual Host Configs
##
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
}
worker_processes
worker_processes用來(lái)設(shè)置Nginx服務(wù)的進(jìn)程數(shù)。推薦是CPU內(nèi)核數(shù)或者內(nèi)核數(shù)的倍數(shù)，推薦使用CPU內(nèi)核數(shù)，因?yàn)槲业腃PU為4核的，所以設(shè)置為4。
worker_cpu_affinity
默認(rèn)情況下，Nginx的多個(gè)進(jìn)程有可能跑在某一個(gè)CPU或CPU的某一核上，導(dǎo)致Nginx進(jìn)程使用硬件的資源不均，因此綁定Nginx進(jìn)程到不同的CPU上是為了充分利用硬件的多CPU多核資源的目的。
worker_cpu_affinity用來(lái)為每個(gè)進(jìn)程分配CPU的工作內(nèi)核，參數(shù)有多個(gè)二進(jìn)制值表示，每一組代表一個(gè)進(jìn)程，每組中的每一位代表該進(jìn)程使用CPU的情況，1代表使用，0代表不使用。所以我們使用worker_cpu_affinity 0001 0010 0100 1000;來(lái)讓進(jìn)程分別綁定不同的核上。
worker_connections
設(shè)置一個(gè)進(jìn)程理論允許的最大連接數(shù)，理論上越大越好，但不可以超過(guò)worker_rlimit_nofile的值。還有個(gè)問(wèn)題，linux系統(tǒng)中有個(gè)指令open file resource limit，它設(shè)置了進(jìn)程可以打開(kāi)的文件句柄數(shù)量，可以用下面的指令查看你的linux系統(tǒng)中open file resource limit指令的值，cat /proc/sys/fs/file-max
可以將該指令設(shè)置為23900251
echo "2390251" > /proc/sys/fs/file-max; sysctl -p
worker_rlimit_nofile
設(shè)置毎個(gè)進(jìn)程的最大文件打開(kāi)數(shù)。如果不設(shè)的話上限就是系統(tǒng)的ulimit –n的數(shù)字，一般為65535。
use epoll
設(shè)置事件驅(qū)動(dòng)模型使用epoll。事件驅(qū)動(dòng)模型有select、poll、epoll等。
select先創(chuàng)建事件的描述符集合，對(duì)于一個(gè)描述符，可以關(guān)注其上面的Read事件、Write事件以及Exception事件，所以要?jiǎng)?chuàng)建三類事件描述符集合，分別用來(lái)處理Read事件的描述符、Write事件的描述符、Exception事件的描述符，然后調(diào)用底層的select()函數(shù)，等待事件發(fā)生，輪詢所有事件描述符集合的每一個(gè)事件描述符，檢查是否有事件發(fā)生，有的話就處理。select效率低，主要是輪詢效率低，而且還要分別輪詢?nèi)齻€(gè)事件描述符的集合。
poll方法與select類似，都是先創(chuàng)建一個(gè)關(guān)注事件的描述符集合，再去等待這些事件發(fā)生，然后再輪詢描述符集合，檢查有無(wú)事件發(fā)生，如果有，就去處理。不同點(diǎn)是poll為Read事件、Write事件以及Exception事件只創(chuàng)建一個(gè)集合，在每個(gè)描述符對(duì)應(yīng)的結(jié)構(gòu)上分別設(shè)置Read事件、Write事件以及Exception事件。最后輪詢的時(shí)候，可以同時(shí)檢察權(quán)這三個(gè)事件是否發(fā)生?？梢哉f(shuō)，poll庫(kù)是select庫(kù)的優(yōu)化實(shí)現(xiàn)。
epoll是Nginx支持的高性能事件驅(qū)動(dòng)庫(kù)之一。是公認(rèn)的非常優(yōu)秀的事件驅(qū)動(dòng)模型。和poll庫(kù)跟select庫(kù)有很大的不同，最大區(qū)別在于效率。我們知道poll庫(kù)跟select庫(kù)都是創(chuàng)建一個(gè)待處理的事件列表，然后把這個(gè)列表發(fā)給內(nèi)核，返回的時(shí)候，再去輪詢檢查這個(gè)列表，以判斷事件是否發(fā)生。這樣在描述符多的應(yīng)用中，效率就顯得比較低下了。一種比較好的方式是把列表的管理交由內(nèi)核負(fù)責(zé)，一旦某種事件發(fā)生，內(nèi)核就把發(fā)生事件的描述符列表通知給進(jìn)程，這樣就避免了輪詢整個(gè)描述符列表。首先，epoll庫(kù)通過(guò)相關(guān)調(diào)用同志內(nèi)核創(chuàng)建一個(gè)有N個(gè)描述符的事件列表，然后給這些描述符設(shè)置所關(guān)注的事件，并把它添加到內(nèi)核的事件列表中去。完成設(shè)置以后，epoll庫(kù)就開(kāi)始等待內(nèi)核通知事件發(fā)生了，某一事件發(fā)生后，內(nèi)核講發(fā)生事件的描述符列表上報(bào)給epoll庫(kù)，得到事件列表的epoll庫(kù)，就可以進(jìn)行事件處理了。epoll庫(kù)在linux平臺(tái)是高效的，它支持一個(gè)進(jìn)程打開(kāi)大數(shù)目的事件描述符，上限是系統(tǒng)可以打開(kāi)文件的最大數(shù)目；同時(shí)，epoll庫(kù)的IO效率不隨描述符數(shù)量的增加而線性下降，因?yàn)樗粫?huì)對(duì)內(nèi)核上報(bào)的活躍的描述符進(jìn)行操作。
accept_mutex
這個(gè)牽扯到《UNIX網(wǎng)絡(luò)編程》第一卷中提到的“驚群”問(wèn)題（Thundering herd problem），大致意思是當(dāng)某一時(shí)刻只有一個(gè)網(wǎng)絡(luò)連接到來(lái)時(shí)，多個(gè)睡眠進(jìn)程會(huì)被同時(shí)叫醒，但只有一個(gè)進(jìn)程可獲得連接，如果每次喚醒的進(jìn)程數(shù)目太多，會(huì)影響一部分系統(tǒng)性能。在Nginx服務(wù)器的多進(jìn)程下，就可能出現(xiàn)這個(gè)問(wèn)題，為了解決這個(gè)問(wèn)題，Nginx配置了包含這樣一條指令accept_mutex，當(dāng)其設(shè)置為開(kāi)啟的時(shí)候，將會(huì)對(duì)多個(gè)Nginx進(jìn)程接受連接進(jìn)行序列化，防止多個(gè)進(jìn)程對(duì)連接的爭(zhēng)搶。當(dāng)服務(wù)器連接數(shù)不多時(shí)，開(kāi)啟這個(gè)參數(shù)會(huì)讓負(fù)載有一定程度的降低。但是當(dāng)服務(wù)器的吞吐量很大時(shí)，為了效率，請(qǐng)關(guān)閉這個(gè)參數(shù)；并且關(guān)閉這個(gè)參數(shù)的時(shí)候也可以讓請(qǐng)求在多個(gè)worker間的分配更均衡。所以我們?cè)O(shè)置accept_mutex off;
multi_accept
sendfile
使用開(kāi)啟或關(guān)閉是否使用sendfile()傳輸文件，普通應(yīng)用應(yīng)該設(shè)為on，下載等IO重負(fù)荷的應(yīng)用應(yīng)該設(shè)為off，因?yàn)榇笪募贿m合放到buffer中。
傳統(tǒng)文件傳輸中（read／write方式）在實(shí)現(xiàn)上3其實(shí)是比較復(fù)雜的，需要經(jīng)過(guò)多次上下文切換，當(dāng)需要對(duì)一個(gè)文件傳輸時(shí)，傳統(tǒng)方式是：
- 調(diào)用read函數(shù)，文件數(shù)據(jù)被copy到內(nèi)核緩沖區(qū)
- read函數(shù)返回，數(shù)據(jù)從內(nèi)核緩沖區(qū)copy到用戶緩沖區(qū)
- write函數(shù)調(diào)用，將文件數(shù)據(jù)從用戶緩沖區(qū)copy到內(nèi)核與socket相關(guān)的緩沖區(qū)
- 數(shù)據(jù)從socket緩沖區(qū)copy到相關(guān)協(xié)議引擎
從上面可以看出來(lái)，傳統(tǒng)readwrite進(jìn)行網(wǎng)絡(luò)文件傳輸?shù)姆绞?，在過(guò)程中經(jīng)歷了四次copy操作。
硬盤－>內(nèi)核buffer->用戶buffer->socket相關(guān)緩沖區(qū)->協(xié)議引擎
而sendfile系統(tǒng)調(diào)用則提供了一種減少多次copy，提高文件傳輸性能的方法。流程如下：
- sendfile系統(tǒng)效用，文件數(shù)據(jù)被copy至內(nèi)核緩沖區(qū)
- 記錄數(shù)據(jù)文職和長(zhǎng)度相關(guān)的數(shù)據(jù)保存到socket相關(guān)緩存區(qū)
- 實(shí)際數(shù)據(jù)由DMA模塊直接發(fā)送到協(xié)議引擎
tcp_nopush
sendfile為on時(shí)這里也應(yīng)該設(shè)為on，數(shù)據(jù)包會(huì)累積一下再一起傳輸，可以提高一些傳輸效率。
tcp_nodelay
小的數(shù)據(jù)包不等待直接傳輸。默認(rèn)為on。
看上去是和tcp_nopush相反的功能，但是兩邊都為on時(shí)nginx也可以平衡這兩個(gè)功能的使用。
keepalive_timeout
HTTP連接的持續(xù)時(shí)間。設(shè)的太長(zhǎng)會(huì)使無(wú)用的線程變的太多。這個(gè)根據(jù)自己服務(wù)器訪問(wèn)數(shù)量、處理速度以及網(wǎng)絡(luò)狀況方面考慮。
send_timeout
設(shè)置Nginx服務(wù)器響應(yīng)客戶端的超時(shí)時(shí)間，這個(gè)超時(shí)時(shí)間只針對(duì)兩個(gè)客戶端和服務(wù)器建立連接后，某次活動(dòng)之間的時(shí)間，如果這個(gè)時(shí)間后，客戶端沒(méi)有任何活動(dòng)，Nginx服務(wù)器將關(guān)閉連接，將其設(shè)置為10s，Nginx與客戶端建立連接后，某次會(huì)話中服務(wù)器等待客戶端響應(yīng)超過(guò)10s，就會(huì)自動(dòng)關(guān)閉。
types_hash_max_size
types_hash_max_size影響散列表的沖突率。types_hash_max_size越大，就會(huì)消耗更多的內(nèi)存，但散列key的沖突率會(huì)降低，檢索速度就更快。types_hash_max_size越小，消耗的內(nèi)存就越小，但散列key的沖突率可能上升。
client_header_buffer_size
該指令用于設(shè)置Nginx服務(wù)器允許的客戶端請(qǐng)求頭部的緩沖區(qū)大小，默認(rèn)為1KB，此指令的賦值可以根據(jù)系統(tǒng)分頁(yè)大小來(lái)設(shè)置，分頁(yè)大小可以用以下命令獲取getconf PAGESIZE。
client_max_body_size 8m
客戶端上傳的body的最大值。超過(guò)最大值就會(huì)發(fā)生413(Request Entity Too Large)錯(cuò)誤。默認(rèn)為1m，最好根據(jù)自己的情況改大一點(diǎn)。
gzip on
啟用gzip，對(duì)響應(yīng)數(shù)據(jù)進(jìn)行在線實(shí)時(shí)壓縮,減少數(shù)據(jù)傳輸量。
gzip_disable
Nginx服務(wù)器在響應(yīng)這些種類的客戶端請(qǐng)求時(shí)，不使用Gzip功能緩存應(yīng)用數(shù)據(jù)，gzip_disable "msie6"對(duì)IE6瀏覽器的數(shù)據(jù)不進(jìn)行GZIP壓縮。
gzip_min_length
Gzip壓縮功能對(duì)大數(shù)據(jù)的壓縮效果明顯，但是如果壓縮很小的數(shù)據(jù)，可能出現(xiàn)越壓縮數(shù)據(jù)量越大的情況，因此應(yīng)該根據(jù)相應(yīng)頁(yè)面的大小，選擇性開(kāi)啟或者關(guān)閉Gzip功能。建議將值設(shè)置為1KB。
gzip_comp_level
設(shè)置壓縮程度，包括級(jí)別1到級(jí)別9，級(jí)別1表示壓縮程度最低，壓縮效率最高；級(jí)別9表示壓縮程度最高，壓縮效率最低，最費(fèi)時(shí)間。
gzip_vary
用于設(shè)置在使用Gzip功能時(shí)是否發(fā)送帶有“Vary：Accept-Encoding”頭域的響應(yīng)頭部，該頭域的主要功能是告訴接收方發(fā)送的數(shù)據(jù)經(jīng)過(guò)了壓縮處理，開(kāi)啟后端效果是在響應(yīng)頭部Accept-Encoding: gzip，對(duì)于本身不支持Gzip的壓縮的客戶端瀏覽器是有用的。
gzip_buffers;
該指令用于設(shè)置Gzip壓縮文件使用存儲(chǔ)空間的大小，
語(yǔ)法gzip_buffers number size;number，指定Nginx服務(wù)器需要向系統(tǒng)申請(qǐng)存儲(chǔ)空間的個(gè)數(shù)，size，指定每個(gè)緩存空間的大小。根據(jù)配置項(xiàng)，Nginx服務(wù)器在對(duì)響應(yīng)輸出數(shù)據(jù)進(jìn)行Gzip壓縮時(shí)需向系統(tǒng)申請(qǐng)numbersize大小的空間用于存儲(chǔ)壓縮數(shù)據(jù)。默認(rèn)情況下，numbersize的值為128，其中size的值為系統(tǒng)內(nèi)存頁(yè)一頁(yè)的大小，用getconf PAGESIZE來(lái)獲取
gunzip_static
開(kāi)啟時(shí)，如果客戶端瀏覽器不支持Gzip處理，Nginx服務(wù)器將返回解壓后的數(shù)據(jù)，如果客戶端瀏覽器支持Gzip處理，Nginx服務(wù)器忽略該指令設(shè)置。仍然返回壓縮數(shù)據(jù)。
gzip_types
Nginx服務(wù)器可以根據(jù)MIME類型選擇性開(kāi)啟Gzip壓縮功能。該指令涌來(lái)設(shè)置MIME類型。
