當(dāng)初我要是這么學(xué)習(xí)Nginx就好了！（多圖詳解）

來自公眾號(hào)：51CTO技術(shù)棧
作者：李航

“

本文主要幫助大家熟悉 Nginx 有哪些應(yīng)用場景、Nginx 特點(diǎn)和架構(gòu)模型以及相關(guān)流程、Nginx 定制化開發(fā)的幾種模塊分類。讀完本文你將對 Nginx 有一定的認(rèn)識(shí)。

本文將圍繞如下幾個(gè)部分進(jìn)行講解：

  • Nginx 簡介及特點(diǎn)

  • Nginx 應(yīng)用場景

  • Nginx 框架模型介紹

  • Nginx 內(nèi)部流程介紹

  • Nginx 自定義模塊開發(fā)介紹

  • Nginx 核心時(shí)間點(diǎn)模塊介紹

  • Nginx 分流模塊介紹

  • Nginx 動(dòng)態(tài) upstream 模塊介紹

  • Nginx query_upstrem 模塊介紹

  • Nginx query_conf 模塊介紹

  • Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹

  • Nginx 日志回放壓測工具介紹

Nginx 簡介以及特點(diǎn)

Nginx (engine x) 是一個(gè)高性能的 Web 服務(wù)器和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 服務(wù)器：

  • 它由俄羅斯程序員 Igor Sysoev 于 2002 年開始開發(fā)。

  • Nginx 是增長最快的 Web 服務(wù)器，市場份額已達(dá) 33.3％。

  • 全球使用量排名第二，2011 年成立商業(yè)公司。

Nginx 社區(qū)分支：

  • Openresty：作者 @agentzh（章宜春）開發(fā)的，最大特點(diǎn)是引入了 ngx_lua 模塊，支持使用 Lua 開發(fā)插件，并且集合了很多豐富的模塊，以及 Lua 庫。

  • Tengine：主要是淘寶團(tuán)隊(duì)開發(fā)。特點(diǎn)是融入了因淘寶自身的一些業(yè)務(wù)帶來的新功能。

  • Nginx 官方版本，更新迭代比較快，并且提供免費(fèi)版本和商業(yè)版本。

Nginx 源碼結(jié)構(gòu)（代碼量大約 11 萬行 C 代碼）：

  • 源代碼目錄結(jié)構(gòu) Core（主干和基礎(chǔ)設(shè)置）

  • Event（事件驅(qū)動(dòng)模型和不同的 IO 復(fù)用模塊）

  • HTTP（HTTP 服務(wù)器和模塊）

  • Mail（郵件代理服務(wù)器和模塊）

  • OS（操作系統(tǒng)相關(guān)的實(shí)現(xiàn)）

  • Misc（雜項(xiàng)）

Nginx 特點(diǎn)如下：

  • 反向代理，負(fù)載均衡器

  • 高可靠性、單 Master 多 Worker 模式

  • 高可擴(kuò)展性、高度模塊化

  • 非阻塞

  • 事件驅(qū)動(dòng)

  • 低內(nèi)存消耗

  • 熱部署

Nginx 應(yīng)用場景

Nginx 的應(yīng)用場景如下：

  • 靜態(tài)文件服務(wù)器

  • 反向代理，負(fù)載均衡

  • 安全防御

  • 智能路由（企業(yè)級(jí)灰度測試、地圖 POI 一鍵切流）

  • 灰度發(fā)布

  • 靜態(tài)化

  • 消息推送

  • 圖片實(shí)時(shí)壓縮

  • 防盜鏈

Nginx 框架模型介紹

進(jìn)程組件角色：

  • Master 進(jìn)程：監(jiān)視工作進(jìn)程的狀態(tài)；當(dāng)工作進(jìn)程死掉后重啟一個(gè)新的；處理信號(hào)和通知工作進(jìn)程。

  • Worker 進(jìn)程：處理客戶端請求，從主進(jìn)程處獲得信號(hào)做相應(yīng)的事情。

  • Cache Loader 進(jìn)程：加載緩存索引文件信息，然后退出。

  • Cache Manager進(jìn)程：管理磁盤的緩存大小，超過預(yù)定值大小后最少使用數(shù)據(jù)將被刪除。

Nginx 的框架模型如下圖：

image

框架模型流程如下圖：

image

Nginx 內(nèi)部流程介紹

Nginx 框架模型流程如下圖：

image
image

Master 初始化流程，如下圖：

image

Worker 初始化：

image

Worker 初始化流程圖如下：

image

靜態(tài)文件請求 IO 流程如下圖：

image

HTTP 請求流程如下圖：

image

HTTP 請求 11 個(gè)階段，如下圖所示：

image

upstream模塊：

  • 訪問第三方 Server 服務(wù)器

  • 底層 HTTP 通信非常完善

  • 異步非阻塞

  • 上下游內(nèi)存零拷貝，節(jié)省內(nèi)存

  • 支持自定義模塊開發(fā)

upstream 框架流程，如下圖：

image

upstream 內(nèi)部流程，如下圖：

image

反向代理流程，如下圖：

image

Nginx 定制化模塊開發(fā)

Nginx 的模塊化設(shè)計(jì)特點(diǎn)如下：

  • 高度抽象的模塊接口

  • 模塊接口非常簡單，具有很高的靈活性

  • 配置模塊的設(shè)計(jì)

  • 核心模塊接口的簡單化

  • 多層次、多類別的模塊設(shè)計(jì)

內(nèi)部核心模塊：

image
image

Handler 模塊：接受來自客戶端的請求并構(gòu)建響應(yīng)頭和響應(yīng)體。

image

Filter 模塊：過濾（filter）模塊是過濾響應(yīng)頭和內(nèi)容的模塊，可以對回復(fù)的頭和內(nèi)容進(jìn)行處理。它的處理時(shí)間在獲取回復(fù)內(nèi)容之后，向用戶發(fā)送響應(yīng)之前。

image

Upstream 模塊：使 Nginx 跨越單機(jī)的限制，完成網(wǎng)絡(luò)數(shù)據(jù)的接收、處理和轉(zhuǎn)發(fā)，純異步的訪問后端服務(wù)。

image

Load_Balance：負(fù)載均衡模塊，實(shí)現(xiàn)特定的算法，在眾多的后端服務(wù)器中，選擇一個(gè)服務(wù)器出來作為某個(gè)請求的轉(zhuǎn)發(fā)服務(wù)器。

image

ngx_lua 模塊：

  • 腳本語言

  • 內(nèi)存開銷小

  • 運(yùn)行速度快

  • 強(qiáng)大的 Lua 協(xié)程

  • 非阻塞

  • 業(yè)務(wù)邏輯以自然邏輯書寫

image

定制化開發(fā) Demo

Handler 模塊：

  • 編寫 config 文件

  • 編寫模塊產(chǎn)生內(nèi)容響應(yīng)信息

#配置文件：#配置文件：
server {
    ...    
    location test {
        test_counter on;
    }
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
    ngx_int_t                               rc;
    ngx_buf_t                               *b;
    ngx_chain_t                             out;
    ngx_http_test_conf_t                    *lrcf;
    ngx_str_t                               ngx_test_string = ngx_string("hello test");

    lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
    if ( lrcf->test_counter == 0 ) {
        return NGX_DECLINED;
    }

    /* we response to 'GET' and 'HEAD' requests only */
    if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
            return NGX_HTTP_NOT_ALLOWED;
    }

    /* discard request body, since we don't need it here */
    rc = ngx_http_discard_request_body(r);

    if ( rc != NGX_OK ) {
        return rc;
    }

    /* set the 'Content-type' header */
    /*
     *r->headers_out.content_type.len = sizeof("text/html") - 1;
     *r->headers_out.content_type.data = (u_char *)"text/html";
    */
    ngx_str_set(&r->headers_out.content_type, "text/html");

    /* send the header only, if the request type is http 'HEAD' */
    if ( r->method == NGX_HTTP_HEAD ) {
        r->headers_out.status = NGX_HTTP_OK;
        r->headers_out.content_length_n = ngx_test_string.len;

        return ngx_http_send_header(r);
    }

    /* set the status line */
    r->headers_out.status = NGX_HTTP_OK;
    r->headers_out.content_length_n =  ngx_test_string.len;

    /* send the headers of your response */
    rc = ngx_http_send_header(r);
    if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
        return rc;
    }

    /* allocate a buffer for your response body */
    b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
    if ( b == NULL ) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    /* attach this buffer to the buffer chain */
    out.buf = b;
    out.next = NULL;

    /* adjust the pointers of the buffer */
    b->pos = ngx_test_string.data;
    b->last = ngx_test_string.data + ngx_test_string.len;
    b->memory = 1;    /* this buffer is in memory */
    b->last_buf = 1;  /* this is the last buffer in the buffer chain */

    /* send the buffer chain of your response */
    return ngx_http_output_filter(r, &out);
}

Nginx 核心時(shí)間點(diǎn)模塊介紹

解決接入層故障定位慢的問題，幫助 OP 快速判定問題根因，優(yōu)先自證清白，提高接入層高效的生產(chǎn)力。

image

Nginx 分流模塊介紹

Nginx 分流模塊特點(diǎn)如下：

  • 實(shí)現(xiàn)非常靈活的動(dòng)態(tài)的修改策略從而進(jìn)行切流量。

  • 實(shí)現(xiàn)平滑無損的方式進(jìn)行流量的切換。

  • 通過秒級(jí)切換流量可以縮小影響范圍，從而減少損失。

  • 按照某一城市或者某個(gè)特征，秒級(jí)進(jìn)行切換流量或者禁用流量。

  • 容忍單機(jī)房級(jí)別容量故障，縮短了單機(jī)房故障的止損時(shí)間。

  • 快速的將流量隔離或者流量抽樣。

  • 高效的灰度測試，提高生產(chǎn)力。

image

Nginx 動(dòng)態(tài) upstream 模塊介紹

讓接入層可以適配動(dòng)態(tài)調(diào)度的云環(huán)境，實(shí)現(xiàn)服務(wù)的平滑上下線、彈性擴(kuò)/縮容。

從而提高接入層高效的生產(chǎn)力以及穩(wěn)定性，保證業(yè)務(wù)流量的平滑無損。

image

Nginx query_upstream 模塊介紹

鏈路追蹤，梳理接口到后端鏈路的情況。查詢 location 接口對應(yīng) upstream server 信息。
image

Nginx query_conf 模塊介紹

獲取 Nginx 配置文件格式化為 json 格式信息：
image

Nginx 共享內(nèi)存支持 Redis 協(xié)議模塊介紹

根據(jù)配置文件來動(dòng)態(tài)的添加共享內(nèi)存：

https://github.com/lidaohang/ngx_shm_dict

ngx_shm_dict：共享內(nèi)存核心模塊（紅黑樹，隊(duì)列）ngx_shm_dict_manager：添加定時(shí)器事件，定時(shí)的清除共享內(nèi)存中過期的 Key，添加讀事件，支持 Redis 協(xié)議，通過 redis-cli get，set，del，ttlngx_shm_dict_view：共享內(nèi)存查看

image

Nginx 日志回放壓測工具

解析日志進(jìn)行回放壓測，模擬后端服務(wù)器慢等各種異常情況 ：

https://github.com/lidaohang/playback-testing

方案說明：

  • 客戶端解析 access.log 構(gòu)建請求的 host，port，url，body。

  • 把后端響應(yīng)時(shí)間，后端響應(yīng)狀態(tài)碼，后端響應(yīng)大小放入 header 頭中。

  • 后端服務(wù)器獲取相應(yīng)的 header，進(jìn)行模擬響應(yīng) body 大小，響應(yīng)狀態(tài)碼，響應(yīng)時(shí)間。

使用方式：

  • 拷貝需要測試的 access.log 的日志到 logs 文件夾里面。

  • 搭建需要測試的 Nginx 服務(wù)器，并且配置 upstream 指向后端服務(wù)器斷端口

  • 啟動(dòng)后端服務(wù)器實(shí)例

server/backserver/main.go
  • 進(jìn)行壓測
bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095

作者：李航

簡介：多年的底層開發(fā)經(jīng)驗(yàn)，在高性能 Nginx 開發(fā)和分布式緩存 Redis Cluster 有著豐富的經(jīng)驗(yàn)，目前從事分布式存儲(chǔ)工作。先后在 58 同城、汽車之家、優(yōu)酷土豆集團(tuán)工作。目前供職于滴滴基礎(chǔ)平臺(tái)-技術(shù)專家崗位，主要負(fù)責(zé)分布式 Ceph 系統(tǒng)。個(gè)人主要關(guān)注的技術(shù)領(lǐng)域：高性能 Nginx 開發(fā)、分布式緩存、分布式存儲(chǔ)。

編輯：陶家龍

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容