接入層Nginx架構(gòu)及模塊介紹分享

課程目標(biāo):

1)幫助大家對Nginx有一定的認(rèn)識
2)熟悉Nginx有哪些應(yīng)用場景
3)熟悉Nginx特點和架構(gòu)模型以及相關(guān)流程
4)熟悉Nginx定制化開發(fā)的幾種模塊分類

課程大綱:

  1. Nginx簡介及特點
  2. Nginx應(yīng)用場景
  3. Nginx框架模型介紹
  4. Nginx內(nèi)部流程介紹
  5. Nginx自定義模塊開發(fā)介紹
  6. Nginx核心時間點模塊介紹
  7. Nginx分流模塊介紹
  8. Nginx動態(tài)upstream模塊介紹
  9. Nginx query_upstrem模塊介紹
  10. Nginx query_conf模塊介紹
  11. Nginx 共享內(nèi)存支持redis協(xié)議模塊介紹
  12. Nginx 日志回放壓測工具介紹

1. Nginx簡介以及特點

Nginx簡介:

Nginx (engine x) 是一個高性能的web服務(wù)器和反向代理服務(wù)器,也是一個IMAP/POP3/SMTP服務(wù)器

  • 俄羅斯程序員Igor Sysoev于2002年開始
  • Nginx是增長最快的Web服務(wù)器,市場份額已達33.3%
  • 全球使用量排名第二2011年成立商業(yè)公司

Nginx社區(qū)分支:

  • Openresty作者@agentzh(章宜春)開發(fā)的,最大特點是引入了ngx_lua模塊,支持使用lua開發(fā)插件,并且集合了很多豐富的模塊,以及l(fā)ua庫。
  • Tengine主要是淘寶團隊開發(fā)。特點是融入了因淘寶自身的一些業(yè)務(wù)帶來的新功能。
  • Nginx官方版本,更新迭代比較快,并且提供免費版本和商業(yè)版本。

Nginx源碼結(jié)構(gòu):

  • 代碼量大約11萬行C代碼
  • 源代碼目錄結(jié)構(gòu)
    • core (主干和基礎(chǔ)設(shè)置)
    • event (事件驅(qū)動模型和不同的IO復(fù)用模塊)
    • http (HTTP服務(wù)器和模塊)
    • mail (郵件代理服務(wù)器和模塊)
    • os (操作系統(tǒng)相關(guān)的實現(xiàn))
    • misc (雜項)

Nginx特點:

  • 反向代理,負(fù)載均衡器
  • 高可靠性、單master多worker模式
  • 高可擴展性、高度模塊化
  • 非阻塞
  • 事件驅(qū)動
  • 低內(nèi)存消耗
  • 熱部署

2. Nginx應(yīng)用場景

場景如下:

  • 靜態(tài)文件服務(wù)器
  • 反向代理,負(fù)載均衡
  • 安全防御
  • 智能路由
  • 灰度發(fā)布
  • 靜態(tài)化
  • 消息推送
  • 圖片實時壓縮
  • 防盜鏈

3. Nginx框架模型介紹

進程組件角色:

  • master進程
    • 監(jiān)視工作進程的狀態(tài)
    • 當(dāng)工作進程死掉后重啟一個新的
    • 處理信號和通知工作進程
  • worker進程
    • 處理客戶端請求
    • 從主進程處獲得信號做相應(yīng)的事情
  • cache loader進程
    • 加載緩存索引文件信息,然后退出
  • cache manager進程
    • 管理磁盤的緩存大小,超過預(yù)定值大小后最少使用數(shù)據(jù)將被刪除

框架模型:

image.png

框架模型流程:

image.png

4. Nginx內(nèi)部流程介紹

4.1 框架模型流程

image.png
image.png

4.2 master初始化流程

master初始化流程.png

4.3 worker初始化

image.png

4.4 worker初始化流程

worker進程初始化流程.png

4.5 靜態(tài)文件請求IO流程

image.png

4.6 http請求流程

HTTP請求流程.png

4.7 http請求11個階段

image.png

4.8 upstream模塊

  • 訪問第三方Server服務(wù)器
  • 底層HTTP通信非常完善
  • 異步非阻塞
  • 上下游內(nèi)存零拷貝,節(jié)省內(nèi)存
  • 支持自定義模塊開發(fā)

4.8.1 upstream框架流程

image.png

4.8.2 upstream內(nèi)部流程

upstream流程.png

4.9 反向代理流程

image.png

5. Nginx定制化模塊開發(fā)

5.1 Nginx的模塊化設(shè)計特點

  • 高度抽象的模塊接口
  • 模塊接口非常簡單,具有很高的靈活性
  • 配置模塊的設(shè)計
  • 核心模塊接口的簡單化
  • 多層次、多類別的模塊設(shè)計

5.1 內(nèi)部核心模塊

image.png
Nginx核心模塊.png

5.2 handler模塊

  • 接受來自客戶端的請求并構(gòu)建響應(yīng)頭和響應(yīng)體。
    handler.png

5.3 filter模塊

  • 過濾(filter)模塊是過濾響應(yīng)頭和內(nèi)容的模塊,可以對回復(fù)的頭和內(nèi)容進行處理。它的處理時間在獲取回復(fù)內(nèi)容之后,向用戶發(fā)送響應(yīng)之前。


    filter.png

5.4 upstream模塊

  • 使nginx跨越單機的限制,完成網(wǎng)絡(luò)數(shù)據(jù)的接收、處理和轉(zhuǎn)發(fā),純異步的訪問后端服務(wù)。


    upstream.png

load_balance:

  • 負(fù)載均衡模塊,實現(xiàn)特定的算法,在眾多的后端服務(wù)器中,選擇一個服務(wù)器出來作為某個請求的轉(zhuǎn)發(fā)服務(wù)器。


    load_balabce.png

5.3 ngx_lua模塊

  • 腳本語言
  • 內(nèi)存開銷小
  • 運行速度快
  • 強大的 Lua 協(xié)程
  • 非阻塞
  • 業(yè)務(wù)邏輯以自然邏輯書寫
ngx_lua_phase.png.jpg

5.4 定制化開發(fā)Demo

Handler模塊:

  • 編寫config文件
  • 編寫模塊產(chǎn)生內(nèi)容響應(yīng)信息
#配置文件:
server {
    ...    
    location test {
        test_counter on;
    }
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULES ngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
static ngx_int_t
ngx_http_test_handler(ngx_http_request_t *r)
{
    ngx_int_t                               rc;
    ngx_buf_t                               *b;
    ngx_chain_t                             out;
    ngx_http_test_conf_t                    *lrcf;
    ngx_str_t                               ngx_test_string = ngx_string("hello test");

    lrcf = ngx_http_get_module_loc_conf(r, ngx_http_test_module);
    if ( lrcf->test_counter == 0 ) {
        return NGX_DECLINED;
    }
    
    /* we response to 'GET' and 'HEAD' requests only */
    if ( !(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD)) ) {
            return NGX_HTTP_NOT_ALLOWED;
    }

    /* discard request body, since we don't need it here */
    rc = ngx_http_discard_request_body(r);

    if ( rc != NGX_OK ) {
        return rc;
    }
    
    /* set the 'Content-type' header */
    /*
     *r->headers_out.content_type.len = sizeof("text/html") - 1;
     *r->headers_out.content_type.data = (u_char *)"text/html";
    */
    ngx_str_set(&r->headers_out.content_type, "text/html");

    /* send the header only, if the request type is http 'HEAD' */
    if ( r->method == NGX_HTTP_HEAD ) {
        r->headers_out.status = NGX_HTTP_OK;
        r->headers_out.content_length_n = ngx_test_string.len;

        return ngx_http_send_header(r);
    }
    
    /* set the status line */
    r->headers_out.status = NGX_HTTP_OK;
    r->headers_out.content_length_n =  ngx_test_string.len;

    /* send the headers of your response */
    rc = ngx_http_send_header(r);
    if ( rc == NGX_ERROR || rc > NGX_OK || r->header_only ) {
        return rc;
    }

    /* allocate a buffer for your response body */
    b = ngx_pcalloc(r->pool, sizeof(ngx_buf_t));
    if ( b == NULL ) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }
    
    /* attach this buffer to the buffer chain */
    out.buf = b;
    out.next = NULL;

    /* adjust the pointers of the buffer */
    b->pos = ngx_test_string.data;
    b->last = ngx_test_string.data + ngx_test_string.len;
    b->memory = 1;    /* this buffer is in memory */
    b->last_buf = 1;  /* this is the last buffer in the buffer chain */
    
    /* send the buffer chain of your response */
    return ngx_http_output_filter(r, &out);
}

6. Nginx核心時間點模塊介紹

解決接入層故障定位慢的問題,幫助OP快速判定問題根因,優(yōu)先自證清白,提高接入層高效的生產(chǎn)力。


image.png

7. Nginx分流模塊介紹

特點:
實現(xiàn)非常靈活的動態(tài)的修改策略從而進行切流量。
實現(xiàn)平滑無損的方式進行流量的切換。
通過秒級切換流量可以縮小影響范圍,從而減少損失。
按照某一城市或者某個特征,秒級進行切換流量或者禁用流量。
容忍單機房級別容量故障,縮短了單機房故障的止損時間。
快速的將流量隔離或者流量抽樣。
高效的灰度測試,提高生產(chǎn)力。

image.png

8. Nginx動態(tài)upstream模塊介紹

讓接入層可以適配動態(tài)調(diào)度的云環(huán)境,實現(xiàn)服務(wù)的平滑上下線、彈性擴/縮容。
從而提高接入層高效的生產(chǎn)力以及穩(wěn)定性,保證業(yè)務(wù)流量的平滑無損。


image.png

9. Nginx query_upstream模塊介紹

鏈路追蹤,梳理接口到后端鏈路的情況。查詢location接口對應(yīng)upstream server信息。


image.png

10. Nginx query_conf模塊介紹

獲取nginx配置文件格式化為json格式信息。


image.png

11.Nginx 共享內(nèi)存支持redis協(xié)議模塊介紹

根據(jù)配置文件來動態(tài)的添加共享內(nèi)存。
https://github.com/lidaohang/ngx_shm_dict

  • ngx_shm_dict
    共享內(nèi)存核心模塊(紅黑樹,隊列)

  • ngx_shm_dict_manager
    添加定時器事件,定時的清除共享內(nèi)存中過期的key
    添加讀事件,支持redis協(xié)議,通過redis-cli get,set,del,ttl

  • ngx_shm_dict_view
    共享內(nèi)存查看


    image.png

12. Nginx日志回放壓測工具

方案說明

  • 客戶端解析access.log構(gòu)建請求的host,port,url,body
  • 把后端響應(yīng)時間,后端響應(yīng)狀態(tài)碼,后端響應(yīng)大小放入header頭中
  • 后端服務(wù)器獲取相應(yīng)的header,進行模擬響應(yīng)body大小,響應(yīng)狀態(tài)碼,響應(yīng)時間

使用方式

  • 拷貝需要測試的access.log的日志到logs文件夾里面
  • 搭建需要測試的nginx服務(wù)器,并且配置upstream 指向后端服務(wù)器斷端口
  • 啟動后端服務(wù)器實例 server/backserver/main.go
  • 進行壓測 bin/wrk -c30 -t1 -s conf/nginx_log.lua http://localhost:8095
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容