習慣上只是簡單把 Nginx 用作 WebServer，最近看了看它的插件，發(fā)現(xiàn)其實有很多玩法，特別是很多工作可以不再需要寫代碼了，通過安裝配置插件就可以實現(xiàn)。本文以搭建一個文檔服務器為例，演示一下怎樣使用 Nginx 插件。

項目概述

本項目嘗試用Nginx的多個模塊搭建一個文檔服務器，實現(xiàn)文件的上傳和瀏覽。純粹用Nginx實現(xiàn)是想講文件上傳作為一個獨立的基礎模塊，如果其他業(yè)務模塊需要文件管理功能，可以直接使用。

image.png

項目地址：https://github.com/jasony62/tms-nginx-finder

安裝模塊

配置 Nginx

環(huán)境參數(shù)

需要在nginx.conf文件中添加如下設置，用env指令說明需要使用的環(huán)境變量，用js_set指令創(chuàng)建變量并賦值（沒有找到直接在配置文件中使用環(huán)境變量的方法）。

env REDIS_KEY_UPLOAD_START_TIME;
env REDIS_KEY_UPLOAD_COUNTER;
env REDIS_CHANNEL_UPLOAD;

js_include /usr/local/nginx/njs/upload.js;
js_set $redis_key_upload_start_time var_redis_key_upload_start_time;
js_set $redis_key_upload_counter var_redis_key_upload_counter;
js_set $redis_channel_upload var_redis_channel_upload;

訪問目錄

我們希望可以通過 Nginx 直接訪問某個目錄下的文件，例如：nginx 工作目錄下的 files 目錄，在nginx.conf中添加如下內容：

location = /files/ {
  root .;
  autoindex on;
}

上傳文件

我們用nginx-upload-module插件實現(xiàn)文件上傳功能。安裝完成后，在nginx.conf中添加如下配置：

location /upload/ {
  # 指定上傳文件的存放位置
  upload_store /usr/local/nginx/files;

  # 設置轉發(fā)的信息
  upload_set_form_field $upload_field_name.name "$upload_file_name";
  upload_set_form_field $upload_field_name.content_type "$upload_content_type";
  upload_set_form_field $upload_field_name.path "$upload_tmp_path";
  upload_aggregate_form_field "$upload_field_name.md5" "$upload_file_md5";
  upload_aggregate_form_field "$upload_field_name.size" "$upload_file_size";

  # 文件上傳后轉發(fā)請求
  upload_pass @upload_response;
  # add_header "Content-Type" "text/html; charset=UTF-8";
  # echo "echo: Upload done";
}

指令upload_pass是文件上傳后將文件的基本信息轉發(fā)到指定地址。接收上傳文件信息的地址用的是命名地址（named location），它不是按照正則匹配的，用于內部轉發(fā)（后面 njs 模塊會說明如何實現(xiàn)）。

上傳的文件會放在指令upload_store指定的位置，文件是由數(shù)字組成的遞增的字符，例如：0000000001，0000000002。如果不需要后續(xù)處理，可以不用轉發(fā)上傳文件數(shù)據，直接通過echo指令返回結果。

處理文件

因為無法指定上傳文件的命名（沒有擴展名），而且每次重啟 Nginx 都會從頭開始給文件命名，可能會覆蓋已有的文件，這樣使用起來不方便，所以希望能夠修改上傳文件的名字。這里我們使用了njs模塊，在nginx.conf中添加如下配置：

js_include /usr/local/nginx/njs/upload.js;

location @upload_response {
  js_content handle;
}

文件的命名由 3 個部分組成：服務啟動時間+啟動以來上傳的文件數(shù)加 1+擴展名，例如：20191224_124808_8.mp4。為了實現(xiàn)這個要求，需要記錄服務啟動時間和上傳文件次數(shù)。最簡單的方法考慮是做成全局變量，但是在 Nginx 中沒有找到實現(xiàn)方法。本來想可以把數(shù)據寫到本地文件中，但是這樣應該會有并發(fā)讀取的問題，所以決定用 Redis 來保存數(shù)據。

訪問 Redis

Redis 中存放兩個數(shù)據：1、啟動時間；2、計數(shù)器。每次上傳一個文件就通過啟動時間和計數(shù)器組合出一個文件名。獲取啟動時間用get命令，獲取計數(shù)器用incr命令。利用 redis2-nginx-module 模塊可以把 nginx 變成一個 redis 客戶端，我們在nginx.conf中添加如下配置：

location = /redis/counter {
  redis2_query get $redis_key_upload_start_time;
  redis2_query incr $redis_key_upload_counter;
  redis2_pass redis:6379;
}

Redis 除了存儲共享信息外，我們還用它進行事件通知，每次完成一個文件的處理后，利用 Redis 的發(fā)布訂閱機制發(fā)送一條上傳文件的信息，這樣如果其他的系統(tǒng)需要進行擴展可以接收這個事件。在nginx.conf中添加如下配置：

location = /redis/publish {
  set_unescape_uri $message $arg_message;
  redis2_query publish $redis_channel_upload $message;
  redis2_pass redis:6379;
}

容器化

為了便于使用，我們將整個項目做成 docker 容器。容器有 3 個：Nginx 容器，Redis 容器和 Redis-cli 容器，其中 Redis-cli 是為了在 Redis 中設置初始值。

設置時區(qū)

alpine鏡像默認的時區(qū)是UTC，和我們差了 8 個小時。前面提到過需要將服務啟動時間作為上傳文件名的一部分，因此需要把失去調整為Asia/Shanghai。Dockerfile 中添加如下內容：

RUN sed -i 's?http://dl-cdn.alpinelinux.org/?https://mirrors.aliyun.com/?' /etc/apk/repositories && \
    apk add -U tzdata && \
    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
    apk del tzdata

Redis 初始值

我們需要每次服務啟動時在 Redis 中記錄啟動時間，想到最簡單的方法 Redis 服務啟動后，用redis-cli執(zhí)行如下命令。

date +'%Y%m%d_%H%M%S' | xargs redis-cli -h redis set uploadBootAt

環(huán)境變量

在docker-compose.yml文件中指定環(huán)境變量的值，如果需要可以通過docker-compose.override.yml文件覆蓋。

environment:
  - REDIS_KEY_UPLOAD_START_TIME=upload:start_time
  - REDIS_KEY_UPLOAD_COUNTER=upload:counter
  - REDIS_CHANNEL_UPLOAD=upload:event

其他

volumes:
  - ./nginx/nginx.conf:/usr/local/nginx/conf/nginx.conf:ro
  - ./nginx/html:/usr/local/nginx/html
  - ./nginx/njs:/usr/local/nginx/njs
  - ./upload:/usr/local/nginx/files

這里分享個經驗。本來想讓文件上傳到容器中的tmp目錄下，然后再改名到volumes指定的目錄下。但是，這樣需要在兩個device之間移動文件，是不允許的，所以改成了文件直接上傳到指定的目錄，就地改名。

nginx.conf中設置連接 Redis。

location = /redis/counter {
  redis2_query get $redis_key_upload_start_time;
  redis2_query incr $redis_key_upload_counter;
  redis2_pass redis:6379;
}

這需要兩個容器之間進行連接，但事先我們并不知道地址是什么，解決的方法是在docker-compose.yml中進行指定。

Containers for the linked service are reachable at a hostname identical to the alias, or the service name if no alias was specified.

nginx:
  ...
  links:
      - redis

JS 代碼說明

nginx.conf文件

env REDIS_KEY_UPLOAD_START_TIME;

js_set $redis_key_upload_start_time var_redis_key_upload_start_time;

njs/upload.js

//
function var_redis_key_upload_start_time(r) {
  return process.env.REDIS_KEY_UPLOAD_START_TIME;
}

通過js_set指令可以解決在nginx.conf文件中無法引用環(huán)境變量給變量賦值的問題。

r.subrequest("/redis/counter", { method: "GET" }, function(res) {
  ......
});

用subrequest方法可以發(fā)起調用，但是不能對命名地址（named location）進行調用。

var fs = require("fs");
fs.renameSync(oFileData.path, newpath);

使用fs模塊可以進行簡單的文件操作。但是不能用require調用自己編寫的模塊。

遺留問題

訪問控制問題。

多文件上傳問題。

大文件續(xù)傳問題。

參考

https://github.com/nginx/njs

http://nginx.org/en/docs/

https://github.com/openresty

一篇講解Nginx變量的文章，推薦閱讀：https://blog.csdn.net/ok449a6x1i6qq0g660fv/article/details/80276506