Docker 快速驗(yàn)證 tomcat 單機(jī)多實(shí)例方案

概述

主要講的是解決問題的思路。當(dāng)然也附帶了盡可能詳細(xì)的步驟，感興趣的童鞋可以一步一步跟著來實(shí)踐一把。因?yàn)檫\(yùn)維職業(yè)的緣故，基本上是把事故當(dāng)故事來寫了，希望能夠喜歡。

緣起

至少10年了，沒在一線玩過 Tomcat 了，這次客戶現(xiàn)場就來了一場遭遇戰(zhàn)。雖然客戶說了他來搭建，但是項(xiàng)目進(jìn)度不等人，還是自己動(dòng)手吧。當(dāng)然了，新服務(wù)器是要走流程申請(qǐng)的，只能在現(xiàn)有服務(wù)器想辦法。猶記得當(dāng)年解決 Tomcat 部署這些都是小菜，沒想到在苛刻的商業(yè)環(huán)境中，處處是坑，步步有雷。不過，咱干過開發(fā)也干過運(yùn)維，這點(diǎn)兒動(dòng)手的事情，還不至于發(fā)郵件請(qǐng)救兵不是。干！

服務(wù)器在內(nèi)網(wǎng)，有瘦終端可以訪問。MacBook 只能訪問外網(wǎng)，一邊查資料，一邊比對(duì)著在內(nèi)網(wǎng)做，效果不好，老是擔(dān)心現(xiàn)有環(huán)境給整趴了：開發(fā)測試那邊就沒得玩了。干過開發(fā)的都知道，服務(wù)器從來都是直接上 root 賬號(hào)。干過運(yùn)維的人都知道，永遠(yuǎn)別碰 root。╮(╯▽╰)╭哎，職業(yè)病，還是小心謹(jǐn)慎地好。

只能調(diào)整了方法：先在 MacBook 上搭建單機(jī)多實(shí)例，驗(yàn)證通過之后，再去內(nèi)網(wǎng)服務(wù)器動(dòng)手。本來計(jì)劃20~30分鐘搞完的事，最終花了小半天時(shí)間驗(yàn)證了方案，在內(nèi)網(wǎng)實(shí)施的時(shí)候，又遇到苛刻的環(huán)境限制，逐步排雷，最終搞定。客戶滿意，項(xiàng)目進(jìn)度開心。

思路

根據(jù)實(shí)際環(huán)境，判斷問題解決方向：單機(jī)多實(shí)例；放棄內(nèi)網(wǎng)危險(xiǎn)的嘗試：不能快速有效解決，且賬號(hào)權(quán)限太大;選擇外網(wǎng)驗(yàn)證方案后再進(jìn)內(nèi)網(wǎng)實(shí)施。很多時(shí)候，選擇大于努力。

我們先簡化問題

寫個(gè)驗(yàn)證文件打包成 war 包。為啥不使用現(xiàn)有代碼。一是因?yàn)楝F(xiàn)有 war 包在內(nèi)網(wǎng)，二是因?yàn)樘珡?fù)雜，除了問題不能排除是代碼自身的問題還是我們的部署方式有問題，或者是內(nèi)外網(wǎng)網(wǎng)絡(luò)環(huán)境的問題，亦或是 RPWT。

對(duì)于驗(yàn)證方案，排查問題時(shí)，盡量簡化，拋卻一切外在的東西，只驗(yàn)證核心。方案驗(yàn)證通過，再引入實(shí)際war包驗(yàn)證。這和面向?qū)ο缶幊痰闹笇?dǎo)思想是一致的：通過抽象來提煉最核心的東西，每次聚焦一個(gè)地方，不要全面出擊。人，畢竟精力有限。

至于為什么用 tomcat7，沒什么，客戶這兒只允許這個(gè)版本。

先放出整理后方案

2017.8.8Update:

已 commit 到 docker hub，心急的童鞋自行

docker pull aninputforce/tomcat7-ins

最終方案

這個(gè)不是診斷問題的思路，是最終解決完問題后的，對(duì)整體方案的梳理，這樣的順序才整潔，有基礎(chǔ)時(shí)間緊的童鞋直接看這個(gè)就足夠了。有時(shí)間的童鞋可以看看正文，貫穿了分析問題解決問題的思路。

# 簡化問題：建模先--宿主機(jī)編輯 -> jdk7打war包 -> tomcat默認(rèn)配置 -> 單機(jī)單實(shí)例 -> 單機(jī)雙實(shí)例
├── # docker搭建jdk7初始環(huán)境：用來打包驗(yàn)證用的war包
│   ├── docker search jdk7
│   ├── docker pull codenvy/jdk7
│   ├── docker run --name jjj codenvy/jdk7 /bin/bash
│   ├── java -version && mkdir ~/web && ls ~/ && exit  # 鏡像容器環(huán)境工作正常，創(chuàng)建工作目錄，退出
│   ├── mkdir ~/prms001 ~/prms002 # 宿主機(jī) 
│   ├── # 編輯prms001/index.htm,編輯prms002/index.htm
│   ├── docker cp prms001 jjj:/home/user/web && docker cp prms002 jjj:/home/user/web
│   ├── docker exec -it jjj /bin/bash # 進(jìn)入容器
│   ├── sudo chown -R user:user prms001 prms002 改變屬組
│   ├── cd ~/web/prms001 && jar -cvf prms001.war ./* && ls -la
│   ├── cd ~/web/prms002 && jar -cvf prms002.war ./* && ls -la && exit
│   ├── docker cp jjj:/home/user/web/prms001/prms001.war ~/.
│   ├── docker cp jjj:/home/user/web/prms002/prms002.war ~/.
│   └── docker rm jjj # 退出容器，jdk7容器使命結(jié)束
├── # docker搭建tomcat7初始環(huán)境：用來推演單機(jī)多實(shí)例
│   ├── # docker拉取tomcat7鏡像
│   ├── # 啟動(dòng)名為www的tomcat容器
│   │   ├── ./startup.sh # 啟動(dòng)web服務(wù)
│   │   ├── curl localhost:8080 # 訪問正常
│   │   ├── ./shutdown.sh # 停止web服務(wù)
│   │   └── # 搭建第一個(gè)實(shí)例
│   │      ├── mkdir tom-ins001
│   │      ├── mv work tom-ins001/ && mv conf/ tom-ins001/ mv logs/ tom-ins001/ 
│   │      ├── mv temp/ tom-ins001/ && mv webapps/ tom-ins001/
│   │      ├── export CATALINA_BASE=$CATALINA_HOME/tom-ins001/
│   │      ├── sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
│   │      ├── curl localhost:8080 # 訪問正常
│   │      └── exit && docker commit www mytomcat:latest && docker rm www # 容器www使命結(jié)束
│   └── docker run --name web -it -p 8080:8080 -p 80:80 mytomcat /bin/bash # 啟動(dòng)新容器 
│      ├── # 啟動(dòng)第一個(gè)實(shí)例
│      │   ├── export CATALINA_BASE=$CATALINA_HOME/tom-ins001/
│      │   ├── sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
│      │   └── curl localhost:8080 # 訪問正常
│      └── # 搭建并啟動(dòng)第二個(gè)實(shí)例
│         ├── cp -r tom-ins001/ tom-ins002
│         ├── # 編輯tom-ins002/conf/server.xml的3個(gè)端口，規(guī)避和實(shí)例1沖突，
│         │   ├── Server port="8001"、 Connector port="80" protocol="HTTP/1.1"
│         │   ├── Connector port="8002" protocol="AJP/1.3"
│         │   ├── docker cp www:/usr/local/tomcat/conf/server.xml .
│         │   ├── vi server.xml
│         │   └── docker cp ./server.xml www:/usr/local/tomcat/conf/
│         └── # 啟動(dòng)新容器 啟動(dòng)實(shí)例2
│             ├── export CATALINA_BASE=$CATALINA_HOME/tom-ins002/
│             ├── sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
│             ├── curl localhost:80 # 訪問正常
│             ├── exit && docker commit web mytomcat:latest 
│             └── docker rm web # 容器web使命結(jié)束
└── # 展示單機(jī)雙實(shí)例：
  ├── # 配置實(shí)例2根目錄運(yùn)行
  │   ├── docker run --name web -d -it -p 8080:8080 -p 80:80 mytomcat /bin/bash # 啟動(dòng)新容器 
  │   ├── docker exec -it web /bin/bash 
  │   ├── cd /usr/local/tomcat/tom-ins002/webapps && tar cvf rootbak.tar ./ROOT/*
  │   ├── cd ROOT && rm -rf * # 清空ROOT目錄
  │   ├── mkdir /usr/local/tomcat/myapps && exit # 創(chuàng)建實(shí)例2war包存放目錄，退出容器
  ├── # 部署實(shí)例1、實(shí)例2的war包，啟動(dòng)驗(yàn)證
  │   ├── # 編輯ROOT.xml，配置實(shí)例2的war包解到 /usr/local/tomcat/tom-ins002/ROOT 目錄
  │   ├── docker cp ~/ROOT.xml web:/usr/local/tomcat/tom-ins002/conf/Catalina/localhost
  │   ├── docker cp ~/prms002.war web:/usr/local/tomcat/myapps
  │   └── docker cp ~/prms001.war web:/usr/local/tomcat/tom-ins001/webapps
  ├── docker exec -it web /bin/bash
  │   ├── export CATALINA_BASE=$CATALINA_HOME/tom-ins001/
  │   ├── sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
  │   ├── curl localhost:8080 # 訪問正常：Hello from Tomcat instance 001
  │   ├── export CATALINA_BASE=$CATALINA_HOME/tom-ins002/
  │   ├── sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
  │   └── curl localhost # 訪問正常：Hello from Tomcat instance 002
  └── # 宿主機(jī)驗(yàn)證
     ├── curl localhost:8080 # 訪問正常：Hello from Tomcat instance 001
     ├── curl localhost # 訪問正常：Hello from Tomcat instance 002
     └── exit && docker commit web mytomcat:latest # 退出，提交容器變動(dòng)到鏡像，驗(yàn)證通過；

以下開始講故事：

外網(wǎng)驗(yàn)證方案

換做十年前，要學(xué)習(xí) Java，光搭建個(gè)環(huán)境，就能耗盡新人 90% 的熱情。放棄內(nèi)網(wǎng)嘗試，轉(zhuǎn)由外網(wǎng)先驗(yàn)證方案，我也是經(jīng)過略微的思想斗爭的，不過轉(zhuǎn)念一想，有 Docker 神器，也就淡定了。

開始之前，先列一下客戶的要求

  • 部署新實(shí)例作為 UAT 測試環(huán)境，但是新服務(wù)器還沒有
  • 根目錄啊，別帶上 Project 路徑了
  • 端口用 80 吧，你們開發(fā)測試還用 8080

需求分析

在內(nèi)網(wǎng)的一番碰墻，也不是沒有一點(diǎn)兒成果，至少理順了方向：

  • 方案的方向是單機(jī)多實(shí)例
  • Server 部署在根目錄
  • 別讓用戶敲端口訪問了

開始，進(jìn)行 tomcat 單機(jī)多實(shí)例方案的推演。

至于docker環(huán)境搭建，請(qǐng)參考官方文檔。我的另一篇筆記里附有鏈接：<u style="text-decoration: none; border-bottom: 1px dashed rgb(128, 128, 128);">Docker的第一次親密接觸（https://my.oschina.net/hexie/blog/785315）</u>

上 Docker 搭建第一個(gè)實(shí)例

準(zhǔn)備拉取鏡像

docker pull tomcat:7.0

啟動(dòng)并運(yùn)行 tomcat

容器名www，端口8080：

ChinaDreams:work-diary kangcunhua$ docker run --name www -it -p 8080:8080 tomcat:7.0 /bin/bash
root@4b8f58d2cd64:/usr/local/tomcat# cd bin
root@4b8f58d2cd64:/usr/local/tomcat/bin# java -version
java version "1.7.0_131"
OpenJDK Runtime Environment (IcedTea 2.6.9) (7u131-2.6.9-2~deb8u1)
OpenJDK 64-Bit Server VM (build 24.131-b00, mixed mode)
root@4b8f58d2cd64:/usr/local/tomcat/bin# ./startup.sh 
root@4b8f58d2cd64:/usr/local/tomcat/bin# ps -ef | grep java
root@4b8f58d2cd64:/usr/local/tomcat/logs# tail -f catalina.out 
root@4b8f58d2cd64:/usr/local/tomcat/logs# curl localhost:8080

查看 java 進(jìn)程有，查看日志正常，訪問 http://localhost:8080 正常，證明鏡像和容器是可以正常工作的。

搭建第一個(gè)實(shí)例

root@4b8f58d2cd64:/usr/local/tomcat# mkdir tom-ins001
root@4b8f58d2cd64:/usr/local/tomcat# ls
LICENSE  RELEASE-NOTES  bin   include  logs    native-jni-lib  tom-ins001  work
NOTICE   RUNNING.txt  conf  lib      myapps  temp        webapps
root@4b8f58d2cd64:/usr/local/tomcat# mv work tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat# mv conf/ tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat# mv logs/ tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat# mv temp/ tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat# mv webapps/ tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat# ls
LICENSE  NOTICE  RELEASE-NOTES  RUNNING.txt  bin  include  lib  myapps  native-jni-lib  tom-ins001
root@4b8f58d2cd64:/usr/local/tomcat# cd tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# ls
conf  logs  temp  webapps  work
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# echo $CATALINA_HOME
/usr/local/tomcat
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# export CATALINA_BASE=$CATALINA_HOME/tom-ins001/
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# ps -ef | grep java
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# tail -f catalina.out 
root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# curl localhost:8080

啟動(dòng)成功,宿主機(jī)訪問 http://localhost:8080 正常

提交變動(dòng)到鏡像備份

root@4b8f58d2cd64:/usr/local/tomcat/tom-ins001# exit
ChinaDreams:~ kangcunhua$ docker commit www mytomcat:latest

搭建第二個(gè)實(shí)例

啟動(dòng)新容器，并啟動(dòng)第一個(gè)實(shí)例

基于剛提交生成的鏡像，新啟一個(gè)容器。啟動(dòng)實(shí)例1，驗(yàn)證正常

ChinaDreams:~ kangcunhua$ docker run --name web -it -p 8080:8080 -p 80:80 mytomcat /bin/bash
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# export CATALINA_BASE=$CATALINA_HOME/tom-ins001
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# ps -ef | grep java
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# tail -f catalina.out 
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# curl localhost:8080

生成第二個(gè)實(shí)例目錄

root@c8cc5f309d18:/usr/local/tomcat# cp -r tom-ins001/ tom-ins002
root@c8cc5f309d18:/usr/local/tomcat# ls
LICENSE  NOTICE  RELEASE-NOTES  RUNNING.txt  bin  include  lib  myapps  native-jni-lib  tom-ins001  tom-ins002
root@c8cc5f309d18:/usr/local/tomcat# cd tom-ins002
root@c8cc5f309d18:/usr/local/tomcat/tom-ins002# ls
conf  logs  temp  webapps  work
root@c8cc5f309d18:/usr/local/tomcat/tom-ins002# cd ..
root@c8cc5f309d18:/usr/local/tomcat# cd tom-ins001/
root@c8cc5f309d18:/usr/local/tomcat/tom-ins001# ls
conf  logs  temp  webapps  work

編輯 server.xml

主要是修改三處端口,避免和實(shí)例1端口沖突。

  • Server port=”8001”
  • Connector port=”80” protocol=”HTTP/1.1”
  • Connector port=”8002” protocol=”AJP/1.3”
<?xml version='1.0' encoding='utf-8'?>
<Server port="8001" shutdown="SHUTDOWN">
<!-- 此處省略了無修改的內(nèi)容 -->
 <Service name="Catalina">
   <Connector port="80" protocol="HTTP/1.1"
              connectionTimeout="20000"
              redirectPort="8443" />
   <Connector port="8002" protocol="AJP/1.3" redirectPort="8443" />
<!-- 此處省略了無修改的內(nèi)容 -->
</Service>
</Server>

編輯 ROOT.xml

作用是指定一個(gè)不在 webapps 目錄的 war 包，部署時(shí)自動(dòng)解壓到 webapps\ROOT 目錄。

<?xml version="1.0" encoding="UTF-8"?>
<Context path="/prms" docBase="/usr/local/tomcat/myapps/prms002.war"></Context>

cp 到 tomcat 容器 web 中查看

ChinaDreams:~ kangcunhua$ docker cp ~/ROOT.xml www:/usr/local/tomcat/tom-ins002/conf/Catalina/localhost
ChinaDreams:~ kangcunhua$ docker exec -it www /bin/bash
root@4b8f58d2cd64:/usr/local/tomcat# cd conf/Catalina/localhost/
root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# ls
ROOT.xml
root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# more ROOT.xml 
<?xml version="1.0" encoding="UTF-8"?>
<Context path="/prms" docBase="/usr/local/tomcat/myapps/prms002.war"></Context>
root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# pwd
/usr/local/tomcat/conf/Catalina/localhost

文件屬主不對(duì)，改

root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# ls -al
total 12
drwxr-xr-x 2 root root    4096 Jul 31 05:58 .
drwxr-xr-x 3 root root    4096 Jul 31 04:23 ..
-rw-r--r-- 1  502 dialout  111 Jul 31 05:56 ROOT.xml
root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# chown root:root ROOT.xml 
root@4b8f58d2cd64:/usr/local/tomcat/conf/Catalina/localhost# ls -la
total 12
drwxr-xr-x 2 root root 4096 Jul 31 05:58 .
drwxr-xr-x 3 root root 4096 Jul 31 04:23 ..
-rw-r--r-- 1 root root  111 Jul 31 05:56 ROOT.xml

打個(gè) war 部署包

打 war 包報(bào)錯(cuò)

在 tomcat 容器中，發(fā)現(xiàn) jar 命令找不到。

root@4b8f58d2cd64:/usr/local/tomcat/webapps/examples# jar -cvf prms.war ./*
bash: jar: command not found

構(gòu)建 jdk7 環(huán)境

本地沒有 java 環(huán)境。果斷上 docker 構(gòu)建一個(gè)

ChinaDreams:~ kangcunhua$ docker search jdk7
ChinaDreams:~ kangcunhua$ docker pull codenvy/jdk7
ChinaDreams:~ kangcunhua$ docker run --name jjj -it codenvy/jdk7 /bin/bash
user@b040d98042c0:/$ java -version
user@b040d98042c0:/$ jar
user@b040d98042c0:/$ mkdir ~/web && ls ~/ && exit 創(chuàng)建工作目錄，退出

宿主機(jī)編輯代碼 cp 到容器中打 jar 包

ChinaDreams:~ kangcunhua$ mkdir ~/prms001 ~/prms002
ChinaDreams:~ kangcunhua$ vi ~/prms001/index.html
ChinaDreams:~ kangcunhua$ vi ~/prms002/index.html
ChinaDreams:~ kangcunhua$ docker cp prms001 jjj:/home/user/web && docker cp prms002 jjj:/home/user/web
ChinaDreams:~ kangcunhua$ docker exec -it jjj /bin/bash 進(jìn)入容器
user@b040d98042c0:~/web$ sudo chown -R user:user prms001 prms002 改變屬組
user@b040d98042c0:~/web$ cd ~/web/prms001 && jar -cvf prms001.war ./* && ls -la
user@b040d98042c0:~/web$ cd ~/web/prms002 && jar -cvf prms002.war ./* && ls -la && exit
ChinaDreams:~ kangcunhua$ docker cp jjj:/home/user/web/prms001/prms001.war ~/.
ChinaDreams:~ kangcunhua$ docker cp jjj:/home/user/web/prms001/prms002.war ~/.
ChinaDreams:~ kangcunhua$ docker rm jjj 退出容器，jdk7容器使命結(jié)束

vi ~/prms001/index.html

<html>
   <head>
       <meta charset="UTF-8" >
       <title> Tomcat instance 1</title>
   </head>

   <body>
       <h1> Hello from Tomcat instance 1</h1>
   </body>
</html>

vi ~/prms002/index.html

<html>
   <head>
       <meta charset="UTF-8" >
       <title> Tomcat instance 2</title>
   </head>

   <body>
       <h1> Hello from Tomcat instance 2</h1>
   </body>
</html>

啟動(dòng)實(shí)例1、實(shí)例2

回到 tomcat 容器

root@c8cc5f309d18:/usr/local/tomcat# export CATALINA_BASE=$CATALINA_HOME/tom-ins001
root@c8cc5f309d18:/usr/local/tomcat# sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
root@c8cc5f309d18:/usr/local/tomcat# curl localhost:8080 訪問正常
root@c8cc5f309d18:/usr/local/tomcat# export CATALINA_BASE=$CATALINA_HOME/tom-ins002/
root@c8cc5f309d18:/usr/local/tomcat# sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
root@c8cc5f309d18:/usr/local/tomcat# curl localhost:80 訪問正常

激動(dòng)人心的時(shí)刻

提交鏡像和刪除舊容器 web

docker commit web mytomcat:latest && docker rm web

基于最新鏡像，啟動(dòng)新容器命名為 web

ocker run --name web -it -p 8080:8080 -p 80:80 mytomcat /bin/bash

宿主機(jī)訪問

<u style="text-decoration: none; border-bottom: 1px dashed rgb(128, 128, 128);">http://localhost/</u> 訪問正常：Hello from Tomcat instance 001.

<u style="text-decoration: none; border-bottom: 1px dashed rgb(128, 128, 128);">http://localhost:8080</u> 訪問正常：Hello from Tomcat instance 002.

單機(jī)多實(shí)例方案本地通過

方案補(bǔ)充

啟動(dòng)命令

export CATALINA_BASE=$CATALINA_HOME/tom-ins001 && sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base
export CATALINA_BASE=$CATALINA_HOME/tom-ins002 && sh $CATALINA_HOME/bin/startup.sh -Dcatalina.base

停止命令

export CATALINA_BASE=$CATALINA_HOME/tom-ins001 && sh $CATALINA_HOME/bin/shutdown.sh -Dcatalina.base
export CATALINA_BASE=$CATALINA_HOME/tom-ins002 && sh $CATALINA_HOME/bin/shutdown.sh -Dcatalina.base

排錯(cuò)命令

ps -ef | grep java
kill -9 xxx tomcat實(shí)例進(jìn)程號(hào)
tail -f $CATALINA_HOME/tom-ins001/logs/catalina.out
tail -f $CATALINA_HOME/tom-ins002/logs/catalina.out
curl localhost:8080/prms001/
curl localhost

目錄結(jié)構(gòu)參考

保留了最關(guān)鍵的要素:

.
├── bin
├── lib
├── myapps
│   └── prms002.war
├── tom-ins001
│   ├── conf
│   │   └── server.xml
│   ├── logs
│   │   └── catalina.out
│   ├── webapps
│   │   ├── prms001
│   │   └── prms001.war
│   └── work
└── tom-ins002
   ├── conf
   │   ├── Catalina
   │   │   └── localhost
   │   │       └── ROOT.xml
   │   └── server.xml
   ├── logs
   ├── temp
   ├── webapps
   │   └── ROOT
   │       ├── META-INF
   │       │   └── MANIFEST.MF
   │       └── index.htm
   └── work

提交到 docker hub

update：2017.8.8

ChinaDreams:work-diary kangcunhua$ docker images
REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
mytomcat                   latest              3f6c6cce5355        7 days ago          370MB
ChinaDreams:work-diary kangcunhua$ docker tag 3f6c6cce5355 aninputforce/tomcat7-ins:latest
ChinaDreams:work-diary kangcunhua$ docker push aninputforce/tomcat7-ins
ChinaDreams:work-diary kangcunhua$ docker push aninputforce/tomcat7-ins:1.0
ChinaDreams:work-diary kangcunhua$ docker images
REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
mytomcat                   latest              3f6c6cce5355        7 days ago          370MB
aninputforce/tomcat7-ins   1.0                 3f6c6cce5355        7 days ago          370MB
aninputforce/tomcat7-ins   latest              3f6c6cce5355        7 days ago          370MB

進(jìn)內(nèi)網(wǎng)玩：殘酷的商業(yè)環(huán)境

一切都很順利，直到碰上訪問80端口。。。。

順利

搭建實(shí)例1

備份后，搭建實(shí)例1，確保原始應(yīng)用能正常；

搭建實(shí)例2

停止實(shí)例1，保證實(shí)例2默認(rèn)也能運(yùn)行；

根目錄部署實(shí)例2

編輯server.xml，ROOT.xml，清空ROOT目錄，新建myapps目錄，拷貝war包進(jìn)去；

curl http://localhost web server上訪問正常。

局域網(wǎng)訪問 ，http://10.29.11.23 不！能！訪！問！??！

坑：Suse 訪問 80 端口

實(shí)例2需要使用 80 端口。受阻。

坑+：沒有任何限制。我們需要客戶的信息，但是不能全信。就像這次請(qǐng)教客戶說的“我們對(duì)端口沒有任何限制”。不要盲目相信客戶說的，要相信科學(xué)排查。

依稀記得架構(gòu)師課程 PC 大神講過，linux 默認(rèn)只有 root 用戶才能訪問 80 端口。當(dāng)時(shí)我一直有個(gè)疑問，那我們 web server 需要用到 80 端口是怎么解決的？我記得請(qǐng)教過PC 老師，可惜當(dāng)時(shí)課程緊，雖然聽的云里霧里的，也沒好意思多追問，更沒線下自己實(shí)踐。直到這次在客戶現(xiàn)場栽了跟頭。

開發(fā)測試環(huán)境，我們倒是有 root 賬號(hào)，但是我們 web server 總不能用 root 部署吧，太不專業(yè)了。在 Reboot 校友群中厚著臉皮請(qǐng)教了各位童鞋，很快 get 了解決方案：將所有80端口的訪問，轉(zhuǎn)發(fā)到 8081 即可；8081 就是我們可以配置的 tomcat 實(shí)例2的訪問端口，這個(gè)是普通用戶有權(quán)限的。

修訂 IPtables 策略，轉(zhuǎn)發(fā) 80 端口請(qǐng)求

剛檢查防火墻時(shí)，看到 80 端口是放開的。部署機(jī)上可以訪問，局域網(wǎng)打不開：將所有針對(duì) 80 端口的訪問，轉(zhuǎn)發(fā)到 8081。

[root@tomcat7conf]# iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8081

使用8081端口

修改了 tomins-002 的 server.xml,仍是部署機(jī)上可以訪問，局域網(wǎng)打不開；

檢查防火墻

配置上 8081 端口，重啟防火墻生效，部署機(jī)訪問正常，局域網(wǎng)打開正常

找到 FW_SERVICES_EXT_TCP，加上 8081 端口

[root@tomcat7conf]# vi /etc/sysconfig/SuSEfirewall2 
[root@tomcat7conf]# rcSuSEfirewall2 restart

切換到 tomcat 用戶，重啟 tomcat，局域網(wǎng)訪問正常。

坑：成熟平臺(tái)也有硬編碼

發(fā)現(xiàn)系統(tǒng)首頁這個(gè)鏈接，雖然配置的是”#”,但是一點(diǎn)擊就回到 project 的路徑。經(jīng)查找文件，發(fā)現(xiàn)是在開發(fā)平臺(tái)的兩個(gè)js文件中，寫了硬編碼。應(yīng)該是平臺(tái)自動(dòng)生成代碼時(shí)用了硬編碼，改之。

坑：成熟產(chǎn)品也不是沒有 Bug

發(fā)現(xiàn)只要是配置了根目錄訪問，統(tǒng)一認(rèn)證就報(bào)錯(cuò)。去掉統(tǒng)一認(rèn)證接入就能正常訪問。反饋給客戶，協(xié)調(diào)解決；懸了兩天，未能有任何反饋，追著逼急了，唯一答案就是：成熟產(chǎn)品，我們不要先去懷疑統(tǒng)一認(rèn)證平臺(tái)。

我這個(gè)暴脾氣，馬上和工程師排查。單步跟一下，發(fā)現(xiàn)是提交到統(tǒng)一認(rèn)證時(shí)，我們要傳過去一個(gè)參數(shù) ssotarget，這個(gè) ssotarget 是通過認(rèn)證后，瀏覽器要打開的首頁，context-path 不為空時(shí)，url 正常，context-path 為 null，即我們部署到根目錄時(shí)，ssotarget 只能得到個(gè)”/“。檢查統(tǒng)一認(rèn)證接入邏輯，發(fā)現(xiàn)是使用了平臺(tái)提供的 filter，反編譯，單步跟蹤，發(fā)現(xiàn) ssotarget 來自 homepage 的賦值。捏著鼻子看源碼，果然代碼邏輯有問題，偽算法如下：

String ccontext_path=request.getContextPath(); // 得到web 服務(wù)上下文
String urlt = requerst.getRequestURL(); // 得到請(qǐng)求的完整網(wǎng)址
String cwebhost = urlt.substring(0, urlt.IndexOf (context-path)); // 得到http://hostname:端口
homepage = webhost + context_path + "/"; // 拼出web server的應(yīng)用首頁地址

改之

String context_path = request.getContextPath();  
String homepage = request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort()+path+"/";

嘗試，自己改了源碼之后重新打 jar 包，commit svn，jenkins 編譯部署后發(fā)現(xiàn)沒起作用。想起來使用的是 maven，所有 jar 包都來自平臺(tái)的私有倉庫，這。。。

換種思路，寫個(gè) java 類繼承一下，結(jié)果一看對(duì)應(yīng)邏輯所在 function，private 的，往上再看 class，finall 的，一萬只神獸啊?。?！

要啥面向?qū)ο?，簡單粗暴，源碼照抄，修訂了后命名為 MySsoFilter.java，在工程配置文件替換上我們寫的 filter，svn commit，jenkins 立即構(gòu)建部署，世間從此安靜。

參考和感謝

參考清單

感謝

  • 感謝項(xiàng)目組的小伙伴們，辛苦努力排查缺陷，撰寫了新的 filter；
  • 感謝 Reboot 的同學(xué)群，關(guān)鍵時(shí)刻，是請(qǐng)教你們給指出了方向；
  • 感謝 Reboot 的架構(gòu)師課程和運(yùn)維自動(dòng)化課程，前者使我開闊了眼界，后者讓我收獲了docker 神器


51Reboot 最新課程招生信息

docker + k8s

此課程為網(wǎng)絡(luò)直播課程，一共 10 個(gè)課時(shí)，每周上一個(gè)全天，歷時(shí)兩個(gè)多月。附加：錄播視頻+筆記+除課堂外的答疑時(shí)間（7次+）2019-1-13 開課，原價(jià) 5800 ，現(xiàn)在周年活動(dòng) 100 定金抵 500

課程主講師

GY 老師：

10年一線軟件開發(fā)經(jīng)驗(yàn)，先后經(jīng)歷了傳統(tǒng)安全公司，以及多家互聯(lián)網(wǎng)公司；在安全開發(fā)方面，曾開發(fā)過 Linux 防火墻、web 應(yīng)用防火墻、Linux 安全內(nèi)核加固，基于大流量的 Web 安全威脅分析等項(xiàng)目；在互聯(lián)網(wǎng)公司工作時(shí)，曾基于 DPDK 高性能網(wǎng)絡(luò)開發(fā)框架開發(fā)過基于全流量的網(wǎng)絡(luò)流量分析平臺(tái)和基于 Sflow 網(wǎng)絡(luò)流量分析平臺(tái)，基于 Golang 開發(fā) SmartDNS 等；開發(fā)語言也是從C -> python -> golang 的轉(zhuǎn)變過程？現(xiàn)從事基于 K8S 和 Docker在私有云平臺(tái)建設(shè)方面的研發(fā)工作；具備豐富的Linux系統(tǒng)開發(fā)經(jīng)驗(yàn)、網(wǎng)絡(luò)開發(fā)經(jīng)驗(yàn)以及項(xiàng)目管理經(jīng)驗(yàn)；目前開發(fā)工作90+% 都在用 Golang，Golang 是一門簡潔、高效、強(qiáng)大且靈活的編程語言。

關(guān)于課程的具體內(nèi)容想要了解的, 掃碼加小助手咨詢


掃碼咨詢，備注“來源簡書”
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容