關(guān)鍵字：Docker，Python
原始鏡像
封裝一個Python 3.7的環(huán)境并且安裝Python依賴包實現(xiàn)一個機器學(xué)習(xí)算法預(yù)測任務(wù)，Dockerfile如下
FROM python:3.7
MAINTAINER xxx
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install -i ${PIPURL} --default-timeout=1000 -r requirements.txt
requirements.txt如下
jieba==0.40
numpy==1.18.0
pymongo==3.1.1
PyMySQL==0.10.0
pysolr==3.8.1
PyYAML==5.3.1
scikit-learn==0.22.2.post1
scipy==1.4.1
xgboost==1.0.2
構(gòu)建鏡像
$ docker build -t test/test:v1 .
查看鏡像大小有1.58個G
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v1 17b88b5e4b7f 2 minutes ago 1.58GB
大在哪里排查
docker history可以查看鏡像構(gòu)建的過程，使用格式化查看并且對Size進行倒序查看
$ docker history --format "{{.Size}} {{.CreatedBy}}" -H=false 17b88b5e4b7f | sort -t ' ' -k 1 -n -r
672415434 RUN /bin/sh -c pip install -i ${PIPURL} --de…
528779103 /bin/sh -c set -ex; apt-get update; apt-ge…
151980558 /bin/sh -c apt-get update && apt-get install…
124119398 /bin/sh -c #(nop) ADD file:513c5d5e501279c21…
41623591 /bin/sh -c set -eux; wget -O python.tar.xz…
18952123 /bin/sh -c set -ex; if ! command -v gpg > /…
18484074 /bin/sh -c set -eux; apt-get update; apt-g…
10699182 /bin/sh -c set -eux; apt-get update; apt-g…
10173436 /bin/sh -c set -eux; wget -O get-pip.py "$…
141 COPY ./requirements.txt /home # buildkit
32 /bin/sh -c set -eux; for src in idle3 pydoc…
0 WORKDIR /home
0 MAINTAINER xxx
0 ENV PIPURL=https://mirrors.aliyun.com/pypi/s…
0 /bin/sh -c #(nop) ENV PYTHON_VERSION=3.7.16
0 /bin/sh -c #(nop) ENV PYTHON_SETUPTOOLS_VER…
0 /bin/sh -c #(nop) ENV PYTHON_PIP_VERSION=22…
0 /bin/sh -c #(nop) ENV PYTHON_GET_PIP_URL=ht…
0 /bin/sh -c #(nop) ENV PYTHON_GET_PIP_SHA256…
0 /bin/sh -c #(nop) ENV PATH=/usr/local/bin:/…
0 /bin/sh -c #(nop) ENV LANG=C.UTF-8
0 /bin/sh -c #(nop) ENV GPG_KEY=0D96DF4D4110E…
0 /bin/sh -c #(nop) CMD ["python3"]
0 /bin/sh -c #(nop) CMD ["bash"]
其中--format "{{.Size}} {{.CreatedBy}}"是使用GO的模板只輸出Size和CreatedBy兩列，-H關(guān)閉將Size的單位去除，sort -t ' ' -k 1 -n -r表示根據(jù)空格分割后以第一列作為數(shù)值倒序排列。從結(jié)果來看CMD，ENV，WORKDIR，MAINTAINER這些操作都沒有大小，只有COPY，RUN以及其他環(huán)境準備的執(zhí)行命令造成了鏡像體積變大。
（1）pip install依賴包
共計672MB，進入鏡像
$ docker run -it e602098faafe /bin/bash
pip 安裝的依賴都在/usr/local/lib/python3.7/site-packages下查看各個包占用大小
root@241937acc2aa:/usr/local/lib/python3.7/site-packages# du -s ./* |sort -nr
204416 ./xgboost
92252 ./scipy
80728 ./numpy
43164 ./jieba
29644 ./sklearn
13012 ./pip
2964 ./setuptools
2088 ./joblib
1652 ./_yaml.cpython-37m-x86_64-linux-gnu.so
1224 ./pymongo
...
加起來大概466MB，還差206MB不知道被什么占用了，另外從依賴包來看xgboost比較大200m，scipy和numpy比較大加起來也差不多200m
（2）安裝一系列autoconf automake bzip2 dpkg-dev file g++ gcc imagemagick libbz2-dev libc6-dev libcurl4-openssl-dev libdb-dev libevent-dev libffi-dev libgdbm-dev libglib2.0-dev libgmp-dev libjpeg-dev libkrb5-dev liblzma-dev libmagickcore-dev libmagickwand-dev libmaxminddb-dev libncurses5-dev libncursesw5-dev libpng-dev libpq-dev libreadline-dev libsqlite3-dev libssl-dev libtool libwebp-dev libxml2-dev libxslt-dev libyaml-dev make patch unzip xz-utils zlib1g-dev..
共計500m，不知道是怎么進來的，可能有些有用有些沒用
（3）安裝一系列g(shù)it mercurial openssh-client subversion procps ...
共計150m，不知道是怎么進來的，這些版本控制的東西對我應(yīng)用沒啥用
（4）ADD file:513c5d5e501279c21a05c1d8b66e5f0b02ee4b27f0b928706d92fd9ce11c1be6
共計120m，是第一層鏡像源
瘦身策略
（1）不產(chǎn)生pip緩存文件或者刪除pip緩存文件
pip install占用空間比site-package下的實際空間大出200MB，懷疑是.cache/pip下的pip緩存文件導(dǎo)致，該文件有199MB
root@ea2784eace4d:~/.cache# du -sh pip/
199M pip/
在pip時使用--no-cache-dir不使用緩存，改變以下Dockerfile代碼
RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt
重新構(gòu)建之后鏡像大小下降到1.37GB下降大概200MB
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v4 32a596269bf0 39 seconds ago 1.37GB
再進入容器發(fā)現(xiàn)已經(jīng)沒有~/.cache/pip文件夾
$ docker run -it 32a596269bf0 /bin/bash
root@f1526275c8af:/home# cd
root@f1526275c8af:~# cd .cache
（2）Python源瘦身
docker:3.7在倉庫中的版本有
python 3.7-slim 22bf9d1adb34 3 days ago 123MB
python 3.7-alpine 807a8b5dd4df 6 days ago 46.9MB
python 3.7-buster 98c2e7c177c7 6 days ago 879MB
python 3.7 4d9a42ad20a7 6 days ago 905MB
slim: 瘦身版，省略許多不常用的依賴，故而它變得很小，但是如果需要一些不常用的依賴時，需要自己安裝，如需體積較小的鏡像時用slim 版本制作，有一定安裝難度
alpine: 包含了在 Linux 上運行 Python 所需要的最小環(huán)境，它使用 Alpine 作為系統(tǒng)。因為它最小，所以只能直接運行純 Python 代碼。任何需要編譯 C 代碼或動態(tài)鏈接庫的 Python 倉庫都不能直接使用，需要自己安裝依賴，需要花費大量時間來安裝系統(tǒng)依賴，收益不大，最終鏡像的大小與 slim 版本的基本相同
buster: 此類鏡像使用Debian10作為系統(tǒng)，包含了所有 CPython 所需要的依賴，如果環(huán)境難以安裝選擇buster 鏡像，最終制作完成通常比 slim 大不少
default: 使用Debian的bullseye做為默認鏡像基礎(chǔ)系統(tǒng)
下面改為用slim作為源鏡像，修改Dockerfile如下
FROM python:3.7-slim
MAINTAINER xxx
RUN echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free' > /etc/apt/sources.list && \
echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \
echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \
apt-get update && \
apt-get install -y \
g++ \
make \
cmake \
libcurl4-openssl-dev
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt
手動安裝了g++，make，cmake等環(huán)境，重新構(gòu)建鏡像結(jié)果如下
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v8 7dc43999c361 27 minutes ago 893MB
直接從1.37GB下降到893MB，測試一下里面的py包都可以運行
（3）apt 安裝中使用 --no-install-recommends
apt install 命令來安裝某些包時，它會安裝一些不需要的推薦包，使用--no-install-recommends避免這個情況，修改Dockerfile如下
apt-get install -y --no-install-recommends \
g++ \
make \
cmake \
libcurl4-openssl-dev
其中-y：yes，在命令行交互提示中，直接輸入 yes，新構(gòu)建的鏡像大小如下，從893MB降低到881MB又宰掉12MB
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v9 2192fccb9858 13 minutes ago 881MB
（4）清理apt install緩存
apt-get clean 命令清除遺留在 /var/cache 中的已取回的包文件的本地倉庫，rm -rf /var/lib/apt/lists刪除緩存的源信息，刪除之可以繼續(xù)降低空間占用，修改Dockerfile如下
RUN echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free' > /etc/apt/sources.list && \
echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free' >> /etc/apt/sources.list && \
echo 'deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free' >> /etc/apt/sources.list && \
apt-get update && \
apt-get install -y --no-install-recommends \
g++ \
make \
cmake \
libcurl4-openssl-dev && \
apt-get clean && \
rm -rf /var/lib/apt/lists/*
再次構(gòu)建后查看鏡像的大小，從881MB降低到862MB，又再掉19MB
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v10 59e37a627394 43 seconds ago 862MB
（5）多階段構(gòu)建
多個FROM語句，每個FROM指令都可以使用不同的基礎(chǔ)鏡像，第一階段使用buster作為源，把依賴包全部安全正確安裝進來，再第二階段以slim作為源，再把第一階段的僅僅和運行相關(guān)的依賴全部COPY過來
FROM python:3.7-buster as base-image
MAINTAINER xxx
ENV PIPURL "https://mirrors.aliyun.com/pypi/simple/"
COPY ./requirements.txt /home
WORKDIR /home
RUN pip install --no-cache-dir -i ${PIPURL} --default-timeout=1000 -r requirements.txt
FROM python:3.7-slim
COPY --from=base-image /usr/local/bin /usr/local/bin
COPY --from=base-image /usr/bin /usr/bin
COPY --from=base-image /usr/lib/x86_64-linux-gnu/libgomp.so.1 /usr/lib/x86_64-linux-gnu/libgomp.so.1
COPY --from=base-image /usr/local/lib/python3.7/site-packages /usr/local/lib/python3.7/site-packages
docker語法：
標(biāo)志 --from=<name> 將從 from 指定的構(gòu)建階段中尋找源文件
重新build之后只有650MB，和862MB相比繼續(xù)下降212M
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
test/test v12 a14124089863 5 minutes ago 650MB
（6）Xgboost瘦身
Xgboost包占用了200MB，網(wǎng)上查到從源碼下載編譯安裝只需要50MB，但是測試沒有安裝成功，下次再測
（7）其他方法
網(wǎng)上還有其他方法，包括
1.使用 Docker Squash 減小鏡像大小
2.使用 .dockerignore 文件，將不需要的文件不進入鏡像
3.在 RUN 之后放置 COPY
4.將幾個RUN語句合并在一行中，這樣可以減少層數(shù)
docker鏡像大小取舍
由于同一臺機器上的 docker Image 是可以共享的，要快速啟動并運行項目，沒有空間限制，許多 Python 項目需要跑在同一臺機器上時，default 或 buster 是最好的選擇。如果愿意花時間去調(diào)試依賴并且對鏡像大小有追求時，slim 和 alpine 都是好的選擇。
