基礎(chǔ)環(huán)境信息

CPU：Intel Xeon E5-2699 v4
顯卡：Nvidia Tesla P100
操作系統(tǒng)：CentOS 7.4

基礎(chǔ)環(huán)境驗(yàn)證

驗(yàn)證系統(tǒng)是否能正常識(shí)別 GPU

lspci | grep -i nvidia

正常應(yīng)該顯示 Nvidia 顯卡的型號(hào)，沒有任何顯示需要更新pci硬件庫 update-pciids

安裝 Nvidia 顯卡驅(qū)動(dòng)

1、安裝或更新相關(guān)包

yum -y update

# 非桌面版系統(tǒng)可跳過第二步
yum -y groupinstall "GNOME Desktop"

yum -y install kernel-devel epel-release dkms gcc gcc-g++

重啟機(jī)器，以確保使用最新的內(nèi)核！

2、禁用 nouveau

nouveau 是一個(gè)第三方開源的 Nvidia 驅(qū)動(dòng)，一般 Linux 安裝的時(shí)候默認(rèn)會(huì)安裝這個(gè)驅(qū)動(dòng)，它會(huì)與 Nvidia 官方的驅(qū)動(dòng)沖突，在安裝 Nvidia 驅(qū)動(dòng)之前應(yīng)先禁用 nouveau

查看系統(tǒng)是否正在使用 nouveau

lsmod | grep nouveau

編輯 /etc/default/grub ，在 GRUB_CMDLINE_LINUX 值后面添加

rd.driver.blacklist=nouveau nouveau.modeset=0

生成新的 grub 配置

grub2-mkconfig -o /boot/grub2/grub.cfg

編輯或創(chuàng)建 /etc/modprobe.d/blacklist.conf 文件，添加如下內(nèi)容：

blacklist nouveau

備份當(dāng)前鏡像并建立新鏡像

mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img

dracut /boot/initramfs-$(uname -r).img $(uname -r)

重啟機(jī)器后，再次驗(yàn)證系統(tǒng)是否使用 nouveau

lsmod | grep nouveau

如果還是不行，可以嘗試執(zhí)行 sudo dracut --force 后重啟機(jī)器

3、安裝 Nvidia 驅(qū)動(dòng)

Nvidia 官方驅(qū)動(dòng)下載地址：https://www.nvidia.com/object/unix.html

頂級(jí) GTX 或 Tesla 系列顯卡，選擇 Latest Short Lived Branch Version，其他選擇 Latest Long Lived Branch Version

當(dāng)前顯卡 Nvidia Tesla P100，選擇 Latest Short Lived Branch Version: 415.18。

下載驅(qū)動(dòng)

wget http://us.download.nvidia.com/XFree86/Linux-x86_64/415.18/NVIDIA-Linux-x86_64-415.18.run

修改 NVIDIA-Linux-x86_64-415.18.run 權(quán)限，使其可運(yùn)行

chmod a+x NVIDIA-Linux-x86_64-415.18.run

安裝 Nvidia 驅(qū)動(dòng)

# 進(jìn)入 Linux 文本模式
init 3

# 安裝驅(qū)動(dòng)
sh NVIDIA-Linux-x86_64-415.18.run --no-opengl-files

DKMS 選擇 NO， Nvidia Library 選擇 NO

校驗(yàn) Nvidia 驅(qū)動(dòng)，執(zhí)行 nvidia-smi，若有如下輸出，證明安裝成功：

卸載驅(qū)動(dòng)

sh NVIDIA-Linux-x86_64-415.18.run --uninstall

安裝 Docker

參考官方，CentOS 安裝 Docker：https://docs.docker.com/install/linux/docker-ce/centos/

1、移除舊版 Docker

 yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine

2、安裝相關(guān)包

yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

3、添加 repo 源

yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

4、安裝 docker

yum install docker-ce

5、啟動(dòng) Docker

service docker start

6、設(shè)置開機(jī)啟動(dòng)

systemctl enable docker

安裝 Nvidia-Docker2

參考官方，CentOS 安裝 Nvidia-docker2：https://github.com/NVIDIA/nvidia-docker

移除 nvidia-docker 1.0（可選）

docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f

sudo yum remove nvidia-docker

添加安裝包倉庫

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)

curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | \
  sudo tee /etc/yum.repos.d/nvidia-docker.repo

安裝 nvidia-docker2 并刷新 Docker daemon 配置

sudo yum install -y nvidia-docker2

sudo pkill -SIGHUP dockerd

使用官方 CUDA 鏡像測試 nvidia-smi

docker run --runtime=nvidia --rm nvidia/cuda:9.0-base nvidia-smi

TensorFlow 容器化 GPU 測試

1、編寫測試代碼 test.py

import sys
import numpy as np
import tensorflow as tf
from datetime import datetime

device_name = sys.argv[1]
shape = (int(sys.argv[2]), int(sys.argv[2]))
if device_name == "gpu":
    device_name = "/gpu:0"
else:
    device_name = "/cpu:0"

with tf.device(device_name):
    random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1)
    dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix))
    sum_operation = tf.reduce_sum(dot_operation)

startTime = datetime.now()
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session:
    result = session.run(sum_operation)
    print(result)

print("\n" * 5)
print("Shape:", shape, "Device:", device_name)
print("Time taken:", str(datetime.now() - startTime))

2、獲取 tensorflow 鏡像

docker pull  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu

3、CPU 測試

docker run --runtime=nvidia \
  --rm -it \
  -v "$(pwd)/test.py:/app/test.py" \
  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
  python /app/test.py cpu 20000

CPU 測試結(jié)果

4、GPU 測試

docker run --runtime=nvidia \
  --rm -it  \
  -v "$(pwd)/test.py:/app/test.py" \
  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
  python /app/test.py gpu 20000

GPU 測試結(jié)果