一. 深度學(xué)習(xí)平臺的特性

深度學(xué)習(xí)應(yīng)用越來越多，也有越來越多的平臺開源出來。我個人看好tensorflow,mxnet和百度的paddle。機(jī)器學(xué)習(xí)平臺不同于之前的mapreduce和spark的模型，主要由于以下2點：

1. 數(shù)據(jù)依賴性很強(qiáng)，運(yùn)算過程中參與計算的各個機(jī)器之間經(jīng)常需要交換大量的數(shù)據(jù)。通訊有可能成為集群線性性能增長的瓶頸
2. 處理復(fù)雜，主要表現(xiàn)在整個處理過程需要反復(fù)地迭代計算，需要解決復(fù)雜計算依賴的問題

二. MPI環(huán)境搭建

mpi：message passing interface。 其支持千兆的網(wǎng)絡(luò)(RDMA)和資源的調(diào)度。很適合深度學(xué)習(xí)的應(yīng)用。
其架構(gòu)如下圖：

mpi架構(gòu)

說明：

1. submit_server: 提交/查詢job的機(jī)器，一般會有權(quán)限驗證
2. head_node:頭結(jié)點，一般會啟動pbs_server和job調(diào)度進(jìn)程pbs_sched
3. compute_node:工作節(jié)點：需要啟動pbs_mom進(jìn)程，在實際的深度學(xué)習(xí)訓(xùn)練中，機(jī)器一般會配置gpu卡
   具體的安裝配置可以參考最后的參考資料1，主要的點有：
4. 配置pbs_server，使其知道管理compute_node 資源數(shù)量

node001 np=24 gpu=4 cluster_online
其中node001 是compute node 的hostname
np=24，cpu的個數(shù)
gpu=4，gpu的個數(shù)
cluster_online， 自定義標(biāo)簽，在提交job的時候可以根據(jù)該標(biāo)簽過濾

2. 測試配置的是否正確
   在submit_server上提交一個簡單的job，得到如下信息，表示配置已經(jīng)是正確的

su - testuser
echo "sleep 30" | qsub

job信息列表

五. 參考資料

1. 【torque admin手冊@百度云】