昨天，師兄問我：PaddlePaddle支持動態(tài)圖嗎？我才知道，模型還可以是動態(tài)的！孤陋寡聞了呀。調研走起～ 交流也是科研的生產(chǎn)力～
何謂“動靜”
在TensorFlow中，模型是完全靜態(tài)的：定義好一個完整的網(wǎng)絡結構（Graph），才能開始執(zhí)行整個圖（調入session開始計算），且運行中不能對圖進行修改（比如添加網(wǎng)絡節(jié)點等操作）。
在我初步試用PaddlePaddle的PARL庫中，涉及的也是靜態(tài)圖。定義好模型之后，調用executor，executor會將模型的定義提交給transplier，由其提交至C++后臺并返回ProgramDesc，executor據(jù)此依次執(zhí)行。整個過程是編譯器式的——靜態(tài)。
而PyTorch提供有動態(tài)圖機制，PaddlePaddle也是至最新的1.5.x版本開始提供動態(tài)圖API（目前TF也有Eager Execution提供動態(tài)圖支持。）。在動態(tài)圖中，兼用各種邏輯控制語法（如if else等），按照代碼順序執(zhí)行，變執(zhí)行邊生成本次的計算圖，每次都會重新構建。
「 有點類于編譯語言和解釋性語言的區(qū)別?！?/p>
- 靜態(tài)圖：聲明式編程。一次構建，多次使用；構建稍繁瑣復雜；性能好，速度快。
- 動態(tài)圖：命令式編程。圖的代碼編寫很靈活，可使用Python的控制流（簡潔之道！）；方便debug；操作可立即獲得執(zhí)行結果，無需等待計算圖的全部構建完成。
fluid靜態(tài)圖
fluid內部的靜態(tài)圖執(zhí)行流程如下：「 圖源自官網(wǎng) 」
代碼里構建的圖為program（類于TensorFlow的graph），executor可理解為TensorFlow的session。過程中經(jīng)由Transpiler進行了編譯，故需事先定義好完整的program，提交至executor后不可修改。
詳參見官網(wǎng)的設計思想說明 ，此處不展開啦。https://www.paddlepaddle.org.cn/documentation/docs/zh/advanced_usage/design_idea/fluid_design_idea.html
fluid動態(tài)圖
動態(tài)圖的編程和思想就簡單些了，build when run. 使用的庫：fluid.dygraph 。
simple use
fluid.dygraph.guard() : 創(chuàng)建執(zhí)行dygraph的上下文，然后在其里隨心地靈活使用控制流～
最簡單的動態(tài)圖構建如下。
input0 = np.random.randint(low=1, high=5, size=(2,))
input1 = np.random.randint(low=1, high=5, size=(2,))
# print(inp1, inp2)
with fluid.dygraph.guard():
if np.sum(input0) < np.sum(input1):
x = fluid.layers.elementwise_add(input0, input1)
else:
x0 = fluid.layers.elementwise_sub(input0, input1)
x = fluid.layers.elementwise_sub(x0, input1)
print(x.numpy())
若要反向傳播，則在定義loss(Variable)后，直接調用loss.backward()，用loss.gradient()可獲得梯度。
advanced
稍復雜些，則使用fluid.dygraph.Layer構建神經(jīng)網(wǎng)絡，代碼見下段的下方。策略繼承自fluid.dygraph.Layer，初始化以外，還需實現(xiàn)forward前向傳播函數(shù)。
class Policy(fluid.dygraph.Layer):
def __init__(self, name_scope):
super(Policy, self).__init__(name_scope)
self.affine1 = nn.FC(self.full_name(), size=128)
self.affine2 = nn.FC(self.full_name(), size=2)
self.dropout_ratio = 0.6
self.saved_log_probs = []
self.rewards = []
def forward(self, x):
x = fluid.layers.reshape(x, shape=[1, 4])
x = self.affine1(x)
x = fluid.layers.dropout(x, self.dropout_ratio)
x = fluid.layers.relu(x)
action_scores = self.affine2(x)
self._x_for_debug = x
return fluid.layers.softmax(action_scores, axis=1)
fluid.dygraph.Layer : 本身已實現(xiàn)了train和eval函數(shù)，都是通過tracer完成，tracer和engine的詳盡（動態(tài)圖的機制相關）待續(xù)。
links:
這篇文給的動態(tài)圖實例可供參考：https://cloud.tencent.com/developer/article/1493615
官方GitHub也給了些例子：https://github.com/PaddlePaddle/models/tree/develop/dygraph
why is this involved？
因為我們即將的工作中，希望針對當前的優(yōu)化狀態(tài)對計算圖進行動態(tài)執(zhí)行。
比如：使用兩個模型拼接達到更好對效果時，若第一個模型就達到了訓練目標，則無需運行第二個模型的網(wǎng)絡。即我們希望網(wǎng)絡是動態(tài)的，層次可選的，可以通過邏輯流來達到控制。雖然靜態(tài)圖也提供有一定的邏輯控制，但編程較為麻煩，且每次運行都是基于第一次構建的完整的計算圖，而非當前執(zhí)行邏輯下的分支圖，拼接模型都較大的情況下極為耗費內存。
TODO:
- 邏輯控制 + fluid.dygraph.Layer，能否？即實現(xiàn)圖的層次可選。
- 此外動態(tài)圖也提供了參數(shù)持久化，但邏輯控制是否涉入其中，還未試驗。
