知識點歸納

DP神經(jīng)網(wǎng)絡(luò)里應(yīng)該避免使用sigmoid或者tanh函數(shù)
——>這兩個激活函數(shù)會把元素轉(zhuǎn)移到[0,1]和[-1,1]之間，加速梯度消失

協(xié)變量偏移：雖然輸入的分布可能隨時間改變，但是標(biāo)記函數(shù)，即條件分布P(y|x)不會改變，實踐中容易忽視（本質(zhì)是分布特征的變化）
標(biāo)簽偏移： 當(dāng)我們認(rèn)為導(dǎo)致偏移的是標(biāo)簽P(y)上的邊緣分布的變化，但類條件分布是不變的P(x|y)時，就會出現(xiàn)相反的問題。當(dāng)我們認(rèn)為y導(dǎo)致x時，標(biāo)簽偏移是一個合理的假設(shè)。例如，通常我們希望根據(jù)其表現(xiàn)來預(yù)測診斷結(jié)果。在這種情況下，我們認(rèn)為診斷引起的表現(xiàn)，即疾病引起的癥狀。有時標(biāo)簽偏移和協(xié)變量移位假設(shè)可以同時成立。例如，當(dāng)真正的標(biāo)簽函數(shù)是確定的和不變的，那么協(xié)變量偏移將始終保持，包括如果標(biāo)簽偏移也保持。有趣的是，當(dāng)我們期望標(biāo)簽偏移和協(xié)變量偏移保持時，使用來自標(biāo)簽偏移假設(shè)的方法通常是有利的。這是因為這些方法傾向于操作看起來像標(biāo)簽的對象，這（在深度學(xué)習(xí)中）與處理看起來像輸入的對象（在深度學(xué)習(xí)中）相比相對容易一些。

病因（要預(yù)測的診斷結(jié)果）導(dǎo)致 癥狀（觀察到的結(jié)果）。
訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)很少只包含流感P(y)的樣本。
而測試數(shù)據(jù)集有流感P(y)和流感Q(y)，其中不變的是流感癥狀P(x|y)。
概念偏移： 本質(zhì)上來講，就是數(shù)據(jù)分布會隨著時間逐漸改變