.
測試集中1000個樣本，600個是A類，400個B類，模型預(yù)測結(jié)果700個判斷為A類，其中正確的有500個，300個判斷為B類，其中正確的有200個。請計算B類的準(zhǔn)確率(Precision)和召回率(Recall).
準(zhǔn)確率：500/700,召回率500/600.
簡述：A)訓(xùn)練模型時，如果樣本類別不均衡，有什么辦法解決? B)如何判斷模型是否過擬合? C)對于神經(jīng)網(wǎng)絡(luò)模型有哪些常用方法解決過擬合問題?
A 樣本類別不均衡時可以采用再縮放的策略，目前比較流行的是采用過采樣和欠采樣兩種采樣方式，欠采樣是直接對訓(xùn)練集中的樣本較多類別進行去除操作，使得樣本數(shù)目接近，具有開銷小的特點，代表是EasyEnsemble，利用集成學(xué)習(xí)。過采樣是通過增加類別少的樣本數(shù)量，使得樣本數(shù)目接近，代表方法是插值smote算法
B 可以對模型進行交叉驗證，以觀察結(jié)果是否波動較大
C 神經(jīng)網(wǎng)絡(luò)模型可以通過 減少 隱含層數(shù)量（神經(jīng)網(wǎng)路深度），減少隱含層神經(jīng)元數(shù)量、減少訓(xùn)練次數(shù)等降低過擬合問題
A)包括不限于：1.數(shù)據(jù)增強，2. Weighted loss，3. 采樣使用部分負(fù)樣本
B)訓(xùn)練集loss低于驗證集loss很多;
C)包括不限于：1. 正則化項，2. Dropout，3. Batch normalization
簡述：A)神經(jīng)網(wǎng)絡(luò)節(jié)點的激活函數(shù)作用是什么? B)Sigmoid, relu和softmax激活函數(shù)表達(dá)式是什么? C)各自的作用優(yōu)缺點是什么？
A 神經(jīng)網(wǎng)絡(luò)的激活函數(shù)是當(dāng)信息量達(dá)到一定數(shù)量時才能影響結(jié)果，即過濾掉弱信息，同時，也可以方式計算中出現(xiàn)的浮點運算下溢
B sigmoid = 1/(1+exp(-x))
relu = max(0,x)
softmax = exp(z)/ 求和exp(zd)
C sigmoid 缺點 會使得函數(shù)飽和 造成梯度消失 并且不是以0為中心的 導(dǎo)致參數(shù)收斂速度很慢，影響訓(xùn)練效率，所以一般很少再神經(jīng)網(wǎng)絡(luò)中使用這個函數(shù) 優(yōu)點 近似概率估計
relu 優(yōu)點 梯度不飽和 正向傳播速度快，因為其只是設(shè)置了閾值，當(dāng) 值大于0時，f(x) =x 對SGD的收斂有巨大的加速作用
缺點是 比較脆弱 容易受大梯度影響
softmax 一般用于多輸出神經(jīng)元 保證輸出神經(jīng)元之和為1
A)激活函數(shù)是為了增強神經(jīng)網(wǎng)絡(luò)的非線性性;
B)
C)Sigmoid函數(shù)可以增強0附近的梯度，放大信號，梯度計算方便，但對非敏感區(qū)域會飽和，造成梯度消失; Relu函數(shù)為單側(cè)抑制，增強稀疏性，避免梯度消失; Softmax函數(shù)用于多類分類問題，將輸出歸一化，方便計算基于概率的loss;
給定多層全連接神經(jīng)網(wǎng)絡(luò)，每層均有n個節(jié)點，輸出層為第L層，標(biāo)簽是y，損失函數(shù)為均方誤差。網(wǎng)絡(luò)的第l層( l∈{1,2,…,L-1,L} )的第j個節(jié)點的輸入用 xjl 來表示，輸出用 ajl 來表示，激勵函數(shù)為f(x)。
A)請寫出損失函數(shù)C的表達(dá)式；
B)請推導(dǎo)采用SGD訓(xùn)練，學(xué)習(xí)率為η時，第L-1層第i個節(jié)點與輸出層第j個節(jié)點的連接權(quán)重 wji(L-1) 的更新量 wji(L-1)
