大部分的拆分與組合，本質(zhì)都是在trade off
甚至不少明星大佬的離婚與結(jié)婚，也是在權(quán)衡即時(shí)的付出與未來潛在的收益（笑）

模型拆分訓(xùn)練

• 是否應(yīng)該拆分，拆分粒度的影響：
  多場景一起訓(xùn)練與單獨(dú)拆分訓(xùn)練比，一起訓(xùn)練大模型數(shù)據(jù)量更大，variance更低，但是對局部而言bias更大，數(shù)據(jù)有被少數(shù)重度用戶dominate的風(fēng)險(xiǎn)。
  而拆分訓(xùn)練，bias更小，但如果特征維度，參數(shù)數(shù)量不變的話，會(huì)由于數(shù)據(jù)量減少會(huì)導(dǎo)致variance擴(kuò)大。

• 模型拆分維度訓(xùn)練：
  拆分的維度是需要考量的，因?yàn)椴鸱趾螅Ｐ蛣t不能保障不同維度間的排序能力。
  1、拆分維度不影響排序
  比如推薦中分用戶拆分，分新老客，其實(shí)這種拆分影響最小，因?yàn)橥扑]中不同用戶的樣本不用混排，影響不大，類似的還有分廣告位，時(shí)段等context特征。
  2、拆分維度部分影響排序
  比如分廣告主訓(xùn)練cvr模型。由于不同廣告主之間本身產(chǎn)品面向用戶差異較大，同時(shí)我們很在意特定廣告主的預(yù)估準(zhǔn)確性，對部分廣告主嚴(yán)重高估低估都可能導(dǎo)致平臺(tái)收入受損，廣告主流失等問題，所以我們有時(shí)候也會(huì)分廣告主進(jìn)行模型訓(xùn)練。當(dāng)然，這里有很多別的問題，比如數(shù)據(jù)隱私問題等。
  這里的業(yè)務(wù)整體介于混排和不充分混排之間（比如定向不同，或者分布差異大容易判定）。
  3、拆分維度影響排序
  比如推薦中要分產(chǎn)品類型，這些產(chǎn)品在每次排序中可能都要進(jìn)行充分的混排，此時(shí)需要謹(jǐn)慎設(shè)計(jì)。如果上層有機(jī)制來代替直接排序，那么沒問題，而如果是混排，那么拆分導(dǎo)致不同維度間的排序能力不可控是很危險(xiǎn)的。

• MTL輔助拆分：
  由于拆分本身會(huì)極大程度影響數(shù)據(jù)量，拆分出來的部分由于數(shù)據(jù)量小很可能要suffering from large variance。
  所以一種更好進(jìn)行trade off的框架就是多任務(wù)訓(xùn)練，拆分任務(wù)并用share param，或者加入?yún)?shù)的L1L2距離懲罰，相當(dāng)于加上constraints，能縮減因?yàn)椴鸱謳淼倪^大的variance。同時(shí)如果去掉不同場景下不必要的特征，也能稍微降低一些variance。這個(gè)對比完全share所有參數(shù)的訓(xùn)練方式來說，相當(dāng)于一種更弱且可以調(diào)節(jié)的constriants。
  所以，MTL其實(shí)某種程度就是更好地幫我們trade-off。通過調(diào)整不同任務(wù)的學(xué)習(xí)率，share參數(shù)的數(shù)量，L2懲罰系數(shù)等，更好地優(yōu)化這個(gè)問題。

• 拆分與組合本質(zhì)的合理性是什么
  其實(shí)本質(zhì)來自于，他們是否屬于同一分布。如果我們假設(shè)樣本從統(tǒng)一總體分布中采出，那么應(yīng)該組合起來一起統(tǒng)計(jì)。如果我們認(rèn)為樣本并非從同一總體中采出，那么我們應(yīng)該拆分統(tǒng)計(jì)。而現(xiàn)實(shí)中的這樣的假設(shè)往往太強(qiáng)了，即同特征表述下是同分布的（即兩個(gè)特征相同的用戶決策的隨機(jī)性來自相同的底層分布），錯(cuò)誤的假設(shè)導(dǎo)致樣本并非嚴(yán)格來自同一總體，因此帶來了天然的bias。且就算假設(shè)成立，由于我們無法收集所有特征（譬如此時(shí)用戶所處環(huán)境溫度影響了決策），仍會(huì)有很大的bias（omitted var bias）。
  通常，對于一些有明顯差異性的場景下，我們會(huì)自然而然地就會(huì)進(jìn)行拆分。而進(jìn)一步思考，每一個(gè)人決策的底層系統(tǒng)都是不同的，甚至每一次。所以拆分的合理性也來自于此。
  何處收斂？其實(shí)都是在bias與variance之間trade off而已，最終收斂到泛化誤差最小的狀態(tài)。

校準(zhǔn)，分桶數(shù)量，分維度如何選擇？

其實(shí)也是bias 與variance的選擇，因?yàn)樾?zhǔn)的指標(biāo)，最終也是看泛化能力。

• 如何評估泛化能力：
  一般來說，比如隔日校準(zhǔn)，拿今天的反饋數(shù)據(jù)校準(zhǔn)數(shù)值，然后評估明日數(shù)據(jù)集上的分段oe。

• 影響泛化的參數(shù)：
  1、分桶數(shù)量，分桶太少導(dǎo)致跟真實(shí)的bias過大（這里是假設(shè)不同段的數(shù)據(jù)來自于不同總體，多個(gè)段被分到一個(gè)桶就被當(dāng)作了同一個(gè)總體，自然帶來了bias），分太多導(dǎo)致在單區(qū)間內(nèi)不置信variance太大。
  1.1、分維度類似于分桶，分越多variance越大。
  2、校準(zhǔn)函數(shù)形式與參數(shù)的選擇，表達(dá)能力太弱導(dǎo)致bias大，太強(qiáng)導(dǎo)致variance大。
  3、注意一些邊界點(diǎn)的處理，對于少數(shù)outlier，可能會(huì)導(dǎo)致離譜的誤差。

• 分維度校準(zhǔn)有何影響：
  從直觀大的scope看，分維度縮小了數(shù)量，variance上升，bias下降。
  對于保序回歸，進(jìn)行分維度校準(zhǔn)，內(nèi)部保序不影響auc，但是不同維度之間是會(huì)影響的。理論上，整體數(shù)據(jù)集應(yīng)該是負(fù)面影響。（注意泛化性的標(biāo)準(zhǔn)，不能用測試集搜參數(shù)校準(zhǔn)）
  不過在實(shí)際場景中，也可能并沒有負(fù)面影響，比如我們在男女用戶上分別校準(zhǔn)，真實(shí)排序能力其實(shí)不受影響，因?yàn)槟信臉颖酒鋵?shí)本身就是分隔的。但是在商品維度上分別校準(zhǔn)，就有影響了。
  其實(shí)分了維度后，某種程度上，也是降低了bias，提升了vairance。