G. Wang, T. Zhou, K. -S. Choi and J. Lu, "A Deep-Ensemble-Level-Based Interpretable Takagi-Sugeno-Kang Fuzzy Classifier for Imbalanced Data," in IEEE Transactions on Cybernetics, doi: 10.1109/TCYB.2020.3016972.
摘要：研究三個(gè)問(wèn)題：1）集成方法中成員的多樣性度量，2）多樣性與泛化性能的關(guān)系，3）基于度量的集成成員剪枝。
引言
- 多樣性度量現(xiàn)狀：基于回歸的集成中，通過(guò)誤差分解來(lái)度量多樣性。誤差分解基于準(zhǔn)確率和多樣性，以及基于偏差和方差分解。僅適用于L2損失的回歸任務(wù)。
- 多樣性和泛化性能關(guān)系：有相反的結(jié)論，各自有實(shí)驗(yàn)結(jié)果支撐。
- 提出基于多樣性的集成剪枝方法，提出準(zhǔn)確率和多樣性的平衡框架。
貢獻(xiàn)
- 提出多樣性度量
- 分析多樣性和泛化性能間的關(guān)系，闡明集成多樣性泛化的范圍
- 提出集成剪枝方法
相關(guān)工作
- 面向集成的單分類(lèi)器多樣性
- 現(xiàn)有的多樣性更多的是通過(guò)調(diào)整輸入樣本的分布來(lái)完成，很少通過(guò)輸出標(biāo)簽來(lái)完成。
- 深度網(wǎng)絡(luò)的多樣性：初始化參數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)、學(xué)習(xí)優(yōu)化算法。
- 集成中的多樣性
- 度量方法分類(lèi)：主流包括基于成對(duì)比較的多樣性度量、非成對(duì)比較的多樣性度量。其他包括與集成的總體比較等。
- 多樣性在集成學(xué)習(xí)中的作用
- 基于信息理論的角度
- 能夠降低假設(shè)空間的復(fù)雜度
- 集成剪枝
- 基于排序（評(píng)估函數(shù)）、基于聚類(lèi)（預(yù)測(cè)相似性）以及基于不同優(yōu)化目標(biāo)的成員選擇方法
- 基于統(tǒng)計(jì)、基于動(dòng)態(tài)選擇的方法
方法
概要：使用誤差分解的方法，計(jì)算與單分類(lèi)器與集成分類(lèi)器的錯(cuò)誤差異作為度量。
具體方法和實(shí)驗(yàn)先留坑
