上一篇文章介紹了預(yù)剪枝，本文接著介紹后剪枝。

其實(shí)預(yù)剪枝和后剪枝都是為了防止模型過擬合。

我們先記住一句話。

后剪枝，就是將完整的樹劃分好之后，再考慮如何剪枝。。。

我們先看下完整的劃分圖。

完整的劃分圖

如何對上圖進(jìn)行剪枝呢？

如果按上圖進(jìn)行劃分，驗(yàn)證集的精度為多少呢？

因?yàn)轵?yàn)證集中，只有4、11、12三個(gè)樣本劃分正確。

所以驗(yàn)證集的精度為：*100%=42.9%。

一、現(xiàn)在試著先將結(jié)點(diǎn)6剪除，此時(shí)，劃分正確的樣本為：4、8、11、12。

所以精度提升至：*100%=57.1%。

這就意味著可以將結(jié)點(diǎn)6剪除。

二、將結(jié)點(diǎn)6剪除后，試著將結(jié)點(diǎn)5剪除。

同理，發(fā)現(xiàn)剪除前后精度都是57.1%。所以不進(jìn)行剪除。

三、分析結(jié)點(diǎn)2，根據(jù)上一篇文章，結(jié)點(diǎn)2剪除前后，對應(yīng)的精度分別為：57.1%和71.4%。

所以可將結(jié)點(diǎn)2進(jìn)行剪除。

四、分析結(jié)點(diǎn)3，剪除前后精度沒有變化。所以將結(jié)點(diǎn)3保留。

所以經(jīng)過后剪枝，最終的劃分圖為：

經(jīng)過后剪枝之后的劃分圖

以上就是后剪枝的具體步驟。

可以看出，預(yù)剪枝和后剪枝的不同點(diǎn)在于，后剪枝通常比預(yù)剪枝保留了更多的分支。可以防止欠擬合。泛化性能往往優(yōu)于預(yù)剪枝決策樹。但是后剪枝的訓(xùn)練時(shí)間開銷比未剪枝決策樹和預(yù)剪枝決策樹都要大很多。