1決策樹(shù)是什么？

百度百科：

決策樹(shù)是一種數(shù)據(jù)挖掘分類(lèi)算法、是直觀運(yùn)用概率分析的一種圖解法、是一個(gè)預(yù)測(cè)模型。

由于這種決策分支畫(huà)成圖形很像一棵樹(shù)的枝干，故稱(chēng)決策樹(shù)。

我的理解就是：一種尋找最優(yōu)方案的畫(huà)圖法。

前提是要知道所有可能的方案，以及每種方案的收益與發(fā)生概率。這樣才能算出每種方案的理論期望值，對(duì)比各個(gè)方案，然后找到最優(yōu)方案。

為了學(xué)習(xí)決策樹(shù)我又看了一篇文獻(xiàn)：《決策樹(shù)（哈佛大學(xué)筆記）》

這個(gè)比較易懂，只是字多了點(diǎn)。

她舉了個(gè)例子

說(shuō)是要賣(mài)椅子，

當(dāng)前情況是：每年銷(xiāo)售額 20萬(wàn)--45萬(wàn)（這個(gè)數(shù)據(jù)之后并沒(méi)有用）

這時(shí)有一個(gè)投資新設(shè)備的機(jī)會(huì)

投資新設(shè)備成本是30萬(wàn)

投資之后

每把椅子獲利100元

市場(chǎng)好：能賣(mài)出8000個(gè) 共獲利80萬(wàn)

市場(chǎng)不好：能賣(mài)出1000個(gè)，獲利10萬(wàn)

用概率樹(shù)來(lái)表示：

然后指出，估計(jì)市場(chǎng)好的幾率是0.4，相反，不景氣的幾率為0.6

那么 投資的預(yù)期平均現(xiàn)金流為：

這時(shí)，增加了一些新元素。

說(shuō)

在市場(chǎng)好的時(shí)候

能產(chǎn)品能上電視銷(xiāo)售額將會(huì)達(dá)到：320萬(wàn)（概率0.1）

上不了電視則只有：80萬(wàn)（概率0.9）

市場(chǎng)不好的時(shí)候

上電視銷(xiāo)售額為40萬(wàn)（概率為0.01%）

上不了電視則只有：10萬(wàn)（概率0.99）

現(xiàn)在，概率樹(shù)為：

然后4種情況各自的平均期望值為：

最后，4個(gè)期望值的和 ?減去投資成本，得到這個(gè)投資機(jī)會(huì)的價(jià)值$477,800 - $300,000 =$177,800

現(xiàn)在，老板需要一家調(diào)查機(jī)構(gòu)來(lái)告訴他們市場(chǎng)是好是壞，不過(guò)需要花50000元來(lái)請(qǐng)他們調(diào)查。

老板不知道值不值得花這50K。

從這兒開(kāi)始，作者開(kāi)始教我們?nèi)绾萎?huà)決策樹(shù)：

1 列出備選方案：

從第一個(gè)決定開(kāi)始，這里的話(huà)，就是決定到底要不要花錢(qián)請(qǐng)人調(diào)查：

成本：調(diào)查為50，不調(diào)查為0

接著，從頂端的分支開(kāi)始畫(huà)。如果調(diào)查，會(huì)發(fā)生哪些情況。

因?yàn)檎{(diào)查的結(jié)果不是老板能掌控的，具有不確定性，因此用圓圈（機(jī)會(huì)節(jié)點(diǎn)）來(lái)標(biāo)記。

繼續(xù)，在每一個(gè)調(diào)查結(jié)果中，老板會(huì)決定購(gòu)買(mǎi)設(shè)備，或者放棄購(gòu)買(mǎi)：

市場(chǎng)景氣的時(shí)候，花費(fèi)30K，將會(huì)收到80K收入，不投資，則為0；

市場(chǎng)不景氣的時(shí)候，花費(fèi)30K，將會(huì)收到10K收入，不頭則，則為0；

現(xiàn)在，調(diào)查部分的決策樹(shù)畫(huà)完了，下面補(bǔ)全不進(jìn)行調(diào)查部分的決策樹(shù)：

老板不打算花錢(qián)做調(diào)查，因此老板是在不確定市場(chǎng)景氣與否的前提下做出決定，那么就僅僅是：

投資OR不投資。

投資的話(huà)，分市場(chǎng)景氣和不景氣兩種，分別收入80K,10K；

不投資的話(huà)，也分市場(chǎng)景氣和不景氣兩種（嚴(yán)謹(jǐn)，不能因?yàn)?，就可以省略），不過(guò)收入都為0；

2 ?量化不確定性

好，現(xiàn)在此刻我們已經(jīng)把所有備選方案列好了，下面，我們要量化決策樹(shù)中的每個(gè)分支的不確定性。

首先確定概率，在圓圈（機(jī)會(huì)節(jié)點(diǎn)）的后面的分支上標(biāo)注概率：

調(diào)查報(bào)告顯示，市場(chǎng)景氣的概率是0.4，不景氣的概率是0.6，所以在相應(yīng)的分支上標(biāo)注好概率，同時(shí)呢，為了方便查詢(xún)，我們?cè)谥匾?jié)點(diǎn)上分別標(biāo)注:A、B、C、D。

3 指定目標(biāo)

一般來(lái)說(shuō)，目標(biāo)就是選擇最優(yōu)的方案，而最有的方案通常都是做出貨幣價(jià)值最高的決策。

4解決決策樹(shù)

從結(jié)果節(jié)點(diǎn)開(kāi)始逆向操作：

在決策節(jié)點(diǎn)A，老板需要決定是花50K進(jìn)行投資，還是不投資。

投資的話(huà) 80K-30K=50K，將會(huì)產(chǎn)生50K 的現(xiàn)金流，不投資則為0，所以投資，是最優(yōu)決策：

在決策節(jié)點(diǎn)B，對(duì)比權(quán)衡投資于不投資的利弊，老板選擇不投資：

因?yàn)椋菏杖氲?0K-投資成本的30K=-20K，而不投資為0，因此老板在B這個(gè)決策節(jié)點(diǎn)選擇不投資。

接著，老板考慮在決策點(diǎn)C該做什么決定。因?yàn)樗恢雷约簺Q策的后果，所以，他需要對(duì)比決策點(diǎn)C后面的每個(gè)結(jié)果分支，并選擇最預(yù)期貨幣價(jià)值最好的結(jié)果：

投資:預(yù)期貨幣價(jià)值 ?0.40x800，000 + 0.60x100，000 - 30 = 8萬(wàn)

不投資: 預(yù)期貨幣價(jià)值 ?0.40 x 0 + 0 x 0 - 0 = 0

因?yàn)??投資（預(yù)期貨幣價(jià)值）>不投資（預(yù)期貨幣價(jià)值），所以她會(huì)選擇投資。

現(xiàn)在，我們知道老板做出了A\B\C三個(gè)決策，于是我們可以縮小決策樹(shù)：

現(xiàn)在做最后一個(gè)決策，D：

對(duì)比兩條路徑的預(yù)期貨幣價(jià)值做出決定。

第一條--調(diào)查的路徑：

調(diào)查之后的預(yù)期現(xiàn)金流為：市場(chǎng)景氣收益的50萬(wàn)×市場(chǎng)景氣的概率0.4+市場(chǎng)不景氣的收益0×市場(chǎng)不景氣的概率0.6=20萬(wàn)，再減去調(diào)查成本5萬(wàn)，最后等于15萬(wàn)。

調(diào)查后的預(yù)期現(xiàn)金流為15萬(wàn)。

現(xiàn)在看第二條路徑---不調(diào)查：

不調(diào)查產(chǎn)生的預(yù)期貨幣價(jià)值為8萬(wàn)

15>8，因此老板最終會(huì)做出花錢(qián)請(qǐng)人調(diào)查，并且在市場(chǎng)景氣的時(shí)候進(jìn)行投資這條決策。

總結(jié)：

分三步建立決策樹(shù)：

1列出備選方案

2量化不確定性

3 指定目標(biāo)

最后解決決策樹(shù)：

1從結(jié)果開(kāi)始，計(jì)算每個(gè)決策節(jié)點(diǎn)后面的結(jié)果的預(yù)期貨幣價(jià)值，做出最優(yōu)的決策

over。

之后我又看了一篇文章---《白話(huà)一下什么是決策樹(shù)模型》

http://www.i#cn/article/111429252013.html

開(kāi)頭，作者以CS為例，記錄了玩家的4條數(shù)據(jù)

得出，條件的不同，會(huì)導(dǎo)致行為的不同這個(gè)結(jié)論。

然后作者將數(shù)據(jù)分為兩塊：

1是X，代表?xiàng)l件

2是Y，代表結(jié)果

在這個(gè)例子里，條件和結(jié)果都不只一個(gè)

條件是{武器類(lèi)型、子彈數(shù)量、血量}

結(jié)果是{戰(zhàn)斗、逃避}

然后作者說(shuō)道建立決策樹(shù)的目的是找到最合適的映射關(guān)系：

Y=F(X)

在這里就是說(shuō)，武器類(lèi)型、子彈數(shù)量，以及血量之間的關(guān)系將會(huì)決定結(jié)果，決定是戰(zhàn)斗還是逃避。

同時(shí)作者還說(shuō)，條件有優(yōu)先級(jí)高下之分。對(duì)結(jié)果的影響也就有高矮之分。

接著，作者引入了信息論中的”熵“這個(gè)概念，它的作用是計(jì)算信息的混亂程度。

說(shuō)著，作者將各個(gè)條件中的元素都求了個(gè)熵出來(lái)，

這還沒(méi)完，要想得到條件的優(yōu)先級(jí)，還要計(jì)算一個(gè)叫做信息增量的東西，它可以代表優(yōu)先級(jí)，值與優(yōu)先級(jí)成正比。

利用熵來(lái)求信息增量的公式：

Gain(Sample,Action) = E(sample) - sum(|Sample(v)|/Sample * E(Sample(v)))

over，這就是這篇文章的主要內(nèi)容。

問(wèn)題1：

雖然我知道公式是：E = sum(-p(I)*log(p(I)))，I=1:N，N為多少種結(jié)果

但是我無(wú)法理解這個(gè)式子是怎么寫(xiě)出來(lái)的：

E(機(jī)槍) = -(1/2)Log2(1/2) - (1/2)Log(1/2) = 0.5 + 0.5 = 1

問(wèn)題2：

這個(gè)我也不懂怎么寫(xiě)出來(lái)的。

“Gain(武器類(lèi)型) = E(S) - (2/4)*E(機(jī)槍) - (2/4)*E(小刀) = 1 - (2/4)*1 - (2/4)*1 = 0“這個(gè)式子的理解。

公式：

Gain(Sample,Action) = E(sample) - sum(|Sample(v)|/Sample * E(Sample(v)))

至此，對(duì)這篇文章的理解結(jié)束。

2它什么樣？

決策樹(shù)就是由：方塊（決策節(jié)點(diǎn)）、圓圈（機(jī)會(huì)階段）、三角（結(jié)果）和分支線(xiàn)所組成。

用來(lái)尋找具價(jià)值方案的一種畫(huà)圖畫(huà)。

使用決策樹(shù)有4個(gè)步驟：

1列出所有可能的備選方案，畫(huà)出每種方案會(huì)導(dǎo)致的結(jié)果

2量化不確定性，也就是確定每個(gè)方案的概率

3明確你的目標(biāo)，一般來(lái)說(shuō)就是追求最優(yōu)貨幣價(jià)值的決策

4從結(jié)果逆向操作，計(jì)算出每種結(jié)果的期望值，然后對(duì)比各個(gè)結(jié)果的期望值，選出最優(yōu)方案。

3它有什么用？

做決策之前，使用它，可以對(duì)比出每種方案的期望值，以此來(lái)找到最優(yōu)方案。

4我如何利用它？

我一切量化的決策都可以使用它。