從伯努利分布、極大似然估計到邏輯回歸

伯努利分布

隨機變量X的概率質(zhì)量函數(shù)：

重復(fù)n次伯努利實驗，成功次數(shù)是x，失敗次數(shù)是n-x的概率為：
當(dāng)n=1時，即是伯努利分布。所以伯努利分布的概率質(zhì)量函數(shù)也表示為：
x代表事件發(fā)生，1-x代表事件不發(fā)生，p是事件發(fā)生的概率，1-p是事件不發(fā)生的概率。

極大似然估計

設(shè)定極大似然函數(shù)，極大似然函數(shù)取最大值時的參數(shù)估計最有可能是真實參數(shù)。離散情況下，假設(shè)每個實驗獨立同分布，則各事件單獨發(fā)生的概率乘積即為似然函數(shù)。

邏輯回歸

那么如何求解參數(shù)w和b—對數(shù)似然函數(shù)取最大值時的參數(shù)最有可能是真實參數(shù)，且對數(shù)似然函數(shù)最大，等價于交叉熵最小。具體看手推圖：

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容