機器學習的根本任務(wù)是預測

machine learning

≈ looking for function

機器學習與人工智能、深度學習的關(guān)系

• 人工智能：機器展現(xiàn)的人類智能
• 機器學習：計算機利用已有的數(shù)據(jù)(經(jīng)驗)，得出了某種模型，并利用此模型預測未來的一種方法。
• 深度學習：實現(xiàn)機器學習的一種技術(shù)

機器學習可以解決什么問題

• 給定數(shù)據(jù)的預測問題
  ? 數(shù)據(jù)清洗/特征選擇
  ? 確定算法模型/參數(shù)優(yōu)化
  ? 結(jié)果預測
• 不能解決什么
  ? 大數(shù)據(jù)存儲/并行計算
  ? 做一個機器人

評價指標

樣本數(shù)除以所有的樣本數(shù)，通常來說，正確率越高，分類器越好；

• 1）正確率（accuracy）：正確率是我們最常見的評價指標，accuracy = （TP+TN）/(P+N)，這個很容易理解，就是被分對的
• 2）錯誤率（error rate)：錯誤率則與正確率相反，描述被分類器錯分的比例，error rate = (FP+FN)/(P+N)，對某一個實例來說，分對與分錯是互斥事件，所以accuracy =1 - error rate；
• 3）靈敏度（sensitive）：sensitive = TP/P，表示的是所有正例中被分對的比例，衡量了分類器對正例的識別能力；
• 4）特效度（specificity)：specificity = TN/N，表示的是所有負例中被分對的比例，衡量了分類器對負例的識別能力；
• 5）精度（precision）：精度是精確性的度量，表示被分為正例的示例中實際為正例的比例，precision=TP/（TP+FP）；
• 6）召回率（recall）：召回率是覆蓋面的度量，度量有多個正例被分為正例，recall=TP/(TP+FN)=TP/P=sensitive，可以看到召回率與靈敏度是一樣的。
• 7）F1-score 就是一個綜合考慮precision和recall的metric： 2precisionrecall / (precision + recall)

誤差分析及過擬合/欠擬合

欠擬合的處理主要有哪些方式：

• 添加新特征
• 增加模型復雜度
• 添加多項式特征項
• 減小正則化系數(shù)

處理過擬合？

• 增大訓練數(shù)據(jù)的量
• 利用正則化技術(shù)
• 對數(shù)據(jù)進行清洗
• 減少迭代次數(shù)
• 增大學習率

Machine Learning Summary

Rather than giving the program the rules，an algorithm finds theryles for us.