一 AI 背景 - 深度學(xué)習(xí)的興起
1 關(guān)鍵性應(yīng)用
其實(shí)還沒有。無人駕駛 （汽車 和 飛機(jī)），目前也只是實(shí)驗(yàn)階段。
AI前沿介紹? 描述一線公司的主要AI產(chǎn)品 。這里面囊括 了醫(yī)療，編輯，翻譯 ， 定位技術(shù)。這些產(chǎn)品還并沒有被大眾所熟知。但是這些已經(jīng)足夠顯示AI的力量了。
2 AI的身邊的應(yīng)用舉例
圖像分類? 拍立淘
? ? ? 美國計(jì)算機(jī)協(xié)會(huì)（ACM）公布了2015年度杰出科學(xué)家名單，在上榜的兩位亞裔學(xué)者中，阿里巴巴圖像搜索的領(lǐng)軍人物、阿里巴巴搜索事業(yè)部研究員華先勝位列其中。
? ? ? 國際電氣與電子工程師協(xié)會(huì)（IEEE）也公布了華先勝當(dāng)選2016年度IEEE Fellow（IEEE會(huì)士）的消息，以嘉獎(jiǎng)其“為多媒體內(nèi)容分析和圖像搜索做出的突出貢獻(xiàn)”。
? ? ? ? 廣告推薦算法
? ? ? ? 基于語音的 谷歌的機(jī)器翻譯
3 藝術(shù)文化和 深度學(xué)習(xí)
二 深度學(xué)習(xí) 的 科普
2.1 線性分類器， 分類和聚類算法
? ? 線性分類器里面最簡單的例子是 大學(xué)物理里面， 用打點(diǎn)計(jì)時(shí)器在紙條上打點(diǎn)。實(shí)際上擬合的函數(shù) 是 v = gt
2.2 DNN - 深度神經(jīng)網(wǎng)絡(luò)
假設(shè)我們要預(yù)測 美國 的 房子 和 總價(jià)格 的 關(guān)系，這時(shí)我們的參數(shù)不只一個(gè)了
2.3? 擬合 和 欠擬合 ， 訓(xùn)練集和測試集（驗(yàn)證集）
? 3.1欠擬合（Over fittintg）? 訓(xùn)練誤差比較大
? ? ? ? 1 參數(shù)少，因?yàn)檫^度關(guān)注精簡計(jì)算量引起的。
? ? ? ? 2 使用的網(wǎng)絡(luò)不對
? ? 3.2 過擬合（）? 測試誤差 比 訓(xùn)練誤差大
? ? ? ? ? 1 訓(xùn)練樣本少?
? ? ? ? ? 2 參數(shù)過大
解決方法:? 解決過擬合的最主要的思想，是先保證參數(shù)和問題域相符合。通過增加訓(xùn)練誤差 減少測試誤差。
? ? ? ? ? ? ? 1 dropout? （隨機(jī)失活）在同一個(gè)模型上訓(xùn)練處不同的參數(shù) 2 提前終止迭代次數(shù)? 3 增大訓(xùn)練樣本
2.4 loss 函數(shù)和 優(yōu)化器
? 4.1 支持向量機(jī)? -- 基于核函數(shù)的算法
? 4.2 交叉熵 SoftMax
5 卷積神經(jīng)網(wǎng)絡(luò)? CNN 和 圖像濾波 （
? ? ? 卷積 核 和 濾波， 使用卷積和對 圖像特征進(jìn)行抽取。
? ? ? 優(yōu)點(diǎn) ：1 共享卷積核參數(shù)，優(yōu)化了計(jì)算量? 2 不需要手動(dòng)選取圖像特征 （相比以前的機(jī)器學(xué)習(xí)算法，使用SVM的分類算法，簡化很多） 4 抽取的圖像信息豐富，表達(dá)效果好
? ? ? 缺點(diǎn) ：? 1依賴GPU硬件? 2 需要大量的樣本 3 隱層的輸出物理意義對人類來說較難理解。
比如說貓，神經(jīng)網(wǎng)絡(luò)是怎么理解一只貓的，這跟我們?nèi)祟惔竽X怎么理解一只貓是一類的問題，我們用卷積的方式
? LeNet，這是最早用于數(shù)字識(shí)別的CNN
? AlexNet， 2012 ILSVRC比賽遠(yuǎn)超第2名的CNN，比
? ZF Net， 2013 ILSVRC比賽冠軍
? GoogLeNet， 2014 ILSVRC比賽冠軍
? VGGNet， 2014 ILSVRC比賽中的模型，圖像識(shí)別略差于GoogLeNet，但是在很多圖像轉(zhuǎn)化學(xué)習(xí)問題(比如object detection)上效果奇好
? FCN, Fast-RCNN,Faster-RCNN 是目標(biāo)檢測界的領(lǐng)軍人物Ross Girshick團(tuán)隊(duì)在2015年的又一力作。簡單網(wǎng)絡(luò)目標(biāo)檢測速度達(dá)到17fps，在PASCAL VOC上準(zhǔn)確率為59.9%；復(fù)雜網(wǎng)絡(luò)達(dá)到5fps，準(zhǔn)確率78.8%。
6 NN 框架
Caffe? 比較高效，一般的訓(xùn)練無需寫代碼，有python和mathlab的接口
1 需要先把圖片轉(zhuǎn)換成LMDB格式
2 定義網(wǎng)結(jié)構(gòu)
3 定義solver
4 一行命令開始訓(xùn)練
比較早期的框架，也是出產(chǎn)品比較多的框架。但是是由C++寫的。所以發(fā)展比較慢了。
Tensorflow
谷歌開源的一個(gè)框架，社區(qū)非?；钴S。寫法相比Face的PyTorch比較繁瑣
PyTorch 對于顯卡的利用效率比較高的框架。加上Torch本身的簡潔的用法。比較受歡迎。
上層框架
Keras ， TFLearn
8 遷移學(xué)習(xí)
遷移學(xué)習(xí)其實(shí)只是一個(gè)工程經(jīng)驗(yàn)。既然深度學(xué)習(xí)大部分的工作是在訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)，那么被大型數(shù)據(jù)集訓(xùn)練過的網(wǎng)絡(luò)參數(shù)就具有良好的泛化誤差。在數(shù)據(jù)集很小的時(shí)候，如果存在著相似的被訓(xùn)練良好的網(wǎng)絡(luò)，那么就可以利用已經(jīng)訓(xùn)練過的 特征抽取的參數(shù)。
https://zhuanlan.zhihu.com/p/21470871
http://blog.csdn.net/qq_26898461/article/details/53557612
