框架和工具

Matlab

Matlab 即 matrix&laboratory，是一個數(shù)學(xué)軟件（平臺），而非一種語言或框架。其擁有自己的語法，基本數(shù)據(jù)單位是矩陣，專用于數(shù)值分析、矩陣計算、科學(xué)數(shù)據(jù)可視化、數(shù)學(xué)建模等

Octave

模仿 Matlab 設(shè)計免費開源軟件，相比 Matlab 更輕量，且語法和 Matlab 兼容。

深度學(xué)習(xí)框架（配合Python/C/C++）

本質(zhì)上都是函數(shù)庫，對比可參考大佬對三個框架的demo

• 飛槳（PaddlePaddle）是百度的深度學(xué)習(xí)框架，入門較簡單
• tensorflow 是谷歌開源并維護的深度學(xué)習(xí)框架，入門較困難，部署更方便，適合工業(yè)
• PyTorch 是Facebook開發(fā)的深度學(xué)習(xí)框架，訓(xùn)練更方便，適合研究
• Caffe
• mxnet
• Keras

常用標注軟件

• LabelImg 目標檢測
• LabelMe 目標檢測、圖像分割
• CVAT 圖像分割

GPU

GPU的計算能力比CPU更強，適合做復(fù)雜的邏輯運算。卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練和測試時需要大量的計算，使用GPU效率會更高，可能會有幾百倍的差距。
建議使用 nvidia 而非 AMD 的GPU，因為很多深度學(xué)習(xí)框架是基于 nvidia 開發(fā)的
GPU本身也提供了加速能力，如 nvidia 的 TensorRT，通常先把其他框架轉(zhuǎn)成 Onnx（作為轉(zhuǎn)化中介的通用格式），再轉(zhuǎn)成 TensorRT。

OpenCV

本身是個圖像庫，但也具有一些圖像處理方面的深度學(xué)習(xí)內(nèi)容

人工智能的歷史

1. 人工智能之父：圖靈
   提出了圖靈機、圖靈測試等概念
2. 專家系統(tǒng)
   假人工智能，基于人工定義規(guī)則解決特定問題
3. 機器學(xué)習(xí)
   通過學(xué)習(xí)數(shù)據(jù)E，在沒有明確設(shè)置規(guī)則的情況下使機器提高完成任務(wù)T的能力P，并推廣到未來新的數(shù)據(jù)上做出判斷或預(yù)測。
   相比專家系統(tǒng)更方便處理一些難以設(shè)置規(guī)則的復(fù)雜場景，如下棋AI、興趣推薦、自動駕駛、CV（Computer Vision，包括圖像識別、圖像追蹤、圖像處理）、Natural Language Processing（NLP，自然語言處理）等領(lǐng)域
4. 人工神經(jīng)網(wǎng)絡(luò)（深度學(xué)習(xí)）
   弱人工智能，通常具有幾千或幾萬個神經(jīng)元（遠小于人腦的幾十億）
   其計算過程是黑盒，沒有明確的規(guī)則。
   通過對數(shù)據(jù)學(xué)習(xí)，獲得預(yù)測和判斷能力。
   初級神經(jīng)網(wǎng)絡(luò)->淺層神經(jīng)網(wǎng)絡(luò)->深層神經(jīng)網(wǎng)絡(luò)->卷積神經(jīng)網(wǎng)絡(luò)，神經(jīng)元逐步增多
   近年來由于訓(xùn)練數(shù)據(jù)增多（手機、網(wǎng)絡(luò)等的普及），GPU等硬件計算力變強（支持更多的神經(jīng)層和參數(shù)），算法的創(chuàng)新優(yōu)化，讓深度學(xué)習(xí)快速發(fā)展

機器學(xué)習(xí)

機器學(xué)習(xí)是人工智能的核心領(lǐng)域，是實現(xiàn)人工智能的方法。
討論 “機器是否會思考” 就像說 “潛艇是否會游泳”，機器學(xué)習(xí)的智能不等于計算機擁有自我意識（弱人工智能）。

特征

機器學(xué)習(xí)的本質(zhì)是從樣本數(shù)據(jù)中找出一個公式來解決特定問題，通常人工提取特征值（即對問題結(jié)果有影響的屬性）。選擇高質(zhì)量的特征可以讓結(jié)果事半功倍。
通常將一個事物的特征值組成一個 特征向量（feature vector），如鳶尾花長1.1，寬0.1，則其特征向量為 (1.1,0.1)。在坐標系中，該點稱為 特征點，兩特征點之間的距離稱為 特征距離，用于衡量其相似程度。

機器學(xué)習(xí)的主要類型

• 無監(jiān)督學(xué)習(xí)：
  訓(xùn)練集數(shù)據(jù)的目標變量不標記正確值，讓機器自己找出數(shù)據(jù)中的規(guī)律或進行分類（未事先人工定義類別）。

  • 如通過聚類算法（clustering algorithm）自動對人群分類等。
    聚類：將物理或抽象對象的集合分成由類似的對象組成的多個類
  • 通過雞尾酒會算法（cocktail party algorithm）分離嘈雜環(huán)境中不同來源的聲音。

• 有監(jiān)督學(xué)習(xí)：
  訓(xùn)練集數(shù)據(jù)的目標變量有標記正確值，在訓(xùn)練中參考比對，改進模型，最終給出更多的正確值
  根據(jù)待預(yù)測目標是連續(xù)還是離散，分為回歸（Regression，如房價、股票價格）和分類（Classification，如是否為垃圾郵件，股價漲跌）問題。（注意分類不同于聚類，是在已有分類標準下，對新數(shù)據(jù)進行劃分）

• 半監(jiān)督學(xué)習(xí)（semi-supervised learning）：
  介于無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)之間，為小部分樣本提供正確值

• 強化學(xué)習(xí)：
  在行動中學(xué)習(xí)，最終獲得一個策略（policy）。
  訓(xùn)練過程中，從一個初始策略開始，根據(jù)每一步行動和環(huán)境交互得到的反饋（回報或懲罰），不斷地調(diào)整策略（無人駕駛、下棋、自動交易）。
  不同于監(jiān)督學(xué)習(xí)，強化學(xué)習(xí)收到的反饋是評估性的而非指導(dǎo)性的，反饋只告知好壞而不告知正確答案。

• 深度學(xué)習(xí)：
  在普通機器學(xué)習(xí)的基礎(chǔ)上，結(jié)合了人工神經(jīng)網(wǎng)絡(luò)來解釋數(shù)據(jù)，例如圖像，聲音和文本等，讓機器自己掌握學(xué)習(xí)能力。
  如生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）為深度學(xué)習(xí)+無監(jiān)督學(xué)習(xí)，可用于自動繪圖。
  

  機器學(xué)習(xí)的關(guān)系

數(shù)據(jù)集

訓(xùn)練數(shù)據(jù)集（Training Set):

從原始數(shù)據(jù)集中分離出來的大量數(shù)據(jù)，喂給模型用來訓(xùn)練模型。

驗證數(shù)據(jù)集（Validation Set）：

從原始數(shù)據(jù)集中分離出來的少量數(shù)據(jù)，用來給訓(xùn)練集訓(xùn)練結(jié)束后的模型進行模型的精度評估。

測試數(shù)據(jù)集（Test Set）：

從原始數(shù)據(jù)集中分離出來的少量數(shù)據(jù)，用來給訓(xùn)練集訓(xùn)練結(jié)束后的模型進行模型的精度評估。其作用和驗證集一致，一般是在深度學(xué)習(xí)的模型中和驗證集區(qū)別對待，在統(tǒng)計學(xué)習(xí)模型中一般不單獨分離出測試集。

• 建議劃分比例：
  按訓(xùn)練集：驗證集：測試集=7：2：1
  按訓(xùn)練集：驗證集=8：2（此時不劃分測試集）
  當然當數(shù)據(jù)量很大的時候（上百萬數(shù)據(jù)量級別）也有按訓(xùn)練集：驗證集=98：2的比例劃分。

有監(jiān)督學(xué)習(xí)的基本原理

機器學(xué)習(xí)算法庫用于從樣本數(shù)據(jù)中計算出各個屬性的權(quán)重，使偏離值（代價，cost）盡量小，產(chǎn)生一個可以擬合各個樣本數(shù)據(jù)的函數(shù)表達式（稱為多元線性回歸）。

AI模型訓(xùn)練基本流程

1. 分析需求
2. 收集數(shù)據(jù)
3. 標注數(shù)據(jù)
4. 訓(xùn)練模型
   將數(shù)據(jù)按照8：2的比例分成訓(xùn)練集和測試集
   根據(jù)測試集預(yù)測結(jié)果的偏差調(diào)參，最終完成訓(xùn)練
5. 部署并應(yīng)用模型