2015至2017年間，是CNN網(wǎng)絡(luò)設(shè)計(jì)最興盛的階段，大多都是由學(xué)者人工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)。這個(gè)過程通常會(huì)很繁瑣其主要原因在于對(duì)不同模塊組件的組成通常是個(gè)黑盒優(yōu)化的問題，此外，在...
發(fā)簡(jiǎn)信
IP屬地：山東
-
66.神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS） -
65.AutoML-11.什么是AutoML？ 目前一個(gè)優(yōu)秀的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型，離不開這幾個(gè)方面：一、優(yōu)秀的數(shù)據(jù)預(yù)處理；二、合適的模型結(jié)構(gòu)和功能；三、優(yōu)秀的訓(xùn)練策略和超參數(shù)；四、合適的后處理...
-
64.合理使用預(yù)訓(xùn)練網(wǎng)絡(luò)-3
64.1 目標(biāo)檢測(cè)中如何從零開始訓(xùn)練(train from scratch) 目標(biāo)檢測(cè)和其他任務(wù)從零訓(xùn)練模型一樣，只要擁有足夠的數(shù)據(jù)以及充分而有效的訓(xùn)練，同樣能訓(xùn)練出不亞于利...
-
63.合理使用預(yù)訓(xùn)練網(wǎng)絡(luò)-2
63.1 目標(biāo)檢測(cè)中如何從零開始訓(xùn)練 63.2 不同的數(shù)據(jù)集特性下如何微調(diào) 數(shù)據(jù)集數(shù)據(jù)量少，數(shù)據(jù)和原數(shù)據(jù)集類似。這是通常做法只需修改最后的輸出層，訓(xùn)練即可，訓(xùn)練過多參數(shù)容易過...
-
62.合理使用預(yù)訓(xùn)練網(wǎng)絡(luò)-1
62.1 什么是微調(diào)（fine-tune） 微調(diào)（fine-tune），顧名思義指稍微調(diào)整參數(shù)即可得到優(yōu)秀的性能，是遷移學(xué)習(xí)的一種實(shí)現(xiàn)方式。微調(diào)和從頭訓(xùn)練（train fro...
-
61.在極端批樣本數(shù)量下訓(xùn)練網(wǎng)絡(luò)
極端批樣本情況一般是指batch size為1或者batch size在6000以上的情況 這兩種情況，在使用不合理的情況下都會(huì)導(dǎo)致模型最終性能無法達(dá)到最優(yōu)甚至是崩潰的情況。...
-
60.網(wǎng)絡(luò)訓(xùn)練中的超參調(diào)整策略—學(xué)習(xí)率調(diào)整24、inverse_time_decay 逆時(shí)衰減，這種方式和指數(shù)型類似。如圖， 5、 余弦衰減，即按余弦函數(shù)的方式衰減學(xué)習(xí)率，如圖 6、 余弦衰減，即余弦版本的cycle策...
-
59.網(wǎng)絡(luò)訓(xùn)練中的超參調(diào)整策略—學(xué)習(xí)率調(diào)整1學(xué)習(xí)率可以說是模型訓(xùn)練最為重要的超參數(shù)。通常情況下，一個(gè)或者一組優(yōu)秀的學(xué)習(xí)率既能加速模型的訓(xùn)練，又能得到一個(gè)較優(yōu)甚至最優(yōu)的精度。過大或者過小的學(xué)習(xí)率會(huì)直接影響到模型的收斂。 ...
-
58.網(wǎng)絡(luò)訓(xùn)練中的超參調(diào)整策略—如何調(diào)試模型
在討論如何調(diào)試模型之前，我們先來糾正一個(gè)誤區(qū)。通常理解如何調(diào)試模型的時(shí)候，我們想到一系列優(yōu)秀的神經(jīng)網(wǎng)絡(luò)模型以及調(diào)試技巧。但這里需要指出的是數(shù)據(jù)才是模型的根本，如果有一批質(zhì)量?jī)?yōu)...
-
57.超參數(shù)概念-2
57.1 批樣本數(shù)量，動(dòng)量?jī)?yōu)化器的動(dòng)量參數(shù)β 批樣本數(shù)量，動(dòng)量?jī)?yōu)化器（Gradient Descent with Momentum）的動(dòng)量參數(shù)*β 批樣本決定了數(shù)量梯度下降的...
-
56.超參數(shù)概念-1
56.1 參數(shù)和超參數(shù)的區(qū)別 區(qū)分兩者最大的一點(diǎn)就是是否通過數(shù)據(jù)來進(jìn)行調(diào)整，模型參數(shù)通常是有數(shù)據(jù)來驅(qū)動(dòng)調(diào)整，超參數(shù)則不需要數(shù)據(jù)來驅(qū)動(dòng)，而是在訓(xùn)練前或者訓(xùn)練中人為的進(jìn)行調(diào)整的參...
-
55.在手機(jī)上使用PaddleMobile實(shí)現(xiàn)圖像分類-2
創(chuàng)建Android項(xiàng)目 1、首先使用Android Studio創(chuàng)建一個(gè)普通的Android項(xiàng)目，包名為com.example.paddlemobile1 2、在main目錄...
-
54.在手機(jī)上使用PaddleMobile實(shí)現(xiàn)圖像分類-1
54.1 編譯paddle-mobile庫(kù) 1）編譯Android能夠使用的CPP庫(kù)： 編譯Android的paddle-mobile庫(kù)，可選擇使用Docker編譯和Ubun...
-
53.MDL、NCNN和 TFLite比較
百度-MDL框架、騰訊-NCNN框架和谷歌TFLite框架比較 MDLNCNNTFLite代碼質(zhì)量中高很高跨平臺(tái)√√√支持caffe模型√√×支持TensorFlow模型××...
-
52.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—PocketFlow-2PocketFlow 性能 通過引入超參數(shù)優(yōu)化組件，不僅避免了高門檻、繁瑣的人工調(diào)參工作，同時(shí)也使得 PocketFlow 在各個(gè)壓縮算法上全面超過了人工調(diào)參的效果。以圖像分...
-
51.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—PocketFlow-151.1 簡(jiǎn)介 全球首個(gè)自動(dòng)模型壓縮框架 一款面向移動(dòng)端AI開發(fā)者的自動(dòng)模型壓縮框架，集成了當(dāng)前主流的模型壓縮與訓(xùn)練算法，結(jié)合自研超參數(shù)優(yōu)化組件實(shí)現(xiàn)了全程自動(dòng)化托管式的模型壓...
-
50.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—FeatherCNN與TensorFlow Lite50.1 FeatherCNN FeatherCNN 是由騰訊 AI 平臺(tái)部研發(fā)的基于 ARM 架構(gòu)的高效 CNN 推理庫(kù)，該項(xiàng)目支持 Caffe 模型，且具有高性能、易部署...
-
49.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—MACE（ Mobile AI Compute Engine）Mobile AI Compute Engine (MACE) 是一個(gè)專為移動(dòng)端異構(gòu)計(jì)算設(shè)備優(yōu)化的深度學(xué)習(xí)前向預(yù)測(cè)框架MACE覆蓋了常見的移動(dòng)端計(jì)算設(shè)備（CPU，GPU和DS...
-
48.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—MDL（mobile-deep-learning）48.1 功能特點(diǎn) 一鍵部署，腳本參數(shù)就可以切換ios或者android 支持iOS gpu運(yùn)行MobileNet、squeezenet模型 已經(jīng)測(cè)試過可以穩(wěn)定運(yùn)行Mobil...
-
47.現(xiàn)有移動(dòng)端開源框架及其特點(diǎn)—Prestissimo
基礎(chǔ)功能 支持卷積神經(jīng)網(wǎng)絡(luò)，支持多輸入和多分支結(jié)構(gòu) 精煉簡(jiǎn)潔的API設(shè)計(jì)，使用方便 提供調(diào)試接口，支持打印各個(gè)層的數(shù)據(jù)以及耗時(shí) 不依賴任何第三方計(jì)算框架，整體庫(kù)體積 500K...