在追尋 AI 商業(yè)化的道路上，人們逐漸發(fā)現(xiàn)，要實(shí)現(xiàn)技術(shù)的落地，不僅需要性能優(yōu)越的算法模型以及可靠的硬件支持，還需要把 AI 技術(shù)和硬件環(huán)境進(jìn)行有機(jī)結(jié)合，再應(yīng)用到具體的實(shí)際場(chǎng)景中，進(jìn)而滿足用戶的需求。
嵌入式 AI是當(dāng)前 AI 落地途徑之一
所謂嵌入式，就是指一種可被內(nèi)置于設(shè)備或裝置的專用計(jì)算機(jī)系統(tǒng)。通常來(lái)說(shuō)，具有數(shù)字接口的設(shè)備都具有嵌入式系統(tǒng)，如手機(jī)、車載電腦、智能手表等等。
而嵌入式 AI，則是一種讓 AI 算法可以在終端設(shè)備上運(yùn)行的技術(shù)概念。很簡(jiǎn)單，換句話說(shuō)，它的作用就是能讓音箱、手機(jī)、機(jī)器人等智能硬件在不聯(lián)網(wǎng)的情況下實(shí)時(shí)完成環(huán)境感知、人機(jī)交互、決策控制等功能。
什么樣的垂直場(chǎng)景更需要嵌入式 AI?
眾所周知，神經(jīng)網(wǎng)絡(luò)包括模型訓(xùn)練和推斷兩個(gè)過(guò)程。而一提訓(xùn)練，就必定會(huì)涉及海量的數(shù)據(jù)輸入，計(jì)算規(guī)模也會(huì)根據(jù)場(chǎng)景復(fù)雜性的遞增而變得愈加龐大。
因此，受到計(jì)算資源的限制，嵌入式端很難實(shí)現(xiàn)模型訓(xùn)練的過(guò)程，也是我們下面要說(shuō)的「幾個(gè)挑戰(zhàn)之一」。
而在推斷環(huán)節(jié)，云端推斷和嵌入式推斷，二者訴求不同，因此也在不同的應(yīng)用場(chǎng)景能夠發(fā)揮自己的優(yōu)勢(shì)：
前者的好處是，能夠承受高吞吐量并滿足復(fù)雜計(jì)算對(duì)資源的要求，因此多用于深度學(xué)習(xí)模型和計(jì)算較復(fù)雜的情況;而后者，則更多的應(yīng)用于對(duì)「實(shí)時(shí)處理」有更高要求的場(chǎng)景中。
什么是「實(shí)時(shí)處理」?我們來(lái)舉個(gè)最實(shí)際的例子。無(wú)人駕駛汽車需要實(shí)時(shí)監(jiān)測(cè)周圍環(huán)境，但是如果無(wú)人車突然進(jìn)入隧道，或者進(jìn)入某個(gè)連不了網(wǎng)的環(huán)境中呢?
是的，駕駛場(chǎng)景復(fù)雜多變，并不能保證時(shí)刻都能有一個(gè)百分之百可用的網(wǎng)絡(luò)。因此，嵌入式 AI 憑借其實(shí)時(shí)性優(yōu)勢(shì)及脫機(jī)運(yùn)行的能力得以自動(dòng)駕駛領(lǐng)域展現(xiàn)實(shí)力。
國(guó)內(nèi)自動(dòng)駕駛卡車技術(shù)研發(fā)公司圖森未來(lái) COO 郝佳男就曾在接受采訪時(shí)表示：「從理論上講，在云端處理傳感器信號(hào)并不可行，存在延遲和可用性問(wèn)題?！?/p>
因此，信號(hào)的本地處理也是整個(gè)自動(dòng)駕駛領(lǐng)域的一大訴求，因?yàn)樵O(shè)備端采集到數(shù)據(jù)后上傳到計(jì)算完成返回終端的過(guò)程會(huì)不可避免地帶來(lái)一定的延時(shí)，駕駛的危險(xiǎn)系數(shù)也隨之提升。
而上海速嵌公司技術(shù)負(fù)責(zé)人在前天舉辦的嵌入式人工智能技術(shù)論壇上也提到了這一問(wèn)題：「自動(dòng)駕駛汽車每秒鐘可以產(chǎn)生 1G 的數(shù)據(jù)，必須及時(shí)的、迅速的在本地來(lái)處理決策，不可能移到云端?！?/p>
除了無(wú)人駕駛，在智能家居方面，試想一下如果用戶家中安裝了一個(gè)監(jiān)控?cái)z像頭，那么把數(shù)據(jù)傳到云端很可能會(huì)增加個(gè)人隱私泄露的風(fēng)險(xiǎn)。而由于嵌入式 AI 是在本地處理數(shù)據(jù)，數(shù)據(jù)沒(méi)有上云的過(guò)程，就可以保證用戶的信息安全，免除不必要的麻煩。
除了這些特定的應(yīng)用場(chǎng)景，一些 AI 技術(shù)公司對(duì)嵌入式 AI 也有著廣泛的需求。而近來(lái)因巨額融資引起廣泛熱議的 Face++就是其中的一員。
他們?cè)谑謾C(jī)端做實(shí)名認(rèn)證及人臉解鎖的時(shí)候發(fā)現(xiàn)，算法會(huì)不斷「吃」計(jì)算力。也就是說(shuō)，即便計(jì)算力不斷增長(zhǎng)，算法對(duì)計(jì)算力也總是處于「欲求不滿」的狀態(tài)。
其次是在攝像機(jī)端。他談到算法研發(fā)人員希望在做人臉識(shí)別的時(shí)候，可以讓人臉在視頻中的檢測(cè)、抓拍環(huán)節(jié)在相機(jī)端實(shí)現(xiàn)。這樣一來(lái)，就可以只傳輸有價(jià)值的信息，而非原始的大容量視頻，能夠有效減少傳輸帶寬以及后端部署服務(wù)器的計(jì)算量及存儲(chǔ)量，讓系統(tǒng)的整體架構(gòu)變得更加輕便。
「那么，本來(lái)信息可以存 3 個(gè)月，現(xiàn)在可以存 3 年，這會(huì)帶來(lái)非常大的價(jià)值?！固莆谋笱a(bǔ)充道。
嵌入式 AI 挑戰(zhàn)也很多，AI 公司都是如何選擇的?
在把 AI 技術(shù)部署于終端設(shè)備的過(guò)程中，嵌入式技術(shù)至關(guān)重要。簡(jiǎn)單來(lái)說(shuō)，這一過(guò)程需要對(duì)芯片進(jìn)行全方位考量以評(píng)估芯片的性能，然后根據(jù)神經(jīng)網(wǎng)絡(luò)算法做特殊化處理，「無(wú)縫對(duì)接」嵌入式設(shè)備的能力?！讣葲](méi)有浪費(fèi)運(yùn)算單元，又最大程度地體現(xiàn)算法的精度，這是一個(gè)藝術(shù)活，也是技術(shù)活?！箤O力如是說(shuō)。
然而，把嵌入式 AI 從云端遷移到終端卻并非易事。孫力表示，目前嵌入式 AI 面臨三大挑戰(zhàn)，分別為運(yùn)算能力、功耗及散熱。這些也是經(jīng)典嵌入式設(shè)備所面臨的問(wèn)題。
此外，你還需要考慮算法新增的神經(jīng)網(wǎng)絡(luò)處理單元與原有 DSP、GPU 計(jì)算架構(gòu)的算法精度二者之間的平衡問(wèn)題，以及如何對(duì)傳統(tǒng)運(yùn)算力較低的智能硬件設(shè)備進(jìn)行升級(jí)，或者怎樣為傳統(tǒng)硬件添加 SoC 以實(shí)現(xiàn)智能化轉(zhuǎn)型等等問(wèn)題。
而這些也基本都與成本掛鉤。如何讓嵌入式 AI 展現(xiàn)出應(yīng)有的商業(yè)價(jià)值，也是真實(shí)存在且亟待解決的問(wèn)題。
在具體操作上，技術(shù)人員不僅需要剪裁優(yōu)化出最佳的計(jì)算模型并集成到移動(dòng)設(shè)備上，還要保證操作系統(tǒng)向下驅(qū)動(dòng)底層硬件，向上支持軟件算法，而且對(duì)于終端設(shè)備他們必須有深入的理解。
「只有這樣，才能保證整個(gè)嵌入式 AI 算法模型經(jīng)濟(jì)、高效的運(yùn)算?！?。
在創(chuàng)業(yè)初期，團(tuán)隊(duì)以為算法會(huì)是最大的門檻，結(jié)果發(fā)現(xiàn)整合能力的需求才是最高的。
「這也是美國(guó)有許多算法技術(shù)很強(qiáng)的初創(chuàng)公司都被谷歌、蘋果這類大公司收購(gòu)的原因?！顾忉尩溃敢?yàn)?，從算法到落地產(chǎn)品還有一個(gè)很遠(yuǎn)的距離?！?/p>
為了解決這些問(wèn)題，業(yè)內(nèi)目前主要采取三種實(shí)現(xiàn)路徑，分別是「壓縮算法模型」，「不斷挖掘硬件潛力」，以及「在壓縮模型的同時(shí)針對(duì)現(xiàn)有芯片進(jìn)行優(yōu)化」。
目前看來(lái)，第三種路徑是能夠最快落地的。但是無(wú)論如何，優(yōu)化到一定程度還會(huì)遇到瓶頸，還是需要你轉(zhuǎn)過(guò)頭去提高硬件性能。
云和端，你選擇哪一個(gè)?
「端+云」的未來(lái)發(fā)展趨勢(shì)已經(jīng)非常明確。一些需要移動(dòng)端提供快速響應(yīng)能力的場(chǎng)景可以選擇在移動(dòng)端進(jìn)行計(jì)算，而需要把海量數(shù)據(jù)匯聚在一起，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)挖掘與處理的情況可以放在云端進(jìn)行。
「不過(guò)，具體哪些放在云端，哪些放在移動(dòng)端，還沒(méi)有一條統(tǒng)一的分界線，這也是留給我們的一個(gè)問(wèn)題?！埂?/p>
「這里面存在較多的組合方式，」抓取數(shù)據(jù)、理解數(shù)據(jù)、根據(jù)理解做出行為決策等等環(huán)節(jié)可以全部在硬件執(zhí)行，當(dāng)然也可以部分給軟件、部分給硬件。
「很多感知計(jì)算涉及深度學(xué)習(xí)網(wǎng)絡(luò)，各家公司對(duì)這方面的硬件加速也有很深的理解。不過(guò)在決策階段，很多算法還沒(méi)有定型，以無(wú)人車為例，業(yè)界主要還是基于規(guī)則的方法來(lái)做決策?！?/p>
我們無(wú)需擔(dān)心算法定型后，嵌入式 AI 的價(jià)值會(huì)減弱。速嵌智造認(rèn)為：「算法是沒(méi)有完美的，當(dāng)這個(gè)算法趨于完美之時(shí)，大家會(huì)產(chǎn)生更多的需求，也會(huì)不斷有新的算法出現(xiàn)，你總會(huì)發(fā)現(xiàn)自己還有很多技術(shù)工作要做。因?yàn)榧夹g(shù)是沒(méi)有窮盡的?！?/p>
嵌入式AI
