Augmented Reality(增強(qiáng)現(xiàn)實(shí)調(diào)研)

Augmented Reality(AR)：增強(qiáng)現(xiàn)實(shí)

一些關(guān)于AR展示的視頻

設(shè)備種類

平面顯示

  • 手機(jī)

現(xiàn)階段的交互方式有：觸摸屏幕，語(yǔ)音識(shí)別等，重展示，缺乏沉浸式體驗(yàn)

手機(jī)
  • 頭戴式顯示器HMD

各種便宜的AR盒子和眼鏡都屬于HMD，比起直接在手機(jī)上顯示，多了一些沉浸式體驗(yàn)，但是交互不方便

手機(jī)盒子

穿透式顯示

  • AR Glass
    [圖片上傳失敗...(image-762f83-1524660499094)]

  • 平視顯示器HUD


    HoloLens

交互不便，精確的交互需要額外的設(shè)備，但是能夠提供更加沉浸的AR體驗(yàn)，能夠提供一般的基于圖像的交互方式，如手勢(shì)等操作，也能夠提供體感的交互方式，也有設(shè)備能夠提供基于視覺追蹤技術(shù)的交互。

光學(xué)捕捉

  • 直接合成光


    TapEye

太過高端，不適用于一般的場(chǎng)景

AR領(lǐng)域的產(chǎn)品

  • 【Microsoft】HoloLens HUD
  • 【Meta】Meta 2 AR HUD
  • 【Google】 Google Glass AR Glass
  • 【ODG】ODG R9 AR Glass
  • 【Snapchat】Spectalces AR Glass
  • 【Vuzix】M300 AR Glass
  • 【Epson】Moverio BT-300 AR Glass

高端智能手機(jī)

  • 【Samsung】S8, S8+, Note8
  • 【Apple】iphone8, iphoneX
  • 【HUAWEI】MATE10, P10
  • 【Google】Pixel

大部分的AR設(shè)備都比較貴，2017年AR/VR設(shè)備的出貨量大約有千萬級(jí)別，但是智能手機(jī)的出貨量大約有5億臺(tái)，既然手機(jī)和專業(yè)的AR/VR設(shè)備都能夠進(jìn)行增強(qiáng)現(xiàn)實(shí)的展示，那這二者又有什么區(qū)別呢？

  1. 展示方式和內(nèi)容的不同：
    手機(jī)上的AR展示主要是利用攝像頭拍攝當(dāng)前場(chǎng)景，然后對(duì)拍攝內(nèi)容進(jìn)行加工。而對(duì)于大部分的AR Glass或者是HUD來說，其多了一個(gè)步驟就是對(duì)人眼焦點(diǎn)的捕捉，并且由于采取頭戴的方式，使得場(chǎng)景能夠更加貼合人眼所看到的場(chǎng)景，比起拿起手機(jī)對(duì)場(chǎng)景進(jìn)行拍攝，穿透式顯示的方式能夠帶給人更多的沉浸式體驗(yàn)，也更加貼合增強(qiáng)現(xiàn)實(shí)這一特點(diǎn)，可以說手機(jī)的增強(qiáng)現(xiàn)實(shí)是拍攝場(chǎng)景的增強(qiáng)，而穿透式設(shè)備是對(duì)真實(shí)場(chǎng)景的增強(qiáng)。

  2. 交互方式
    手機(jī)的交互方式更貼合日常生活的使用，觸摸屏操作便捷，并且精度較高，是手機(jī)或平板實(shí)現(xiàn)AR的主要交互方式。對(duì)于語(yǔ)音交互，這取決于自然語(yǔ)言處理NLP技術(shù)的發(fā)展程度，語(yǔ)音交互可以通過NLP技術(shù)轉(zhuǎn)化為和觸摸相同的處理方式，也可以添加專門支持語(yǔ)音的交互處理通道。
    對(duì)于專業(yè)AR設(shè)備來說，由于設(shè)備操作的不便，其交互方式可以利用外接的操作設(shè)備，例如Oculus和HTC vive等VR設(shè)備的手柄等工具，但是這樣會(huì)犧牲便捷性。由于能夠?qū)崟r(shí)獲得人眼所觀察到的真實(shí)場(chǎng)景，能夠提供更加沉浸式的體驗(yàn)，可以利用這一特點(diǎn)，使得手勢(shì)的交互成為主要的方式。同樣的，專業(yè)AR設(shè)備也能夠提供諸如體感或者語(yǔ)音等交互方式。

  3. 設(shè)備性能：
    現(xiàn)在市面上稍微高端的手機(jī)如Samsung的S8以上系列，Apple的iphone8以上的系列，都開始支持AR開發(fā)，因?yàn)檫@之前的手機(jī)的處理器計(jì)算力不夠，而手機(jī)性能提升使得AR開發(fā)能夠進(jìn)行重要原因。對(duì)于專業(yè)的AR設(shè)備，如果不連接外置專門用于計(jì)算的處理器，僅僅靠設(shè)備內(nèi)部的計(jì)算芯片，對(duì)于完成對(duì)場(chǎng)景的實(shí)時(shí)計(jì)算也是非常吃力的。專業(yè)的AR設(shè)備比起手機(jī)平板等電子設(shè)備來說，其計(jì)算力還是要高出不少，至少在AR開發(fā)上能做的更多。但是如果需要對(duì)復(fù)雜場(chǎng)景進(jìn)行計(jì)算，靠移動(dòng)設(shè)備本身的計(jì)算能力還是遠(yuǎn)遠(yuǎn)不夠，必須要使用外置芯片用于計(jì)算。

AR可以用來做什么

對(duì)于不同的電子設(shè)備來說，其用途是不同的，在AR的用途上有一些區(qū)別，但是也有一些相同的地方
（所有需要一個(gè)精神上的指導(dǎo)，而并非實(shí)物的展示，或者說已經(jīng)有實(shí)物，但是可以增強(qiáng)這種展示的意義，都可以用AR來實(shí)現(xiàn)）：

  • 一般的展示（重點(diǎn)在對(duì)現(xiàn)實(shí)展示，特點(diǎn)：有趣，互動(dòng)，貼合真實(shí)場(chǎng)景）
    文化藝術(shù)：博物館的展示（有趣）：對(duì)文物進(jìn)行演示，演示細(xì)節(jié)，演示歷史，演示故事等
    生產(chǎn)生活（有趣，互動(dòng)）：繪圖，視頻會(huì)議，天氣報(bào)道（有趣）
    地圖導(dǎo)航（貼合真實(shí)場(chǎng)景）（最佳應(yīng)用場(chǎng)景？）：展示現(xiàn)實(shí)場(chǎng)景并進(jìn)行標(biāo)記來指導(dǎo)方向，虛擬導(dǎo)游？
    AR營(yíng)銷（有趣，貼合真實(shí)場(chǎng)景）：支付寶和味全聯(lián)合的AR廣告，百事可樂，哈根達(dá)斯等等
    美圖，直播，社交（有趣，貼合真實(shí)場(chǎng)景）：Snapchat推出的AR眼鏡就包含一些AR應(yīng)用，可以針對(duì)性的對(duì)場(chǎng)景和人物進(jìn)行識(shí)別并添加各種有趣的東西。iphone可以根據(jù)人面部表情生成對(duì)應(yīng)的動(dòng)畫表情
    教育（有趣，重互動(dòng)）：特別是幼兒教育領(lǐng)域，各種貼合現(xiàn)實(shí)的特效，但是也是大部分屬于游戲的一種。
    軍事領(lǐng)域？
    大型舞臺(tái)展示（有趣）：奧運(yùn)會(huì)“馬里奧”，Dota2 國(guó)際邀請(qǐng)賽英雄展示，演唱會(huì)？AR電影（特效？）等
    CarFinder(互動(dòng))：保存位置信息，并可以根據(jù)指導(dǎo)找到車輛

  • 交易領(lǐng)域（主要是需要看外觀的商品，特點(diǎn)：各種需要與現(xiàn)實(shí)場(chǎng)景進(jìn)行貼合模擬的展示）：
    車輛交易：對(duì)場(chǎng)景進(jìn)行測(cè)量并顯示虛擬車輛并查看
    買衣服：虛擬試衣（各種虛擬的物件，眼鏡，圍巾，鞋子等等都算）
    AR點(diǎn)餐（有趣）
    Edmunds（real app）：二手車交易

  • 場(chǎng)景互動(dòng)游戲（利用現(xiàn)實(shí)，重點(diǎn)在有趣和互動(dòng)）：
    Pokemon Go
    繪畫游戲

簡(jiǎn)單的AR→復(fù)雜的AR

AR背后所使用的技術(shù)

AR需要做的是對(duì)自然場(chǎng)景進(jìn)行識(shí)別并理解場(chǎng)景的意義，在理解意義的基礎(chǔ)上疊加虛擬的成像，以增強(qiáng)真實(shí)場(chǎng)景所表現(xiàn)的意義。
其過程就是：理解真實(shí)場(chǎng)景 + 生成“真實(shí)+虛擬”的合成場(chǎng)景

可以獲得的數(shù)據(jù)：

  • 色彩二維圖像
  • GPS地理位置
  • IMU數(shù)據(jù)
  • 深度數(shù)據(jù)（可能）：結(jié)構(gòu)光，TOF相機(jī)，雙目相機(jī)
  • 虹膜識(shí)別（可能）

場(chǎng)景理解：基于圖像特征+深度學(xué)習(xí)

一般場(chǎng)景識(shí)別：

  • 圖像識(shí)別（主要意義）
  • 物體識(shí)別（多重意義）

人體識(shí)別（人臉識(shí)別+骨骼識(shí)別/動(dòng)作識(shí)別）：

  • 人臉識(shí)別：表情+人物
  • 動(dòng)作識(shí)別：動(dòng)作分類

場(chǎng)景重建+虛擬融合

三維重建
基于二維彩色圖像的重建算法
基于RGB-D的重建算法
又可以分為實(shí)時(shí)重建和非實(shí)時(shí)重建

現(xiàn)階段AR技術(shù)的缺點(diǎn)

以手機(jī)、平板為代表的低性能電子設(shè)備，其計(jì)算能力完全不能做到實(shí)時(shí)的場(chǎng)景重建工作，只能做一些簡(jiǎn)單的場(chǎng)景理解，而且這些場(chǎng)景理解也是建立在簡(jiǎn)單的特征提取上，對(duì)于復(fù)雜場(chǎng)景的處理也不太夠，所以手機(jī)AR展示一般只能部分貼合場(chǎng)景。
以便攜式的HUD、AR Glass等設(shè)備為代表的新一代AR設(shè)備，其計(jì)算能力雖然大幅提高，但是現(xiàn)階段也沒有辦法做到高精度的三維場(chǎng)景重建，但對(duì)于一般的場(chǎng)景來說，這種方式可以帶來更好的AR體驗(yàn)。
除去對(duì)計(jì)算性能的要求之外，實(shí)時(shí)AR對(duì)于算法的要求也比較高，現(xiàn)階段的算法對(duì)于靜態(tài)場(chǎng)景的支持還可以，但是場(chǎng)景變化較大時(shí)，特別是室外場(chǎng)景，對(duì)算法的要求就非常高。
所以，對(duì)于現(xiàn)階段的AR技術(shù)的應(yīng)用來說，其場(chǎng)景計(jì)算量還是太大，在硬件能力足夠的前提下，雖然能夠帶來不錯(cuò)的體驗(yàn)，但是AR實(shí)現(xiàn)設(shè)備大部分都是手機(jī)/平板等設(shè)備，所以如何能夠使得AR的體驗(yàn)在現(xiàn)階段達(dá)到最大化是一個(gè)問題。而且現(xiàn)階段的AR應(yīng)用能支持的場(chǎng)景也僅限于靜態(tài)場(chǎng)景，對(duì)于動(dòng)態(tài)場(chǎng)景的支持可以接近于0.

AR應(yīng)用實(shí)現(xiàn)方法

  1. 在對(duì)場(chǎng)景識(shí)別檢測(cè)要求不強(qiáng)以及無需重建的前提下，可以利用設(shè)備本身的性能進(jìn)行計(jì)算。
    引入外部SDK+生成對(duì)應(yīng)的三維圖像（unity3D開發(fā)）
    流行的AR開發(fā)套件：


    AR Framework
  1. 采用外部設(shè)備來進(jìn)行計(jì)算，如現(xiàn)在的云平臺(tái)，設(shè)備在聯(lián)網(wǎng)的前提下，將捕獲的圖像傳送到后端，然后后端對(duì)傳送的圖像通過AR技術(shù)來執(zhí)行場(chǎng)景識(shí)別以及場(chǎng)景重建的工作，最后把處理完的數(shù)據(jù)返回給手機(jī)端，這一過程主要分為傳輸和數(shù)據(jù)處理兩個(gè)步驟，傳輸則需要保證穩(wěn)定性，數(shù)據(jù)處理步驟就是一般的AR圖像處理，但是對(duì)計(jì)算速度有一定的要求。

現(xiàn)階段的比較成熟的大型AR展示大致都是基于第二種方案，手機(jī)+云端，云端可以自己部署，也可以通過第三方提供的方案。而比較小的應(yīng)用都采用的是手機(jī)內(nèi)部進(jìn)行識(shí)別，但是這種識(shí)別效果比較差，而且應(yīng)用范圍非常小，不適用于一般的場(chǎng)景，只適用于特殊的場(chǎng)景。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容