前段時間，谷歌和蘋果都相繼發(fā)布了自家AR組件的升級版。區(qū)別在于，谷歌I/O大會上，ARCore成了一個群眾演員，陪襯AI、Android P這幫主角；而蘋果的WWDC 2018上，ARKit有專門的舞臺，專門的身份，專門的搭檔。可見蘋果對AR是非常認(rèn)真的。ARKit升級到2.0版本之后，業(yè)內(nèi)號稱這是從玩具到工具的改變。所以這次就來談?wù)?，ARKit打算以怎樣的態(tài)度來改變世界。
去年4月，F(xiàn)acebook在F8大會上推出了AR相機平臺Camera Effects，讓用戶能在相機捕捉的內(nèi)容中添加各種AR效果，這并沒有引起很大的波瀾。兩個月后，蘋果在WWDC 2017上放出一個重磅炸彈——ARKit，這次在業(yè)界引起了轟動。開發(fā)者們發(fā)現(xiàn)，利用這款A(yù)R工具包，他們能夠非常容易地創(chuàng)建各種AR demo，而不再要考慮什么標(biāo)記點、深度攝像頭，或者專門的開發(fā)環(huán)境。而對于用戶而言，原來iOS11系統(tǒng)、A9以上處理器的蘋果設(shè)備，就可以體驗ARKit帶來的效果。蘋果成功壓低了AR的門檻，AR再度成為熱門話題。
▲Camera Effects這樣的應(yīng)用，其實真沒什么亮點。
ARKit怎么工作
ARKit實際上有兩個組成部分：ARKit和SceneKit，兩者相輔相成，共同創(chuàng)建出用戶能看到的AR效果。要沒有SceneKit，ARKit就只能是一個相機程序而已。
ARKit利用攝像頭拍攝實景，SceneKit建立虛擬世界。然后，ARKit將實景畫面和虛擬世界的信息疊加，渲染出AR場景。
這個過程中，ARKit分析攝像頭捕捉到的場景，并在其中尋找水平面來放置虛擬對象；利用攝像頭來估算場景中的可見光總亮度，用于給虛擬對象添加符合實際情況的光量。ARKit 使用VIO（Visual Inertial Odometry，視覺慣性里程計）來精準(zhǔn)追蹤現(xiàn)實場景，VIO將攝像頭的數(shù)據(jù)與iOS設(shè)備的Core Motion傳感器數(shù)據(jù)進(jìn)行融合。這樣就能讓設(shè)備準(zhǔn)確知道自己在房間內(nèi)的動作，而且無需額外校準(zhǔn)。
ARKit將攝像頭采集到的視頻的每一幀進(jìn)行處理，采集特征點。其實不論ARKit或者ARCore，采集特征點都是一項基礎(chǔ)工作。特征點可以是物體上的一個角，紋理的一個疤，或者是人臉上的一顆痣，總之就是要能夠獨立或者參與描述對象物體。有了這些特征點，系統(tǒng)就可以在多幀之間追蹤場景，獲取特征點的位置然后估計3D位姿信息，繼而渲染出相應(yīng)視角下的虛擬世界。蘋果A9以上的處理器就能夠滿足快速識別場景、構(gòu)建虛擬內(nèi)容的要求。
ARKit的進(jìn)化
在WWDC 2018上，蘋果推出了ARKit的2.0升級版本。升級版的新特性包括：增強面部追蹤、增強了渲染能力、增強3D目標(biāo)檢測追蹤、增強AR模型和空間結(jié)合的穩(wěn)定性，以及最重要的多人AR實時互動。
3D目標(biāo)測追蹤增強了對現(xiàn)實物體的檢測，能讓虛擬和現(xiàn)實的交互更加真實可靠。在發(fā)布會上，ARKit對樂高的3D建筑進(jìn)行了成功識別，但蘋果對其識別原理未作進(jìn)一步解釋，我們知道谷歌的ARCore有一個Augmented Image的特性，能夠?qū)︻A(yù)先存儲的2D圖片進(jìn)行識別，但暫不支持3D物體識別。ARKit是否支持3D物體識別也是個未知數(shù)。
大會上還演示了一個基于AR的3D測量應(yīng)用Measure。這類應(yīng)用并非蘋果首創(chuàng)，但既然敢拿出來，證明精度也許還不錯。從演示視頻來看，只要通過攝像頭點擊選擇待測物體的兩個端點，就能測量出物體的長寬高等尺寸，進(jìn)而算出體積。對于平面物體，還可以實現(xiàn)全自動的測量，無需手動定位。所有測量數(shù)據(jù)會實時顯示在物體上方，方便瀏覽。
顯然，要達(dá)到這樣的效果，ARKit在對象檢測、實時定位、渲染方面都必須有很高的精度。因此，蘋果要展示的并非Measure測量箱子，而是其背后，AR模型和現(xiàn)實空間結(jié)合的穩(wěn)定性。
▲Measure所展示的并非應(yīng)用，而是背后的技術(shù)。
在iPhone X發(fā)布會上，蘋果公布了基于Face ID的“Animoji”動態(tài)表情功能，簡單說來就是能讓手機里的3D虛擬形象模仿通過iPhone X前置的深度攝像頭，模仿用戶的表情。在WWDC 2018上，這一功能升級成了“Memoji”，讓用戶可以自定義3D形象，甚至可以將3D的臉融合到自己的身體和背景上，創(chuàng)造出虛擬和現(xiàn)實并存的用戶個性形象。這種“捏臉”的模式，也許會是將來AR/VR用戶的“名片”。而增強的面部追蹤，也是實現(xiàn)Memoji的基礎(chǔ)。
ARKit 2.0還帶有眼球追蹤功能，通過iPhone X前置深度攝像頭追蹤眼球來控制屏幕，還可以用眨眼代替點擊操作。有人為此開發(fā)了一個demo，從演示視頻來看，精確度、穩(wěn)定性都還不錯。
其實，早在三星S3上就出現(xiàn)過類似的功能，用眼睛控制屏幕明滅，跟隨眼球滾屏等。一些VR盒子也帶有這樣的操作，通過凝視進(jìn)入下一級目錄。至于用起來感覺怎么樣，基本上是體驗一次就永久吃灰。而蘋果敢亮出來，證明其對用戶體驗是很有信心的。剩下的事情就交給開發(fā)者去思考，這個功能能做出什么花樣來。
可以分享的AR
業(yè)內(nèi)普遍認(rèn)為，多用戶互動和持續(xù)性會話，是AR最急需解決的需求。所謂多用戶互動，就是要讓多個用戶加入到AR場景中，每個用戶能從不同的角度看到相同的虛擬對象。而持續(xù)性會話，就是要讓虛擬對象能夠保持在同一位置。例如，在桌子上放了一所虛擬的房子，這時候用戶退出了會話。之后用戶再次回到會話時，這所房子還在原來的位置上。
▲從iPad里的畫面可以看出，ARKit 2.0已經(jīng)解決了多用戶相機坐標(biāo)統(tǒng)一的問題。
ARKit 2.0解決了這個需求。為了更好地演示其效果，蘋果還邀請了樂高創(chuàng)意總監(jiān)馬丁·桑德斯來作為嘉賓。首先在桌子上有一套組裝好的樂高建筑，當(dāng)桑德斯和其同事打開iPad攝像頭后，這套建筑玩具在屏幕上就變成了一個新的世界：建筑周圍立刻出現(xiàn)了街道、車輛、人物等虛擬形象。作為玩家，可以控制這些人物，可以添加各種新的元素，可以“偷窺”虛擬的建筑內(nèi)部，甚至可以制造一場“火災(zāi)”，然后安排消防車和直升機前去救援。
▲亦真亦幻的“偷窺”，這需要不凡的空間定位能力。
這段演示，除了再一次展示了ARKit 2.0在對象檢測、定位等方面的實力外，也順便秀出了多用戶互動這個解決方案。至于具體的實現(xiàn)細(xì)節(jié)，蘋果并未透露。據(jù)推測應(yīng)該還是識別樂高3D模型之后，通過VIO進(jìn)行定位，可以解決多用戶相機坐標(biāo)系統(tǒng)統(tǒng)一的問題。據(jù)悉，這種互動是依靠設(shè)備間的數(shù)據(jù)傳輸，而不會將數(shù)據(jù)上傳到云端，這對于隱私保護(hù)也很有好處。
至于持續(xù)性會話，首先還得USDZ文件格式。蘋果宣布與皮克斯聯(lián)合開發(fā)了一種新的AR文件格式：Universal Scene Description（USDZ）。這其實是一種未壓縮、未加密的zip格式，并且為共享功能進(jìn)行了優(yōu)化，它可以快速在多個應(yīng)用中加載預(yù)制的3D模型，能夠在iOS生態(tài)圈里進(jìn)行AR共享和交互。USDZ主要面向的不是終端用戶，而是內(nèi)容創(chuàng)作者，他們可以通過日常手段分享、瀏覽和編輯AR文件。
▲USDZ文件專為AR共享而開發(fā)。
既然是一種新的文件格式，怎么推廣就是個問題。但蘋果顯然已經(jīng)完成了大量的談判工作。除了皮克斯外，Adobe、Autodesk、Sketchfab、PTC、Quixel等眾多應(yīng)用程序都宣布將支持該格式。蘋果自家的程序自然是全力兼容，例如Apple News新聞客戶端，今后看新聞大概都會帶著AR交互。
此前，谷歌、Facebook、微軟等都在使用glTF格式。USDZ的誕生，也符合蘋果的秉性：走自己的路，讓別人不得不跟著自己走。蘋果和索尼都是特別喜歡樹立行業(yè)標(biāo)準(zhǔn)的，不論是行業(yè)還是用戶都已經(jīng)習(xí)慣了。但是這也意味著要想在iOS和Android之間共享AR就會出現(xiàn)壁壘，怎么解決目前并不清楚。
▲業(yè)界巨頭永遠(yuǎn)不乏支持者。
有了USDZ，多人交互和持續(xù)性會話就成為了可能。新用戶可以通過讀取USDZ加入到AR場景，新的虛擬對象也可以通過USDZ保存，退出后再重新登入，它依然還在。當(dāng)然蘋果在大會上演示的是實時同步的分享互動，是否支持異步分享—也就是讓另一個用戶在另一個時間來體驗—還有待明確。
各自的難題
過去幾年中，其實不少的創(chuàng)業(yè)公司都在做類似ARKit和ARCore的功能。但這個世界強者才有發(fā)言權(quán)，在蘋果和谷歌的夾擊里，這些小公司必須轉(zhuǎn)型來適應(yīng)新的生態(tài)。但至少，他們不用再冒著風(fēng)險建立亂七八糟的AR標(biāo)準(zhǔn)，而是可以把目標(biāo)和精力都放到內(nèi)容上面。
相對于谷歌的ARCore，ARKit有著先天的普及優(yōu)勢。原因在于安卓的生態(tài)系統(tǒng)比較碎片化，廠商眾多幫派林立，各家硬件標(biāo)準(zhǔn)都不一樣，讓ARCore很難施展手腳。谷歌目前也只針對三星Galaxy S8和自家的Pixel作了優(yōu)化，要想普及開來，就必須考慮如何為各式各樣的安卓機型的攝像頭提供服務(wù)，或者要求手機制造商采用特定的部件，而這無疑會增加成本。此外，三星S8到今年2月全球共售出3700萬部，谷歌Pixel在2017年全年賣出了390萬部。它們還得激活并升級了Android N才能使用ARCore。這就意味著，能支持ARCore的硬件實際上少于4000萬部。
▲盡管很多人不待見蘋果，但蘋果的賺錢實力依然恐怖，這也是ARKit普及的要素。
反觀蘋果，對自家設(shè)備上的所有硬件和軟件都有絕對的控制權(quán)，要想校準(zhǔn)也容易得多。并且2015年9月以后發(fā)布的每一款iPhone和iPad都能支持ARKit。據(jù)統(tǒng)計，從2015年10月至2017年6月，蘋果賣出了3.81億部iPhone，今年僅第一季度就賣出了7730萬部iPhone，這還沒包括iPad的銷售數(shù)據(jù)。因此，能夠支持ARKit的設(shè)備基數(shù)和谷歌完全不在一個數(shù)量級，蘋果也非常自信地表示，iPhone將會成為最大的AR平臺。
當(dāng)然，憑借在Tango項目積累的經(jīng)驗，谷歌在用戶體驗上，也許可以做到不輸給蘋果。
共同的難題
關(guān)于AR，我們已經(jīng)談了很多，但大多數(shù)都是基于期待和幻想。而回到現(xiàn)實，不論是ARKit還是ARCore都面臨一個難題：沒有殺手級的應(yīng)用程序。也就是說，用戶到底能用AR干什么？
《Pokémon Go》讓任天堂賺得眉開眼笑，但AR不應(yīng)該只能用于游戲體驗。當(dāng)多人交互的AR出現(xiàn)之后，AR應(yīng)該是一個共享實體世界的“記憶”，它與通信、協(xié)作、學(xué)習(xí)、搜索等相關(guān)聯(lián)，讓用戶在真實空間里協(xié)作、集成和配置3D內(nèi)容來解決實際問題，不是僅僅像分享一段視頻一樣，看完就算了。這樣，AR才能完成從玩具到工具的進(jìn)化。目前大部分基于ARKit 和 ARCore 的 apps，其用戶體驗非常有局限性。AR的火爆和“普及”，其實就是讓Youtube上的一堆演示視頻增加了收視熱度而已—說到底，反而讓一個視頻網(wǎng)站賺了。
▲2000年誕生的AR游戲《ARQuake》，不過沒有下文。畢竟室外場景的識別和定位，到今天都沒能徹底解決。
我們有理由相信這種殺手級的AR會先在iOS上出現(xiàn)，因為至少蘋果對于AR更加上心。在WWDC 2018上，我們看到了iOS 12、ARKit 2.0、USDZ，也就看到了蘋果為建立這個生態(tài)圈所做的努力。
會上，ARKit的發(fā)布順序排在最前面，介紹時長也相當(dāng)長，還邀請了樂高和Adobe作為嘉賓。并且，ARKit竟然和iOS、WatchOS這樣的系統(tǒng)并列，是唯一一項被賦予了世代編號的軟件功能。蘋果也許想把ARKit發(fā)展成一個獨立的平臺，或者搭載在某一個AR硬件平臺中。帶著深度攝像頭的iPhone X，可能會是這個硬件平臺的先驅(qū)。而ARCore在I/O大會上，幾乎就是一個群眾演員的待遇，當(dāng)然我們也相信，谷歌正在努力追趕。
▲ARKit在WWDC 2018的待遇，比ARCore在I/O大會的待遇好得多。
▲AR導(dǎo)航。我們需要的正是這樣的AR，而不只是在桌面上放個虛擬恐龍。
AR曾經(jīng)火過，但因為技術(shù)原因很快衰敗。筆者7年前曾關(guān)注過AR，如今7年了，AR當(dāng)年勾繪的藍(lán)圖，也終于有了實現(xiàn)的基礎(chǔ)。也許，正如蘋果CEO庫克所說的：“讓AR走上正軌需要花費一些時間，但意義深遠(yuǎn)?！?
