筆者在上篇文章中對ARKit進行了簡單介紹,在本篇文章中主要介紹ARKit中經常用到的API及使用方法。了解這些API的含義以方便我們后邊的深入學習。
1.1-ARAnchor
用于在AR場景中放置物體的一個現實世界的位置和方向,通常我們無需構造,因為添加一個3D物體時ARKit會有代理告知我們物體的ARAnchor實例。
ARAnchor擁有屬性:transform,類型為matrix_float4x4(是一個4x4的矩陣),
構造方法:-(instancetype)initWithTransform:(matrix_float4x4)transform;
1.2-ARPlaneAnchor
繼承自ARAnchor,是在ARSession中監(jiān)測到的現實平面的位置和方向。
1.3-ARSession
一個管理增強現實所需的設備攝像頭和動作處理的共享的對象。
ARSession對象會協調增強現實過程中的大部分處理,這些處理包括:從設備的動作感應硬件讀取數據、控制設備內置攝像頭和對捕捉到的攝像圖像進行分析。ARSession會整合這些結果并在設備反饋的現實空間和模型化AR內容的虛擬空間之間建立一種對應關系。
任何一個用ARKit實現的AR場景都需要一個單獨的ARSession對象。如果使用了ARSCNView或者ARSKView對象來創(chuàng)建了AR場景的話,一個ARSession實例已經包含在這個View之中了。如果通過別的渲染器來建立AR內容,就需要手動創(chuàng)建并維持一個ARSession對象。
運行一個session需要一個session configuration,這是一個ARSessionConfiguration或其子類ARWorldTrackingSessionConfiguration的實例。這些類決定了ARKit如何追蹤一個設備的位置以及相對于現實世界的運動,因此影響了所創(chuàng)建的AR體驗。
```
1.對象提供接收視頻圖像捕獲和跟蹤信息,或對會話狀態(tài)的變化,代理是捕獲視頻流的(方法可以實現接收視頻幀圖像捕獲和跟蹤狀態(tài)的AR會話。) var
self.arsession.delegate = self;
2.暫停 func
[self.arsession pause];
3.支持多線程的 var
self.arsession.delegateQueue ;
4.翻譯為當前幀
ARFrameframe =? self.arsession.currentFrame;
5.運行追蹤者 func
[self.arsession runWithConfiguration:self.arsessionconfiguration];
6.增加刪除錨點,func
ARAnchorar = [[ARAnchor alloc]initWithTransform:matrix_sub];
[self.arsession addAnchor:ar ];
[self.arsession removeAnchor:ar];
```
1.4-ARFrame
表示追蹤相機當前的狀態(tài),這個狀態(tài)不僅僅只是位置,還有圖像幀及時間等參數,一個運行的ARSession會不斷的通過設備相機捕捉視頻幀。對于每一個frame,ARKit會結合圖像和從設備運動感應硬件獲得的數據來分析設備的真實位置。這些追蹤信息和視圖參數就是以ARFrame對象來保存和傳遞的。
```
@interfaceARFrame:NSObject/**
時間戳.
*/@property(nonatomic,readonly)NSTimeIntervaltimestamp;/**
緩沖區(qū)圖像幀
*/@property(nonatomic,readonly) CVPixelBufferRef capturedImage;/**
相機(表示這個ARFrame是哪一個相機的,iPhone7plus有兩個攝像機)
*/@property(nonatomic,copy,readonly) ARCamera *camera;/**
返回當前相機捕捉到的錨點數據(當一個3D虛擬模型加入到ARKit中時,錨點值得就是這個模型在AR中的位置)
*/@property(nonatomic,copy,readonly)NSArray *anchors;/**
燈光,詳情可見本章節(jié)ARLightEstimate類介紹(指的是燈光強度 一般是0-2000,系統(tǒng)默認1000)
*/@property(nonatomic,copy,nullable,readonly) ARLightEstimate *lightEstimate;/**
特征點(應該是捕捉平地或者人臉的,比較蘋果有自帶的人臉識別功能)
*/@property(nonatomic,nullable,readonly) ARPointCloud *rawFeaturePoints;/**
根據2D坐標點搜索3D模型,這個方法通常用于,當我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標點(手機屏幕某一點)
ARHitTestResultType:捕捉類型? 點還是面
(NSArray *):追蹤結果數組? 詳情見本章節(jié)ARHitTestResult類介紹
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;/**
相機窗口的的坐標變換(可用于相機橫豎屏的旋轉適配)
*/- (CGAffineTransform)displayTransformWithViewportSize:(CGSize)viewportSize orientation:(UIInterfaceOrientation)orientation;
@end
```
1.5-ARCamera
表示AR session中一個被捕獲的視圖幀相關的相機位置和視圖特征的信息。
一般我們無需去創(chuàng)建一個相機,因為當我們初始化一個AR試圖時,他會為我們默認創(chuàng)建一個相機,而且這個相機就是攝像頭的位置,同時也是3D世界中的原點所在(x=0,y=0,z=0)
1.6-ARSessionConfiguration
一個僅用來追蹤設備方向的基礎設置,主要就是追蹤相機的配置。
所有的AR configuration都是用來建立現實世界和虛擬3D坐標空間的對應關系的。當app將這些虛擬內容和實時的攝像畫面一起展示給用戶,用戶會產生一種這些虛擬內容是現實世界的一部分的錯覺。
創(chuàng)建和維持各空間之間的對應關系需要追蹤設備的移動。ARSessionConfiguration類用三自由度(3DOF,也就是三個旋轉坐標:roll(繞x軸)、pitch(繞y軸)和yaw(繞z軸))。
這種最基礎級別的運動追蹤可以創(chuàng)建最基本的AR體驗:一個虛擬物體可以出現在部分現實世界中,即使用戶旋轉設備從上、下或者側面來觀察這個物體。但是,無法追蹤非平凡(non-trivially)的位置的變化,從而導致AR幻覺破碎,虛擬物體會相對于現實世界漂移。如用戶無法看到虛擬物體的背面和其它部分。
ARSessionConfiguration類創(chuàng)建了有限的但是可用于所有iOS設備的AR體驗,而增強的AR體驗只在某些設備上可用。
```
//會話追蹤配置類@interfaceARSessionConfiguration: NSObject /**
當前設備是否支持,一般A9芯片以下設備不支持
*/@property(class, nonatomic, readonly) BOOL isSupported;/**
會話的對其方式,這里的對其指的是3D世界的坐標。枚舉值見下方
*/@property(nonatomic, readwrite) ARWorldAlignment worldAlignment;/**
是否需要自適應燈光效果,默認是YES
*/@property(nonatomic, readwrite, getter=isLightEstimationEnabled) BOOL lightEstimationEnabled;@end//世界會話追蹤配置,蘋果建議我們使用這個類,這個子類只有一個屬性,也就是可以幫助我們追蹤相機捕捉到的平地@interfaceARWorldTrackingSessionConfiguration: ARSessionConfiguration/**
偵查類型。枚舉值見下方(默認偵查平地)
*/@property(nonatomic, readwrite) ARPlaneDetection planeDetection;
@end
```
1.7-ARWorldTrackingSessionConfiguration
一個用于追蹤設備方向和位置,并且監(jiān)測現實世界平面的設置,它是ARSessionConfiguration的子類,并處于同一個API文件中。
相比于ARSessionConfiguration,ARWorldTrackingSessionConfiguration可以從六自由度來追蹤設備的運動,除了上述三自由度,還包括三個平移坐標(表示在x、y、z軸上的移動)。
這種級別的追蹤可以創(chuàng)建一個沉浸式的AR體驗,即無論用戶旋轉或者移動設備來觀察,虛擬物體都會位于相對于現實世界的同一個位置。
如果設置了planeDetection,ARKit會分析場景來找到現實世界中的平面。對每一個被監(jiān)測到的平面,ARKit會自動添加一個ARPlaneAnchor對象到該session。
1.8-ARLightEstimate
與被捕捉的視圖幀相關的分析場景的燈光數據。
如果在AR scene上覆蓋其它圖形,可以使用在明暗處理算法中使用這些信息來使得這些圖形可以匹配現實世界的光照情況。(ARSCNView類會自動使用這些數據來配置光照)
```
@interfaceARLightEstimate: NSObject /**
燈光強度? 范圍0-2000 默認1000
*/@property(nonatomic, readonly) CGFloat ambientIntensity;@end
```
1.9-ARSceneView
一個用來展示增強相機視圖和3D SceneKit內容的AR體驗的頁面。
ARSceneView類提供了最簡單的方法來創(chuàng)建增強了現實的體驗,即將虛擬的3D內容和設備相機反映的現實世界結合起來。當運行一個由ARSession對象提供的頁面時:
頁面會自動的渲染有由設備相機提供的實時影像作為場景的背景。
頁面的場景(scene,由SceneKit提供)的世界坐標系統(tǒng)會直接映射成由session configuration簡歷的AR世界的坐標系統(tǒng)。
頁面會自動的移動它的SceneKit相機來匹配現實世界中設備的移動。
因為ARKit會自動將SceneKit空間匹配到現實世界,所以,放置一個虛擬物體讓它能夠保持現實世界的位置只需要正確地設置SceneKit的位置即可。
使用ARAnchor類來追蹤添加在場景中的物體并不是必須的,但是,如果實現了ARSCNViewDelegate方法,就可以添加SceneKit內容到任一由ARKit監(jiān)測到錨點上。
```
@interfaceARSCNView:SCNView/**
代理
*/@property(nonatomic,weak,nullable)id delegate;/**
AR會話
*/@property(nonatomic,strong) ARSession *session;/**
場景
*/@property(nonatomic,strong)SCNScene*scene;/**
是否自動適應燈光
*/@property(nonatomic)BOOLautomaticallyUpdatesLighting;/**
返回對應節(jié)點的錨點,節(jié)點是一個3D虛擬物體,它的坐標是虛擬場景中的坐標,而錨點ARAnchor是ARKit中現實世界的坐標。
*/- (nullableARAnchor *)anchorForNode:(SCNNode*)node;/**
返回對應錨點的物體
*/- (nullableSCNNode*)nodeForAnchor:(ARAnchor *)anchor;/**
根據2D坐標點搜索3D模型,這個方法通常用于,當我們在手機屏幕點擊某一個點的時候,可以捕捉到這一個點所在的3D模型的位置,至于為什么是一個數組非常好理解。手機屏幕一個是長方形,這是一個二維空間。而相機捕捉到的是一個由這個二維空間射出去的長方體,我們點擊屏幕一個點可以理解為在這個長方體的邊緣射出一條線,這一條線上可能會有多個3D物體模型
point:2D坐標點(手機屏幕某一點)
ARHitTestResultType:捕捉類型? 點還是面
(NSArray *):追蹤結果數組? 詳情見本章節(jié)ARHitTestResult類介紹
數組的結果排序是由近到遠
*/- (NSArray *)hitTest:(CGPoint)point types:(ARHitTestResultType)types;@end//代理#pragma mark - ARSCNViewDelegate//代理的內部實現了SCNSceneRendererDelegate:scenekit代理 和ARSessionObserver:ARSession監(jiān)聽(KVO機制)@protocolARSCNViewDelegate@optional/**
自定義節(jié)點的錨點
*/- (nullableSCNNode*)renderer:(id)renderer nodeForAnchor:(ARAnchor *)anchor;/**
當添加節(jié)點是會調用,我們可以通過這個代理方法得知我們添加一個虛擬物體到AR場景下的錨點(AR現實世界中的坐標)
*/- (void)renderer:(id)renderer didAddNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
將要刷新節(jié)點
*/- (void)renderer:(id)renderer willUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
已經刷新節(jié)點
*/- (void)renderer:(id)renderer didUpdateNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;/**
移除節(jié)點
*/- (void)renderer:(id)renderer didRemoveNode:(SCNNode*)node forAnchor:(ARAnchor *)anchor;
@end
```
1.10-SRSKView
展示2D內容,與ARSceneView類似,這里不做重復介紹。
1.11-ARHitTestResult
通過分析一個點在一個AR session中的設備相機視圖而獲得的現實平面的信息。
如果使用SceneKit或者SpiriteKit來展示一個AR體驗,可以使用以下方法來搜索位于視圖某一點的現實世界內容的相機圖像:
ARSCNView hitTest:types:
ARSKView hitTest:types:
另外,使用ARFrame hitTest:types:方法可以搜索現實世界內容的相機圖像。由于frame是獨立于view的,對于這個方法來說,你所傳遞的點是標準化過的圖像坐標,即坐標范圍為(0,1)。
這些方法會返回一個ARHitTestResult對象的數組來描述找到的內容。
```
//捕捉類型枚舉typedefNS_OPTIONS(NSUInteger, ARHitTestResultType) {/** 點. */ARHitTestResultTypeFeaturePoint? ? ? ? ? ? ? = (1<<0),/** 水平面 y為0. */ARHitTestResultTypeEstimatedHorizontalPlane? = (1<<1),/** 已結存在的平面. */ARHitTestResultTypeExistingPlane? ? ? ? ? ? = (1<<3),/** 已結存在的錨點和平面. */ARHitTestResultTypeExistingPlaneUsingExtent? = (1<<4),}NS_SWIFT_NAME(ARHitTestResult.ResultType);/**
捕捉類型
*/@property(nonatomic,readonly) ARHitTestResultType type;/**
3D虛擬物體與相機的距離(單位:米)
*/@property(nonatomic,readonly)CGFloatdistance;/**
本地坐標矩陣(世界坐標指的是相機為場景原點的坐標,而每一個3D物體自身有一個場景,本地坐標就是相對于這個場景的坐標)類似于frame和bounds的區(qū)別
*/@property(nonatomic,readonly) matrix_float4x4 localTransform;/**
世界坐標矩陣
*/@property(nonatomic,readonly) matrix_float4x4 worldTransform;/**
錨點(3D虛擬物體,在虛擬世界有一個位置,這個位置參數是SceneKit中的SCNVector3:三維矢量),而錨點anchor是這個物體在AR現實場景中的位置,是一個4x4的矩陣
*/@property(nonatomic,strong,nullable,readonly) ARAnchor *anchor;
@end
```
各個類之間的交互流程:
ARCamera捕捉現實視圖,并把其信息交由ARSession處理。ARCamera捕獲的數據是一個一個的ARFrame構成。
ARSession類會管理對現實世界的追蹤和移動,并整合和建立現實世界和虛擬世界的對應關系,它追蹤的內容由ARSessionConfiguration來決定。它會將ARCamera捕獲到的數據轉化成虛擬世界可展示的數據交給ARSceneView。
一個基于SceneView的ARSceneView以現實視圖為背景,展示SceneView形成的3D物體,其中的展示現實視圖的數據就是從ARSession獲得,每一個虛擬物體的場景(Scene)都對應一個ARSession類。
ARSceneView作為SceneView的子類,是由一個一個的節(jié)點(node)組成,當從ARSession獲得現實視圖的相應數據后,ARSceneView會構成相應節(jié)點并將其作為根節(jié)點(背景)。