[總結] Kernel Foveated Rendering

論文標題:

Kernel Foveated Rendering

關鍵詞:

關注點渲染、感知、對數(shù)極坐標映射、眼睛跟蹤、虛擬現(xiàn)實

在傳統(tǒng)的渲染中,由于對畫面中的每一個細節(jié)都需要精確計算,因此會花費較多的渲染時間。但是,用戶在觀測該畫面的時候,并無法對每一個細節(jié)都全神貫注。因此,本文提出一種關注點渲染的方式,較大程度上地優(yōu)化渲染流程。通過重點渲染關注點,減少對其余內容的渲染,將速度提升至3-6倍。該文獻的方法主要是,通過在經典對數(shù)極坐標映射中嵌入多項式核函數(shù),進行參數(shù)化關注點繪制。同時,由于是參數(shù)化形式的轉換方式,該文獻對不同參數(shù)得出來的結果進行用戶研究,最終得出相關的經驗性參數(shù)。

研究結果:

1. 研究問題

1.1 背景
在制作光場照片的時候,需要對同一個物體進行不同方位的拍照。但是由于照片眾多,同時一張照片精細度較高,導致計算較為耗時。

1.1.1 基于人眼注視點的數(shù)據(jù)

image.png
  • 人眼視角雖然寬,但是每個部位的可接受分辨率是不一樣的,只有視角前方的可接受分辨率最高。

1.1.2 2017年研究顯示

image.png
  • 在VR中,人眼具有高分辨率注視點的區(qū)域就只有4%。
  • 對于剩下的部分,人眼并沒有用全分辨率去感知這個區(qū)域。

1.2 假設


image.png
  • 是否可以將關注點重點渲染,其余部分稍微虛化一些?

2. 算法構造

2.1 轉換方程
LogPloar坐標轉換(笛卡爾轉LogPolar再轉笛卡爾坐標)


image.png
image.png
  • 因為有l(wèi)og操作,因此距離圓心越近的數(shù)據(jù),在Log-Polar那邊就會顯得越大。

2.2 面積大小


image.png
  • 當數(shù)據(jù)轉化回笛卡爾坐標系之后,中間信息不被壓縮,邊緣信息被壓縮。

2.3 示例


image.png

2.4 改善畫質

  • 通過:改變像素分布率

  • 通過核函數(shù),改變像素分布律

  • 該方式,可以靈活變化各種數(shù)據(jù)之間的占比


    image.png
  • 目的:


    image.png
  • 通過該方程轉化,可以模擬出人眼中像素點的分布。同時,人眼無法區(qū)分出圖片是否被壓縮過。

2.4 最終算法
2.4.1 參數(shù)

  • buffer


    原圖寬度/LogPolar寬度
    • 隨著σ的增大,中心幾乎不變,但是邊緣變虛。因此需要把握住σ的大小。


      image.png
  • 核函數(shù)參數(shù) α
核函數(shù)公式
  • 隨著α增大,邊緣越來越清晰,因此需要注意α的大小。


    image.png

2.4.2 渲染流程

  • 將渲染原料渲染后,變化為Log Polar坐標系
  • 對其進行反渲染,得到效率較高的渲染結果


    image.png

2.4.3 加速結果

  • 在做完用戶測試后,σ=1.8,α=4的時候效果較能被接受,計算時間為原來的1/3。


    image.png

對設計的啟示:

  • 該文章相當巧妙,通過研究人視覺的關注點,將算力集中于該部分,以提高渲染效率。

  • 該文章也將壓縮過程量化,通過具體函數(shù)完成轉換。之后可以直接選定關注點后,進行快速壓縮。同時,通過參數(shù)化算法,對得出來的像素結果再做映射,通過算法參數(shù)調節(jié)映射結果。算法本身并不難,但思路相當巧妙。

  • 傳統(tǒng)渲染方向的論文會將研究重心放在渲染模型時三角面的快速近似計算。但該文章很好地將計算機算法與人的可視化觀測方式結合在一起,從人體本身出發(fā),設計算法。這部分可能可以被認為是另外一種形式的交互,隱式交互。

  • 作者另外的一篇文章講的是左眼與右眼,哪一只眼為主視眼,哪一只為副。該結果也能在某種程度上輔助圖形學可視化。

未來:

  • 目前該文章只能針對靜態(tài)圖片,期待未來加入視頻元素。

  • 該方法不適用于常規(guī)可視化屏幕,更適用于VR結果,因為VR本身設備可以捕捉瞳孔運動,可以通過該數(shù)據(jù),對圖片進行快速渲染,降低渲染延遲性。

  • 期待之后能在人機交互的方向上,探索到人與機器更為本質的相關性,而非僅僅是從計算機角度考慮,然后做可視化。也可以嘗試反過來推理,用戶的身體機能是否真的有如此精確的需求,如果沒有,其實可以對傳統(tǒng)算法、傳統(tǒng)模型進一步優(yōu)化。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容