二 camera結(jié)構(gòu)

本部分內(nèi)容主要解釋如下幾個(gè)問題：1，camera結(jié)構(gòu)是怎么樣的？各部分有何作用？2，如何實(shí)現(xiàn)對焦？3，DSP/ISP結(jié)構(gòu)和作用？

2.1，相機(jī)結(jié)構(gòu)是怎么樣的？各部分有何作用？

單反主要包括機(jī)身和鏡頭，手機(jī)camera也主要包括sensor，鏡頭和馬達(dá)等三部分，其基本組件相同，都是由鏡頭完成視角和光線的聚集，對焦馬達(dá)系統(tǒng)完成準(zhǔn)確的對焦，sensor等完成可見光的感應(yīng)，然后通過自己集成的DSP完成數(shù)字圖像處理。其中，以佳能相機(jī)的工作原理為例，可以參看其官網(wǎng)數(shù)碼單反相機(jī)攻略關(guān)于基本概念的解釋，下文主要介紹手機(jī)camera結(jié)構(gòu)和工作原理。

佳能官網(wǎng)相關(guān)截圖

手機(jī)camera基本的物理組件就是模組，如下圖所示，主要組件之一鏡頭，由多個(gè)鏡片組組成，包括塑料片以及玻璃片，樹脂鏡片比較貴，很少用。例如，大家常說的5P1G鏡頭組就是指該鏡頭由5片塑料片，1片玻璃片組成。一般長焦距的需要更多的鏡片組，所以看到長焦的鏡頭會相對更長點(diǎn)，當(dāng)然還有潛望式的設(shè)計(jì)方法。另外，玻璃材料的色散等控制明顯優(yōu)于塑料，但價(jià)格稍貴。

Camera模組結(jié)構(gòu)

另外一個(gè)重要部件就是感光區(qū)，主要指CCD或者CMOS傳感器。CCD（Charge-coupled Device）是電感耦合元件，CMOS（Compementary Metal Oxide Semiconductor）是互補(bǔ)性金屬氧化物半導(dǎo)體，CCD工藝技術(shù)發(fā)展的比較早，技術(shù)成熟，成像效果好，目前高端單反主流還是CCD，但CMOS發(fā)展勢頭迅猛，集成度高，成本低，工藝技術(shù)正在不斷突破，值得一提的是手機(jī)上雖然普遍采用低成本的CMOS工藝，但未來一定會尋求更好的技術(shù)進(jìn)步。如下圖所示，CCD每個(gè)像素電荷信號是逐行讀出，然后再放大，且ADC和信號放大器共需要3-4組電源，功耗高；而CMOS可以做到逐個(gè)讀出，并且輸出信號之前就可以單獨(dú)放大，且需要一組電源就可以完成，但是信噪比稍低。

CCD,CMOS框架圖以及電路圖

CCD/CMOS圖像傳感器最基本結(jié)構(gòu)是像素，如下圖所示，從上到下包括微透鏡，CFA（主流是拜爾陣列），金屬布線，光電二極管以及其他晶體管。當(dāng)然，結(jié)構(gòu)上還有很多不同類型，比如說BIS和FIS等等，光電二極管是主要感光的元件，然后通過其他晶體管進(jìn)行選通、跟隨、開關(guān)控制等等；還有一些金屬布線，二氧化硅阻擋層等等，這些部分在實(shí)際制作過程中需要盡可能地少。另外，像素一方面可以用來感光，同時(shí)，有一部分像素用來相位對焦（PDAF）。這些PD點(diǎn)通光量只有正常像素亮度的一半，圖像上會顯示出黑點(diǎn)/壞點(diǎn)，后期需要在ISP中進(jìn)行校準(zhǔn)。

像素結(jié)構(gòu)圖

camera工作流程大致如下圖所示：

camera工作流程圖

2.2，如何實(shí)現(xiàn)自動對焦？

對焦是實(shí)現(xiàn)清晰物像的重要一步，首先我是認(rèn)識一下什么是清楚的物像。主要涉及兩個(gè)概念，景深和彌散斑。如下圖所示，對上焦的物像在底片上成像的點(diǎn)是個(gè)圓形斑，且斑點(diǎn)很小，可以簡單的理解這就是一個(gè)彌散斑，像面上的彌散斑直徑越小，成像越清晰，且在一定范圍內(nèi)，人眼都是看得清楚的，對應(yīng)的物像距離就稱之為景深。景深范圍內(nèi)，一般都稱之為清晰的像，沒對上焦的物體在底片上形成的彌散斑過大，導(dǎo)致無法分辨。

對焦光線簡圖

那在實(shí)際攝像過程中是如何首先對焦的呢？這個(gè)時(shí)候是需要輔助對焦系統(tǒng)，基本原理是通過激光、多次拍照等提出相位或者對比度等信息，通過算法識別對焦情況計(jì)算測距，然后再借助馬達(dá)等工具，將鏡頭推到合適的距離完成清晰成像。目前主要由兩種對焦方式，PDAF（相位對焦）和CDAF（對比度對焦），目前PDAF被廣泛應(yīng)用于單反相機(jī)，但在手機(jī)上精度能力還有一定缺陷，往往還需要CDAF輔助對焦。

PDAD和CDAF差異圖

相位對焦，它的原理是在CCD或者CMOS上專門做一些PD的像素點(diǎn)，并且成對出現(xiàn)，分別左、右遮擋一半的通光量，專門用來進(jìn)行相位檢測，通過像素之間的距離及其變化等來決定對焦的偏移值從而實(shí)現(xiàn)準(zhǔn)確對焦，并且計(jì)算一次即可實(shí)現(xiàn)對焦。而CDAF主要是拍攝不同焦距下的照片，計(jì)算圖片的對比度，確定最合適的對比度，計(jì)算出該點(diǎn)對應(yīng)的對焦距離，然后將距離信息指令發(fā)布給音圈馬達(dá)，將鏡片推到指定位置完成自動對焦。

（PDAF對焦示意圖來源：https://www.cnblogs.com/wxl845235800/p/9725250.html）

（CDAF對焦示意圖來源：https://www.cnblogs.com/wxl845235800/p/9725250.html）

2.3，DSP/ISP結(jié)構(gòu)和作用？

DSP（digital signal processing）主要功能是進(jìn)行數(shù)字信號處理，光信號經(jīng)過sensor感光，AD轉(zhuǎn)換器之后就成為了數(shù)字信號，流程可以參考上文所述的camera工作流程圖。常見的白平衡校準(zhǔn)，伽馬校準(zhǔn)，色彩校準(zhǔn)，壞點(diǎn)檢測等等，其中還包括去噪，圖像復(fù)原，增強(qiáng)，壓縮以及色彩空間轉(zhuǎn)換等等，都在這一塊進(jìn)行的，跟ISP（Image Signal Processor圖像信號處理）相似，ISP類似與DSP中的一部分，主要都是數(shù)學(xué)模型，算法原理相關(guān)的處理，但這一部分對最終的圖像質(zhì)量有著非常大的影響。

ISP控制結(jié)構(gòu)圖

ISP的主要包括三部分，第一部分是ISP控制單元和基本算法庫，是總的控制中樞和算法庫中心；第二部分是3A信息算法庫，3A即AE（自動曝光），AF（自動對焦）和AWB（自動白平衡），這是三個(gè)最基本也是最重要的拍照參數(shù)；第三個(gè)是sensor庫，這一塊和sensor相關(guān)聯(lián)，它們?yōu)榛舅惴◣熳院瘮?shù)回調(diào)，以適配sensor的差異化，得到最終的初始化參數(shù)，包括基本的曝光時(shí)間，增益以及焦馬達(dá)的步長等等。ISP中涉及了非常多的基礎(chǔ)圖像處理算法，此處暫不做延伸，另外，在軟件端也有一些圖像處理的相關(guān)算法，包括現(xiàn)在非?；鸬纳疃葘W(xué)習(xí)，高動態(tài)處理等等，以減輕CPU 的內(nèi)存。