二 camera结构

本部分内容主要解释如下几个问题：1，camera结构是怎么样的？各部分有何作用？2，如何实现对焦？3，DSP/ISP结构和作用？

2.1，相机结构是怎么样的？各部分有何作用？

单反主要包括机身和镜头，手机camera也主要包括sensor，镜头和马达等三部分，其基本组件相同，都是由镜头完成视角和光线的聚集，对焦马达系统完成准确的对焦，sensor等完成可见光的感应，然后通过自己集成的DSP完成数字图像处理。其中，以佳能相机的工作原理为例，可以参看其官网数码单反相机攻略关于基本概念的解释，下文主要介绍手机camera结构和工作原理。

佳能官网相关截图

手机camera基本的物理组件就是模组，如下图所示，主要组件之一镜头，由多个镜片组组成，包括塑料片以及玻璃片，树脂镜片比较贵，很少用。例如，大家常说的5P1G镜头组就是指该镜头由5片塑料片，1片玻璃片组成。一般长焦距的需要更多的镜片组，所以看到长焦的镜头会相对更长点，当然还有潜望式的设计方法。另外，玻璃材料的色散等控制明显优于塑料，但价格稍贵。

Camera模组结构

另外一个重要部件就是感光区，主要指CCD或者CMOS传感器。CCD（Charge-coupled Device）是电感耦合元件，CMOS（Compementary Metal Oxide Semiconductor）是互补性金属氧化物半导体，CCD工艺技术发展的比较早，技术成熟，成像效果好，目前高端单反主流还是CCD，但CMOS发展势头迅猛，集成度高，成本低，工艺技术正在不断突破，值得一提的是手机上虽然普遍采用低成本的CMOS工艺，但未来一定会寻求更好的技术进步。如下图所示，CCD每个像素电荷信号是逐行读出，然后再放大，且ADC和信号放大器共需要3-4组电源，功耗高；而CMOS可以做到逐个读出，并且输出信号之前就可以单独放大，且需要一组电源就可以完成，但是信噪比稍低。

CCD,CMOS框架图以及电路图

CCD/CMOS图像传感器最基本结构是像素，如下图所示，从上到下包括微透镜，CFA（主流是拜尔阵列），金属布线，光电二极管以及其他晶体管。当然，结构上还有很多不同类型，比如说BIS和FIS等等，光电二极管是主要感光的元件，然后通过其他晶体管进行选通、跟随、开关控制等等；还有一些金属布线，二氧化硅阻挡层等等，这些部分在实际制作过程中需要尽可能地少。另外，像素一方面可以用来感光，同时，有一部分像素用来相位对焦（PDAF）。这些PD点通光量只有正常像素亮度的一半，图像上会显示出黑点/坏点，后期需要在ISP中进行校准。

像素结构图

camera工作流程大致如下图所示：

camera工作流程图

2.2，如何实现自动对焦？

对焦是实现清晰物像的重要一步，首先我是认识一下什么是清楚的物像。主要涉及两个概念，景深和弥散斑。如下图所示，对上焦的物像在底片上成像的点是个圆形斑，且斑点很小，可以简单的理解这就是一个弥散斑，像面上的弥散斑直径越小，成像越清晰，且在一定范围内，人眼都是看得清楚的，对应的物像距离就称之为景深。景深范围内，一般都称之为清晰的像，没对上焦的物体在底片上形成的弥散斑过大，导致无法分辨。

对焦光线简图

那在实际摄像过程中是如何首先对焦的呢？这个时候是需要辅助对焦系统，基本原理是通过激光、多次拍照等提出相位或者对比度等信息，通过算法识别对焦情况计算测距，然后再借助马达等工具，将镜头推到合适的距离完成清晰成像。目前主要由两种对焦方式，PDAF（相位对焦）和CDAF（对比度对焦），目前PDAF被广泛应用于单反相机，但在手机上精度能力还有一定缺陷，往往还需要CDAF辅助对焦。

PDAD和CDAF差异图

相位对焦，它的原理是在CCD或者CMOS上专门做一些PD的像素点，并且成对出现，分别左、右遮挡一半的通光量，专门用来进行相位检测，通过像素之间的距离及其变化等来决定对焦的偏移值从而实现准确对焦，并且计算一次即可实现对焦。而CDAF主要是拍摄不同焦距下的照片，计算图片的对比度，确定最合适的对比度，计算出该点对应的对焦距离，然后将距离信息指令发布给音圈马达，将镜片推到指定位置完成自动对焦。

（PDAF对焦示意图来源：https://www.cnblogs.com/wxl845235800/p/9725250.html）

（CDAF对焦示意图来源：https://www.cnblogs.com/wxl845235800/p/9725250.html）

2.3，DSP/ISP结构和作用？

DSP（digital signal processing）主要功能是进行数字信号处理，光信号经过sensor感光，AD转换器之后就成为了数字信号，流程可以参考上文所述的camera工作流程图。常见的白平衡校准，伽马校准，色彩校准，坏点检测等等，其中还包括去噪，图像复原，增强，压缩以及色彩空间转换等等，都在这一块进行的，跟ISP（Image Signal Processor图像信号处理）相似，ISP类似与DSP中的一部分，主要都是数学模型，算法原理相关的处理，但这一部分对最终的图像质量有着非常大的影响。

ISP控制结构图

ISP的主要包括三部分，第一部分是ISP控制单元和基本算法库，是总的控制中枢和算法库中心；第二部分是3A信息算法库，3A即AE（自动曝光），AF（自动对焦）和AWB（自动白平衡），这是三个最基本也是最重要的拍照参数；第三个是sensor库，这一块和sensor相关联，它们为基本算法库注册函数回调，以适配sensor的差异化，得到最终的初始化参数，包括基本的曝光时间，增益以及焦马达的步长等等。ISP中涉及了非常多的基础图像处理算法，此处暂不做延伸，另外，在软件端也有一些图像处理的相关算法，包括现在非常火的深度学习，高动态处理等等，以减轻CPU 的内存。