数字成像系统认识

成像系统的应用多点绽放，全面开花

• 智能手机

• ADAS – 车载至少7个摄像头

• 安防及物联网

• 智能家居 – 门锁、猫眼、老人看护

• 机器视觉

• 影视

• 特种消费 – 运动相机

• 无人机

• 军工

• 医疗影像

ISP技术方兴未艾，重要性越发明显

• 产业已非常庞大且高速发展，对各类ISP工程师需求很大，仍有很大缺口

• 位于成像系统的核心

• 算法正处于快速迭代阶段

• 随着通信及AI的发展有新的理念及需求

• 各种应用对ISP的需求不尽相同，需针对不同应用开发不同算法，从而避免一家独大

• 从事成像系统相关技术开发也需要学习ISP

文章目录

• 1 成像系统简介

• 2 光的认识

• 3 成像环境的认识

• 3.1 照度

• 3.2 色温

• 3.3 动态范围

• 4 人眼的认识

• 4.1 成像原理

• 4.2 人眼的特性

• 5 光学器件简介

• 5.1 镜头

• 5.2 滤光片

• 5.3 分光镜

• 5.4 光源

• 6 图像传感器简介

• 6.1 结构

• 6.2 分类

• 7 图像噪声的认识

• 7.1 产生原因

• 7.2 噪声特点

• 7.3 将噪方法

成像系统简介

光源发出光，经过折射到镜头中，镜头进行聚焦，然后再经过滤光片将不需要的光滤掉，然后到达图像传感器(Image Sensor)，在图像传感器进行光电转换、模数转换，然后将数字信号送给ISP完成图像处理，最后送给显示端或编码或进一步后处理。

图片

光的认识

频率、强度、相位、速度是光的四个基本衡量因子。

• 不同频率的光通过不同的材质时，衰减程度及光速变化都不相同。

• 不同材料的物质对不同频率的光响应不同

比如，太阳光的波长范围是250~2500nm，经过臭氧层、空气到达地面的频谱范围如下图红色部分所示，有一些频谱会被过滤掉了。

图片

成像环境的认识

照度

• 照度是对环境光强度的度量

• 衡量单位为lux，白天晴天近10万lux，阴雨天几千lux，夜晚有灯光几十lux，夜晚最小可达0.01lux

• 照度越小，成像时需要越大的快门（shutter）、增益（gain）、光圈（IRIS）或者补光

图片

色温

色温原本指物体（特别是金属）加热到不同温度发出的不同颜色的光。

• 衡量单位为K，色温越高反而越冷，色温越低就越暖，范围一般为1800~7500K，蜡烛为1800K，晴天中午为7500K

• 常见的色温值有D65（日光灯发出的光），TL83，TL84，UV、CWF、A光等

图片

动态范围

动态范围是对一个场景最亮部分与最暗部分照度比例的衡量。

• 衡量单位为db，若室内暗处照度为1lux，室外为10万lux，那么动态范围约为100db

• 常见的宽动态环境是室内外的窗口或门口，以及道路夜晚

下图上半部分是宽动态相机拍摄的画面，可以看清楚亮的地方，也可以看清楚暗的地方。下半部分是普通相机拍摄出来的，暗的地方没有什么信息，亮的地方过曝了也没有什么信息。

图片

人眼的认识

成像原理

数字成像系统是对人眼的仿生。

人眼也有镜头、滤光片、传感器以及图像处理系统，对应的器官为：瞳孔、晶状体、角膜、虹膜、视网膜等

图片

人眼的特性

• 只感知可见光、波长为380~780nm

• 分辨率可达5亿像素，但对颜色的分辨率低很多

• 帧率为24fps

• 低照度约为0.01lux，但很暗时只能感知亮度

• 人眼也会随着环境光强弱调整瞳孔大小，比如从室外进入到很黑的室内，需要一段时间适应就可以看到一些室内的物体

• 人眼景深很好，能快速聚焦

• 人眼有白平衡功能，即光源色温发生变化时，人眼会“减弱”颜色的变化，也就是感知的颜色变化没有实际色温变化那么强烈

• 人眼对亮度的感知是非线性的，也就是说光的照度增大一倍，并不意味着人眼感知的亮度大一倍

• 人眼的动态范围很好，有130db，能同时看清很亮和很暗的区域

光学器件简介

镜头

镜头是由几组镜片及辅助的电机等组成，形成聚焦。

图片

镜头相关属性：

• 核心参数是焦距，焦距越大拍摄越远但视角越小；反之距离近视角大。所以有长焦镜头、广角镜头。

• 材质均匀度决定镜头成像精度，即分辨力

• 光圈大小和材质好坏决定光通量

• 光通量的一致性也是衡量镜头好坏的核心指标，一致性好图像亮度越均匀，一般中间亮一些，四周暗一些，ISP有算法去弥补

• 镜头畸变程度也是重要指标之一，一般焦距越小，畸变越严重，ISP有算法对畸变进行 矫正

• 镜头需与图像传感器的靶面大小、分辨力、CRA等参数契合

滤光片

滤光片用于滤掉不接收的光，普通可见光相机需滤掉红外及紫外光。

一般在镜头上的镀膜，也有单独的滤光片。

图片

分光镜

有的相机需要把不同波段的光通过分光镜分到不同的传感器上，这些传感器分别感光后再在ISP里进行融合。常见的有RGB三色相机，以及可见光、红外光宽光谱相机等。

光源

光源也是成像系统的重要光学器件，一般为弥补成像环境的缺陷，如环境照度不足或环境照度不均匀，另外可以用不同色温的灯制造特殊的艺术效果。

光源按补光模式分常亮补光与闪光灯，按频谱范围分可见灯和红外灯。

图像传感器简介

结构

图像传感器由光电转换、信号放大、模数转换、时序驱动、输出接口、控制接口等六部分组成。

图片

核心指标是分辨率、帧率与感光度。

• 分辨率即有多少个感光像素

• 帧率一般取决于AD转换及输出接口速度

• 感光度一般取决于单像素面积大小

单个像素放大后的结构如下：

图片

分类

• 按工艺分为CCD与CMOS

• 按外形分为面阵和线阵

• 按颜色分为彩色和黑白

• 按曝光模式分为全局曝光与卷帘曝光，卷帘曝光是一行一行地依次曝光

• 按感光层位置分正照式与背照式

• 按接收波长分为可见光、红外、紫外等

• 按维度分为2D图像与3D成像，3D成像又分为结构光、TOF与双目视差

• 按宽动态分为单次曝光、多帧多次曝光、单帧多次曝光三类

• 按输出接口分为MIPI（手机）、LVDS（工业或行业应用，串口）及DVP（低端Sensor，并口）

图像噪声的认识

图片

产生原因

图像噪声分为固定噪声和随机噪声。

• 固定噪声在图像固定位置，产生原因是不均匀的暗电流与不均匀的放大器，固定噪声是在图像中固定的位置不动，如上图所示的绿色小点。

• 随机噪声（暂态噪声、白噪声）随着时间随机变化。随机噪声主要由电子的随机运动产生，在光电转换、模拟信号传输、模数转换等过程中产生，分为散粒噪声、闪烁噪声、读出噪声等

噪声特点

• 随机性、在空间域随机分布、非固定噪声在时间域也随机分布

• 高斯分布，强度、波长、相位都符合高斯分布

• 无明显方向性

• 孤立性

• 与图像传感器温度与增益值正相关

将噪方法

• 改进图像传感器设计，从源头减少

• 物理方法，如降低温度

• 图像处理算法，分为基于空间域的2D算法与基于时间域的3D算法，3D算法只能消除随机噪声

• 背景差分法可消除固定噪声

转载：
https://deepinout.com/camera-system/camera-system-component-intro.html

---

*本人从事Android Camera相关开发已有5年，
*目前在深圳上班，
*小伙伴记得点我头像，看【个人介绍】进行关注哦，希望和更多的小伙伴一起交流 ~