ISP: Remosiac

转发  https://deepinout.com/camera-terms/camera-remosaic-intro.html

Quadra CFA（Quadra Color Filter array ）功能提高了在弱光条件下的性能和信噪比。此功能在弱光条件下提供明亮和清晰的图像，在正常光照条件下提供高分辨率图像。

Quadra CFA有个16MP的传感器。它们在以下模式下工作：

Binning mode

在弱光条件下启用装箱模式。这种模式可以将四个相邻像素合并为一个像素，因此16MP被转换成4MP。这样可以确保每个像素都有四倍的光照，这使得图像比普通的4MP传感器更明亮、更清晰。

Non-binning mode

非装箱模式在正常光照条件下启用。提供16MP。但，它的像素模式不是标准的拜耳模式（Bayer Pattern）。因此，它需要进行格式转换后才能被摄像机ISP管道处理。

文章目录

1 4MP 及以下分辨率预览与拍照

2 4Cell1感光芯片的应用

4MP 及以下分辨率预览与拍照

Quadra CFA中的16MP传感器不是标准的拜耳模式。相反，它们是伪拜耳模式，其中四个相似的像素在一起。在4mp或更低分辨率的预览和快照中，Quadra CFA传感器配置为Binning模式，其中四个相邻像素合并为一个像素。因此，4MP是标准的拜耳模式，可以直接由相机ISP管道处理。

4MP 及以下分辨率预览与拍照

4Cell1感光芯片的应用

现如今，4cell1芯片兼具了常态的高像素和暗态的高感光低噪声的表现，已成为目前手机摄像头的主力军。

手机越做越紧凑需要模组和芯片尺寸越做越小，在尺寸一定的基础上，高像素和大像素，对于手机摄像头来说，一直是一对矛盾的存在。然而，高像素所带来的高分辨率画质，和大像素带给暗态高感度低噪声的画质，两者都非常重要。

为了两者兼得，4cell1芯片应运而生，也有称之为 “Tetra cell”、“Quad bayer”、“Four cell”等，该芯片基于经典的Bayer阵列，将每一种颜色以4个pixel组合排列，成功让一款摄像头能在高像素和大像素间自由切换。

4Cell1感光芯片的应用

4Cell1感光芯片的应用

四个小像素点合成一个大像素的操作，很好理解，那么还原成高像素的Remosaic操作又是怎么实现的呢？

Remosaic技术，魔术般还原高分辨率图像。从原始的4cell1像素排布，还原成普通拜耳（Bayer）结构的过程，称之为Remosaic。

Remosaic技术

Remosaic通常分为软件和硬件两种方式。软件Remosaic，通过像素互换，或该像素与周围相关像素的联系，根据距离远近计算出一定的权重比例，作为该像素的信号值，通常软件Remosaic算法放在平台端集成。

目前，也有部分芯片，通过独立的ISP信号处理变换像素结构，每个感光单元又都能独立显示并且输出数据，可以拍摄出正常硬件直出的Bayer排布，无需额外软件插值。

当然二者从速度上来看相差甚远，硬件比软件的Remosaic在处理速度上会快很多，硬件Remosaic可以支持Full size Bayer预览，然而手机端是否要用full size去预览还需要综合考虑功耗等其他因素；软件Remosaic处理需要花费更长的时间，目前仅作为Full Size拍照时候使用。

Remosaic技术

Remosaic后的高像素应用，解析力有了很大的提升

你以为只需要四合一芯片&Remosaic就可以“文武双全”了么？

Remosaic技术

细心的朋友可以发现左图的实拍图里，有许多锯齿状格子等伪色，主要原因是由于芯片本身硬件感光及Remosaic所造成的，为优化这种现象，“Crosstalk校准”闪亮登场。

Crosstalk校准，降低伪色干扰

4cell1的芯片像素，由于所处位置的不同，每个像素点的crosstalk不同导致感光能力有一定差别，通常需要引入Crosstalk校准来消除这种差异。

Remosaic技术

Crosstalk校准工具，通常将全图分成多个ROI方块，计算各像素通道的能量并确定其补偿数据，芯片再使用这些校准数据让原本不均匀状态的能量分布变得更为平衡。

Remosaic技术

比如一场十年后的同学聚会席间要开启一瓶好酒，但是倒酒时又需要将这瓶好酒均匀分给每一朋友，这个时候我们可以通过将这杯酒水互补的方法，即酒多的匀倒给酒少的，这样大伙儿就都能享受到一样的好酒。

Remosaic技术

crosstalk前后的能量大小变化

Crosstalk校准补偿在实际图像上的反映主要是去除由于信号差别造成的格子，锯齿状等的色块干扰，这种干扰现象通常在拍摄单一色块的画面会表现得更为明显。比如下图分别是拍摄蓝天，拍摄黄色物体，Crosstalk校准前后的效果对比，校准前的色块干扰情况会更加明显。

4cell1芯片还会涉及到PD补偿，坏点补偿等其他的内容，而整个流程，通常需要先补偿PD点，再做Crosstalk校准，然后再Remosaic成为正常的Bayer去应用。针对软件的Remosaic，这其中所有的步骤，通常都封装在芯片厂商提供的一个算法库里面，手机端调用该算法库，去实现4cell1芯片，兼具常态时候的高分辨率和暗态时候的高感光度，然后你就可以美美地拍照了。

4cell1的应用并不止于此，在高动态方面也有相关应用。

4cell1特有的3-HDR，给你不一样的高动态体验。

HDR的实现方式有很多种，3-HDR’是4cell芯片特有的HDR，给每种颜色group配置高中低三种曝光，以实现不同的亮度，最后合成HDR图片。

Remosaic技术

不同于普通HDR技术，3-HDR实时分级曝光技术实则就是让组成1个大像素的4个基础像素能够实时采集不同的曝光信息，并且同步将这些信息一次处理实现硬件实时分级曝光，不仅前面主体和背景都清晰，而且还能做到预览效果与实际成像完全一致，真正做到所见即所得。