一、常见的数据增广方法
- Color Jittering：
对颜色的数据增强：图像亮度、饱和度、对比度变化；彩色变换 - PCA Jittering：
首先按照RGB三个颜色通道计算均值和标准差，再在整个训练集上计算协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCA Jittering； - Random Scale：
尺度变换；随机缩放 - Random Crop：
采用随机图像差值方式，对图像进行裁剪、缩放；包括Scale Jittering方法（VGG及ResNet模型使用）或者尺度和长宽比增强变换；随机裁剪 - Horizontal/Vertical Flip：
水平/垂直翻转；翻转 - Shift：
平移变换； - Rotation/Reflection：
旋转/仿射变换； - Noise：
高斯噪声、模糊处理；
二、图像上采样 & 图像处理中常见的插值方法
1、图像上采样
上采样upsampling的主要目的是放大图像，几乎都是采用内插值法，即在原有图像像素的基础上，在像素点值之间采用合适的插值算法插入新的元素。
2、线性插值法(linear interpolation)
线性插值法是指使用连接两个已知量的直线来确定在这个两个已知量之间的一个未知量的值的方法。
假设已知两个坐标(x0,y0)和(x1,y1)，要得到[x0,x1]区间内某一位置x在直线上的值。
image.png
该直线的方程可表示为：
image.png
假设方程两边的值为α，那么这个值就是插值系数——从x0到x的距离与从x0到x1的距离的比值。由于x已知，所以可以从公式中得到α的值:
image.png
这样
image.png
也就是：
image.png
3、双线性插值
双线性插值是插值算法中的一种，是线性插值的扩展。利用原图像中目标点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，其核心思想是在两个方向分别进行一次线性插值。
image.png
已知的红色数据点和待插值的绿色数据点
假如我们想得到未知函数f在点P= (x,y) 的值，假设我们已知函数f在
image.png
四个点的值。
第一步：X方向的线性插值，在Q12,Q22中插入蓝色点R2，Q11，Q21中插入蓝色点R1；
image.png
第二步 ：Y方向的线性插值 ,通过第一步计算出的R1与R2在y方向上插值计算出P点。
image.png
在x与y方向上，z值成单调性特性的应用中，此种方法可以做外插运算，即可以求解Q11~Q22所构成的正方形以外的点的值。
总结：线性插值法利用原图像中两个点计算像素值进行插值，双线性插值法利用原图像中四个点计算目标像素值进行插值。
四、图像处理中常见的插值方法
image.png
1、最邻近元法
这是最简单的一种插值方法，不需要计算，在待求象素的四邻象素中，将距离待求象素最近的邻象素灰度赋给待求象素。设i+u, j+v(i, j为正整数， u, v为大于零小于1的小数，下同)为待求象素坐标，则待求象素灰度的值 f(i+u, j+v) 如下图所示：
image.png
如果(i+u, j+v)落在A区，即u<0.5, v<0.5，则将左上角象素的灰度值赋给待求象素，同理，落在B区则赋予右上角的象素灰度值，落在C区则赋予左下角象素的灰度值，落在D区则赋予右下角象素的灰度值。
最邻近元法计算量较小，但可能会造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。
2、双线性内插法
双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插。
image.png
如下图所示：
对于 (i, j+v)，f(i, j) 到 f(i, j+1) 的灰度变化为线性关系，则有：
f(i, j+v) = [f(i, j+1) - f(i, j)] * v + f(i, j)
同理对于 (i+1, j+v) 则有：
f(i+1, j+v) = [f(i+1, j+1) - f(i+1, j)] * v + f(i+1, j)
从f(i, j+v) 到 f(i+1, j+v) 的灰度变化也为线性关系，由此可推导出待求象素灰度的计算式如下：
f(i+u, j+v) = (1-u) * (1-v) * f(i, j) + (1-u) * v * f(i, j+1) + u * (1-v) * f(i+1, j) + u * v * f(i+1, j+1)
双线性内插法的计算比最邻近点法复杂，计算量较大，但没有灰度不连续的缺点，结果基本令人满意。它具有低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊。
3、三次内插法
该方法利用三次多项式S(x)求逼近理论上最佳插值函数sin(x)/x, 其数学表达式为：
image.png
待求像素(x, y)的灰度值由其周围16个灰度值加权内插得到，如下图：
image.png
待求像素的灰度计算式如下：
f(x, y) = f(i+u, j+v) = ABC
其中:
image.png
三次曲线插值方法计算量较大，但插值后的图像效果最好。
网友评论