【深度学习】图像数据增强部分笔记

图像色彩操作

图像色彩调整

亮度调整
- 直接将彩色图像灰度化，也可以得到代表图像亮度的灰度图进行图像处理，计算量比 HSV 颜色空间变化低。
- 但在 HSV 空间中进行处理可以得到增强后的彩色图像。
饱和度调整
- 对 HSV 空间的 S 分量进行处理可以实现对图像饱和度的增强。
- 饱和度的调整通常是在 S 原始值上乘以一个修正系数。
色调调整
- 对 HSV 空间的 H 分量进行处理可以实现对图像色调的增强。
- 色相 H 的值对应的是一个角度，并且在色相环上循环。所以色相的修正可能会造成颜色的失真。

图像灰度化

分量法，三分量的亮度作为三个灰度图像的灰度值，然后根据需要选择使用。
最大值法，将彩色图像中的三分量亮度的最大值作为灰度图的灰度值。
平均值法，将彩色图像中的三分量亮度求平均得到一个灰度值。
加权平局法，根据重要性及其它指标，将三个分量以不同的权值进行加权平均。例如，由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对 RGB 三分量进行加权平均能得到较合理的：$f ( i , j ) = 0 . 3 0 R ( i , j ) + 0 . 5 9 G ( i , j ) + 0 . 1 1 B ( i , j )$
灰度图像。

二值化/反二值化

大于临界值设为1，小于则设为0。

直方图均衡化

直方图均衡化将原始图像的直方图，即灰度概率分布图，进行调整，使之变化为均衡分布的样式，达到灰度级均衡的效果，可以有效增强图像的整体对比度。
直方图均衡化能够自动的计算变化函数，通过该方法自适应得产生有均衡直方图的输出图像。能够对图像过暗、过亮和细节不清晰的图像得到有效的增强。

图像形态操作

仿射与透视变换

仿射
- 通过平移镜像旋转等多种操作后依然能够保持平直性和平行性（直线还是直线，平行线仍然是平行线）
透视
- 透视变换是将图片投影到一个新的视平面，也称作投影映射．它是二维（x,y）到三维 (X,Y,Z)，再到另一个二维 (x’,y’) 空间的映射。
- 相对于仿射变换，它提供了更大的灵活性，将一个四边形区域映射到另一个四边形区域（不一定是平行四边形）．透视变换可用于图像形状校正。

图像算数计算

图像加法
- 图像加法可以用于多幅图像平均去除噪声。
- 也可以实现水印的叠加。
图像减法
- 实现背景消除和运动检测。

图像缩放

图像放大
- 最邻近插值法，取最近点的灰度值，计算量小，但精确度不高，并且可能破坏图像中的线性关系。
- 双线性插值法
  - 使用新的像素点 $(x’,y’)$ 最邻近的四个像素值进行插值计算，假设为 $(i,j),（i+1,j）(i,j+1),(i+1,j+1)$, 则 $u=x’-i,v=y’-j$.
图像缩小
- 删行删列

腐蚀与膨胀

图像腐蚀
- 是最基本的形态学操作之一，它能够将图像的边界点消除，使图像沿着边界向内收缩，也可以将小于指定结构体元素的部分去除。腐蚀用来 “收缩” 或者 “细化”二值图像中的前景，借此实现去除噪声、元素分割等功能。
图像膨胀
- (dilate) 是指根据原图像的形状，向外进行扩充。如果图像内两个对象的距离较近，那么在膨胀的过程中，两个对象可能会连通在一起。膨胀操作对填补图像分割后图像内所存在的空白相当有帮助。
图像开运算
- 开运算进行的操作是先将图像腐蚀，再对腐蚀的结果进行膨胀。开运算可以用于去噪、计数等。也可用于取出主题图像之间细小的连接。
图像闭运算
- 闭运算是先膨胀、后腐蚀的运算，它有助于关闭前景物体内部的小孔，或去除物体上的小黑点，还可以将不同的前景图像进行连接。
形态学梯度
- 形态学梯度运算是用图像的膨胀图像减腐蚀图像的操作，该操作可以获取原始图像中前景图像的边缘。
礼帽运算
- 礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息，或者得到比原始图像的边缘更亮的边缘信息。
黑帽运算
- 黑帽运算是用闭运算图像减去原始图像的操作。黑帽运算能够获取图像内部的小孔，或前景色中的小黑点，或者得到比原始图像的边缘更暗的边缘部分。

图像梯度处理

图像梯度计算的是图像变化的速度。对于图像的边缘部分，其灰度值变化较大，梯度值也较大；相反，对于图像中比较平滑的部分，其灰度值变化较小，相应的梯度值也较小。一般情况下，图像梯度计算的是图像的边缘信息。

模板运算
模板（滤波器）是一个尺寸为 n*n 的小图像 W（n 一般取奇数，称为模板尺寸），每个位置上的值 w 被称为权重。在进行计算时，将模板的中心和像素 P 对齐，选取原始图像中和模板相同范围的邻域 N 的像素值作为输入。

类似深度学习中的卷积层

均值滤波

3*3 均值

高斯滤波

高斯分布的模板/滤波器

中值滤波

取相邻像素排序后的中位数
在实现降噪操作的同时，保留了原始图像的锐度，不会修改原始图像的灰度值。
中值滤波的使用非常普遍，它对椒盐噪声的抑制效果很好，在抑制随机噪声的同时能有效保护边缘少受模糊。但中值滤波是一种非线性变化，它可能会破坏图像中线性关系，对于点、线等细节较多的图像和高精度的图像处理任务中并不太合适。