二值图像分析：OpenCV中的二值化阈值操作

1.二值图像的定义
2.OpenCV中的基本阈值操作
3.OTSU二值寻找算法
- 3.1 OTSU二值寻找算法介绍
- 3.2 OTSU二值寻找算法分析
- 3.2 OpenCV中OTSU算法的使用
4.TRIANGLE二值寻找算法
- 41 TRIANGLE二值寻找算法介绍
- 4.2 TRIANGLE二值寻找算法分析
- 4.3 OpenCV中TRIANGLE算法的使用
5.自适应二值化阈值算法

1.二值图像的定义

二值图像就是图像中灰度值只有2个的图像，一般就是黑白图像，2个灰度值分别为0（表示黑色）和255（表示白色）。二值图像处理与分析在机器视觉与机器人视觉中非常重要，涉及到非常多的图像处理相关的知识。

常见的二值图像分析包括轮廓分析、对象测量、轮廓匹配与识别、形态学处理与分割、各种形状检测与拟合、投影与逻辑操作、轮廓特征提取与编码等。此外图像二值化的方法也有很多，OpenCV支持几种经典的二值化算法。

从编程与代码角度来说，OpenCV中二值图像是单通道的、字节类型的Mat对象。对于任意的输入图像首先需要把图像转换为灰度图，然后通过二值化方法转换为二值图像。本质上来说，从灰度到二值图像是对数据的二分类分割，所以很多数据处理的方法都可以使用，但是图像是特殊类型的数据，它有很多限制条件，这决定了只有一些合适的方法才会取得比较好的效果。这些方法的本质任务就是寻找合理的分割阈值T，使得对于任意一个给定的像素点灰度值经过如下变换成为0或255其中的一个：
P(x,y)={255,P(x,y)>T.0,P(x,y)≤T.P(x, y) = \begin{cases} 255, \qquad & P(x, y) \gt T. \\ 0, \qquad & P(x, y) \le T. \end{cases}P(x,y)={255,0,P(x,y)>T.P(x,y)≤T.

2.OpenCV中的基本阈值操作

如果已经寻找到合适的阈值T，那么对图像二值化分割可以看成是一种基本的阈值化操作，OpenCV除了支持正常的二值化阈值分割操作之外，还支持一些其它的阈值操作。

OpenCV中支持的基本阈值操作的C++ API如下：

double cv::threshold(InputArray src,OutputArray dst,double thresh,double maxval,int type)

其中src为单通道的输入图像，dst为输出的二值图像，maxval为最大值，一般为255，thresh为阈值，可以与type表示的阈值分割方法配合使用产生不同的二值化效果，type在基本二值化时支持如下五种：

THRESH_BINARY = 0：正向二值分割，大于阈值为maxval，反之为0。
THRESH_BINARY_INV = 1：反向二值分割，大于阈值为0，反之为maxval。
THRESH_TRUNC = 2：截断，大于阈值时设为为阈值，否则保持原值不改变。
THRESH_TOZERO = 3：取零，大于阈值保留原值不变，低于阈值为0。
THRESH_TOZERO_INV = 4：反向取零，大于阈值时设为0，否则保持原值不变。

返回值double类型用于返回实际使用的阈值，因为threshold不仅可以用给定的阈值，也支持一些自动生成阈值的二值化方法，这个时候就可以用这个返回值来得到自动方法所生成的阈值。

举个栗子:

cv::threshold(grayImage,binaryImage,value,255.0,0);

指定二值化方法为THRESH_BINARY = 0时，几个不同阈值时的二值化效果如下：

图像二值化除了第二部分中的手动阈值设置方法之外，还有几个根据图像直方图实现自动全局阈值寻找的方法。OpenCV中支持的有OTSU与Triangle这两种直方图阈值寻找算法，这两个非常具有代表性，可以覆盖常见的直方图分布图像。

3.OTSU二值寻找算法

3.1 OTSU二值寻找算法介绍

OTSU是通过计算类间最大方差（找到一个阈值 kkk 将像素灰度值分为2类，使得这2个类的类间方差最大）来确定分割阈值的阈值选择算法，该算法针对图像直方图来计算阈值，对有两个波峰（前景对象和背景）、中间有明显波谷的直方图对应的图像二值化效果比较好，而对于只有一个单峰的直方图对应的图像分割效果没有双峰的好。

3.2 OTSU二值寻找算法分析

假设一幅图像大小为 M∗NM*NM∗N，像素值属于集合 {0，1，2，...，255}\{0，1，2，...，255\}{0，1，2，...，255}，用 nin_ini 表示像素值为 iii 的像素点的个数，由此可以得到图像的归一化直方图，直方图横轴分量 pi=ni/MNp_i=n_i/MNpi=ni/MN ，由概率和统计知识可以得到：
像素总数M∗N=n0+n1+...+n255.(1)像素总数M*N=n_0+n_1+...+n_{255}.\tag{1}像素总数M∗N=n0+n1+...+n255.(1)
∑i=0255pi=1,pi≥0.(2)\sum_{i=0}^{255}p_i=1,p_i\geq0.\tag{2}i=0∑255pi=1,pi≥0.(2)

首先来看对于任意一个给定的介于 0~255的阈值 kkk，将其作为图像阈值来对图像进行二值化操作，可以将像素灰度值分为背景 C1C_1C1 和前景对象C2C_2C2两个类，其中C1C_1C1由图像中灰度值在区间 [0,kkk] 的所有像素组成，C2C_2C2由图像中灰度值在区间 [kkk+1,255] 的所有像素组成。

则此图像中，像素被分到C1C_1C1的概率（或者说C1C_1C1发生的概率）由如下的累计和给出：
P1(k)=∑i=0kpi.(3)P_1(k)=\sum_{i=0}^{k}p_i.\tag{3}P1(k)=i=0∑kpi.(3)

像素被分到C2C_2C2的概率（或者说C2C_2C2发生的概率）由如下的累计和给出：
P2(k)=∑i=k+1255pi=1−P1(k).(4)P_2(k)=\sum_{i=k+1}^{255}p_i=1-P_1(k).\tag{4}P2(k)=i=k+1∑255pi=1−P1(k).(4)

分配到C1C_1C1类的平均像素值为：
m1(k)=∑i=0ki⋅P(i/C1)=∑i=0ki⋅P(C1/i)P(i)/P(C1)=1P1(k)∑i=0ki⋅pi(5)m_1(k)=\sum_{i=0}^{k}i·P(i/C_1)\\\qquad\qquad=\sum_{i=0}^{k}i·P(C_1/i)P(i)/P(C_1)\\={\frac{1}{P_1(k)}}{\sum_{i=0}^{k}i·p_i}{\tag{5}} m1(k)=i=0∑ki⋅P(i/C1)=i=0∑ki⋅P(C1/i)P(i)/P(C1)=P1(k)1i=0∑ki⋅pi(5)

上式中第二行可由贝叶斯公式得到，而在第三行中，在给定 iii 的前提下 C1C_1C1 发生的概率 P(C1/i)P(C_1/i)P(C1/i) 为1，P(i)P(i)P(i) 是第 iii 个值的概率，即归一化直方图 pip_ipi 分量的第 iii 个分量，P(C1)P(C_1)P(C1) 是 C1C_1C1 发生的概率，等于（3）式中计算得到的 P1(k)P_1(k)P1(k)。

同理，分配到C2C_2C2类的平均像素值为：
m2(k)=∑i=k+1255i⋅P(i/C2)=1P2(k)∑i=k+1255i⋅pi(6)m_2(k)=\sum_{i=k+1}^{255}i·P(i/C_2)\\\qquad\qquad=\frac{1}{P_2(k)}\sum_{i=k+1}^{255}i·p_i{\tag{6}}m2(k)=i=k+1∑255i⋅P(i/C2)=P2(k)1i=k+1∑255i⋅pi(6)

整个图像的平均像素值为：
mG=∑i=0255i⋅pi(7)m_G=\sum_{i=0}^{255}i·p_i{\tag{7}}mG=i=0∑255i⋅pi(7)

为了评估k的分类质量，假设 σG2\sigma_G^2σG2为全局方差，即图像中所有像素灰度值的方差，该值是一个常数且只需要计算一次。σB2\sigma_B^2σB2为类间方差，则有：
σG2=∑i=0255(i−mG)2⋅pi(8)\sigma_G^2=\sum_{i=0}^{255}(i-m_G)^2·p_i{\tag{8}}σG2=i=0∑255(i−mG)2⋅pi(8)
σB2=P1(m1−mG)2+P2(m2−mG)2=P1P2(m1−m2)2=(mGP1−m)2P1(1−P1)(9)\sigma_B^2=P_1(m_1-m_G)^2+P_2(m_2-m_G)^2{\tag{9}}\\=P_1P_2(m_1-m_2)^2\\=\frac{{(m_GP_1-m)}^2}{P_1(1-P_1)}σB2=P1(m1−mG)2+P2(m2−mG)2=P1P2(m1−m2)2=P1(1−P1)(mGP1−m)2(9)

至此对于给定的 kkk，已经可以求出此时两个类的类间方差，那么接下来要做的就是对于0~255之间每一个可能的 kkk 按照上面的方式来计算类间方差，找到使其最大化的那一个，如果能使类间方差最大的 kkk 值有多个，则一般取这些 kkk 的平均值。

3.2 OpenCV中OTSU算法的使用

OpenCV中OTSU算法使用只需要在threshold()函数的type类型声明THRESH_OTSU即可，举个栗子：

double t = threshold(gray,binary,0,255,THRESH_BINARY|THRESH_OTSU);

同样对于上面的图，计算得到的阈值为147，运行结果如下：

4.TRIANGLE二值寻找算法

41 TRIANGLE二值寻找算法介绍

对于直方图为双波峰的图像来说，是比较好的二值化方法。而对于直方图为单波峰的图像来说，三角阈值法更为有效。之所以叫三角阈值法，是因为该算法通过在图像直方图上构建一个三角形来获得阈值。

4.2 TRIANGLE二值寻找算法分析

来看这样一张图像的归一化直方图：

对于该图像的直方图，首先引一条直线，即图中的红色线，使得该直线经过波峰最高点 AAA 和横轴最远点 BBB，然后不断地作该条直线的垂线，找到使得 ddd 最大化就可以了。实际上可以通过构造等腰直角三星形（如图，ααα 和 βββ 都是45度）来寻找最大 ddd ，则寻找最大 ddd 等价于寻找最大 hhh，显然 hhh 更好找。经 hhh 计算得到的 ddd 就是本算法寻找到的阈值。
h2=2⋅d2−>d=sqrt(h22).h^2=2·d^2->d=sqrt(\frac{h^2}{2}).h2=2⋅d2−>d=sqrt(2h2).

这里有一个细节，就是对于上面的直方图，该直方图波峰是在靠0的位置，偏左侧。如果实际直方图波峰是靠1.0（不归一化是255），偏右侧的时候，则可以对所有像素取反，然后按照之前的方式来处理就可以了。

4.3 OpenCV中TRIANGLE算法的使用

OpenCV中TRIANGLE算法使用只需要在threshold()函数的type类型声明THRESH_TRIANGLE即可，举个栗子：

double t = threshold(gray,binary,0,255,THRESH_BINARY|THRESH_TRIANGLE);

同样对于上面的图，计算得到的阈值为249，运行结果如下：

5.自适应二值化阈值算法

OpenCV中的自适应阈值算法主要是基于均值实现，根据计算均值的方法不同分为盒子模糊（box filter）均值与高斯模糊均值，然后使用原图减去均值图像，得到的差值图像进行自适应分割，相关的API如下：

void cv::adaptiveThreshold(InputArray src,OutputArray dst,double maxValue,int adaptiveMethod,int thresholdType,int blockSize,double C)

其中blockSize取值必须是奇数，C取值在10左右

adaptiveMethod自适应方法类型：

ADAPTIVE_THRESH_GAUSSIAN_C = 1：
ADAPTIVE_THRESH_MEAN_C = 0：

当阈值操作类型thresholdType为：

THRESH_BINARY：二值图像 = 原图–均值图像> C? 255:0。
THRESH_BINARY_INV：二值图像 = 原图–均值图像>C? 0:255。

举个栗子：

cv::adaptiveThreshold(grayImage,binaryImage,255.0,cv::ADAPTIVE_THRESH_GAUSSIAN_C,cv::THRESH_BINARY,3,10.0);

运行结果如下：