Affinity Learning for Mixed Data Clustering

论文提出了基于混合对数据进行聚类的学习框架，具体研究内容包括：1）如何处理具有混合类型属性的数据、2）如何学习数据点之间的相互作用、以及3）如何利用学习的融合进行聚类。原始数据属性可能由特定数据类型和值定义的抽象对象来表示。将每个属性值转换为数据点和属性所对应的抽象对象之间的关系，通过考虑所有数据点属性值之间的互连，重新定义属性间的相关性、并推断数据点之间的未知相关性，利用数据点之间推断的可用性进行聚类。论文还提出将数据点和属性抽象对象之间的重新定义的新的属性信息转换为用于聚类的新数据特征。

一、背景知识

1.1 距离度量

距离是对个体之间相隔多远的数值度量，用于测量个体之间的接近度或相似度。Gower距离（范围为[0 1]）用于计算个体之间部分差异的平均。

1.2 连续属性

离散的意思就是有限或者可数无穷尽的值，连续的意思是不可数及无穷尽的，这两个概念本身就是互斥的。挖掘连续属性能揭示数据的内在联系，包含连续属性的关联规则通常称为量化关联规则（quantitative association rule）。主要有3种对连续数据进行关联分析的方法：基于离散化的方法、基于统计学的方法、以及非离散化方法。

二、AP聚类算法

谱聚类和AP聚类是基于图的两种聚类。其中，谱聚类是从图论中演化出来的算法，后来在聚类中得到了广泛的应用。它的主要思想是把所有的数据看做空间中的点，这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，通过对所有数据点组成的图进行切图，让切图后不同的子图间边权重和尽可能的低，而子图内的边权重和尽可能的高，从而达到聚类的目的。下面对AP聚类进行说明。

2.1 motivation

每个list中有一些对象（string），将一个list看做一个节点，两个节点（list）之间的“相似度”定义为：两个list中包含的对象的重合程度（ 表示为(listA∩listB) / (listA∪listB) ）。现希望能基于节点与节点之间的相似度，实现节点聚类（即将相似度更高的节点聚在一起）。

Affinity Propagation Clustering（简称AP算法）2007提出、并发表在Science上。算法特别适合高维、多类数据实现快速聚类，相比传统的聚类算法，该算法比较新，从聚类性能和算法效率方面都有大幅提升。

2.2 基本思想

Affinity Propagation聚类算法简称AP，是基于数据点间的“信息传递”的一种聚类算法。算法的基本思想：将全部样本看作网络节点，通过网络中各条边的消息传递 计算出各样本的聚类中心。聚类过程中，共有两种消息在各节点间传递，分别是吸引度(responsibility)和归属度(availability)。通过在点之间传递信息，通过不断地传递信息，最终选出代表元以完成聚类。AP算法通过迭代过程不断更新每一个点的吸引度和归属度值，直到产生m个高质量的Exemplar（类似于质心），同时将其余的数据点分配到相应的聚类中。

2.3 算法优点

1）不需要制定最终聚类个数；

2）将已有数据点作为最终的聚类中心，而不是新生成聚类中心；

3）模型对数据的初始值不敏感，多次执行AP聚类算法，得到的结果是完全一样的，即不需要进行随机选取初值步骤（还是对比K-Means的随机初始值）；

4）对初始相似度矩阵数据的对称性没有要求；

5）与k中心聚类方法相比，其结果的平方差误差较小，相比于K-means算法，鲁棒性强、准确度较高，但算法复杂度高、运算消耗时间多。

在实际的使用中，AP有两个重要参数，preference（定义聚类数量）和damping factor（控制算法的收敛效果）。

聚类就是个不断迭代的过程，迭代的过程主要更新两个矩阵：

吸引度/代表(Responsibility)矩阵R =[r(i,k)]N×N

归属度/适选(Availabilities)矩阵A=[a(i,k)]N×N

不断交替更新a和r值，达到一定的次数或收敛后，选取使得r(i,k)+a(i,k) 最大的那个k作为i的代表元 其中s(i,k)表示similarity，可以翻译为相似度或度量，表示k当i的代表元的可能性，s越大越可能，这个在几乎所有的聚类分析中都是最基础的量。

可用一个比喻来理解这两个量和其之间交替过程：选举。

将聚类过程看成选举：

• 所有人都参加选举（大家都是选民也都是参选人），要选出几个作为代表
• s(i,k)就相当于i对选k这个人的一个固有的偏好程度
• r(i,k)表示用s(i,k)减去最强竞争者的评分，可以理解为k在对i这个选民的竞争中的优势程度
• r(i,k)的更新过程对应选民i的各个参选人的挑选（越出众越有吸引力）
• a(i,k)：从公式里可以看到，所有r(i',k)>0的值都对a有正的加成。对应到我们这个比喻中，就相当于选民i通过网上关于k的民意调查看到：有很多人（即i'们）都觉得k不错（r(i',k)>0），那么选民i也就会相应地觉得k不错，是个可以相信的选择
• a(i,k)的更新过程对应关于参选人k的民意调查对于选民i的影响（已经有了很多跟随者的人更有吸引力）
• 两者交替的过程也就可以理解为选民在各个参选人之间不断地比较和不断地参考各个参选人给出的民意调查。
• r(i,k)的思想反映的是竞争，a(i,k)则是为了让聚类更成功。

三、写作背景

尽管具有混合类型属性的数据在实际应用中很常见，但各类研究对混合数据集的关注程度相对较低。对于混合数据集，最大的挑战之一是如何测量数据点之间的距离（affinity，亲和力）。处理混合数据最直接的方法之一是独热编码或1-of-K编码，即将具有K个不同值的分类属性编码为K个二进制属性，每个有分类的属性值在其对应的二进制属性上均被转换为1，然后将它们视为连续属性（编码后的数值为连续属性）。

更正式的算法比如Gower’s similarity coefficient高尔相似系数、及其扩展方法，根据数据类型来计算每个属性上两个数据点之间的局部距离（亲和度），然后将它们全部聚合为一个复合的相似性度量。但实际上，他们只是在“本地”计算两个数据点之间的距离，这些度量仅假定不同类别完全独立且不相关，而不考虑其他数据点属性，这样可能导致丢失一些原来固有的信息。但实际上在许多现实世界的数据集中，分类属性的某些值是固有相关的。

论文为混合数据聚类提出了一个基于距离（亲和力）的学习框架。首先，每个原始属性都由几个根据特定的数据类型和抽象对象定义的值来进行表示；然后，将每个属性值转换为数据点和属性抽象对象之间的初始聚类。对类别属性，每个类别都定义为抽象对象，对此类数据点的距离初始化为一个恒定值。对于每个连续属性，定义两个抽象对象以表示其最小值和最大值，它们对每个数据点的初始距离通过单个连续属性值转换而来；对序数属性，首先对所有可能的值进行排名，然后将其替换为排名的值，并将新的序数属性视为连续属性。

数据处理完成后，可获得二部图——由数据点、属性的抽象以及它们之间的初始距离所组成，然后学习新的亲和力值，包括推断出未知亲和力和完善已知的亲和力，根据亲和关系的传递属性学习新的亲和力。所有初始亲和力都使用共同的缩放因子进行缩放，没有自环的传递推理过程都认为可有效揭示这两个对象亲和。这种推理过程的确定性可量化为相关缩放亲和力值的乘积。通常，两个对象之间可以有无数个不同的传递推理过程，所有这些推理过程的一致性加在一起就是两个对象之间的新亲和力

与Gower的相似性系数及其扩展相比，论文提出的相似性学习方法具有类似的思想，即将各个属性上的部分相似性聚合为整体度量。但显着的区别是，论文的亲和力是通过考虑所有数据点属性值之间的互连而不仅仅是两个数据点之间的互连来“全局”计算。

图中编号的蓝色圆圈代表数据点，即{x1，x2，x3，x4}。每个分类属性R和Y都有三个不同的属性值。如果像Gower的系数那样仅在两个数据点xi和xj之间计算亲和力Sij，则S13和S14都为0，因为它们没有任何公共属性值。但由于存在x2，因此分别用x1和x3表示一个公共属性值，可直观推断出x1比x4更亲和x3。亲和力学习方法可通过考虑所有传递推理过程（包括x1→R1→x2→Y2→x3）来捕获此类信息。

四、相关工作

4.1 其他方法介绍

混合数据聚类的处理方法，除了使用1-hot编码来获得连续特征、使用Gower的系数及其扩展（为了测量数据点之间的相似性）外，还有一些经过特殊设计的聚类算法，包括k-prototypes、K-means-mixed（K-均值混合）、CAVE[Hsu和Chen，2007年]、M-ART[Hsu和Huang，2008年]，INTEGRATE[Bohm等，2010年]，INCONCO [Plant和Bohm，2011]，SCENIC [Plant，2012]等。

其中，K-原型算法k-prototypes基本遵循k均值算法的思想，通过对数值属性进行欧几里德距离的平方进行度量、与对类别属性进行简单匹配的相异度量组合，来计算两个混合类型对象之间的相异。

与k原型算法类似，k均值混合算法也基于k均值范式，并分别根据数值属性和分类属性计算的距离度量。而与k原型不同的是，k-means-mixed不再假定两个不同类别属性值之间的二进制或离散量度，而是根据总体分布以及与其他类别属性的共现计算距离。

论文提出的算法与“CAVE”算法类似，但CAVE仅适用于分类属性。CAVE通过使用方差来度量数据中数字部分的相似性，并根据熵权（由层次结构中距离的加权）来计算分类部分的相似性。

同样，增量聚类算法M-ART也根据与混合类型属性关联的距离层次结构，计算出两个数据点之间的距离。

INTEGRATE算法运用信息论的思想实现k-means范式，通过使用概率分布对数值和分类属性建模，并基于最小描述长度原则进行聚类，从而最小化成本函数。

INCONCO和SCENIC以与INTEGRATE类似的方式处理混合类型属性，它们的主要优点是能够建模和显示属性之间的群集特定依赖关系模式。

4.2 论文算法基础

为学习数据点和属性异构对象之间的亲和力affinity，论文采用了[Li and Latecki，2015]中提出的算法。该算法从传递推断的置信度角度，对新的亲和力进行建模。它实质上实现了von Neumann核的定义。论文还使用了[Kandola et al，2003]从语料库中学习术语之间语义相似性的方法，以测量文本文档之间的相似性，类似于论文中捕获属性值之间的固有信息的想法。

除应用背景的不同外，一个重要的区别是本文明确地将数据点和属性值之间的互连关系进行建模。论文对不选择其他可用于亲和力学习算法（例如[Zhou et al，2003]和[Yang et al，2013]）的主要原因包括：1）它们在初始亲和力矩阵上的行或列归一化会改变异构对象之间的原始关系；2）他们在语义上与论文的基础方式不同。

五、算法介绍

5.1 混合数据的处理方式

论文首先将数据点及其混合类型的属性值转换为抽象对象和初始亲和力。对类别属性，每个类别都定义为抽象对象，并类似于1-hot编码，将对此类数据点的亲和力被初始化为1，而其对其余数据点的初始亲和力为0。对于每个连续属性C，定义两个抽象对象以表示其最小值和最大值，即Cmin和Cmax。数据点x的属性值xC转换为Cmin和Cmax抽象对象的两个初始亲和力。假设它们是Sx，Cmin = a和Sx，Cmax = b，需要满足两个要求，

上图中边缘上的a、b、c、d分别表示两个数据点x和x0对Cmin和Cmax抽象对象的初始亲和力。基于扩散的亲和力学习算法将亲和力Sx x’计算为

如果x和x’在C上具有相同的属性值xC，则显然它们对Cmin和Cmax的亲和力应该相同，即a = c和b = d。显然，无论属性值xC是多少，可以使得Sx x’为常数，例如1。因此，我们得到了第一个要求，

第二个要求需要确保可以从转换后的亲和力中恢复原始的属性值。具体来说，为了将x的属性值xC转换为初始亲和力，需要首先使用Min-Max规范化对xC进行缩放。

缩放后的属性值x C 0在[0，1]范围内，即C min =0和C max = 1。求解方程组，得到亲和力转换公式为

这样，如果两个数据点在连续属性上具有相同的值，则无论该值是多少，通过基于此描述的基于扩散的亲和力学习算法 推论得出的部分亲和力始终相同。

对于序数属性，首先对所有可能的值进行排名，然后将其替换为它们的排名。新的序数属性被视为连续属性。如果缺少x的属性值，则相关的初始亲和力都将设置为0。

5.2 亲和度affinity学习

现在有一个二部图，由n个数据点、m个属性抽象对象以及它们之间的初始亲和力组成，可以构造一个非负对称亲和力矩阵A=（aij）α×α，其中，α= m+n。

A DD是一个n×n的零矩阵，指示数据点之间的亲和度未知；A DC = A CD的转置，是一个n×m矩阵，由数据点和属性的抽象对象之间的初始亲和力组成； A CC是一个m×m零矩阵，指示属性抽象对象之间的亲和力未知。然后缩放A中的非零项，即初始亲和度，并使用满足

其中max是A的最大项； ρ（A）是A的谱半径。

为获得比例因子Δ，需要计算A的谱半径ρ（A）。通过使用迭代特征值算法，缩放A的非零项可在O（α2）的复杂度下中完成，用于将矩阵I -A 0求逆的简单计算取O（α3）。诸如Strassen算法之类的高级算法可以进一步降低渐近计算的复杂度。因此，论文所提出的亲和力学习算法的直接时间复杂度为O（α3）。但是，A和I-A 0通常非常稀疏，实际效率应该更好。实验在α高达约30000（数据量）的几个真实数据集上对其进行评估。

5.3 具有亲和度学习能力的聚类

论文使用全连接算法对A∗DD中数据点之间的推断亲和力进行聚类，它是一种层次聚类方法。具体来说，在开始时每个数据点都位于本身的群集，然后将这些群集进行迭代组合，直到达到目标群集数。在每个步骤中，都将两个成员（每个集群中的一个成员）的成对亲和力最小的两个集群重新组合在一起。在n×m维矩阵A∗DC中，每行被视为对应数据点的m维特征向量。 论文选择k均值算法和全连接算法对具有此类特征的聚类。

六、实验说明

6.1 数据集介绍

论文在UCI机器学习数据库中选取了几个真实世界数据集，以此评估提出的聚类框架的性能，包括5种混合类型数据集（急性炎症、心脏病、信用审批、避孕方法选择和成人）和2种分类数据集（大豆和抽烟）。

急性炎症数据集对应于对泌尿系统两种疾病的“是/否”诊断。可以将这两种诊断分为四类，分别是（是，是），（是，否），（否，是）和（否，否）。

对于成人数据集，只使用训练集（包含32561条记录）。为公平比较，论文删除了缺少属性值的记录，最终数据集包含30162条记录。论文还去掉了属性“education”，因为它可以由另一个属性“education-num”完全表示。

在“信用审批”数据集中，有37个（约5%）记录具有一个或多个缺失值，论文的与处理方式是直接删除它们。

6.2 实验设置

IA：Inferred affinities between data points

CL：Complete-Linkage algorithm

FRA：Feature from Refined affinities of the data point to the abstract objects of attributes

KM：K-Means algorithm

实验使用的聚类算法（派生）包括：

1、IA + CL（数据点之间的推断亲和力+全连接算法）；

2、FRA + CL（从数据精确亲和度指向属性抽象对象的特性+全连接算法）；

3、FRA + KM（从数据精确亲和度指向属性抽象对象+K-Means算法）。

其中，对于FRA+CL和FRA+KM，论文使用欧几里得距离的平方进行度量。

实验通过在限制范围内改变比例因子∆的值，设置步长为10，来计算此过程中每种算法的最佳结果。

OH：One-Hot encoding

GC：Gower’s Coefficient

论文使用的对比算法包括：

1、OH+CL（独热编码+全连接算法）；

2、OH+KM（独热编码+ K-Means算法）；

3、GC+CL（Gower系数+全连接算法）；

4、KP（k-prototypes）算法；

5、KMM（K均值混合）。

论文使用Min-Max归一化方法将所有数值属性缩放到[0，1]，并随机选择k个数据点作为初始数据。对于5个混合类型的数据集，实验设置参数γ从0.5到1.5的范围内以0.1的步长变化。当使用k均值算法（包括k原型和K均值混合）时，对于包含数据量较多的Adult数据集，实验将最大迭代次数设置为1000；而对于其他6个数据集，将最大迭代次数设置为100。论文中的实验所有测试均运行100次，并以平均结果作为最终结果。

对于上述所有聚类算法，将目标聚类数设置为每个数据集中的类别数。聚类的评价方式根据Jaccard系数、Fowlkes和Mallows指数以及FScore来进行衡量。由于结果一致，论文最终仅通过FScore作为最终的评价指标。假设k是类和群集数，n是数据点数，ni和nj分别是类CLA i和群集CLU j中的数据点数，n ij是CLA i和CLU两者中的数据点数j，FScore定义为

所有实验在MATLAB R2016a中实现，实验配备为3.4 GHz的Intel®Core™i7处理器和16GB RAM。

6.3 结果分析

使用论文提出的affinity的算法为前三个，相比于传统算法（他人已经用过的），结果明显都更优。

再比较这三种算法，其中IA + CL的表现最好，在5个数据集上均获得最佳性能。由于它们使用相同的聚类算法，因此可以证明“全局”计算的数据点之间的推断亲和力比“本地”计算的相似度捕获了更多有用的信息。还可以看到，FRA+CL始终优于OH+CL，FRA+KM始终优于OH + KM，意味着从数据的精确亲和力派生的特征指向属性的抽象对象（在框架中也是“全局”计算的）比独热编码特征更为有效。在某些数据集上，KP和KMM的性能具有竞争力，但总体而言，论文提出的IA+CL和FRA+CL表现更为出色。可以证明从提出的框架派生算法对混合数据聚类是有效的。

为进一步证明考虑所有数据点属性值之间的相互联系，论文又将表2中IA+CL，FRA+CL和FRA+KM的性能与通过“本地”推断的亲和力和未定义亲和力的特征实现。具体来说，在缩放初始亲和力后，可以获得矩阵A’。A’DC包含未定义的数据点亲和力，将属性的抽象对象。论文将它们用作数据特征（FNRA：来自未定义亲和力的特征）、使用全连接（CL）和k均值（KM）算法进行聚类。获得数据之间的“本地”亲和力点，计算A ∗ = A 0×A 0。A*DD中的亲和力仅在每对数据点之间“局部”推断，称之为LIA（本地推断的亲和力），并使用完全链接（CL）算法进行聚类。在比较LIA+CL与IA+CL，FNRA+CL与FRA+CL和FNRA+KM与FRA+KM时，在每个数据集上，LIA+CL、FNRA+CL和FNRA+KM使用与IA+CL相同的比例因子，FRA + CL和FRA + KM。表3显示了性能比较，使用“全局”推断或定义的亲和力的性能始终好于或等于使用“本地”推断或未定义的亲和力的性能，证明了所提出的框架对于建模和利用所有数据点的属性值之间的互连以提高聚类性能是有效的。

为表明所提出的混合数据聚类框架在实践中适用，需要评估其在现实世界数据集上的效率。提议的框架包括三个主要部分：1）处理混合数据、2）学习能力、3）与学到的能力聚类。处理混合数据需要花费的时间呈线性变化，时间复杂度完全取决于所选的聚类算法。因此，论文仅评估亲和力学习的效率。

如上表所示，对于包含最多数千个对象的小型数据集，亲和力学习所花费的时间可以忽略不计。对于中等数据集（例如Adult），可能需要几分钟。由于这些结果是在普通PC上获得的，因此，可以说，借助现代计算技术和计算能力，所提出的框架可在实践中应用。

七、结论

7.1 论文总结

论文主要贡献包括：1）提出用于混合数据聚类的算法框架；2）提出了将连续属性值转换为初始亲和力的混合数据处理方法；3）将数据点和属性抽象对象之间的精确亲和力转换为新的数据特征。实验最后在多个现实世界数据集上的实验结果证明了该框架是有效的。

7.2 个人体会

文章的思路都是参考了别人已经发表的论文，但是提出了特殊应用背景下的使用——包括数据处理（将抽象属性特征如何做转换）、亲和度在实际聚类算法中的应用。

所以论文实际上是应用创新。但相比于普通的将别人的算法照搬进新的领域，论文加入了自己大量工作的说明、以及对想法来源的引用。论文能被IJCAI录用的最大亮点可能就是在实际应用的突出表现。

参考文献

谱聚类：

https://www.cnblogs.com/pinard/p/6221564.html

https://blog.csdn.net/songbinxu/article/details/80838865

https://blog.csdn.net/google19890102/article/details/45697695

https://www.jiqizhixin.com/graph/technologies/48f118d7-d49d-433a-a127-9912a40aaae6

https://zhuanlan.zhihu.com/p/29849122

https://www.cnblogs.com/sparkwen/p/3155850.html

AP聚类：

https://zhuanlan.zhihu.com/p/51665667基于图的聚类之-Affinity Propagation（AP）聚类

[Frey B J, Dueck D. Clustering by passing messages between data points[J]. science, 2007, 315(5814): 972-976.](Frey B J, Dueck D. Clustering by passing messages between data points[J]. science, 2007, 315(5814)

https://blog.csdn.net/u010161379/article/details/51636926Affinity Propagation: AP聚类算法

https://blog.csdn.net/lixi__liu/article/details/48470173对AP（Affinity Propagation）聚类算法的理解