label propagation(标签传播)

label propagation 原理

label propagation是一种半监督学习算法，主要基于三种假设：
- 平滑假设：相似的数据具有相同的label
- 聚类假设：处于同一聚类下的数据具有相同的label
- 流形假设：处于同一流行结构下的数据具有相同的label

步骤：

1.构建相似矩阵
2. 标签传播

构建相似矩阵
标签传播算法是基于图模型的，第一步我们需要先构建一个图，图中的每个节点都是一个数据，边表示数据之间的相似度，假设我们所构建的图为全连接图，定义节点i和节点j的相似度（即边权重）为：

wij=exp(−||xi−xj||α2)

w_{ij} =exp(-\dfrac{||x_i-x_j||}{\alpha^2})
其中 α\alpha为超参数。（另外一种构建图的方式是knn图，即只保留每个节点的k近权重，其他边为0，此时的边权重为稀疏的。）
标签传播
标签传播即通过节点间的边传播标签信息，边的权重越大，表示两个节点越相似，此时的概率转移矩阵为：

pij=wij∑nk=1wik

p_{ij}=\frac{w_{ij}}{\sum_{k=1}^{n}w_{ik}}
其中 pijp_{ij}表示从节点i转移到节点j的概率。
另外假设有M个分类N个样本，其中有label的为N1个，没有label的为N2个，则可以对label构建两个矩阵分别为N1*M的 yly_l和N2*M的 yuy_u, yuy_u由于无标签信息，则可以随机初始化，此时定义 f=[yl,yu]f=[y_l,y_u ]。
此时迭代计算过程如下：

计算f=pff=pf

更新label的标签：fl=ylf_l=y_l

重复上述过程直至f收敛

简化计算
如下所示，矩阵P构成为：

P=[pllpulplupuu]

P=\begin{bmatrix} p_{ll} & p_{lu} \\ p_{ul} & p_{uu} \end{bmatrix}
由于 yly_l始终不变，因此实际计算的只有：

fu←puufu+pulyl

f_{u}\leftarrow p_{uu}f_{u}+p_{ul}y_{l}
迭代上式至收敛则得到解。
另外，可以直接用如下公式得到解为：

fu=(I−puu)−1pulyl

f_{u}=(I-p_{uu})^{-1}p_{ul}y_{l}

Label propagation相关推荐

标签传播算法（Label Propagation）及Python实现
众所周知,机器学习可以大体分为三大类:监督学习.非监督学习和半监督学习.监督学习可以认为是我们有非常多的labeled标注数据来train一个模型,期待这个模型能学习到数据的分布,以期对未来没有见到的 ...
COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS（CorrectSmooth）阅读笔记
文章目录链接一.摘要二.引言三."修正和平滑"模型四.转导式节点分类实验四.总结总结红色部分为个人的一些解读,不足之处请多多指点! 链接论文题目:结合标签传播和简 ...
单细胞文献学习(part6)--ForestFireClustering for sc sequencing combines iterative label propagation with ...
学习笔记,仅供参考,有错必纠博客阅读索引:博客阅读及知识获取指南文章目录 Forest Fire Clustering for single-cell sequencing combines it ...
SLAP（Speaker-Listener Label Propagation Algorithm）社区发现算法
其中部分转载的社区发现SLPA算法文章一.概念社区(community)定义:同一社区内的节点与节点之间关系紧密,而社区与社区之间的关系稀疏. 设图G=G(V,E),所谓社区发现是指在图G中确定n ...
社交圈子挖掘的一种快速的方法--label propagation
这几天做复杂网络相关的学习研究,越发觉得网络科学的内容会越来越丰富,应用会越来越多.会为人类进步,产生巨大的贡献.我又激动了. 这篇博客介绍的方法,可以应用在大规模的复杂网络中,有着近乎线性的复杂度. ...
Python实现Label Propagation社区划分算法
声明:代码的运行环境为Python3.Python3与Python2在一些细节上会有所不同,希望广大读者注意.本博客以代码为主,代码中会有详细的注释.相关文章将会发布在我的个人博客专栏<Pyth ...
读《Prioritizing disease genes with animproved dual label propagation framework》
摘要背景: 疾病基因优先排序是试图找出某一特定表型的潜在致病基因,从而揭示人类疾病的遗传基础,促进药物的开发. 本文的动机是受到标签传播算法和假阳性蛋白质-蛋白质相互作用的启发.假阳性蛋白质-蛋白质 ...
CS224W摘要05.Label Propagation for Node Classification
文章目录 Homophily和Influence Motivation 半监督学习:Collective Classification Probabilistic Relational classif ...
Combining Label Propagation and Simple Models OUT-PERFORMS Graph Networks
Label 相关论文汇总
文献阅读笔记 1.DLDL 2.MLIC-WCP 3.MLIR-GCN 4.C-Tran 5.ACPL CVPR2022 other, 2022 1.DLDL 2.MLIC-WCP 3.MLIR-GC ...

Label propagation

label propagation(标签传播)

label propagation 原理

步骤：

Label propagation相关推荐

最新文章

热门文章