基于Spark的机器学习实践 (九) - 聚类算法
0 相关源码
1 k-平均算法(k-means clustering)概述
1.1 回顾无监督学习
◆ 分类、回归都属于监督学习
◆ 无监督学习是不需要用户去指定标签的
◆ 而我们看到的分类、回归算法都需要用户输入的训练数据集中给定一个个明确的y值
1.2 k-平均算法与无监督学习
◆ k-平均算法是无监督学习的一种
◆ 它不需要人为指定一个因变量,即标签y ,而是由程序自己发现,给出类别y
◆ 除此之外,无监督算法还有PCA,GMM等
源于信号处理中的一种向量量化方法,现在则更多地作为一种聚类分析方法流行于数据挖掘领域。
k-平均聚类的目的是:把n 个点(可以是样本的一次观察或一个实例)划分到k个聚类中,使得每个点都属于离他最近的均值(此即聚类中心)对应的聚类,以之作为聚类的标准。
这个问题将归结为一个把数据空间划分为Voronoi cells的问题。
这个问题在计算上是NP困难的,不过存在高效的启发式算法。
一般情况下,都使用效率比较高的启发式算法,它们能够快速收敛于一个局部最优解。
这些算法通常类似于通过迭代优化方法处理高斯混合分布的最大期望算法(EM算法)。
而且,它们都使用聚类中心来为数据建模;然而k-平均聚类倾向于在可比较的空间范围内寻找聚类,期望-最大化技术却允许聚类有不同的形状。
k-平均聚类与k-近邻之间没有任何关系(后者是另一流行的机器学习技术)。
2 k-平均算法原理
2.1 k-平均算法描述
◆ 设置需要聚类的类别个数K ,以及n个训练样本,随机初始化K个聚类中心
◆ 计算每个样本与聚类中心的距离,样本选择最近的聚类中心作为其
类别;重新选择聚类中心
◆ 迭代执行上一步,直到算法收敛
- 算法图示
3 Kmeans算法实战
- 官方文档指南
k-means是最常用的聚类算法之一,它将数据点聚类成预定义数量的聚类
MLlib实现包括一个名为kmeans ||的k-means ++方法的并行变体。
KMeans作为Estimator实现,并生成KMeansModel作为基本模型。
- 代码
- 结果
4 LDA算法概述
4.1 LDA算法介绍
◆ LDA即文档主题生成模型 ,该算法是一种无监督学习
◆ 将主题对应聚类中心,文档作为样本,则LDA也是一种聚类算法
◆ 该算法用来将多个文档划分为K个主题 ,与Kmeans类似
隐含狄利克雷分布(英语:Latent Dirichlet allocation,简称LDA),是一种[主题模型],它可以将文档集中每篇文档的主题按照[概率分布]的形式给出。
同时它是一种[无监督学习]算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。
此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。
LDA首先由 David M. Blei、吴恩达和迈克尔·I·乔丹 "迈克尔·乔丹 (学者)")于2003年提出,目前在[文本挖掘]领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。
5 LDA算法原理
5.1 LDA算法概述
◆ LDA是一种基于概率统计的生成算法
◆ 一种常用的主题模型,可以对文档主题进行聚类,同样也可以用在其他非文档的数据中
◆ LDA算法是通过找到词、文档与主题三者之间的统计学关系进行推断的
5.2 LDA算法的原理
◆ 文档的条件概率可以表示为
6 LDA算法实践
- 官方文档指南
LDA实现为支持EMLDAOptimizer和OnlineLDAOptimizer的Estimator,并生成LDAModel作为基本模型。如果需要,专家用户可以将EMLDAOptimizer生成的LDAModel转换为DistributedLDAModel。
- 代码
- prediction.show()
- topics.show(false)
Spark机器学习实践系列
- 基于Spark的机器学习实践 (一) - 初识机器学习
- 基于Spark的机器学习实践 (二) - 初识MLlib
- 基于Spark的机器学习实践 (三) - 实战环境搭建
- 基于Spark的机器学习实践 (四) - 数据可视化
- 基于Spark的机器学习实践 (六) - 基础统计模块
- 基于Spark的机器学习实践 (七) - 回归算法
- 基于Spark的机器学习实践 (八) - 分类算法
- 基于Spark的机器学习实践 (九) - 聚类算法
基于Spark的机器学习实践 (九) - 聚类算法相关推荐
- 基于Spark的机器学习实践 (七) - 回归算法
0 相关源码 1 回归分析概述 1.1 回归分析介绍 ◆ 回归与分类类似,只不过回归的预测结果是连续的,而分类的预测结果是离散的 ◆ 如此,使得很多回归与分类的模型可以经过改动而通用 ◆ 因此对于回归 ...
- 基于Spark的机器学习实践 (三) - 实战环境搭建
0 相关源码 1 Spark环境安装 ◆ Spark 由scala语言编写,提供多种语言接口,需要JVM ◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译 ◆ Spark安装不难,配 ...
- 基于梯度方向、极化变换和聚类算法的图像主特征直线检测
基于梯度方向.极化变换和聚类算法的图像主特征直线检测 基于机器学习和图像处理的直线检测 代码主要思路: 1)借助类LSD直线检测,提取图像各个方向梯度:2)对像素中的各个梯度方向做极化变换:3)对计划 ...
- (课程)基于Spark的机器学习经验
(课程)基于Spark的机器学习经验 祝威廉 2016-09-07 16:48:36 浏览837 评论0 机器学习 spark 摘要: 这篇内容基于我去年的一些感悟写的,但是今年才在Stuq 的 ...
- dp聚类算法_【深度】基于残差分析的混合属性数据聚类算法
CAA 智慧起航,共创未来 聚类分析在医学.图像分割.生物学.电子商务.互联网等领域得到了广泛应用.在实际应用环境中,被聚类的数据通常含有数值属性和分类属性,例如医学检测报告不仅有血压.脉搏等数值属性 ...
- 机器学习中的聚类算法有哪几种?
目前,聚类算法被广泛应用于用户画像.广告推荐.新闻推送和图像分割等等.聚类算法是机器学习中一种"数据探索"的分析方法,它帮助我们在大量的数据中探索和发现数据的结构.那么机器学习中的 ...
- 机器学习实战——密度聚类算法
机器学习实战--密度聚类算法 1 密度聚类 2 sklearn中的实现 1 密度聚类 密度聚类假设聚类结构能够通过样本分布的密集程度确定,通常情形下,密度聚类算法从样本密度的角度来考察样本之间的可连接 ...
- 机器学习面试题——聚类算法
机器学习面试题--聚类算法 提示:互联网大厂经常考的传统机器学习算法 文章目录 机器学习面试题--聚类算法 @[TOC](文章目录) 题目 k-means介绍一下,K-means的过程 k-means ...
- 机器学习入门:聚类算法-5
机器学习入门:聚类算法 1.实验描述 本实验先简单介绍了一下各聚类算法,然后利用鸢尾花数据集分别针对KMeans聚类.谱聚类.DBSCAN聚类建模,并训练模型:利用模型做预测,并使用相应的指标对模型进 ...
最新文章
- java课设推荐,《Java程序设计》课程设计报告推荐.docx
- vmware vsphere 虚拟化之安装esxi
- 图解Spring循环依赖,看过之后再也不怕面试被问到了!
- 软件项目管理0723:一页项目管理-主任务
- AIX系统maxuproc太小导致ORA-27300错
- 8-Python3从入门到实战—基础之数据类型(集合-Sets)
- PHP 基础 自动类型转换之比较运算符
- 数据结构的堆栈与内存中堆栈的区别
- object 整理中..... 顶级页面
- QCon杭州2012技术开发大会感受
- python多找表格进行数据对比
- localhost:8080
- matlab中的Repeating Sequence的用法
- cad应用技巧:图层特性管理器
- 私有化短链接管理系统-魔众短链接系统 v1.0.0
- hadoop ha搭建 namenode格式化失败等错误
- HyperLynx(二十五)电源完整性之直流压降分析(二)
- 移动互联网时代,为什么要选择电商创业?
- Java内存模型 之 happens-before
- 电子商务行业RFID仓库管理系统,智慧仓库管理RFID平台-新导智能
热门文章
- NLP/CV模型跨界,视觉Transformer赶超CNN?
- 图解Transformer,读完这篇就够了
- 人工智能项目:需要注意的七件事
- AI时代,产品经理需要掌握的5项新技能
- 微软研究院开源编程语言Verona,借鉴Rust、Cyclone等特性
- 2019 AI Index 报告出炉:AI 领域取得的进展很多,但结果忧喜参半
- 是什么给了150万开发者拥抱深度学习的底气?
- 2019年中国智能制造的十大发展关键点
- 阿里云总裁胡晓明:“这些新杭州故事,明天将会在更多城市发生”
- 如何查找主机的型号、操作系统安装时间、硬盘序列号和设备序列号