使用spark mllib识别LED数字

最近在学习spark mllib，突然有个想法，能否利用mllib来识别LED数字呢？

说干就干，先在纸上画出了0-9的LED显示，然后教儿子怎么把每个数字转成一个向量：

然后准备一个文本文件labeled-points.txt：

(0,[1,1,1,0,1,1,1])
(1,[0,0,1,0,0,1,0])
(2,[1,0,1,1,1,0,1])
(3,[1,0,1,1,0,1,1])
(4,[0,1,1,1,0,1,0])
(5,[1,1,0,1,0,1,1])
(6,[1,1,0,1,1,1,1])
(7,[1,0,1,0,0,1,0])
(8,[1,1,1,1,1,1,1])
(9,[1,1,1,1,0,1,1])

这个应该是个分类问题，选用LogisticRegressionWithLBFGS：

import org.apache.spark.SparkContext
import org.apache.spark.mllib.classification.{LogisticRegressionWithLBFGS, LogisticRegressionModel}
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.util.MLUtilsval data = MLUtils.loadLabeledPoints(sc,"file:///labeled-points.txt")val model = new LogisticRegressionWithLBFGS().setNumClasses(10).run(data)

最后随便拿出一个数字，让它来猜猜：

model.predict(Vectors.dense(Array(1.0,1.0,0.0,1.0,1.0,1.0,1.0)))
res24: Double = 6.0

怎么样？还是不错的吧~~~
这个model的权重好像很多：

scala> model.weights
res29: org.apache.spark.mllib.linalg.Vector = [-30.68420353263392,-13.819117851407729,20.27517376062209,-17.878063796956003,-8.641455334351308,30.780101010826108,-17.243132942967932,11.509783689282543,-14.900033352764835,11.684427660291847,12.07060530601555,17.31310120498649,-59.232219286895614,11.386593790510851,5.090436073435982,-25.983226739036247,3.8562537560950205,10.30603523382833,-14.356520662249086,-0.8387336591993536,9.557546094038313,-31.853702036193578,14.47383139964512,8.794502062134377,13.95757471451068,-9.84270147539397,8.893604711671909,-20.982818493822286,6.522677078631281,10.241387441753627,-40.12363598646755,8.698186733644015,-17.906199015916943,3.8333204609982374,8.050490292724493,2.3703073829997034,7.401912395339493,-46.95213122452467,9.951675789189242,19.38502076196...

真的很累啊^_^

使用spark mllib识别LED数字相关推荐

【Spark Summit East 2017】使用Spark MLlib和Apache Solr构建实时实体类型识别系统
更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data:此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.a ...
Spark MLlib 机器学习
本章导读机器学习(machine learning, ML)是一门涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多领域的交叉学科.ML专注于研究计算机模拟或实现人类的学习行为,以获取新知识.新 ...
Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
[注]该系列文章以及使用到安装包/测试数据可以在<倾情大奉送--Spark入门实战系列>获取 1.机器学习概念 1.1 机器学习的定义在维基百科上对机器学习提出以下几种定义: l&qu ...
python spark MLlib
window系统 1. anaconda 或python spark环境变量 2. 配置spark home D:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1. ...
Spark MLlib — Word2Vec
Word2vec 是 Google 在 2013 年开源的一款将词表征为实数值向量的高效工具.能够将单词映射到K维向量空间,同时由于算法考虑了每个单词的上下文环境,因此词向量表示同时具有语义特性.本文 ...
Spark MLlib机器学习 | 算法综合实战(一)(史上最详细)
========== ========= 8.1.1 什么是机器学习机器学习可以看做是一门人工智能的科学,该领域的主要研究对象是人工智能.机器学习利用 ...
Spark入门实战系列--8.Spark MLlib（下）--机器学习库SparkMLlib实战
1.MLlib实例 1.1 聚类实例 1.1.1 算法说明聚类(Cluster analysis)有时也被翻译为簇类,其核心任务是:将一组目标object划分为若干个簇,每个簇之间的object尽可 ...
Spark MLlib机器学习 Pipelines
Spark ML Pipelines ML管道管道的主要概念 DataFrame Pipeline components(管道组件) Transformers(转换器) Estimators(估算器 ...
【Spark Mllib】TF-IDFWord2Vec——文本相似度
重磅推荐专栏 <Transformers自然语言处理系列教程> ,带你深入实践Transformers,构建自己的NLP智能应用! 1 从数据中抽取合适的特征 1.1 TF-IDF短语加权 ...

使用spark mllib识别LED数字

使用spark mllib识别LED数字相关推荐

最新文章

热门文章