使用路易社的数据进行聚类测试

mahout是直接使用hadoop集群的,参数比较多,具体可以参考书籍或DOC,这里记录初略的使用

一.
# 文本向量化(以路易社的数据为例)
mahout org.apache.lucene.benchmark.utils.ExtractReuters ./reuters-sgm ./reuters-out
hadoop fs -put ./reuters-out /test/reuters-out

mahout seqdirectory -i /test/reuters-out/ -o /test/reuters-seq/ -c UTF-8 -chunk 64 -xm sequential
mahout seq2sparse -i /test/reuters-seq -o /test/reuters-sparse -ow --weight tfidf --maxDFPercent 85 --namedVector
hadoop dfs -ls /test/reuters-sparse
mahout vectordump -i /test/reuters-sparse/tfidf-vectors -n 5

二.
1.
# KMeans聚类
mahout kmeans -i /test/reuters-sparse/tfidf-vectors -c /test/reuters-kmeans-clusters -o /test/reuters-kmeans -k 20 -dm org.apache.mahout.common.distance.CosineDistanceMeasure -x 200 -ow --clustering

# 随机选择中心
hadoop dfs -ls /test/reuters-kmeans-clusters

# 聚类结果
hadoop dfs -ls /test/reuters-kmeans

# 查看簇结果

//新版本不用从hadoop下载下来,直接运行后会把结果下载下来!
//hadoop dfs -get /test/reuters-kmeans/ ./
//hadoop dfs -get /test/reuters-sparse/ ./
mahout clusterdump -i /test/reuters-kmeans/clusters-2-final -d /test/reuters-sparse/dictionary.file-0 -dt sequencefile -o ./reuters-kmeans-cluster-dump/ -n 10

# 聚类结果中重要的是文档被聚到了哪个类(看了很多资料,都没怎么提及)
mahout seqdumper -i /test/reuters-kmeans/clusteredPoints/

2.
# Fuzzy-KMeans聚类(文本处理我们优先使用余弦测距)
mahout fkmeans -i /test/reuters-sparse/tfidf-vectors -c /test/reuters-fkmeans-clusters -o /test/reuters-fkmeans -k 20 -dm org.apache.mahout.common.distance.CosineDistanceMeasure -m 1.05 -x 200 -ow --clustering --convergenceDelta 0.01

# 查看聚类结果
mahout seqdumper -i /test/reuters-fkmeans/clusteredPoints/

3.
# Canopy聚类
mahout canopy -i /test/reuters-sparse/tfidf-vectors -o /test/reuters-canopy-centroids -dm org.apache.mahout.common.distance.CosineDistanceMeasure -t1 140 -t2 80 -ow

# 查看结果
mahout clusterdump -i /test/reuters-canopy-centroids/clusters-0-final -d /test/reuters-sparse/dictionary.file-0 -dt sequencefile -n 20 | vim -

4.
# LDA聚类(LDA使用TF) 概率模型
mahout seq2sparse -i /test/reuters-seq -o /test/reuters-sparse -ow --weight tf --maxDFPercent 50 --namedVector

# Mahout的LDA实现中tf的vector词必须是Ingeter类型，即要我们把word转换成wordid
mahout rowid -i /test/reuters-sparse/tf-vectors -o /test/reuters-cvb-vectoers

#
mahout cvb -i /test/reuters-cvb-vectoers/matrix -dict /test/reuters-sparse/dictionary.file-0 -dt /test/reuters-lda-documents -o /test/reuters-lda -k 20 -x 100 -ow -nt 41807
mahout seqdumper -i /test/reuters-lda-documents
mahout seqdumper -i /test/reuters-lda

使用路易社的数据进行聚类测试相关推荐

图新地球工程版|同豪路易BIM设计成果、CAD、倾斜模型、纬地数据、影像地形等多源项目数据融合展示汇报
图新地球工程版是面向公路.基建.电力.水利等工程行业类用户推出的一套全新三维 GIS +工程行业应用解决方案,能够将路易/同豪BIM设计成果(.skp和.fbx格式).CAD.全景照片.倾斜模型(大 ...
路易斯·罗森伯格与「群体智能」
选自 | Gigaom 编译 | 网易智能(smartman163) 参与 | 李擎与谷歌.Facebook等开发"传统意义上的人工智能"的技术不同,在Unanimous A.I ...
路易斯安那州立大学计算机科学,西北路易斯安那州立大学
西北路易斯安那州立大学是1884年成立的美国公立四年制大学,学校占地916英亩.路易斯安那州立大学西北分校是第一批进入美国航天局合资计划的六所学校之一,学生与航天局的科学家们一起工作,帮助分析数据与研 ...
大数据之路：阿里巴巴大数据实践，附339页PPT下载
7份关于大数据的资料都整理好了,需要的自取,获取方式:转发+私信我回复:大数据 1.<大数据之路:阿里巴巴大数据实践> 2014年,马云提出,"人类正从IT时代走向DT时代&qu ...
路易斯安那州立大学计算机科学,路易斯安那州立大学
路易斯安那州立大学 LouisianaState University 本科桥梁.直录学校基本概况学校性质:公立,研究性大学成立时间:1860年大学排名:全美129,公立大学排名 62,商科8 ...
大数据之路读书笔记-16数据应用
大数据之路读书笔记-16数据应用全球知名咨询公司麦肯锡称:"数据,已经透到当今每一个行业和业务职能领域,成为重要的生产要素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈 ...
SitePoint播客＃110：路易的首秀
Episode 110 of The SitePoint Podcast is now available! This week the panel is made up of Louis Simon ...
易观 CTO 郭炜：易观大数据架构的变迁
今天跟大家分享易观大数据架构的变迁,包含三部分,第一先给大家讲易观的变化,也是易观产品技术的结果:第二是从技术角度来讲一下易观大数据技术架构的变迁:第三分享一点创新方向的心得. 在过去,大家谈起易观, ...
用Spark和DBSCAN对地理定位数据进行聚类
机器学习,特别是聚类算法,可以用来确定哪些地理区域经常被一个用户访问和签到而哪些区域不是.这样的地理分析使多种服务成为可能,比如基于地理位置的推荐系统,先进的安全系统,或更通常来说,提供更个性化的用户 ...

使用路易社的数据进行聚类测试

使用路易社的数据进行聚类测试相关推荐

最新文章

热门文章