蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子

蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园

蛙蛙推荐：蛙蛙教你文本聚类

摘要：文本聚类是搜索引擎和语义web的基本技术，这次本蛙和大家一起学习一下简单的文本聚类算法，可能不能直接用于实际应用中，但对于想学搜索技术的初学者还是有一定入门作用的。这里会用到TF/IDF权重，用余弦夹角计算文本相似度，用方差计算两个数据间欧式距离，用k-means进行数据聚类等数学和统计知识。关于这些概念可以去google，或者参考文本后的参考链接。

思路：计算两篇文档的相似度，最简单的做法就是用提取文档的TF/IDF权重，然后用余弦定理计算两个多维向量的距离。能计算两个文本间的距离后，用标准的k-means算法就可以实现文本聚类了。

测试：首先我们准备以下数据
===================
奥运拳击入场券基本分罄邹市明夺冠对手浮出水面
股民要清楚自己的目的
印花税之股民四季
杭州股民放鞭炮庆祝印花税下调
残疾女青年入围奥运游泳比赛创奥运历史两项第一
介绍一个 ASP.net MVC 系列教程
在 asp.net 中实现观察者模式，或有更好的方法（续）
输大钱的股民给我们启迪
Asp.Net 页面执行流程分析
运动员行李将 “后上先下” 奥运相关人员行李实名制
asp.net 控件开发显示控件内容
奥运票务网上成功订票后应及时到银行代售网点付款
某心理健康站开张后首个咨询者是位新股民
ASP.NET 自定义控件复杂属性声明持久性浅析
==================
很明显以上数据可以分为三类：asp.net，奥运和股民，我们就写程序来实现它，各种算法的原理网上都有，我就大概只贴代码，声明一下，部分代码是从网上直接抄的，k-means代码是我从一篇文章的java示例代码转换过来的，我给代码加了不少注释，希望能帮助大家理解。

以下是入口函数

posted on 2012-12-08 16:11 lexus 阅读(...) 评论(...) 编辑收藏

转载于:https://www.cnblogs.com/lexus/archive/2012/12/08/2809012.html

蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园相关推荐

蛙蛙推荐：一个程序员2012年技术学习总结 - 蛙蛙王子 - 博客园
蛙蛙推荐:一个程序员2012年技术学习总结 - 蛙蛙王子 - 博客园蛙蛙推荐:一个程序员2012年技术学习总结 - 蛙蛙王子 - 博客园俗一吧,也总结一下,程序员,代码说话. posted on ...
教你怎样快速DIY自己的博客园SKIN
授之鱼,不如授之渔.我共享100个根据自己审美眼光制作的Skin还不如教大家怎么自己动手做呢--毕竟大家审美眼光不一样,在加上我本人又是色盲实在作不出什么好外观来. 工欲善其事必先利其器.首 ...
蛙蛙推荐：蛙蛙教你文本聚类
蛙蛙推荐:蛙蛙教你文本聚类摘要:文本聚类是搜索引擎和语义web的基本技术,这次本蛙和大家一起学习一下简单的文本聚类算法,可能不能直接用于实际应用中,但对于想学搜索技术的初学者还是有一定入门作用的.这 ...
教你文本聚类（参考http://www.kuqin.com/searchengine/20080511/8323.html）
参考蛙蛙池塘的教你文本聚类一文http://www.kuqin.com/searchengine/20080511/8323.html 以 Java 代码的形式予以实现.一下为我对此文的理 ...
Python爬虫入门教程：博客园首页推荐博客排行的秘密
1. 前言虽然博客园注册已经有五年多了,但是最近才正式开始在这里写博客.(进了博客园才知道这里面个个都是人才,说话又好听,超喜欢这里...)但是由于写的内容都是软件测试相关,热度一直不是很高.看到首 ...
手把手教你搭建属于自己的技术博客（小白教程）
手把手教你搭建属于自己的技术博客先放上我自己搭建的博客地址 https://sourl.cn/Tbk7yt 这里我使用的是 Hexo 框架以及 Github pages 进行的搭建文章目录手把 ...
推荐一部python教程_Python爬虫入门教程：博客园首页推荐博客排行的秘密
1. 前言虽然博客园注册已经有五年多了,但是最近才正式开始在这里写博客.(进了博客园才知道这里面个个都是人才,说话又好听,超喜欢这里...)但是由于写的内容都是软件测试相关,热度一直不是很高.看到首 ...
Python爬虫-博客园首页推荐博客排行(整合词云+邮件发送)
1.前提: 总体思路,利用多线程(mutiSpider)爬取博客园首页推荐博客,根据用户名爬取该用户的阅读排行榜(TopViewPosts),评论排行榜(TopFeedbackPosts),推荐排行榜 ...
java爬虫之爬取博客园推荐文章列表
这几天学习了一下Java爬虫的知识,分享并记录一下: 写一个可以爬取博客园十天推荐排行的文章列表通过浏览器查看下一页点击请求,可以发现在点击下一页的时候是执行的 post请求,请求地址为 http ...

蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园

蛙蛙推荐：蛙蛙教你文本聚类 - 蛙蛙王子 - 博客园相关推荐

最新文章

热门文章