文本关键词的提取算法实验

转载自：http://blog.csdn.net/samule704/article/details/5118425

近期刚刚开始进入 SE 的领域，觉得这里面确实有很多值得研究的东西，从网络爬虫到网页信息的抽取再到文本关键词的提取以及用户检索（个性化SE）等等包罗万象。

下午玩完，先来无事，再次浏览了一下蛙蛙池塘的博客，觉得里面的对关键词的提取算法还不错，所以个人又在上午实验的基础上，完善了下这部分。

对于该部分，蛙蛙池塘的实现我觉得有一点是不合理的（个人意见）：对于词频的统计应该是该词在该类中所出现的所有次数（如：在某一类（1，2，4）中，单词A在1中出现的次数是3次，在4中出现的次数是1次，在 2中出现了 0次，那么单词A的词频应该是 3+1+0 =4 ，而不是 1+1+0=2 ）

输入数据是：

测试输入如下
================================
a 奥运拳击入场券基本分罄邹市明夺冠对手浮出水面
a 股民要清楚自己的目的
a 印花税之股民四季
a ASP.NET 自定义控件复杂属性声明持久性浅析
a 运动员行李将 “后上先下” 奥运相关人员行李实名制
a asp.net 控件开发显示控件内容
a 奥运票务网上成功订票后应及时到银行代售网点付款
a 某心理健康站开张后首个咨询者是位新股民
a 残疾女青年入围奥运游泳比赛创奥运历史两项第一
a 介绍一个 ASP.net MVC 系列教程
a 在 asp.net 中实现观察者模式，或有更好的方法（续）
a 输大钱的股民给我们启迪
a Asp.Net 页面执行流程分析
a 杭州股民放鞭炮庆祝印花税下调
================================

具体的Java实现如下：只列举了 GetKeyword的实现

public List<String> GetKeyword(List<Integer> arr, int count) {
  // 1、给每个文档分词并保存在一个列表里
  List<String> allWords = new ArrayList<String>();
  for (int i = 0; i < arr.size(); i++) {
   // 这里把一个文档里出现的多个词进行消重
   List s1 = this._tokenizer.Partition(_docs[arr.get(i)]);
   String[] s2 = this.GetDistinctWords((String[]) s1
     .toArray(new String[s1.size()]));
   for (int i1 = 0; i1 < s2.length; i1++)
    allWords.add(s2[i1]);
  }
  // 2、用一个字典保存词的词频,key是词，value是重复次数
  Map.Entry[] tfDict = SortByDuplicateCount(allWords);

// 3、遍历已排序的词频字典，并获取每个词的IDF值，并把更新后的结果放入一个tfidfDict词典
// 该词典的key是词，value是tfidf值
Map<String, Float> tfidfDict = new HashMap<String, Float>();

for (int i = 0; i < tfDict.length; i++) {
   int termt = (Integer) tfDict[i].getValue();
   String term = (String) tfDict[i].getKey();
   {
    int index = this._wordsIndex.get(term);
    float idf = GetInverseDocumentFrequency(index);
    // System.out.println(tfDict[i].getKey()+" 词频："+ termt
    // +"文档频率："+idf+" "+termt * idf);
    tfidfDict.put(term, termt * idf);
   }
  }

// 4、给tfidf字典俺权重排序
Map.Entry[] tfidfDictSet = SortMap.getSortedHashtableByValue(tfidfDict);// GetSortByValueDict(tfidfDict);

// 5、更新要提取的关键词数量
  int keywordCount = count;
  if (keywordCount > tfidfDict.size())
   keywordCount = tfidfDict.size();

// 6、用一个数组保存tfidf字典的keys，这些key已排序
  // String[] keywordArr = new String[tfidfDict.size()];
  // tfidfDict.Keys.CopyTo(keywordArr,0);
  // Set keySet = tfidfDict.keySet();

// 7、在关键词数组里取出前几个关键词返回给调用者
List<String> result = new ArrayList<String>(keywordCount);
int tempCount = 0;

for (int i = 0; i < tfidfDictSet.length; i++) {
   tempCount++;
   result.add((String) tfidfDictSet[i].getKey());
   if (tempCount >= keywordCount)
    break;
  }
  return result;
}

输出数据：

Iteration 0...
Iteration 1...
Iteration 2...
-----------------
0 聚类成员是 :[3, 5, 9, 10, 11]

a ASP.NET 自定义控件复杂属性声明持久性浅析
a asp.net 控件开发显示控件内容
a 介绍一个 ASP.net MVC 系列教程
a 在 asp.net 中实现观察者模式，或有更好的方法（续）
a 输大钱的股民给我们启迪
-------------asp.net 控件 ---
-----------------
1 聚类成员是 :[0, 4, 6, 8]

a 奥运拳击入场券基本分罄邹市明夺冠对手浮出水面
a 运动员行李将 “后上先下” 奥运相关人员行李实名制
a 奥运票务网上成功订票后应及时到银行代售网点付款
a 残疾女青年入围奥运游泳比赛创奥运历史两项第一拳击
-------------奥运拳击 ---
-----------------
2 聚类成员是 :[1, 2, 7, 12, 13]

a 股民要清楚自己的目的
a 印花税之股民四季
a 某心理健康站开张后首个咨询者是位新股民
a Asp.Net 页面执行流程分析
a 杭州股民放鞭炮庆祝印花税下调
-------------股民印花税 ---

文本关键词的提取算法实验相关推荐

文本关键词的提取算法实验[又是转的]
近期刚刚开始进入 SE 的领域,觉得这里面确实有很多值得研究的东西,从网络爬虫到网页信息的抽取再到文本关键词的提取以及用户检索(个性化SE) 等等包罗万象. 下午玩完,先来无事,再次浏览 ...
java 文本分析关键词提取_文本关键词提取算法总结
1.TF-IDF 昨天给大家演示简单的文本聚类,但要给每个聚类再提取一两个关键词用于表示该聚类.我们还是用TFIDF算法来做,因为这是比较简单的提取特征算法,不过这里的TF是指某词在本聚类内所有文章的 ...
文本分类和提取关键词算法_文本内容之间的关键词提取和相似度计算
文本分类和提取关键词算法背景 Web应用程序变得越来越智能. 从网站上使用服务的日子已经一去不复返了,用户不得不填写一个巨大的表格. 假设您有一个适合书迷的网站. 在Web 2.0之前,像这样的网站 ...
如何做好文本关键词提取？从三种算法说起
在自然语言处理领域,处理海量的文本文件最关键的是要把用户最关心的问题提取出来.而无论是对于长文本还是短文本,往往可以通过几个关键词窥探整个文本的主题思想.与此同时,不管是基于文本的推荐还是基于文本的搜 ...
python如何打开txt文件、并算词频_python TF-IDF词频算法实现文本关键词提取代码...
TF(Term Frequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词.所以我们需要一个重要性调整系数来衡量一个词 ...
python 英文关键词提取_python TF-IDF算法实现文本关键词提取
TF(Term Frequency)词频,在文章中出现次数最多的词,然而文章中出现次数较多的词并不一定就是关键词,比如常见的对文章本身并没有多大意义的停用词.所以我们需要一个重要性调整系数来衡量一个词 ...
基于TextRank的关键词提取算法
基于TextRank的关键词提取算法前沿 TextRank是一种文本排序算法,是基于著名的网页排序算法PageRank改动而来.在介绍TextRank前,我们先简单介绍下什么是PageRank.另外 ...
关键词提取算法—TF/IDF算法
关键词提取算法一般可分为有监督学习和无监督学习两类. 有监督的关键词提取方法可以通过分类的方式进行,通过构建一个较为完善的词表,然后判断每个文档与词表中的每个词的匹配程度,以类似打标签的方式,达到关键 ...
NLP实战文本关键词提取
+是加法.行尾的\在下一行继续当前语句或表达式,即续行. 实战项目简介文本关键词提取,顾名思义,关键词是能够表达文档中心内容的词语,常用于计算机系统标引论文内容特征.信息检索.系统汇集以供读者检阅. ...

文本关键词的提取算法实验

文本关键词的提取算法实验相关推荐

最新文章

热门文章