《Clojure数据分析秘笈》——2.6节调整词频值的度量

本节书摘来自华章社区《Clojure数据分析秘笈》一书中的第5章，第2.6节调整词频值的度量，作者（美）Eric Rochester，更多章节内容可以访问云栖社区“华章社区”公众号查看

2.6　调整词频值的度量
标准化数值的一种方式是根据组的大小来度量其频率。例如，单词truth在一个文档中出现三次。如果这个文档有30个单词是一种意义，然而如果这个文档有300个单词或者3000个单词就会有不同的意义。如果数据集中的文档长度不一，如何跨文档比较单词的频率？
答案是—调整词频的计量方式。在一些情况下仅需按文档长度调整，或者如果想得到更好的结果，可以利用更复杂的技术如tf-idf（term frequency-inverse document frequency）。维基百科有关于这项技术的介绍，详见http://en.wikipedia.org/wiki/Tf-idf。
本方法中将根据文档的总词数调整单词频率。

2.6.1　准备工作
本方法中不需要太多工具。然而，如果在REPL中有一个较好的输出工具，工作会变得容易些。使用如下命令：

可以立即看到调整后的值更容易进行比较。例如，调整后的频率可以相互比较，然而未经调整的频率却不能（调整后0.53和0.5，调整前92和3）。当然，由于这不是一个真实的数据集，这些频率没有实际意义，但这展示了方法和如何改善数据集。
2.6.3　实现原理
对于每个函数，传入一对键：源键和目的键。第一个函数rescale-by-total将源键对应的值加和，然后将目的键设置成这个值与集合中所有项目中源键对应值的和的比例。
第二个函数rescale-by-group使用另一个键：组键（group key）。它根据组键对所有项目排序分组，并将每个组传给rescale-by-total函数。

《Clojure数据分析秘笈》——2.6节调整词频值的度量相关推荐

《Clojure数据分析秘笈》——1.6节从JDBC数据库读取数据
本节书摘来自华章社区<Clojure数据分析秘笈>一书中的第1章,第1.6节从JDBC数据库读取数据,作者(美)Eric Rochester,更多章节内容可以访问云栖社区"华章社 ...
《黑客秘笈——渗透测试实用指南》—第2章2.4节Web应用程序的扫描
本节书摘来自异步社区<黑客秘笈--渗透测试实用指南>一书中的第2章2.4节Web应用程序的扫描,作者[美]Peter Kim(彼得基姆),更多章节内容可以访问云栖社区"异步社区 ...
《黑客秘笈——渗透测试实用指南》—第2章2.3节外部或内部的主动式信息收集...
本节书摘来自异步社区<黑客秘笈--渗透测试实用指南>一书中的第2章2.3节外部或内部的主动式信息收集,作者[美]Peter Kim(彼得基姆),更多章节内容可以访问云栖社区" ...
《黑客秘笈——渗透测试实用指南》—第1章1.1节搭建渗透测试主机
本节书摘来自异步社区<黑客秘笈--渗透测试实用指南>一书中的第1章1.1节搭建渗透测试主机,作者[美]Peter Kim(彼得基姆),更多章节内容可以访问云栖社区"异步社区&q ...
门店经营指标数据分析！（独家秘笈…
http://www.itongji.cn/article/061JB12015.html 中国统计网国内大数据分析第一门户,数据分析从这里开始! [干货]门店经营指标数据分析!(独家秘笈) hong ...
《黑客秘笈——渗透测试实用指南（第2版）》—第2章2.7节总结
本节书摘来自异步社区<黑客秘笈--渗透测试实用指南(第2版)>一书中的第2章2.7节总结,作者[美]Peter Kim(皮特基姆),更多章节内容可以访问云栖社区"异步社区&qu ...
《黑客秘笈——渗透测试实用指南（第2版）》目录—导读
版权黑客秘笈--渗透测试实用指南(第2版) • 著 [美] Peter Kim 译孙勇责任编辑傅道坤 • 人民邮电出版社出版发行北京市丰台区成寿寺路11号邮编 100164 电子邮件 3 ...
《T-SQL性能调优秘笈——基于SQL Server 2012 窗口函数》——1.2　使用窗口函数的解决方案简介...
本节书摘来自异步社区出版社<T-SQL性能调优秘笈--基于SQL Server 2012 窗口函数>一书中的第1章,第1.2节,作者: [美]Itzik Ben-Gan,更多章节内容可以访 ...
数据科学竞赛经验分享：你从未见过的究极进化秘笈
作者: David K(来自知乎) 排版:杰少,kaggle竞赛宝典小编 "听过很多道理,却依然过不好一生:看过很多分享,却依然做不好比赛." 如今,数据科学竞赛(大数据竞赛,机器 ...

《Clojure数据分析秘笈》——2.6节调整词频值的度量

《Clojure数据分析秘笈》——2.6节调整词频值的度量相关推荐

最新文章

热门文章