随笔_从《芳华》影评到TF/IDF算法

前两天看好多《芳华》的影评说：为什么好人没好报？于是感叹一堆世态炎凉，人性丑陋什么的。我觉得这问题是：为什么中央空调（对谁都温暖）往往不被看好。

先说说TF/IDF算法，这是一种信息处理和数据挖掘的重要算法，属于统计类方法。比如说，找一篇文章的关键词，TF（词频）是某个词在这篇文章中出现的频率，频率越高越可能是关键字。IDF（逆向文件频率）是这个词出现在其它文章的频率，比如“的”字，它在任何文章都出现，因为必然不是关键字。把TF和IDF乘在一起，就是这个词在这篇文章中的重要程度。

我们对一个人的态度也往往取决于：他对大家的态度IDF，和他对我的态度TF。刘峰对谁都很好，因此IDF是一个固定值，他对所有人都好这是个加分项吗？很遗憾，看公式：

其中分子是所有人，分母是刘峰给几个人送过温暖。也就是说他送温暖的人越多，分母越大，IDF值越低。不过也请注意log，它把这个值影响力给降低了。比如说，他给5个人送过温暖，再给第6个人送温暖时，分母变大，IDF降低，导致前5个人对他的好感度降低，不对呀？说好的“爱人者人恒爱之，敬人者人恒敬之”，于是我们的价值观受到了冲击。不过，与此同时，第6个人对他的好感度也增加了，而且idf公式里还有一个log降低了这种影响。

再来看TF的算法，分子是刘峰送的温暖，分子来自周围人所有温暖之和。

对于林丁丁来说，尽管分子很大，但分母更大，所以tf值并不大；而对于何小萍，分母实在是太小了，即使分子不大，tf值也会很大。所以说女孩过于穷养，分母太小，别人稍微对她好点就以身相许了；过于富养，分母太大，看不到别人的善意，又是公主病。

最终，刘峰在每人心中的分量由下式得出。

心理价值主要源于比较，跟均值（或者基线值）的比较。这也许就是心里那杆称吧，谁也不是没良心的白眼儿狼，只是正常的心理现象。刘峰人生的不顺利，也不是一个简单的因果关系，其中有好人好报的概率问题，社会环境中的马太效应，以及他自己在关键点的选择等等，TF/IDF只是其中一个因素。至于电影，仁者见仁，智者见智吧。

技术文章定时推送
请关注公众号：算法学习分享

随笔_从《芳华》影评到TF/IDF算法相关推荐

关键词提取算法—TF/IDF算法
关键词提取算法一般可分为有监督学习和无监督学习两类. 有监督的关键词提取方法可以通过分类的方式进行,通过构建一个较为完善的词表,然后判断每个文档与词表中的每个词的匹配程度,以类似打标签的方式,达到关键 ...
搜索引擎：文本分类——TF/IDF算法
原理 TFIDF的主要思想是:如果某个词或短语在一篇文章中出现的频率TF高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来分类.TFIDF实际上是:TF * IDF,TF ...
tfidf算法 python_tf–idf算法解释及其python代码实现(下)
tf–idf算法python代码实现这是我写的一个tf-idf的简单实现的代码,我们知道tfidf=tf*idf,所以可以分别计算tf和idf值在相乘,首先我们创建一个简单的语料库,作为例子,只有四 ...
tf-idf词向量和bow_使用词袋Bow和TF IDF进行多标签分类
tf-idf词向量和bow 1.加载数据 (1. Load the data) For this study, we are using Kaggle data for Toxic Comment C ...
【笔记】手敲版 TF IDF
注1: 1. 涉及计算向向量夹角 [笔记]向量点乘(内积)和叉乘(外积.向量积):对两个向量执行点乘运算,是对这两个向量对应位一一相乘之后求和的操作,点乘的结果是一个标量:叉乘结果是一个向量,它垂 ...
tf/idf_Neo4j：带密码的TF / IDF（和变体）
tf/idf 几周前,我写了一篇博客文章,介绍了如何使用scikit-learn在HIMYM成绩单上运行TF / IDF,以按情节找到最重要的短语,然后我很好奇在Neo4j中很难做到. 我首先将Wik ...
Neo4j：带密码的TF / IDF（和变体）
几周前,我写了一篇博客文章,介绍了如何使用scikit-learn在HIMYM成绩单上运行TF / IDF,以按情节找到最重要的短语,然后我很好奇在Neo4j中很难做到. 我首先将Wikipedia的 ...
scitkit-learn：计算机科学论文的TF / IDF和余弦相似度
几个月前,我下载了数千篇计算机科学论文的元数据,这样我就可以尝试编写一个迷你推荐引擎来告诉我接下来应该读什么论文. 由于我没有任何人可以阅读每篇论文的数据,因此排除了协作过滤方法,所以我认为我可以尝试 ...
写个自己看的博客随笔_发布游戏或者应用
游戏的发布平台注意:时间>=2013年(低于者标注出),内容不定写个自己看的博客随笔_发布游戏_之后再做补充 1,国外游戏平台 1,内容正文 1, http://ol.tgbus.com/y ...

随笔_从《芳华》影评到TF/IDF算法

随笔_从《芳华》影评到TF/IDF算法相关推荐

最新文章

热门文章