集体智慧编程_6文档过滤

0 简述

早期的垃圾分类都是基于规则的分类器，缺点：1）垃圾信息制造者知道规则后，可以轻松避开；2）是否为垃圾信息很大程度上因其所面对的读者和张贴位置的不同而不同。

1 文档和单词

将构造的分类器须利用某些特征来对不同的内容项进行分类。所谓特征，是指任何可以用来判断内容中具有或是缺失的东西。当考虑对文档分类时，内容则是文档，特征则是文档中的单词。 python中的re包来处理（正则表达式）。

2 对分类器进行训练

分类器目的：从极为不确定的状态开始，随着分类器不断了解到那些特征对于分类而言，更为重要，其确定性也在逐渐增加。

3 计算概率

对一封电子邮件在每个分类中的出现次数进行统计，将其转化为概率。

P（Word|Classification），即给定一个分类，某个单词出现的概率。

存在的问题，一个单词在不同样本中可以划分不同类。解决方案：对单词进行加权

4 朴素分类器

朴素贝叶斯： Pr（A|B） = Pr（B|A）* Pr(A) / Pr(B)

在垃圾信息过滤中，避免将普通邮件当成垃圾邮件要比截获每一封垃圾邮件更为重要，为了解决这个问题，为每个分类定义一个最小阈值。

5 费舍尔方法

函数需求三个变量：

1）属于某分类的概率 clf = Pr(feature|category)

2）属于所有分类的概率 freqsum = Pr(feature|category)之和

3）cporb = clf / freqsum

费舍尔计算方法所有特征概率相乘，然后取自然对数，再将所得结果乘以-2，若概率彼此独立且随机分布，这一结果将满足对数卡方分布。

集体智慧编程_6文档过滤相关推荐

《集体智慧编程》读书笔记2
最近重读<集体智慧编程>,这本当年出版的介绍推荐系统的书,在当时看来很引领潮流,放眼现在已经成了各互联网公司必备的技术. 这次边阅读边尝试将书中的一些Python语言例子用C#来实现,利于 ...
《集体智慧编程》读书笔记10
最近重读<集体智慧编程>,这本当年出版的介绍推荐系统的书,在当时看来很引领潮流,放眼现在已经成了各互联网公司必备的技术. 这次边阅读边尝试将书中的一些Python语言例子用C#来实现,利于 ...
《集体智慧编程》数学公式
这篇博客的目的主要是为了记录这些公式,取自原书附录B. 1.欧几里得距离(Euclidean Distance) 用途:计算距离,衡量相似度公式: 代码实现: def euclidean(p, q) ...
《集体智慧编程》——第一章导读
为什么80%的码农都做不了架构师?>>> 什么是集体智慧其含义是指:为了长早新的想法,而将一群人的行为.偏好或思想组合在一起. 完成这项工作的一种最为基础的方法,便是使用调查 ...
淘宝资深java技术专家整理分享java异步编程实战文档
前言本文由淘宝资深java技术专家爆肝整理分享的java异步编程实战文档,针对常见异步编程场景,从编程语言.开发框架等角度深入讲解异步编程的原理和方法,每个技术点都附有案例代码! 通常Java开发人 ...
《集体智慧编程》读书笔记4
最近重读<集体智慧编程>,这本当年出版的介绍推荐系统的书,在当时看来很引领潮流,放眼现在已经成了各互联网公司必备的技术. 这次边阅读边尝试将书中的一些Python语言例子用C#来实现,利于 ...
《集体智慧编程》笔记（1 / 12）：集体智慧导言
文章目录什么是集体智慧什么是机器学习机器学习的局限性真实生活中的例子学习型算法的其他用途小结 Netflix, Google都适用了先进算法,将来自不同人群的数据加以组合,进而得出新的结论 ...
微软编程规范(文档)
项目编程规范第一章概述. 5 术语定义. 5 Pascal 大小写. 5 Camel 大小写. 5 文件命名组织. 5 1.3.1文件命名. 5 1.3.2文件注释. 5 第二章代码外观. ...
工具技巧和读文档 | 读函数式编程接口文档 | 匿名内部类 | lambda表达式 |IDEA
Function接口,函数式接口按入参返回值分类,大概分为4种类型,再加上多个入参就又多了Bi开头的两种. 有Ctrl+P的时候不懂参数列表该写啥,就先Ctrl+ALT看下入参类型的相关实现类! 一 ...
【集体智慧编程】第二章、提供推荐
一.前言本章即将告诉大家,如何根据群体偏好来为人们提供推荐.有许多针对于此的应用,如:在线购物中的商品推荐.热门网站的推荐,以及帮助人们寻找音乐和影片的应用.本章将告诉你如何构筑一个系统,用以寻找具 ...

集体智慧编程_6文档过滤

集体智慧编程_6文档过滤相关推荐

最新文章

热门文章