数据推荐系统系列 8种方法之一 CosSim余弦相识性方式

2019独角兽企业重金招聘Python工程师标准>>>

首先我们来讲讲余弦，如果两个向量越相识那么他们的余弦 A*B的内积除掉 A B的积那么余弦的夹角越小也就趋近于1 也就是说如果两个向量的余弦越小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。

下面我们来分析一下推荐系统的数据

首先对于User-CF 方式

对于每一条记录来说

为 userid itemi rating

也就说所如果把 userid 作为要进行推荐判断的用户根据，那么其他的列 itemid rating 评分列便形成的每一条每一条的向量

比如 id 为1 的 (item rating) 向量为（1,5） id为2 的（item1/rating,item2/rating）向量为（1，,3）

那么计算id 1 2 的向量的余弦相识性就可以知道 id 为1 与 2 多么相识了，这样整个推荐系统就转变成一个 id 的向量找到一些跟这个向量相识的一些向量的问题，记住本章节先讲解 User-CF 方式怎么使用余弦定理来计算，其实Item-CF也是可以使用余弦定理来计算的，这个放到下一讲来讲解。

首先得到每一行的向量然后对这些向量进行LSH 敏感hash索引，然后每一个问题其实转变成一个向量去 LSH索引里面搜索相识的过程。

至于LSH 怎么实现我前面文章讲过，random project 这里不在叙述了，这里讲一下怎么实际使用。

大体分作 2个过程，1 ，是索引过程 2，搜索过程

LSH过程计算出相识性矩阵，并写入Hbase 中索引起来，

搜索过程通过LSH 进行搜索边界问题。

比如对于 user-cf LSH索引的向量就是item1 item.... rating 的评分向量

对于item-cf 就是根据用户打分的数目算出的比重的的评分向量

对于 LSH 知道的同学，可以把我博客另一篇改成spark 运行就可以了一样的。不过

网上已经有人做好了，跟我讲的另一篇文章方式是一抹一样的，已经帮你在spark上实现好了。

https://github.com/soundcloud/cosine-lsh-join-spark

得到的相识性矩阵把它存储到Hbase中，每次新来的矩阵进行random project 得到一个integer 的id

然后通过这个id 来进行Hbase 的查找，比如 hbase 存放的是 1 ，（2，1），（3，0.87）

存放着每一个对于的相识性的范围。查找时候只需要进行直接hbase get方式就可以了。不需要每次都重新生成LSH索引

然后就是一个搜索的过程。没什么难度。所以可以大家可以参考我博客另一篇余弦LSH 的方式来进行索引来查找搜索的过程。源代码在后面接着讲item-cf 时候进行剖析，贴出。

User-CF 的余弦定理本质来说没什么难度。下一章我们讲一下余弦定理在item-CF中的使用。

转载于:https://my.oschina.net/yilian/blog/671106

数据推荐系统系列 8种方法之一 CosSim余弦相识性方式相关推荐

python与excel做数据可视化-用Python进行数据可视化的10种方法
原标题:用Python进行数据可视化的10种方法 2015-11-19 关于转载授权大数据文摘作品,欢迎个人转发朋友圈,自媒体.媒体.机构转载务必申请授权,后台留言"机构名称+转载&quo ...
python预处理标准化_tensorflow预处理：数据标准化的几种方法
tensorflow预处理:数据标准化的几种方法发布时间:2018-08-09 19:39, 浏览次数:1774 , 标签: tensorflow 数据归一化问题是数据挖掘中特征向量表达时的重要问题 ...
WPF中在XAML中实现数据类型转换的两种方法
WPF中在XAML中实现数据类型转换的两种方法原文:WPF中在XAML中实现数据类型转换的两种方法熟悉数据绑定的朋友都知道,当我们在Model中获取一个对象的数据,常常需要对其进行数据转换后显示在 ...
数据增加的两种方法（二）
数据增加的两种方法(二) 开发工具与关键技术:SQL Server 2014.数据增加的两种方法(二) 作者:袁何恩撰写时间:2019年7月26日今天,我要和大家分享的技术是新增数据的两种方法. ...
Python 数据降噪处理的四种方法——均值滤波、小波变换、奇异值分解、改变binSize
Python 数据降噪处理的四种方法--均值滤波.小波变换.奇异值分解.改变binSize github主页:https://github.com/Taot-chen 一.均值滤波 1)算法思想给定 ...
用于处理机器学习大数据文件的7种方法
机器学习数据文件太大而不能装入内存数据集是很常见的. 这会导致以下问题: 如何加载多个G的数据文件? 当我尝试运行我的数据集时算法崩溃;我该怎么办? 您能帮助纠正内存不足的错误吗? 在这篇文章中,我想 ...
小程序页面之间数据传递的五种方法
小程序页面之间数据传递的五种方法目录小程序页面之间数据传递的五种方法 **使用 `wx.navigateTo()` 时,在 url 中拼接,这种方法适用于数据量少的情况** **使用 `wx.na ...
数据可视化系列（一）：Matplotlib初相识
前言期待了好久的datawhale可视化教程终于出来了,这次标题狠有文艺范儿,哈哈哈这次我主要目的是最近要写篇论文,也正好为以后建模画图打捞基础~ 大家可以多看看官方教程: 中文官方网站:http ...
「构建企业级推荐系统系列」嵌入方法在推荐系统中的应用
点击上方"数据与智能","星标或置顶公众号" 第一时间获取好内容作者 | gongyouliu 编辑 | auroral-L 作者在<矩阵分解推荐算法& ...

数据推荐系统系列 8种方法之一 CosSim余弦相识性方式

数据推荐系统系列 8种方法之一 CosSim余弦相识性方式相关推荐

最新文章

热门文章