我的推荐系统学习之路

【推荐系统与机器学习导读】总结了一个RD工程师的推荐系统学习之路, 更多推荐系统知识请关注 RecomAI

作为一个CS专业的本科毕业生, 当初进入互联网领域时只是一个电商业务的RD开发工程师, 后来机缘巧合之下转向了大数据领域, 后来又进入到了推荐系统的相关开发工作。回顾这些年的工作, 总结了一些经验, 希望对那些有志于进入推荐系统相关领域的同学有一些帮助。

推荐/搜索/广告是目前机器学习成熟落地的三大马车, 对各个互联网公司商业变现有着重要的意义, 这三个业务在维度上有一些区别,比如搜索的目标是降低延时增大query的相关性, 广告的目标是增大CTR, 视频推荐系统的目标是播放时长点击等综合指标。但是从数据流和系统工程架构上看, 又非常相似。

对于想接触或者刚接触推荐系统的同学来说, 应该都看过下面这两本书

一个比较大的问题是, 如果没有参与到实际的推荐系统开发, 或者没有牛逼实验室的Buff下, 感觉每一章都能看的明明白白, 但是想自己写一个简单的推荐系统时却无从下手, 无法想象像美团阿里头条的推荐系统到底是如何落地的。

个人观点认为导致这种情况的原因有以下几点

1. 推荐系统是一个系统

推荐系统首先是一个系统, 作为有盈利的互联网公司的核心, 就注定在整体架构上十分的复杂, 比如涉及到NLP，召回，排序, 接日志洗日志算模型, 书上说的推荐方式都是单一的, 比如利用CF(协同过滤) 进行推荐, 在实际落地中推荐的召回一般是有多路的, 这样才会有多样性。(书中甚至几乎没有提到过候选集这种每个推荐系统都存在的东西)

2. 与算法关联紧密

推荐系统是算法落地比较早的领域之一, 对于 LR, GBDT, FM 这类传统机器学习算法有着大规模的应用, 传统机器学习的一大基础能力就是特征工程, 这个跟个人的领域知识极为相关, 网上的资料很少, 几乎是小圈子里的屠龙之技, 具体的工业实现各家又不一样，可供参考资料特别少。而对于深度学习模型来说, 要是想tf写个代码一跑ctr直接就升几个点, 哪个是痴人说梦, 具体的网络设计到底能有什么效果与你的业务模式, 行为数据有很大关系, 有很大可能你上的deepFM还不如你的LR+GBDT

3. 数据问题

对数据的重视程度, 首先, 如果是一个小系统, 比如只有几万PV, 根本谈不上用推荐系统提升效果, 工业界的推荐系统, 日志就是血液, 包括曝光日志, 点击日志, 收藏日志等等行为日志, 每天的日志量会很大, 这些日志一方面用于更新模型, 另一方面进入实验统计平台, 计算各个算法在过去时间的效果。另外诸如FM因子分解机模型, 如果你的日志很少, 那就是一个超级超级稀疏的矩阵, 最后算出来的模型效果也不会很好, 特别是现在深度学习在工业街广泛落地的情况下(Wide & Deep), 缺少大规模日志的推荐系统就是无水之源无根之木。

因为这些原因, 所以我创建了这个公众号【推荐系统与机器学习】, 希望能够分享一下工业界推荐系统的一些常用架构，基础知识，以及在信息检索领域前沿的一些研究和进展，希望与大家共同进步。

、

长按二维码关注

推荐系统与机器学习

ID: RecomAI

我的推荐系统学习之路相关推荐

强化学习的学习之路（十）_2021-01-10:K臂老虎机介绍及其Python实现
作为一个新手,写这个强化学习-基础知识专栏是想和大家分享一下自己学习强化学习的学习历程,希望对大家能有所帮助.这个系列后面会不断更新,希望自己在2021年能保证平均每日一更的更新速度,主要是介绍强化学 ...
83篇文献-万字总结 || 强化学习之路
深度强化学习实验室报道作者:侯宇清,陈玉荣编辑:DeepRL 深度强化学习是深度学习与强化学习相结合的产物,它集成了深度学习在视觉等感知问题上强大的理解能力,以及强化学习的决策能力,实现了端到端学 ...
Redis学习之路(一)--下载安装redis
redis学习之路--下载安装redis windows安装redis 1.下载redis 2.安装 3.查看是否安装成功 windows安装redis 1.下载redis 网址:https://gi ...
前端Vue学习之路(二)-Vue-router路由
Vue学习之路 (二) Vue-router(基础版) 一.增加静态路由二.动态路由+路由嵌套+404页面三. 编程式导航四.命名路由五.命名视图六.重定向和起别名 1.重定向 2.起别名 ...
前端Vue学习之路(一)-初识Vue
Vue学习之路 (一) 1.引言 2.更换npm国内镜像源 3.用npm下载Vue 4.Vue全家桶 5.使用命令创建项目 5.推荐插件 6.推荐网站 7.学习扩展 1.引言先安装node.js环境 ...
学习之路-现代密码学基础-001
学习之路-现代密码学基础-第一章密码学概论转载于:https://www.cnblogs.com/vegetables-Adanos/p/5371420.html
拿下斯坦福和剑桥双offer，00后的算法学习之路
董文馨,00后,精通英语,西班牙语.斯坦福大学计算机系和剑桥大学双Offer,秋季将进入斯坦福大学学习. 10岁开始在国外上学:12岁学Scratch: 13岁学HTML & CSS: 14岁 ...
Markdown学习之路
Markdown学习之路作者:CFishHome 转载请注明地址:https://blog.51cto.com/12731497/2164274 Markdown是什么? Markdown是一个 W ...
[EntLib]微软企业库5.0 学习之路——第五步、介绍EntLib.Validation模块信息、验证器的实现层级及内置的各种验证器的使用方法——上篇...
本文是为后面的学习之路做铺垫,简单介绍下企业库中的Validation模块的一些相关知识,包括Validation模块的简介.用途.使用方法.默认提供的多种验证器的介绍等. 一.简介及用途在实际的项 ...
转载： Qt 学习之路 2归档
Qt 学习之路 2归档 http://www.devbean.net/2012/08/qt-study-road-2-catelog/

我的推荐系统学习之路

【推荐系统与机器学习导读】总结了一个RD工程师的推荐系统学习之路, 更多推荐系统知识请关注 RecomAI

我的推荐系统学习之路相关推荐

最新文章

热门文章