深度学习 用户画像_用户画像架构方案（持续更新）
说明：用户画像的概念以及意义不在此赘述，这里只探讨如何快速搭建基础架构以及后续工作的注意事项。
用户画像的提出是基于日益发展的业务需要，在相对充分的数据储备之上的进一步理解和提炼数据过程中提出的概念。通过人群的不同画像来做到个性化推荐。
用户画像一般是分为两类的。
一类是实时用户画像，这类画像的处理逻辑一般都很简单，要求迅速响应，实时处理。数据从kafaka过来，通过storm 等实时开源框架处理之后存入redis 当中。这里暂不讨论。
第二类便是离线用户画像，这类用户画像是把当天业务方需要的用户画像提前算好，然后供给业务方使用。由于对数据的时效性要求不是那么的高，可以使用较复杂的处理逻辑或者各种离线机器学习模型来保证画像的准确性。数据一般存在HDFS 和 Hbase 里面。
具体结构如下图：
离线的用户画像的数据来源一般是来自采集或者数据仓库，按照数据源的存在形式不同，可用不同方式Hive\Sql抽取。这里的数据仓库是指通过前端页面埋点，用户访问采集到的流量日志。在获取到需要的数据以后，首先经过用户连线将同一个用户的行为全部连线到一起，然后利用 mapreduce 按照一定的处理逻辑进行处理。然后储存到数据库中(HBase或其他关系型数据库)。
对采集的数据进一步挖掘，将数据归纳出标签。算法服务作为整个用户画像的核心，可以按照如下思路构建。
需要注意的是用户画像前期每天重复性的工作很容易让人疲倦，但确实也非常的重要，是整个数据挖掘方向最靠近业务的一个方向。很多时候，深度学习也好，机器学习也罢都离业务太远了，有时候是无法落地给公司带来直接的产出，非常容易就被边缘化。所以就个人理解来说，技术固然是很重要的，但是技术本身是没有产出的，所以我要尽量去想办法让我的技术有产出并且是可以度量的。在选择业务的时候，我更多的也会考虑这是不是个很有前景的业务。这样能够最大限度保证技术有落地，有产出，不至于被边缘化，同时也能一直保持对技术的热情。
深度学习 用户画像_用户画像架构方案（持续更新）相关推荐
- 红外小目标：基于深度学习的红外小目标检测研究方法(持续更新中)
深度学习红外小目标研究现状_2021.7.6更新 2019年 TBC-Net(TBC-Net: A real-time detector for infrared small target detec ...
- 基于深度学习的Image Inpainting (图像修复)论文推荐(持续更新)
传统的图形学和视觉的研究方法,主要还是基于数学和物理的方法.然而随着近几年深度学习在视觉领域取得的卓越的效果,视觉领域研究的前沿已经基本被深度学习占领.在这样的形势之下,越来越多的图形学研究者也开始将 ...
- 《异常检测——从经典算法到深度学习》9 异常检测资料汇总（持续更新抛砖引玉）
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
- CV深度学习项目调试开发过程中报错记录【持续更新】
1.加载读取本地数据集报错:can't open/read file: check file path/integrity can't open/read file: check file path/ ...
- 深度学习实现象棋_使用深度学习创建国际象棋人工智能
深度学习实现象棋 When Gary Kasparov was dethroned by IBM's Deep Blue chess algorithm, the algorithm did not ...
- 国内外深度学习开放数据集下载集合(值得收藏，不断更新)
国内外深度学习开放数据集下载集合(值得收藏,不断更新) 一.Image processing data set 1.MNIST ,是最流行的深度学习数据集之一.这是一个手写数字数据集,包含一个有着 6 ...
- ios学习--iphone开发笔记和技巧总结(原址持续更新)
ios学习--iphone开发笔记和技巧总结(原址持续更新) 分类: ios Object-C2012-04-18 10:16 2716人阅读 评论(1) 收藏 举报 uiviewiphonelist ...
- pwn学习总结（二） —— 基础知识（持续更新）
pwn学习总结(二) -- 基础知识(持续更新) Canary PLT表&GOT表 格式化字符串漏洞 GCC编译参数 ASLR 危险函数 输入流 syscall条件 shellcode 其它 ...
- 数据库SQL语言学习--上机练习4（视图）（持续更新中）
数据库SQL语言学习--上机练习4(视图)(持续更新中) 上机练习4 一．实验目的 1. 熟悉和掌握对数据表中视图的查询操作和 SQL 命令的使用: 2. 熟悉和掌握对数据表中视图的更新操作和 SQL ...
最新文章
- 算法学习：AC自动机
- 一个简单的登录页面，效果不错哦！
- JZOJ 4058. 【JSOI2015】子集选取
- 【数据库】MySQL创建视图（CREATE VIEW）
- d3.js 旋转图形_变化莫测的图形推理，你能解出几种？
- vue打包后放在 nginx部署时候的配置文件
- E百科 | 基于MEC的边缘AI服务
- 死锁的 4 种排查工具 ！
- 2012.02.17
- 再获信通院权威认证，优等生华为云GaussDB数据库凭什么？
- Arduino mixly 点灯科技（blinker） 在线电压监测（带电压高低提醒）
- java modbus tcp plc_PLC1200MODBUS TCP 程序实例
- 北邮大一第二学期计算机学院课表,北京邮电大学
- ThinkPad E431如何关闭触摸板
- 【CTF】明御攻防实验平台 crypto 鸡藕椒盐味 wp--海明校验码
- 微信nickname乱码 php,php版微信公众平台回复中文出现乱码问题的解决方法
- 可取回的国内csgo开箱网站incsgo开箱
- form表单提交既有文字也有图片的情况下，增加enctype属性
- 可口可乐迎来重大人事变动：全球COO、CFO和CTO都要换人
- notes-Java学习指南①（快速入门）（网易云课堂）