今日头条 mysql_今日头条这么牛逼,用了什么技术?
今日头条创立于2012年3月,到目前仅 6 年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。
一、产品背景
今日头条是为用户提供个性化资讯客户端。下面就和大家分享一下当前今日头条的数据(据内部与公开数据综合):
5亿注册用户
2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿。几乎为成倍增长。
日活4800万用户
2014年为1000万日活,2015年为3000万日活。
日均5亿PV
5亿文章浏览,视频为1亿。页面请求量超过30亿次。
用户停留时长超过65分钟以上
二、技术与架构演进
1、文章抓取与分析
我们日常产生原创新闻在1万篇左右,包括各大新闻网站和地方站,另外还有一些小说,博客等文章。这些对于工程师来讲,写个Crawler并非困难的事。
接下来,今日头条会用人工方式对敏感文章进行审核过滤。此外,今日头条头条号目前也有为数不少的原创文章加入到了内容遴选队列中。
接下来我们会对文章进行文本分析,比如分类,标签、主题抽取,按文章或新闻所在地区,热度,权重等计算。
2、用户建模
当用户开始使用今日头条后,对用户动作的日志进行实时分析。使用的工具如下:
- Scribe
- Flume
- Kafka
我们对用户的兴趣进行挖掘,会对用户的每个动作进行学习。主要使用:
- Hadoop
- Storm
产生的用户模型数据和大部分架构一样,保存在MySQL/MongoDB(读写分离)以及Memcache/Redis中。
随着用户量的不断扩展大,用户模型处理的机器集群数量较大。2015年前为7000台左右。其中,用户推荐模型包括以下维度:
1 用户订阅
2 标签
3 部分文章打散推送
此时,需要每时每刻做推荐。
3、新用户的“冷启动”
今日头条会通过用户使用的手机,操作系统,版本等“识别”。另外,比如用户通过社交帐号登录,如新浪微博,头条会对其好友,粉丝,微博内容及转发、评论等维度进行对用户做初步“画像”。
分析用户的主要参数如下:
- 关注、粉丝关系
- 关系
- 用户标签
除了手机硬件,今日头条还会对用户安装的APP进行分析。例如机型和APP结合分析,用小米,用三星的和用苹果的不同,另外还有用户浏览器的书签。头条会实时捕捉用户对APP频道的动作。另外还包括用户订阅的频道,比如电影,段子,商品等。
这里推荐一下我的JAVA架构学习交流群:614478470 ,想要学习Java高架构、分布式架构、高可扩展、高性能、高并发、性能优化、Spring boot、Redis、ActiveMQ、Nginx、Mycat、Netty、Jvm大型分布式项目实战学习架构师视频都有整理,送给每一位JAVA小伙伴,有想学习JAVA架构的,或是转行,还有工作中想提升自己能力的,正在学习的小伙伴欢迎加入学习。
4、推荐系统
推荐系统,也称推荐引擎。它是今日头条技术架构的核心部分。包括自动推荐与半自动推荐系统两种类型:
1 自动推荐系统
- 自动候选
- 自动匹配用户,如用户地址定位,抽取用户信息
- 自动生成推送任务
这时需要高效率,大并发的推送系统,上亿的用户都要收到。
2 半自动推荐系统
- 自动选择候选文章
- 根据用户站内外动作
头条的频道,在技术侧划分的包括分类频道、兴趣标签频道、关键词频道、文本分析等,这些都分成相对独立的开发团队。目前已经有300+个分类器,仍在不断增加新的用户模型,原来的用户模型不用撤消,仍然发挥作用。
在还没有推出头条号时,内容主要是抓取其它平台的文章,然后去重,一年几百万级,并不太大。主要是用户动作日志收集,兴趣收集,用户模型收集。
资讯App的技术指标,比如屏幕滑动,用户是不是对一篇都看完,停留时间等都需要我们特别关注。
5、数据存储
今日头条使用MySQL或Mongo持久化存储+Memched(Redis),分了很多库(一个大内存库),亦尝试使用了SSD的产品。
今日头条的图片存储,直接放在数据库中,分布式保存文件,读取的时候采用CDN。
6、消息推送
消息推送,对于用户: 及时获取信息。对运营来讲,能够 提⾼⽤用户活跃度。比如在今日头条推送后能够提升20%左右的DAU,如果没有推送,会影响10%左右 DAU(2015年数据)。
推送后要关注的ROI:点击率,点击量。能够监测到App卸载和推送禁用数量。
今日头条推送的主要内容包括突发与热点咨讯,有人评论回复,站外好友注册加入。
在头条,推送也是个性化:
- 频率个性化
- 内容个性化
- 地域
- 兴趣
比如:
按照城市:辽宁朝阳发生的某个新闻事件,发给朝阳本地的用户。
按照兴趣:比如京东收购一号店,发给互联网兴趣的用户。
推送平台的工具和选择,需要具备如下的标准:
- 通道,首先速度要快,但是要可控,可靠,并且节省资源
- 推送的速度要快,有不同维度的策略支持,可跟踪,开发接口要友好
- 推送运营的后台,反馈也要快,包括时效性,热度,工具操作方便
- 对于运营侧,清晰是否确定推荐,包括推送的文案处理
因此,推送后台应该提供日报,完整的数据后台,提供A/B Test方案支持。
推送系统一部分使用自有IDC,在发送量特别大,消耗带宽较严重。可以使用类似阿里云的服务,可有效节省成本。
7、延展思考
现在很多客户端都会需要推荐技术,比如电商、旅游类的商品推荐,也可以有娱乐头条、健康头条、体育头条等类似的应用,这些产品在技术侧的实现,包括用户,模型,数据都是相通的。
今日头条 mysql_今日头条这么牛逼,用了什么技术?相关推荐
- 今日头条 mysql_今日头条的核心技术细节是什么?
今日头条创立于2012年3月,到目前仅 6 年时间.从十几个工程师开始研发,到上百人,再到200余人.产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线.一.产品背景 今日头条是为用户提供个性化 ...
- 一个牛逼的创业公司后台技术栈搭建方案
点击上方"后端技术精选",选择"置顶公众号" 技术文章第一时间送达! 作者:潘锦 本文转载自:架构与远方 技术经验交流:点击入群 说到后台技术栈,脑海中是不是浮 ...
- 太牛逼了!阿里技术团队重磅开放 《Java 开发手册》(附下载地址)!
<阿里巴巴 Java 开发手册>的愿景是码出高效,码出质量.它结合作者的开发经验和架构历程,提炼阿里巴巴集团技术团队的集体编程经验和软件设计智慧,浓缩成为立体的编程规范和最佳实践. 从严格 ...
- 一个牛逼的程序员是什么样的?
点击上方的终端研发部,右上角选择"设为星标" 前言 写代码十年了,现在也还坚持要让自己写写代码.虽然自己依然很挫,但是基本上公司的很多业务什么的都能应付的过来. so 什么样的程序 ...
- 什么样的程序员才是牛逼的程序员?
原创文章,欢迎转载.转载请注明:转载自IT人故事会,谢谢! 原文链接地址:什么样的程序员才是牛逼的程序员? "阅读文本大概需要2.5分钟." 恰好最近在反省自己的日常生活,感觉每天 ...
- Elasticsearch牛逼了! 这份携程、滴滴、今日头条、饿了么、360、小米、Vivo 应用实践合集都在这儿了...
点击"开发者技术前线",选择"星标????" 在看|星标|留言, 真爱 来源:https://my.oschina.net/u/2485991/blog/53 ...
- 今日头条这么厉害,被称为宇宙条!到底用了什么牛逼技术!
作者 | 钟镇刚 链接:blog.csdn.net/mucaoyx/article/details/84498468 今日头条创立于2012年3月,到目前仅几年时间.从十几个工程师开始研发,到上百人, ...
- 两年经验斩获蚂蚁/头条 Offer,牛逼了
分享一篇面经,作者拿到了 PingCAP,今日头条的 offer 以及蚂蚁金服的口头 offer.下面是该作者的经验分享: 准备过程 我自己是本科毕业后在老东家干了两年多,老东家算是一家"小 ...
- 今日头条告今日油条赔 200 万,各大公司表示不服
作者 | B哥 来源 | BAT(ID:batfun) 互联网圈的瓜总是出其不意. 去年一家卖油条的蹭上今日头条,开了家早餐店叫今日油条.不出意料,今日头条把今日油条给告了,索赔200万. 今日头条. ...
- python 今日头条 微头条_今日头条微头条范文-头条号的微头条你们都发些什么,该如何写?...
头条号的微头条你们都发些什么,该如何写? 心灵相约头条号.呼唤着,努力着,拼搏着,它属于努力地人们,是传播正能量的家园.今天起要根扎头条号,写出优秀地原创作品.头条号的朋友们努力吧!用心血和汗水浇灌头 ...
最新文章
- google浏览器插件安装时出错,Package is invalid: CRX HEADER INVALID
- IT圈,他的牙如此不同
- 从命令行列出所有环境变量?
- ogg 故障解决一则
- Zabbix-3.0.0 安装Graphtree
- 鼠标追踪没用_【擺评】赛睿里最好用的小手鼠标---Rival 3
- 前端码农的焦虑与救赎
- MySql中 DELIMITER
- mysql计算经纬度亮点之间的距离
- 如何删除mysql软链接,Linux中移除(删除)符号链接的命令
- android 取消多个闹钟,如何在android中取消闹钟
- Qt4 在x86和arm平台上的一些配置
- Python办公自动化【Word】
- TensorFlow2学习笔记:3、鸢尾花数据集载入
- Windows 10上不使用MicroSoft Store下载安装MicroSoft Todo
- 百度开源呼叫中心系统
- 【CSP-S2019模拟】09.25比赛总结
- 从贝叶斯定理到概率分布:详解概率论基本定义
- 「BTC之城」的奇幻漂流
- 前端上班第一天-开发环境配置
热门文章
- 计算机软件系统由程序和相应的文档组成,ab计算机软件
- win7窗口颜色没有透明的解决方法
- FFmpeg 解码 H264 格式的视频
- 宾夕法尼亚大学发明了第一代电子管计算机,新手计算机基础入门
- window.dialogArguments与window.showModalDialog用法
- TP-LINK TL-WR845N和腾达W311R怎么设置wds桥接
- 单变量微积分笔记—— 积分方法之换元法总结(简单换元和三角换元)
- 测井 时深转换 matlab,时深转换操作步骤.pdf
- 百度AI输入法发布全感官输入2.0版本,语音技术取得世界级突破...
- 日语输入法切换-「かな入力」「ローマ字入力」切换方法