DT(Data Technology),是以服务大众、激发生产力为主的技术。从IT时代走向DT时代,我们要思考如何用互联网技术、理念、思想去与传统行业进行交融和共同发展。

1.数据是决策的基本依据
数亿客户端情况下,如何迅速定位?譬如:有的手机定位正常,有的不正常;有的区域定位正常,有的不正常;有的版本定位正常,有的不正常。
而个推的解决方案是,首先是进行意识培养,第二是数据抽样收集以及集中分析。个推前端团队做了一个叫Logful的开源产品,通过抽样的方法,解决定位问题,同时能极大地降低成本。

2.数据越热越有价值
数据划分为冷数据、温数据、热数据三种类别。冷数据是较长时间之前的状态数据,即用户画像数据;温数据则是非即时的状态和行为数据;而热数据是指即时的位置状态、交易和浏览行为。
移动互联网时代,个推发现用户的兴趣和爱好,会随着一些热点事件、市场营销活动的发生或进展而变化。随之热数据的价值会越来越大,如果一款应用或者大数据平台能够及时地抓住这些热数据并进行处理,也许会发现新的商业机会。
个推应景推送能够精准捕捉场景,在合适的地点触发消息,其本质是利用冷数据加上热数据进行实时处理。且个推采用服务端处理的方案,在保证一定可接受的数据量的基础上,很多业务在服务端处理,能把热数据进行非常及时的加工,从而高效充分地把热数据的价值利用起来。

上图是春节期间北京西城区的人口热力图,地图上的色块用于表现该地区的拥挤程度以及人群分布情况,颜色上,红色代表人数密集,橙色次之,蓝色则为稀疏,这是个推对热数据的应用。

3.近似优于精确
考虑以下场景:你需要统计数据流中独立元素的个数? 要求:实时,至少是准实时。但是你面临几个问题:1、数据流速度很快,意味着无法使用二级存储。2、数据规模巨大意味着要么使用超大内存的设备, 要么多个设备分而治之运算,但多大算是个头?
一般数据量大了以后会经常碰见这些问题。如果想得到精确解,代价是非常高昂的,所以能够得到一个问题的近似解则是最优的解决方案。

4.永远的墨菲定律
如果有两种或者两种以上的方法去做某件事情,其中一种选择方式将导致灾难,必定有人会做出这种选择。通俗来说就是如果事情有变坏的可能,不管这种可能性有多小,它总会发生。
个推内部用了很多Redis的产品,特别是Redis 2.8 earlier 版本在网络闪断情况下会遇到很多问题。如果数据量小可能不会造成严重影响,但如果是几十G甚至接近上百G的数据,而且复制过程中又有很多请求访问Redis时,几毫秒会变成几百毫秒、几秒。特别是需要实时处理的时候,流量并不一定会按照预期到来,还有攻击、域名劫持、设备断电等问题,这些都是非常棘手的。
对此,可行的对策是:异常情况分析 + 预案设定 + 沙盘推演 + 模拟操作。
一款APP刚上线,如果该APP很受欢迎,它的流量完全是不规则的,所以不能完全按照预期来设定流量大小。而需要做各个环节的流量控制。个推工程师在很多时候对于很多流量控制、异常的处理都会放在优先级的环境下,提前做这样的需求,强制检查。
产品设计阶段,从技术角度来讲,一定要有对异常情况的分析,所有代码里是否有异常的cache?有没有考虑到断网时长?出现这些问题怎么解决?不要真的等问题出现的时候才想解决方案,而是需要事先进行模拟演练。可以梳理从最开始网络流量进来到交换机、路由器,以及最终的系统等一系列过程,看看哪个环节可能存在异常。有很多问题,当应用规模不是很大的时候,影响也不会很大,但当应用规模大到一定程度,则会是特别严重的问题。所以异常情况分析 + 预案设定 + 沙盘推演 + 模拟操作是很有必要的。

以上内容来自个推CTO叶新江在ArchSummit全球架构师峰会北京站,基础架构之技术演进专场的分享整理,希望能带给广大创业者一些启发。

DT时代下[个推3.0]遵循的四个法则相关推荐

  1. DT时代下数据安全运营面临的主要挑战

    DT时代下数据安全运营面临的主要挑战 (一) 数据资产难梳理,分类分级难落地 随着数字化的持续推进,各行业对数据感知.存储.传输.处理 等能力提出了更高要求.随着企业对大数据技术的大规模采用,数据 量 ...

  2. DT时代下 数据库灾备的探索与实践

    170余场主题峰会和分论坛完美呈现,上千位分享嘉宾.数万名创新创业导师齐聚一堂,刚刚结束的2018杭州云栖大会让云栖小镇又一次成为探索数字世界的中心. 随着DT时代的到来,企业对数据的依赖程度与日俱增 ...

  3. 大数据时代下 数据安全运营面临严峻待解决问题有哪些

    (一) 数据资产难梳理,分类分级难落地 随着数字化的持续推进,各行业对数据感知.存储.传输.处理 等能力提出了更高要求.随着企业对大数据技术的大规模采用,数据 量呈 PB 级迅速激增,且业务的持续扩大 ...

  4. spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用)(以spark2.2.0源码包为例)(图文详解)...

    不多说,直接上干货! 前言   其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来. 本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程. ...

  5. 深耕网络安全的奇安信,如何在DT时代铸下安全印记?

    人类正从IT时代走向DT时代,数据的重要性被拔高到与经济发展.社会进步,甚至是国家治理的层面,因为它是人的延伸.交易的延伸.服务的延伸. 不过由于DT时代数据开放性和共享性的不断加强,与之对应的网络安 ...

  6. 大数据时代下的新生态、新洞察、新趋势 | 神策 2019 数据驱动大会

    10 月 22 日,以"矩•变"为主题的神策 2019 数据驱动大会在北京维景国际大酒店顺利举行,来自全球大数据各大行业的领袖人物聚首北京,融合国际前沿技术与行业实践,深入探讨大数 ...

  7. 云原生时代下的12-factor应用与实践

    在云的时代,应用会更多地迁移到云端,基于云的架构设计和开发模式需要一套全新的理念去承载,于是云原生思想应运而生,而针对云原生应用开发的最佳实践原则,12-Factor脱颖而出,同时也带来了新的解读.本 ...

  8. 微信上线新版电子社保卡 | 英特尔将为5年内9成处理器提供补丁 计划下周末推送

    每一个企业级的人  都置顶了 中国软件网 中国软件网  为你带来最新鲜的行业干货 小编点评 微信越来越神奇了 承包了各种生活需求 衣食住行 一个不少 趋势洞察 Uptime Institute总裁:数 ...

  9. 【组合数学】递推方程 ( 通解定义 | 无重根下递推方程通解结构定理 )

    文章目录 一.通解定义 二.无重根下递推方程通解结构定理 一.通解定义 递推方程解的形式 : 满足 H(n)−a1H(n−1)−a2H(n−2)−⋯−akH(n−k)=0H(n) - a_1H(n-1 ...

最新文章

  1. 批处理实现从Excel导入Oracle
  2. h5日期选择控件_成都h5开发工程师培训_H5入门需要知道的知识
  3. linux 设置gbk编码格式,设置ubuntu支持gbk编码格式和设置eclipse 编码格式
  4. 前端工程师的一大神器——puppeteer
  5. php过去图片宽度,用php调整图片宽高
  6. Python高级——import导入模块
  7. 调试 高通_高通平台调整通话音量
  8. oracle入门很简单豆瓣,Oracle入门经典
  9. nginx 配置参数说明
  10. Android Studio安装(本人也是站在巨人肩膀上学习~)
  11. 全国各省手机号测试用例
  12. 咸鱼Micropython— machine库
  13. 物联网开发笔记(64)- 使用Micropython开发ESP32开发板之控制ILI9341 3.2寸TFT-LCD触摸屏进行LVGL图形化编程:控件显示
  14. 洗车店的预约系统小程序开发步骤_分享预约系统小程序有什么作用
  15. 基于java的百度语音识别示例
  16. VS+openCV 用直方图统计像素(上)计算图像直方图、利用查找表修改图像外观
  17. 论VI设计的基础部分和应用部分
  18. 低代码开发:实现传统系统信息化的3种方案!
  19. ThingJS支持塌陷性能,加快3D渲染速度
  20. java 导出word 乱码问题,如何解决POI生成WORD中文乱码问题?

热门文章

  1. Spring Boot“内存泄漏”?看看美团大牛是如何排查的
  2. Spring Boot 异步请求和异步调用
  3. 你有哪些 Deep learning(RNN、CNN)调参的经验?
  4. 会写代码的AI开源了!C语言写得比Codex还要好,掌握12种编程语言丨CMU
  5. 太棒了!Jupyter 与 PyCharm 完美融合,Jupytext 来啦!
  6. 让PyTorch训练速度更快,你需要掌握这17种方法
  7. 分布式深度学习最佳入门(踩坑)指南
  8. 吴恩达桃李满天下:包括他自己的老爹
  9. 哪些“双一流”更得华为偏爱?这所高校人数远超清北华五
  10. 北大数学天才许晨阳,回国效力6年后,为什么又去了美国任教?