以智能数据架构,挖掘增长金矿
对很多技术团队来说,在搭建智能数据架构的过程中,或多或少会遇到一些疑惑和挑战,经过多次实践后,有些团队已经破除疑惑,成功探索出一条搭建智能数据架构之路,那么他们是如何实现这一技术的呢?在近日的个推技术沙龙成都站,几位架构大师在现场开启了数据技术的“脑暴时间”。
诺基亚网络成都研发中心研发经理
刘朋 《数据增长时代的研发管理》
企业在应对数据增长带来的巨大挑战时,需在研发和管理方面做好充足准备。
研发方面,提升数据存储的扩展性;管理方面,除了增加对人和设备的管理外,要努力打造一支具有数据驱动型领导力的团队,让团队中的决策以数据为依据,同时创造出以数据为核心的文化氛围。
大数据时代,想要成为一名数据驱动型领导(Data-Driver Leader),需要具备三大招式。
第一招:关注研发团队的经济效益数据(Take an Economic View)
研发团队不仅是成本中心,他们也具有创造经济效益的能力,作为一名数据驱动型领导,在日常工作中要关注相关技术实践能否为公司带来经济利益。
第二招:让团队数据可视化(Transparency)
在一支研发团队中,部门领导需要将数据可视化,让团队中的每个人都对核心数据有所了解,这样一来,当问题出现时,每个人都有能力去解决。
第三招:基于数据,及时快速反馈(Fast Feedback)
在团队运行过程中,作为领导者,不仅要制定好相应规划,同时要不断分析数据查找问题,并基于数据以及KPI给成员提供反馈。
虽然数据驱动型领导在推动公司决策方面具有重要作用,但随着公司人员的扩充,部门墙和局部优化(Sub-optimization)越来越明显,此时需要打破部门墙,让各个部门和团队都能围绕一个共同的目标进行协作,以达到效益最大化的目标。
个推大数据架构师
袁凯 《机器学习平台建设与实践》
机器学习工作的常规流程:运营者首先要将商业问题转化为机器学习能够解决的问题,然后再进行数据收集以及清洗和聚合的工作,接下来开启数据探索和特征工程,经过上述步骤,便能得到事物预测所需要的全部因素,此时,运营者可以选用不同的算法,并将算法进行训练,得到相应的应用模型。最后,运营者还需要利用真实的数据进行验证,确保模型的可行性。
机器学习作为一门多领域交叉学科,是解决许多实际问题的有效工具。个推通过机器学习,构建了独有的冷、热、温标签,用以分析不同群体的基础属性和行为特征,描绘用户的精准画像,最终运用于智能推送和精准营销。
想要完成机器学习平台的建设,需要注意三大要点:
1.只有端到端的平台建设才会真正产生价值,同时,特征工程的数据和代码沉淀需要共享运营。
2.从成效出发,聚焦痛点,不要盲目跟随行业,做好系统和培训的一体化。
3.谨慎引入新技术栈。
为了避免机器学习平台建设中出现的常见问题,个推的建模平台会提供相应的IDE以及呈现相应特征的管理系统,同时还能提供标准化的ID匹配服务和数据抽取服务,减少工程师的重复工作。此外,个推提供的打包部署服务和后续监控服务,也能够帮助企业保证平台的顺利运行。
聚美优品大数据高级工程师
贺鹏《大数据3.0流计算与智能决策》
大数据3.0时期,Hadoop第一代、Spark内存计算第二代,早期流计算以及人工智能流计算同时并存。
早期流计算具有强一致性、数据乱序与延迟等五大困难点,Flink的出现,有效解决了这些难题,同时Flink还兼具了可以实时增量计算、SQL支持以及CEP支持等六大优点。
流计算发展至今,已经具备了CEP这一强大功能,这也是支撑流计算智能化的关键因素所在。现实生活中,很多复杂的场景无法通过显式规则来进行判断(传统编程为规则编程、指令编程以及if else编程),比如你无法用if else写出如何判断哪一张图片是树叶,你无法用有限的规则写出如何判断数据流中哪些是人为操作、哪些是机器人刷单,此时需要用机器学习模型来检测和匹配,同时需要ML和流计算相结合使用。
通常情况下, ML模型主流场景有分类和回归两大场景,他们可以检查抽象中无状态 f = fx(x1,x2 ..)无状态模型(有状态的模型典型代表rnn),而在SQL语义中 UDF刚好与之对应(无状态),需要把模型放入流处理系统中,也就是将tensorflow PB model模型注册为udf,完成上述步骤后,数据流会进入ML检测阶段。
使用流计算相关功能时,需要强大的平台予以支持,以便在上面实施SQL开发、授权等操作。
以智能数据架构,挖掘增长金矿相关推荐
- 以智能数据架构,挖掘增长金矿 1
对很多技术团队来说,在搭建智能数据架构的过程中,或多或少会遇到一些疑惑和挑战,经过多次实践后,有些团队已经破除疑惑,成功探索出一条搭建智能数据架构之路,那么他们是如何实现这一技术的呢?在近日的个推技术 ...
- 数据为桥迈向智能,渤海财险数据架构智能化演进
Gartner的报告宣称,到2020年,将近50%的企业将会在业务和IT运维方面采用AIOps.尽管AIOps对于广大运维人员来说,仍然是一个新词,但在各企业已经尝试通过技术手段重新挖掘和创造数据价值 ...
- ML:阿里云计算平台之搜索推荐演讲分享《多场景智能推荐助力业务增长》、《阿里云智能推荐应用实践:PAI-EasyRec Framework》、《新一代数仓架构漫谈》
ML:阿里云计算平台之搜索推荐演讲分享<多场景智能推荐助力业务增长>.<阿里云智能推荐应用实践:PAI-EasyRec Framework>.<新一代数仓架构漫谈> ...
- NLPIR智能语义:大数据精准挖掘是信息化发展趋势
随着信息技术的高速发展.数据库管理系统的广泛应用,人们积累的数据量急剧增长,大量的信息给人们带来方便的同时,也带来了诸如:信息过量难以消化,信息真假难以辨识,信息安全难以保证,信息形式不一致难以统一处 ...
- 《智能数据时代:企业大数据战略与实战》一2.3 自我评估、完善度、信息架构...
本节书摘来自华章出版社<智能数据时代:企业大数据战略与实战>一书中的第2章,第2.3节,作者 TalkingData ,更多章节内容可以访问云栖社区"华章计算机"公众号 ...
- 大数据架构详解_【数据如何驱动增长】(3)大数据背景下的数仓建设 amp; 数据分层架构设计...
背景 了解数据仓库.数据流架构的搭建原理对于合格的数据分析师或者数据科学家来说是一项必不可少的能力.它不仅能够帮助分析人员更高效的开展分析任务,帮助公司或者业务线搭建一套高效的数据处理架构,更是能够从 ...
- 瓜子二手车封宇:瓜子IM智能客服系统数据架构设计
本文根据封宇在2018年10月18日[第十届中国系统架构师大会(SACC2018)]现场演讲内容整理而成. 讲师介绍: 封宇,瓜子二手车高级技术专家,中国计算机学会专业会员.2017年2月入职瓜子二手 ...
- 瓜子IM智能客服系统的数据架构设计(整理自现场演讲)
本文由ITPub根据封宇在[第十届中国系统架构师大会(SACC2018)]现场演讲内容整理而成. 1.引言 瓜子业务重线下,用户网上看车.预约到店.成交等许多环节都发生在线下.瓜子IM智能客服系统的目 ...
- 【数据架构系列-03】数据仓库、大数据平台、数据中台... 我不太认同《DataFun数据智能知识地图》中的定义
关注DataFunTalk有2年多了,DataFun确实像创始人王大川讲的那样,践行选择.努力和利他原则,专注于大数据.人工智能技术应用的分享与交流,秉承着开源开放的精神,免费的共享了很多有营养的行业 ...
最新文章
- JS Uncaught SyntaxError:Unexpected identifier异常报错原因及其解决方法
- 科大讯飞AI开发者大赛报名开启,百万奖金等你来!
- CSV-03- csv 读写框架支持数组、Map、Collection 等常见集合
- error_reporting()函数用法
- Groovy与Java的不同点
- Winform中怎样设置ContextMenuStrip右键菜单的选项ToolStripMenuItem添加照片
- otg usb 定位_详解USB OTG工作原理及其应用
- Spring Cloud构建微服务架构:服务注册与发现(Eureka、Consul)
- 计算机工作应用工作简历,计算机应用专业工作简历范文
- 【zz】Matlab 二值图像形态学函数 bwmorph
- 在r中弄方差分析表_R语言 | 方差分析(上)
- CS5532 HAL库版本工程代码
- 入门STM32--怎么学习STM32
- 虚拟机安装黑苹果【虚拟机安装,黑苹果安装,黑苹果无法全屏问题】(这应该全网最全的资源了吧~)
- 计算机提示无法访问手机tf卡,电脑(手机)无法读取内存卡(存储卡)的解决方法大全...
- 非洲正在打造一个与硅谷完全不同的人工智能产业
- [MATLAB]关于SOR迭代计算其次线性方程组的数值解
- 在数据集Euroc v dataset下跑双目ORB-SLAM2
- es的DSL语句查询
- 网络篇 网络设备的基本配置09
热门文章
- 全球及中国木材加工行业运行状况与投资产值预测报告2022版
- oracle安装就是home3,rhel3上安装Oracle(来自Oracle网站)
- php查询算法,PHP算法之二分查找
- OpenStack之Keystone模块
- tensorflow基础
- 原因以及如何避免产生僵尸进程
- MD5加密字符串并转化为base64(C#和PHP代码相同实现)
- [php]apache虚拟主机配置
- [转]URLRewrite隐藏.aspx后缀名的应用(转载+延伸)
- 新闻资讯APP开发流程(八)-- ContentView.js