【遇见Doris】寒冷冬日的一次温暖相聚 · Doris开发者沙龙
2019年12月22日,Doris本年度最后一场线下沙龙在百度大厦顺利举办。本次邀请了来自美团、京东、百度的技术大牛来分享实战经验,快来跟随小编一起回顾吧!
获取嘉宾ppt请关注Apache Doris(incubating) 官方公众号,并回复1222, 现场视频会在近日放出,敬请期待。
Apache Doris (incubating) 0.12.0
此次沙龙由Doris主创团队的黄康平带来了Doris 0.12.0的新版本预览。
在新的版本中,Doris实现了基于page的列式数据存储,引入行号索引、词典压缩、page cache机制。 存储效率和读写性能又双叒叕提升啦,期待不期待!
不仅如此,一直备受关注的Spark on Doris功能也将在这个版本中和大家见面。打通Doris和Spark/Hadoop社区生态,势在必行!
美团点评 · 基于Bitmap的精确去重和用户分析
来自 美团点评 的 Doris Committer康凯森 带来了Doris基于Bitmap的精确去重和用户行为分析。
凯森提到,随着数据规模及实时性的提升,我们应该优先考虑近似算法,但与财务、业绩等相关的业务必须要求精确。而基于Bitmap,可以使精确去重更加高效。
同时,凯森也带来了基于Bitmap计算交集,以高效支撑用户行为中的留存、画像及漏斗分析的相关分享。
京东 · Apache Doris在京东11.11的实践
来自 京东 的 Doris Contributor 刘航源 带来了双11的捷报。此次Doris在京东双11大促阶段服务非常稳定。 双11当天24小时内支撑了平时100倍以上的原始数据导入,均可做到秒级延迟。
同时,京东仅仅使用了 40台16核的Docker ,支撑了 每天8000万以上的查询 。TP99达到58ms,TP999达到164ms。
不仅如此,京东研发了WebServer的功能,并准备贡献给社区,大家一起来期待一下~
百度 · 百度商业大规模服务全链路监控
来自 百度 的 李奇原 带来了Doris在百度商业大规模微服务全链路监控系统——凤睛项目中的应用。
凤睛是百度凤巢的监控系统。凤巢的产品线繁多,关系复杂,而凤睛需要通过7*24小时的工作,来自动化完成所有的监控分析任务。稳定,高效,是凤睛最重要的要求。
基于Doris设计的倒入和存储方案,凤睛在2019年的数据倒入量达到150亿/天,峰值流量 300万条/s,峰值流量50M/s,存储总量300T。且大大降低了人力运维成本。
Spark on Doris · 基于百度数据工厂Pingo
来自百度数据工厂Pingo团队的 张文歆带来了Sp ark on Doris的技术方案,他同时也是Doris的 Contributor 。
Pingo是基于Spark的数据工厂,秉承着数据湖的概念,在百度内提供离线的计算服务,同时在公有云及私有化场景下服务了众多外部客户。解决组件繁多、运维复杂、对接困难、认证鉴权等问题,是Pingo的初衷。
为了更好的对接更多数据源,同时也为了Doris能够更好地和Spark生态融合,Spark on Doris势在必行,文歆详细介绍了技术方案的实现。
新一代的数据科学 · Jarvis
最后,给所有来宾带来了一个小彩蛋。由百度数据科学团队的资深专家杨嘉义,分享了数据科学领域最新的探索。当云计算越来越普及,当单机计算存储不再是瓶颈,数据科学领域是否会有新的方向?
嘉义提到,预置的解决方案、易用的开发环境、高性能的计算引擎是新一代数据科学平台的核心。基于这些核心打造的数据科学平台Jarvis,致力于在单机引擎上带给数据科学家极致的开发体验。
最后,全家福
祝愿Doris社区越来越繁荣,有更多新伙伴加入我们!
获取嘉宾ppt请关注Apache Doris(incubating) 官方公众号,并回复1222,现场视频会在近日放出,敬请期待。
欢迎扫码关注:
Apache Doris(incubating)官方公众号
相关链接:
Apache Doris官方网站:
http://doris.incubator.apache.org
Apache Doris Github:
https://github.com/apache/incubator-doris
Apache Doris Wiki:
https://github.com/apache/incubator-doris/wiki
Apache Doris 开发者邮件组:
dev@doris.apache.org
本文分享自微信公众号 - ApacheDoris(gh_80d448709a68)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。
【遇见Doris】寒冷冬日的一次温暖相聚 · Doris开发者沙龙相关推荐
- 【遇见Doris】4.13线下开发者沙龙分享--美团点评团队
这次的Apache Doris (incubating) 0.10.0开发者沙龙在中关村国际会议中心圆满结束,各位嘉宾都带来了干货满满的分享.关注Doris官方公众号,后台回复"沙龙分享&q ...
- 计算机学院举办 温暖冬日 感恩社会 活动,温暖冬日 感恩社会 计算机学院举办冬季送温暖活动...
为了让同学们学会感恩,回馈社会, 11月11日,计算机学院2017级9班团支部来到聊城市体育馆附近社区举办"温暖冬日,感恩社会"活动,为环卫工人和留守老人们送上冬日的温暖. 活动前 ...
- Apache Doris 系列: 基础篇-Flink SQL写入Doris
简介 本文介绍 Flink SQL如何流式写入 Apache Doris,分为一下几个部分: Flink Doris connector Doris FE 节点配置 Flink SQL 写 Doris ...
- 大数据Doris(一):深入了解Apache Doris
深入了解Apache Doris 一.Apache Doris介绍 Apache Doris 是一个基于 MPP 架构的高性能.实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可 ...
- 介绍兴趣爱好的网页html,我的兴趣爱好作文 介绍我的爱好(10页)-原创力文档...
第PAGE 页码页码页 / 共NUMPAGES 总页数总页数页 我的兴趣爱好作文 介绍我的爱好 [--自我介绍] 我的爱好 我有许多爱好,但读书始终是我的最爱.冰心奶奶说过"读书好,读好书, ...
- 【遇见Doris】Apache Doris在一点资讯自媒体平台的应用
6月29日,Doris有幸得到中国信通院云大所.大数据技术标准推进委员会的支持,在中国信通院举行了0.11.0新版本预览线下沙龙.各位嘉宾都带来了干货满满的分享.关注Doris官方公众号,后台回复&q ...
- SNH48《浪漫圣诞夜2014》甜蜜单曲温暖来袭 4000年第一美女鞠婧祎陪你度过浪漫圣诞...
4000年美女鞠婧祎 SNH48与你相约浪漫圣诞夜,<浪漫圣诞夜2014>圣诞祝福单曲甜蜜来袭!今年是SNH48与大家共同度过的第3个圣诞节,在这个充满温馨与甜蜜的节日里,由S队.N队.H ...
- 当莎士比亚遇见Google Flax:教你用字符级语言模型和归递神经网络写“莎士比亚”式句子...
作者 | Fabian Deuser 译者 | 天道酬勤 责编 | Carol 出品 | AI科技大本营(ID:rgznai100) 有些人生来伟大,有些人成就伟大,而另一些人则拥有伟大. -- 威廉 ...
- 从NoSQL到Lakehouse,Apache Doris的13年技术演进之路
从 2008 年第一个版本开始到今天,Apache Doris 已经走过了 13 个年头.从推出之初为了满足百度商业系统的业务专用需求,到后来为解决通用报表与数据分析需求进一步改造,并在 2017 年 ...
最新文章
- 如何让你的Nginx 提升10倍性能?
- android坐标判断三角形,Android实现三角形气泡效果方式汇总
- C语言 字符串的读取
- mysql over rank_SQL学习笔记 - 窗口函数OVER
- 【Python CheckiO 题解】Bird Language
- php连接mysql乱码原因_PHP连接MYSQL出现乱码的原因与解决办法
- python里的装饰器
- 解说linux下proc文件系统
- jQuery DOM/属性/CSS操作
- npm安装typescript
- linux防火墙之牛刀小试
- “我升职的原因是:比同事更早学会这个知识”
- Python Flask Web 第十一课 —— 使用 Flask-SQLAlchemy 管理数据库
- 【技术帖】Apache Kylin 高级设置:层级维度(Hierarchy Dimension)原理
- 几款常用的ble调试app(nRF Connect、BLE调试助手、LightBlue)
- 禁忌搜索算法-关键操作与原则
- Segger systemview STM32移植
- 九度OJ 1349 数字在排序数组中出现的次数 -- 二分查找
- 主分区、扩展分区、逻辑分区
- 使用火焰图(FlameGraph)分析程序性能