社区人物志|李昊鹏:日拱一卒,功不唐捐
「社区人物志」是 Apache Doris 社区推出的系列专栏,我们关注每一个对 Doris 做出过贡献的 Contributor ,会定期从对 Doris 做出突出贡献的小伙伴中选出一位「社区之星」,并会对「社区之星」进行专访,希望 TA 与 Doris 的故事可以被大家听见,也希望有更多的小伙伴参与到社区建设中来。
本期我们采访了 Apache Doris PPMC、主导 Apache Doris 1.0 向量化引擎的百度资深研发工程师李昊鹏,来听听 昊鹏 与 Apache Doris 的故事以及他参与开源社区建设过程中的思考。
01
关 于自己
Q:请先简单介绍一下自己以及过往技术经历。
大家好,我是李昊鹏,本科就读于西安电子科技大学,硕士毕业于北京大学。 毕业后加入百度大数据部从事基础架构的研发工作, 目前是百度基础架构部 Doris 团队 SQL 执行引擎负责人。
在这之前曾负责开发与运维百度内部 NoSQL 系统 SimpleDB,承载了百度内部用户画像与idmapping 等核心业务的 TB级别数据服务 ,支撑 包括 百度基础的广告与用户数据百亿/日请求。
Q:除了 OLAP 方向以外,还在关注哪些技术方向或领域呢?
分布式 NewSQL 系统和 NoSQL 系统。之前也是 SimpleDB 方向的负责人,当时调整到 Doris 团队的时候还有些小的遗憾,有很多之前在分布式 NoSQL 系统上的一些想法没有和同学们一起 继续 落地。
02
与 Doris 的故事
Q:你是怎么和 Doris 结缘,并从一个 Contributor 最终成长为 PPMC 的?
毕业之际,加入百度前就了解到后续参与开发的是一个叫做 `Palo` 的产品,当时就进行了一些学习和 paper reading ,还给当时的 Palo 提交了一个编译的 pr。
正式加入 Doris 团队之后,开始了系统性参与对 OLAP 系统的学习开发工作。这里很感谢当年团队们很多老司机的带领(还帮我兜底了很多 bug~~),让我从一个个简单的 pr 开始,一步步对 深入了解 Doris 整体 。
后续不满足只做一些简单的工作,开始 逐步挑战自己, 和社区的同学们合作一起完成复杂程度更高的工作,自己的工作也慢慢被社区的同学接受和认可。 这个过程其实也是个人成长的一个过程,小到一个文档的修改,大到 Doris 未来的发展的讨论,在一个开放且包容的社区,你一点一滴的付出都能被大家看到的。
Q:你觉得从你认识 Apache Doris 到现在,哪些地方 Apache Doris 做得好?还有哪些地方需要持续优化?
比较好的地方
简单是 Apache Doris 的一贯哲学,目前看我们一直坚持得不错,简单的事情简单做。
Apache Doris兼容了 mysql 协议,即使没有数据分析的基础,通过官网文档也能快速搭建环境运行起来,并且有着不俗的性能体验。
需优化的地方
可观测性:可观测性是很重要的维度,对于不熟悉 Apache Doris 的用户能够快速定位问题。比如导入,查询,compaction 等工作对于资源的占用。并且能快速定位到执行热点并进行问题分析。
功能的丰富度:Apache Doris需要快速迭代来解决用户的痛点,很多用户期待已久的功能都会在后续的版本陆续提供给大家的,敬请期待。
03
参与社区
Q:你觉得自己从参与 Apache Doris 社区到现在最大的收获是什么?
有两个方面:
个人成长:无论是技术维度还是团队配合协作,都在社区获得很多锻炼,自己在这个过程之中学习到了很多。现在也可以作为老司机给新手同学提供开源工作上的上路指引了。
志同道合的伙伴:在社区认识了各个领域的开源爱好者,技术大拿,还有一些很优秀的年轻人。和大家一起通力合作,思维碰撞,是一件很快乐的事情。
Q:我们了解到你是 Apache Doris 1.0 版本向量化引擎的主导者,能谈一下整个过程中的难点以及如何克服的吗?
这段历程对于我个人和整个社区来说应该都是一场难忘的旅程。 当时 许多事情是有很大困难的,坦白说,我好多次都想过要放弃了,但是最终还是坚持了下来。这里真诚的感谢每一个参与进来的小伙伴们,尤其是美团,小米,腾讯,阿里的同学,每一周大家热情似火的讨论,过进度,日拱一卒的努力。再次谢谢大家。
难点主要是工程素养要求高和 工程量巨大
向量化的难点在于看起来理论简单,实践起来需要对细节把控精准。可能只是简单的一两行代码,性能可能有10倍的差距,这对于每一个参与进来的开发者的工程素养是很大的挑战。
Doris 已经有了一个很成熟的 SQL 执行引擎,涉及到二十多个 SQL 执行的算子,上百个 SQL 函数,工作量确实非常大。
当时还经历过 团队 动荡,能参与进来的人很少,中间也有重要的战友离开。当时每天工作压力和强度都很大。但其实随着我们一点点的做起来,也逐渐吸引到了社区很多同学的参与,后续推进的开发工作反而比我想象中的顺利很多,就是组织好大家一步步按照既有的节奏和模板推进工作就 ok 了。
Q:对于 Apache Doris 社区的发展您有什么建议和寄语呢?
现在社区的发展很快,参与进来的小伙伴越来越多了,这是一个喜人的变化。但是这也会带来更多的功能需求和开发迭代,每个人都会有自己的想法和诉求。就像 Bjarne Stroustrup 对于C++发展提出的警告:《想想瓦萨号》
是否做到了简单的事简单做,很多功能的加入过程中,要警惕功能和代码复杂度的扩散
需要足够的测试确保快速的功能与迭代开发过程中的稳定性
04
展望未来
Q:未来您有什么话要对自己和 Apache Doris 社区的小伙伴要说?
有三点想要分享的:
坚持做自己认为对的事情,功力必不唐捐
罗马不是一天建成的,脚踏实地写好每一行代码
总有人正年轻,永远欢迎社区的下一个小伙伴
革命尚未成功,同志仍需努力。取之开源,用之开源,很荣幸和大家一起携手,共建更好的 Apache Doris,希望社区的未来的每一天,有我,也有你。
写在最后
自从加百度 Apache Doris 团队后,昊鹏就一直积极参与Apache Doris 社区的建设,并且成长迅速,尤其是经过 Apache Doris 1.0 对整个向量化引擎部分的主导工作之后,昊鹏已经迅速成长起来。在 2022 年第一季度,经过 Apache Doris PPMC (孵化器项目管理委员会)的推荐和投票,正式成为 Apache Doris PPMC,正应了“日拱一卒,功不唐捐”这句话。
在此也向昊鹏一直以来对 Apache Doris 作出的诸多贡献表示感谢。
最后是恰饭时间,我们诚邀社区的小伙伴一同参与开发,共同打造一款世界级高效易用、性能卓越、技术领先的分析型数据库系统。如果你对 Apache Doris 的技术方向感兴趣,希望一同开发,或者有其他建议或意见,可以通过以下渠道参与:
1.订阅并发送邮件至dev@doris.apache.org
以 Apache Way 的方式参与社区,订阅方式见官网:
http://doris.incubator.apache.org/zh-CN/community/subscribe-mail-list.html
邮件列表是 Apache 社区最常用的沟通方式。我们会积极回复邮件列表中的问题。
2. 微信公众号后台留言
直接在 ApacheDoris 微信公众号后台留言,您可以留下您的联系方式,我们将与您取得联系。
Apache Doris 开源社区链接参考
Apache Doris 官方网站:
http://doris.apache.org
Apache Doris Github :
https://github.com/apache/incubator-doris
Apache Doris 开发者邮件组:
dev@doris.apache.org
本文分享自微信公众号 - ApacheDoris(gh_80d448709a68)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“ OSC源创计划 ”,欢迎正在阅读的你也加入,一起分享。
社区人物志|李昊鹏:日拱一卒,功不唐捐相关推荐
- #研发解决方案#大数据协作平台魔盒——日拱一卒,功不唐捐
郑昀 创建于2017/6/29 最后更新于2017/6/30 关键词:大数据,Spark,SparkSQL,HBase,HDFS,工作流,任务,Flow,Job,监控报警 提纲: 为什么要大数据协作? ...
- CSDN20周年直播分享:日拱一卒,成为技术合伙人,力争财务自由
公开课主题:日拱一卒,成为技术合伙人,力争财务自由 内容介绍 成为技术合伙人,是广大技术达人最靠谱的职业发展方向,也是实现个人财富自由的可行方法之一. 听众受益 学习方法.职业发展规划.技术方向的选择 ...
- 日拱一卒,功不唐捐 | 每日思考俱乐部 专栏更新通知
缘起 在 2019 年七月份,我写了一篇文章<我为什么要写反思录>.文中提到了我做记录和思考的初衷,起初写在了自己的私密仓库中,也就是其他人都看不到. 持续了一段时间后,我发现,没有分享的 ...
- 日拱一卒,“功不唐捐
据说,世界上只有两种动物能够登上金字塔顶,一种是老鹰,一种是蜗牛.他们是如此不同,老鹰矫健,敏捷,蜗牛弱小,迟钝,可是蜗牛仍然与老鹰一样能达到金字塔顶端.它凭的就是永不停息的执着精神. "日 ...
- 日拱一卒,集小胜为大胜; 学以致用,在战争中学习战争;
项目,证明自己的学习能力: 短期掌握尽可能多的知识,并且连线总结成为网络 : 日拱一卒,集小胜为大胜: 学以致用,在战争中学习战争: 投入足够的时间: 学习中的总结,理解 ,应用,等编程套路: 目的性 ...
- 日拱一卒,热爱可抵岁月漫长
2022-3-10那天,打算每天写点什么,可能因为不想让大学那么枯燥,又或是对每天的记录 到今天9-28算起,202天了 第一次把一件事情坚持这么久,写日记给我带来了很多鼓励和支持 这200天里面,我 ...
- EAUML日拱一卒 总目录
用例图 EA&UML日拱一卒 用例图开篇 EA&UML日拱一卒 用例包含关系 EA&UML日拱一卒 用例泛化关系 EA&UML日拱一卒 用例扩展关系 类图 EA& ...
- 【日拱一卒】如何编写测试用例(上)
[日拱一卒]如何编写测试用例(下) [写在前面的话] 测试用例(Test Case)是为某个特殊目标而编制的一组测试输入.执行条件以及预期结果,以便测试某个程序路径或核实是否满足某个特定需求. 测试用 ...
- 【日拱一卒】如何编写测试用例(下)
[日拱一卒]如何编写测试用例(上) 六.测试用例设计的误区 ·能发现到目前为止没有发现的缺陷的用例是好的用例: 首先要申明,其实这句话是十分有道理的,但我发现很多人都曲解了这句话的原意,一心要设计出发 ...
最新文章
- wsl 安装linux 子系统
- 等待时间clientNYOJ 179 LK's problem
- 1-选择器 计算法
- idea拦截了html中的静态资源,IDEA配置静态资源热加载操作(Springboot修改静态资源不重启)...
- 【王道计组笔记】定点数编码方式(原码,补码,反码)
- [九度][何海涛] 最小的K个数
- Winform控件开发(4)——Textbox(史上最全)
- 中文核心期刊目录总览
- 孙子问题-中国剩余定理
- 清除windows登录密码
- 面试必备:虾皮服务端15连问
- 使用Python画小猪佩奇
- 即构推出视频见证系统方案,全面支持泛金融实时双录
- Android学习——APP内容共享
- Facebook 是神经制封号 还是有规则的封号?
- ## GEE Landsat8 Collection2 level2 数据集 计算LST地表温度
- VBA 连接Oracle 数据库
- 压缩感知的尽头: 原子范数最小化
- TCP/IP socket
- 生存分析 R语言(一)——KM estimator
热门文章
- 一个屌丝程序猿的人生(六十三)
- 题解报告——Sandy的卡片
- springboot接口接参注解详解 controller @Valid
- 精准面试突击55:delete、drop、truncate有什么区别?
- 你的颜值打几分?——基于tensorflow实现人脸打分模型
- 单目标应用:白鲸优化算法(Beluga whale optimization,BWO)优化双向长短时记忆BiLSTM的权值和阈值(提供MATLAB代码)
- 一周新论文 | 2020年第9周 | 自然语言处理相关
- 半导体存储器(RAM和ROM)
- XILINX偶然加载不成功的问题原因及解决方法
- PAT-2018 L1-049. 天梯赛座位分配