DataPipeline联合Confluent Kafka Meetup上海站
Confluent作为国际数据“流”处理技术领先者,提供实时数据处理解决方案,在市场上拥有大量企业客户,帮助企业轻松访问各类数据。DataPipeline作为国内首家原生支持Kafka解决方案的“iPaaS+AI”一站式大数据融合服务提供商,在零售、金融、互联网和制造等行业拥有着丰富实践经验和解决方案能力。
此次上海DataPipeline & Confluent Kafka Meetup,我们邀请到了Confluent流数据处理系统架构师和技术负责人王国璋、DataPipeline架构师吕鹏、携程大数据平台实时计算平台负责人潘国庆、阿里巴巴实时计算平台高级技术专家秦江杰、网易云大数据平台架构师欧阳武林等大数据领域六位行业大咖分享Kafka最新研究成果以及行业应用案例。
活动流程
演讲嘉宾
王国璋
Confluent流数据处理系统架构师和技术负责人
Apache Kafka PMC,Kafka Streams 作者。于康奈尔大学计算机系取得博士学位,主要研究方向为数据库管理和分布式数据系统。现就职于Confluent,任流数据处理系统架构师和技术负责人。此前曾就职于 LinkedIn 数据架构组,主要负责实时数据处理平台,包括 Apache Kafka 和 Apache Samza 系统的开发与维护。
演讲主题:《Apache Kafka,从0.7到2.0:那些年我们踩过的坑》
自从 2011年被捐献给Apache基金会到现在,Kafka项目已经走过了七个年头。从最早的“分布式消息系统”,到现在集成了分发、存储和计算的“流式数据平台”,Kafka经历了哪些挑战?又经过了什么样的演进变化?
1. 从硬件的发展趋势,展现 Kafka 架构的演进过程;
2. 从Kafka开发和维护经验,分享分布式系统工程实践的通理;
3. 开源数据系统的开发经验,如何维护和发展一个开源社区。
潘国庆
携程大数据平台实时计算平台负责人
携程大数据平台实时计算平台负责人,2016年加入携程,主要从事携程实时计算平台的构建与演进、以及携程实时特征平台的搭建,在实时计算领域拥有丰富的实战经验。
演讲主题:《携程实时计算平台架构与实践》
1. 携程实时计算平台的演进之路;
2. 实时架构设计与曾经踩过的坑;
3. 实时计算在携程的实践;
4. 未来规划。
吕鹏
DataPipeline 架构师
吕鹏,目前担任DataPipeline架构师一职,负责数据传输和ETL方面的架构和优化工作。曾就职于Talend和销售易大数据部,拥有5余年大数据平台和数据仓库架构搭建经验,在ETL 领域拥有丰富的实战经验。
演讲主题:《DataPipeline在大数据平台的实时数据流实践》
1. 大数据时代下企业级数据面临的主要问题和挑战;
2. kafka connect 在大数据时代的数据流的优势和不足;
3. 大数据平台上的kafka connect 实践案例:
1)kafka connect 下数据仓库greenplum 同步实践以及优化策略;
2)kafka connect 下 hive 同步实践;
4. DataPipeline 做了哪些大数据相关工作,遇到的坑以及相应的解决方案;
5. 总结以及DataPipeline 未来在大数据领域的相关工作。
张勇华
唯品会消息平台架构师
毕业于武汉大学,目前担任唯品会消息平台架构师。从事消息系统的设计和研发有4年多的时间,对Kafka、RabbitMQ、RocketMQ等消息中间件产品拥有较丰富的实践经验。
演讲主题:《基于Kafka1.0建立企业级消息系统平台的思考及实现》
1. 随着业务系统接入增多,对集群和元数据资源(Topic/Group)的管理显得尤为重要,急需建立统一平台来管理系统资源及认证授权接入服务;
2. 提升并发消费场景下的高可靠,及消费异常后如何优雅解决消费重试问题;
3. 如何实现延时消息的投递功能,改善延时精度的方式;
4. 原生kafka支持组间广播对动态增长的业务组申请造成困境,如何实现组内广播来改善现状;
5. 集群故障时如何快速有效迁移服务等问题介绍。
秦江杰
阿里巴巴实时计算平台高级技术专家
秦江杰,阿里巴巴实时计算平台高级技术专家。硕士毕业于卡耐基梅隆大学,曾任职于LinkedIn参与Apache Kafka开发,Apache Kafka PMC member。
演讲主题:《详解Flink基于Kafka事务的严格一次语义实现》
在流处理系统中,端到端的严格一次的语义只有当输出的Sink支持时才可以实现。在Kafka 0.11中增加了对事物的支持,使得其他系统可以利用这一特性实现严格一次的语义。本次分享将详细介绍Flink是如何利用这Kafka一特性来实现端到端的严格一次语义的。
欧阳武林
网易大数据平台架构师
曾就职于中国移动、51信用卡,主要从事云计算平台开发相关工作。目前就职于网易,主要从事大数据平台开发。
演讲主题:《Kafka 在网易云上的实践》
1.Kafka上云面临的挑战和机遇;
2.网易云Kafka架构实现;
3.网易云Kafka的关键问题解决之法;
4.未来规划。
时间&地点
时间:2018年10月21日,13:30签到
详细地址:上海市长宁区金钟路968号凌空SOHO12号楼11层
活动报名
添加DataPipeline君微信:datapipeline2018,拉你进现场活动群。
转载于:https://www.cnblogs.com/DataPipeline2018/p/9714769.html
DataPipeline联合Confluent Kafka Meetup上海站相关推荐
- 精彩回顾 | 2023工赋Meetup—上海站
2023工赋Meetup-上海站 2023年4月2日下午,在上海数字长宁体验馆举办的"价值驱动的数字化转型技术专场"Meetup圆满落幕,本次活动由工赋开发者社区主办,上海市工业互 ...
- 基于Confluent.Kafka实现的Kafka客户端操作类使用详解
一.引言 有段时间没有写东西了,当然不是没得写,还有MongoDB的系列没有写完呢,那个系列还要继续.今天正好是周末,有点时间,来写新东西吧.最近公司用了Kafka做为消息的中间件,最开始写的那个版本 ...
- 精彩回顾 | Apache Flink x Iceberg Meetup · 上海站
简介:PPT下载链接来啦! 4 月 17 日,Apache Flink Meetup 上海站圆满结束!本次 Meetup,社区邀请了来自阿里巴巴.腾讯.Dell 科技集团.汽车之家的 4 位技术专家分 ...
- Apache Flink Meetup · 上海站,超强数据湖干货等你!
简介:Apache Flink x Iceberg Meetup 上海站 你是否有过流批技术栈不统一的抓狂? 你是否有过流批数据对不上的烦恼? 你是否有过,海量数据更新时效性跟不上的无奈? Apach ...
- 高能预警!Apache Flink Meetup · 上海站返场啦
精选30+云产品,助力企业轻松上云!>>> 近期,Flink 社区上线了一系列好玩有趣又干货十足的活动.错过的小伙伴可以看这里:如果您是 Flink 爱好者想快速上手入门,Flink ...
- .net core 中使用confluent kafka构建生产者
创建.net 6 API 安装依赖包 创建kafka生产者 using System; using System.Collections.Generic; using System.Linq; usi ...
- Zabbix Meetup上海站回顾+ppt下载
首场线下Zabbix Meetup 上海站于4月23日圆满举办,现场有 130 +位嘉宾参加,场面热烈.感谢本次活动的赞助商杭州网银互联科技股份有限公司大力支持. 本文带你回顾面基现场,同时提供讲师可 ...
- .net core confluent kafka消费者
定义消费者 using KafkaHelper.Config; using Microsoft.Extensions.Options; using System; using System.Colle ...
- Hello Kafka(八)——Confluent Kafka简介
一.Confluent Kafka简介 1.Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps.NahaNarkhede和饶军离开LinkedIn创立Confluen ...
最新文章
- ksql 数量大于2_504深入解读路基土石方说明,路基填方数量组成?运距>15km咋办...
- 【渗透测试】一次从黑盒转向白盒
- Spread for WinRT 7新功能使用指南
- IDOC generation debug for One Order
- 云计算设计模式(五)——计算资源整合模式
- 哈工大等提出轻量级盲超分辨模型LESRCNN,代码已开源
- 华为海思总裁致信员工:多年备胎一夜转正 挽狂澜于既倒
- linux中rlwrap安装
- 学习Python编程培训 有哪些爬虫技术课程需要掌握
- 【Python】:用python做下百度2014笔试题
- 无法为jsp编译类_《刺激战场》改名为《和平精英》,有2类玩家或可能无法登陆游戏...
- python类和对象实验报告_python类和对象
- Codejock Xtreme Calendar 最新版下载试用2021版本
- 刚知道,qq聊天的时候可以这么装逼
- iostream和stdafx.h
- Redis下载部署并加入idea应用(详细笔记)
- DirectX 基础总结笔记
- 如何加载CASS DAT格式文件
- 论项目管理中当面沟通的重要性
- 浅谈ERP数据的重要性