很开心在这么冷的天和大家相聚在熟悉的 3W 咖啡聊大数据,感谢北京小伙伴踩着冰渣子来参加本场大数据为主题的 D-Day 活动。此次沙龙由 SegmentFault 家 Adele 主持,这一次选择了一个相对陌生的主题,但仍然吸引了很多对大数据感兴趣的观众,不少业内人士也纷纷赶到现场向大咖提问。

Adele 简单介绍了 SegmentFault 的成长历程、行业愿景,产品特性,以及我们举办 D-Day 线下技术沙龙的愿景——让当地的开发者,开发者和大牛之间有面对面的交流机会的愿景后,马上进入分享环节。

现场回顾

第一位分享嘉宾是个推技术总监袁凯,分享的议题是《个推 Spark 应用与实践》,主要内容包括 Spark 简介,为什么选择 Spark,以及 Spark 在个推的应用实践:

  • 个推数据处理架构

  • Spark Streaming 部署情况

  • 应用 Spark 的业务举例

  • Spark Streaming 实现热力图


第二位嘉宾是 @蓝海讯通OneAPM 大数据架构师刘麒贇,刘老师分享的议题是《大数据实时分析利器 Druid 的应用》。不光讲了选择 Druid 的背景,Druid 的基本介绍,以及对 Durid 的展望,还举例说明了 OneAPM 目前基于 Druid 的应用:

  • 利用 Druid 存储查询 Saas 数据

  • OneAPM Druid 集群概况、集群拓扑

  • OneAPM 金字塔结构的 Druid DateSources

  • OneAPM Druid 集群监控方案


中场休息结束后,接下来为大家分享的嘉宾是 @友盟 数据平台架构师展一楠,议题为《友盟 Spark 和 Elasticsearch 实践》。简单介绍什么是 Elasticsearch,Es的优点,局限,友盟 Es 使用情况后,展老师还结合友盟实例进行分析,包括:

  • 友盟 Hadoop & Spark 使用情况

  • 友盟使用 Spark 的一点不太明显的原因:函数式编程

  • Spark 与 Es 在技术上结合解决的问题

  • 使用搜索引擎后,可能是给自己挖坑


本场最后一位分享的嘉宾是小米公司研发架构师,负责小米广告平台的架构和数据的欧阳辰,这一次分享议题是《小米大数据技术小实践》,关键词为小米、大数据、技术小实践,比如:

  • 小米大数据技术框架、大数据应用

  • 为何青睐 HBase,HBase 在小米的改进,如何从 MyAQL 平滑迁移到 HBase

  • 小米广告的实时统计

圆桌环节

四位嘉宾演讲结束后是圆桌环节,本次圆桌由小米公司研发架构师欧阳辰主持,现场来了很多专业的观众,就平台架构选型及个人使用过程的疑问和嘉宾们进行讨论交流。圆桌结束后有些听众意犹未尽,纷纷找嘉宾老师私聊。此次 D-Day 足以见开发者们对大数据这一前沿领域技术的兴趣。后期 SegmentFault D-Day 会对每年前沿技术保持关注,为大家带来更多有趣的技术交流活动。

本场 D-Day 结束,马上就要 12 月了,希望大家带着 D-Day 上 get 的新知识,进入全新的一个月。

干货已出↓↓↓

现场干货整理

嘉宾 Slides:

  • 袁凯《个推Spark应用实践》

  • 刘麒贇《大数据实时分析利器Druid的应用》

  • 展一楠《友盟Spark和Elasticsearch实践》

  • 欧阳辰《小米大数据的技术小实践》

嘉宾现场速记:

  • 袁凯《个推Spark应用实践》

  • 刘麒贇《大数据实时分析利器Druid的应用》

  • 展一楠《友盟Spark和Elasticsearch实践》

  • 欧阳辰《小米大数据的技术小实践》

另有现场活动照片,可以看 这里

下节预告

下一场「SegmentFault D-Day 北京:iOS」,3W Coffee 老地方,不见不散

SegmentFault D-Day 北京:大数据相关推荐

  1. 作者:赵国栋(1974-),男,中关村大数据产业联盟秘书长,北京大数据研究院副院长,北京汇冠新 技术股份有限公司独立董事...

    赵国栋(1974-),男,中关村大数据产业联盟秘书长,北京大数据研究院副院长,北京汇冠新技术股份有限公司独立董事,北京邮电大学经济管理学院特聘导师,国务院学位办公室大数据专业硕士特聘导师,中国计算机学 ...

  2. 作者:赵国栋(1974-),男,中关村大数据产业联盟秘书长,北京大数据研究院副院长...

    赵国栋(1974-),男,中关村大数据产业联盟秘书长,北京大数据研究院副院长,北京汇冠新技术股份有限公司独立董事,北京邮电大学经济管理学院特聘导师,国务院学位办公室大数据专业硕士特聘导师,中国计算机学 ...

  3. 2022年北京大数据技能大赛“隐私计算”赛道初赛完结!12强出炉

    10月14日,2022年北京大数据技能大赛"隐私计算"赛道初赛顺利结束,阶段性成果初现. 前情提要 | 速来!2022北京大数据技能大赛隐私计算赛道可以提交了! 2022年北京大数 ...

  4. 写文章 数据嗨客 | 第2期:线性回归 数据嗨客 | 第2期:线性回归 泊数 泊数 1 年前 普林大数据学院——“机器学习”系列 普林大数据学院依托北京大数据研究院和北京大学,为有需求的企业

    数据嗨客 | 第2期:线性回归 泊数 1 年前 普林大数据学院--"机器学习"系列 普林大数据学院依托北京大数据研究院和北京大学,为有需求的企业和用户提供线上线下结合大数据培训服务 ...

  5. 北京大数据交易平台上线

    昨天,北京市软交所主办的"北京大数据交易服务平台"正式上线,同时也发布了国内大数据交易的10条标准规范. 据悉,该平台是在北京市经信委等政府部门和创业联盟的指导下,与科研机构.数据 ...

  6. 北京大数据交易服务平台上线

    "这家工资还没有现在公司给的高呢!"董锋把公司的名称输入"曝工资"软件中,该公司各个职位的工资便马上显示出来.连面试都没有进行,准备跳槽的董锋就靠手机上的一款A ...

  7. 北京大数据培训 | 电商用户行为分析之实时流量统计

    模块创建和数据准备 在 UserBehaviorAnalysis 下 新 建 一 个 maven module 作 为 子 项 目 , 命 名 为NetworkFlowAnalysis.在这个子模块中 ...

  8. 北京供销大数据集团成立

    日前,北京市供销合作总社在京宣布成立北京供销大数据集团.北京市供销合作总社党委书记.理事长高守良表示,总社将大数据产业作为现代工商服务业.持有型物业经营.金融及金融衍生品之后的第四大业务板块.北京供销 ...

  9. ❤️让人心跳加速的陌陌案例,大数据必需学会的基础案例!❤️ 【推荐收藏】

    全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 已列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 前言 陌陌案例 一.陌陌案例的需求说明 二.陌陌案例中表设计内容 1. ...

  10. 大数据时代,谁的眼神锁定你?

    数据时代当前,欢迎来到楚门的世界. 双十一余韵未歇,刚处理完一波售后及退件等"剁手后遗症"的各方人马也已经为再战双十二做好了准备.截至 12 日零点,天猫双十一成交额达 2135 ...

最新文章

  1. ICRA 2021| SKD:基于显着性估计的点云关键点检测
  2. CPU和GPU跑深度学习差别有多大?
  3. 【问题】最近遇到的不大不小的arduino库使用问题
  4. Snort 网络***检测系统(二)之Snort 介绍
  5. 实时监听input输入框value的变化:
  6. 600. 不含连续1的非负整数
  7. BZOJ——1614: [Usaco2007 Jan]Telephone Lines架设电话线
  8. 【机器学习】监督学习--(分类)逻辑回归
  9. 021合并两个链表并排序
  10. 实现基于AD的MOSS的FORM认证方式
  11. 深入浅出Yolo系列之Yolov3Yolov4Yolov5Yolox核心基础知识完整讲解
  12. 实验2 线性表的链式存储结构的实现及其应用
  13. 洛谷 P2168 [NOI2015] 荷马史诗
  14. 按下Backspace键,就会跳转到上一个页面。JavaScript屏蔽Backspace键处理,禁用Backspace键。
  15. git_ Git 工具 - 储藏(Stashing)
  16. 注册表(regedit)
  17. Microsoft.Office.Interop.Excel的用法以及利用Microsoft.Office.Interop.Excel将web页面转成PDF
  18. no-repeat失效
  19. python 操作word 替换字符串为图片_用python将.docx文件中的字符串替换为jpg
  20. Sass与Compass——回顾

热门文章

  1. NLP 的EDA数据增强技术
  2. tensorflow 1.0 学习:参数初始化(initializer)
  3. opencv 4快速入门_茶知识|茶道核心4元素,看懂你也可以快速入门茶道!先收藏...
  4. Systemctl stop XXX 时间太长
  5. 信息系统项目管理师案例考试汇总(2005~2021年)
  6. 信息系统项目管理师考前冲刺第二天:项目整体管理
  7. Linux挂载Linux共享文件夹
  8. Leaflet中使用leaflet.polylineDecorator插件绘制箭头线及虚线矩形
  9. Springboot与抓拍系统对接实现查询违章数据与预览抓拍照片
  10. ElementUI中el-table在表格最下方添加一列汇总小计行