Apache Spark在海致大数据平台中的优化实践

本文来自由海致网络技术公司翟士丹分享。专注于大数据技术领域，Apache Spark Contributor，有丰富的Spark SQL引擎调优经验。海致全称海致网络技术公司，成立于2013年7月。作为一家技术驱动的创业型公司，海致的创始班底拥有丰富的技术经验。核心团队成员来自百度、微软、IBM、EMC、硅谷等知名企业的资深互联网专家。

大数据数据平台的核心组成部分

多数据整合
自助式数据准备
可视化探索式分析
安全快捷的分发机制
覆盖全面的应用场景

产品架构如下：

平台的整体技术架构如下：

多数据整合，形成统一的数据口径：

灵活易用高性能的可视化探索式分析：

大数据平台的技术挑战与建设难点

数据同步：

OLAP任意多维分析引擎实现：

数据建模系统实现：

机器学习实现：

性能及稳定性优化：

大数据平台私有化部署及智能监控

声明：本号所有文章除特殊注明，都为原创，公众号读者拥有优先阅读权，未经作者本人允许不得转载，否则追究侵权责任。

关注我的公众号，后台回复【JAVAPDF】获取200页面试题！5万人关注的大数据成神之路，不来了解一下吗？5万人关注的大数据成神之路，真的不来了解一下吗？5万人关注的大数据成神之路，确定真的不来了解一下吗？

欢迎您关注《大数据成神之路》

Apache Spark在海致大数据平台中的优化实践相关推荐

网易大数据平台HDFS性能优化实践
导读:本文的主题是网易大数据HDFS的优化和实践,下面会从三个方面来介绍网易在大数据存储相关的工作和努力. 网易大数据平台 HDFS在网易的实践及挑战重点业务分享 01 网易大数据平台网易引入Ha ...
大数据hadoop，spark数据分析之基于大数据平台的运营商在线服务系统设计
今天向大家介绍一个帮助往届学生完成的毕业设计项目,大数据hadoop,spark数据分析之基于大数据平台的运营商在线服务系统设计. 基于大数据平台的运营商在线服务系统设计随着通信行业的业务拓展以及 ...
《程序员》11月精彩内容：大数据平台架构与技术实践
本期<程序员>呈现大数据平台架构与技术实践精彩内容,汇聚来自去哪儿.游族网络.链家网.万达金融等公司的技术专家,将带领读者共同探讨热门技术应用和实践优化,深入解析蕴藏的数据价值,展现时下大 ...
小米宋强：生态化大数据平台的深度应用实践
小米宋强:生态化大数据平台的深度应用实践大数据机器学习点击预估小米科技算法阅读1148 时下大数据市场越发火爆,各行各业趋之若鹜投入其中.然而随之产生的问题也越来越多,除去数据清洗.整理 ...
海致大数据京信_中国大数据可视化市场份额排名出炉
[导读]数据可视化主要旨在借助于图形化手段,通过交互式视觉表现的方式清晰有效地传达与沟通信息,帮助人们探索和理解复杂的数据. 日前,中国软件网.海比研究联合中国软件行业协会应用软件产品云服务分会发布了 ...
anaconda在ubuntu中安装后没有_你的大数据平台中病毒了！！！记一次HDP安装后中dr.who病毒并修复的过程...
有些事还是经历过了才知道"小心驶得万年船"的道理啊.最近笔者帮一个客户安装HDP2.6.5版本的大数据平台,最重要的是,这次安装的背景是生产环境的云平台迁移,不是普通的开发阶段或者 ...
移动大数据平台的架构、实践与数据增值(1)
转转:感谢分享http://developer.51cto.com/art/201512/500294.htm APP是进入移动互联网的重要载体,故得到越来越多开发者的关注.打造APP,无论是开发.产 ...
移动大数据平台的架构、实践与数据增值
吴磊,友盟公司数据平台负责人.目前主要负责Umeng移动数据分析平台的软件研发和系统架构.拥有10多年的软件开发经验,先后在大型通讯系统,通用搜索引擎以及海量数据分析等领域工作.在基础平台架构和海量数 ...
百会CRM教你在大数据平台中做精准营销
ZD至顶网CIO与应用频道 12月28日北京消息:朋友圈广告的变化你注意到了吗?展示的品牌越来越多,对外开放程度越来越高,将来你的企业广告也会出现在这里.面对拥有海量客户的大数据平台,你知道该如何选 ...