大数据平台开源实施的难点
开源大数据技术是一种新一代技术和构架,它以成本较低、以快速的采集、处理和分析技术,从各种超大规模的数据中提取价值。大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为分析和挖掘海量数据价值的一个利器,甚至可以改变许多行业的商业模式。
庞大的开源大数据技术体系,使得大数据平台在实施和使用的过程中遇到很多难点,Think Big团队总结了在开源大数据平台设施的整个过程及花费的时间,如下图所示:
1、大数据平台的优化和运维
大数据平台的优化和运维应该是开源大数据平台实施的难点、也是构建大数据平台对人员的技术和经验要求最高的阶段,贯穿整个大数据平台实施过程。
2、大数据平台的数据整合、数据治理和数据湖
对于传统的企业使用大数据平台,数据整合、数据治理和数据湖也是非常重要和比较困难的阶段,全公司不同数据源之间的数据整合面临:数据的一致性、数据的完整性、数据的准确性、数据的安全等问题如何解决,当然还有不同数据(如:冷数据、温数据和热数据)怎么来存放,进而实现高效的数据存储和分析。这些都是我们在大数据实施过程中需要花很多时间和经验来实现的,很多的公司基本上都在直接或间接的使用大数据技术,有可能感觉大数据整合、治理、数据湖没有那么重要,把功能实现了,就觉得把大数据平台用的非常好了,其实不然,就像我上面提到的那张图,功能的实现只占大数据平台实施的一小部分。
3、大数据平台上面的数据建模
由于大数据平台面临数据的一致性、数据的完整性、数据的准确性等问题所以导致大数据平台上面的建模变得比较困难,此外还有不同行业面临的大数据平台建模问题各不相同。传统行业在大数据上面的建模面临的挑战还是非常多的,有的模型甚至不适合在开源大数据平台上面建模,不要一味的去和互联行业大数据平台上面的应用做比较,因为,互联网的业务比传统的业务模型简单很多。
4、数据挖掘和算法的实现
大数据平台的数据挖掘技术有Hadoop的Mahout、Spark的Mllib、SparkR等,这个现有的挖掘库存在很多问题,如:分布式计算。对整个团队的人员要求非常的高。
5、应用开发(类似于传统EDW的BI功能)
类似于在Hadoop上面实现一个传统的EDW的功能,常见用的比较多的就是SQL on Hadoop技术,如:Hive、Impala、Tez、Presto、Kylin、SparkSQL等。
6、大数据平台的选择和搭建
主要是Apache Hadoop、Hortonworks HDP和Cloudera CDH的选择,Apache Hadoop是纯开源的,Hortonworks HDP是开源Hadoop生态系统的管理,Cloudera CDH是开源Hadoop生态系统的增强。
推荐阅读文章
年薪40+W的大数据开发【教程】,都在这儿!
大数据零基础快速入门教程
Java基础教程
Elasticsearch教程
Hadoop教程
HBase教程
Hive教程
Kafka教程
Spark教程
linux教程
大数据平台开源实施的难点相关推荐
- 领导驾驶舱大数据平台的实施流程
如今的大数据时代,管理者都喜欢引入一款领导驾驶舱大数据平台到日常管理中,让工作更有效率.领导驾驶舱的理念已经非常流行也深受喜爱.但是,工具用不好,发挥不了作用,依旧是徒劳无功的事情.那领导驾驶舱大数据 ...
- 从0到1搭建大数据平台之监控
大家好,我是脚丫先生 (o^^o) 大数据平台设计中,监控系统尤为重要. 它时刻关乎大数据开发人员的幸福感. 试想如果半夜三更,被电话吵醒解决集群故障问题,那是多么的痛苦!!! 但是不加班是不可能的, ...
- 典型工业企业大数据平台解决方案(含数据治理)
一.总体思路 当前,工业企业产生的数据日与俱增,如何利用大数据为企业产生驱动力.竞争力成为工业企业面临的重要问题.工业企业大数据平台建设的总体思路是将现有PLC.MES.ERP.CRM.SRM.SCM ...
- 开源大数据平台的安全实践
开源大数据平台的安全实践 刘杰 百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...
- 开源技术、开放使用、业务导向的大数据平台,助力银行数字化转型
随着技术的高速迭代,金融科技企业早已不再是简单的金融+互联网模式,而是在大数据.人工智能和云计算加持之下逐渐进入下半场. 飞贷金融科技作为国内首家覆盖业务全流程.运营全体系的移动信贷整体技术服务商,通 ...
- Uber 是如何低成本构建开源大数据平台的?
随着 Uber 业务的扩张,为公司业务提供支持的基础数据池也在飞速膨胀,其处理成本水涨船高.当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划.该计划将问题分解为三大分支: ...
- GitHub开源比Hadoop快至少10倍的物联网大数据平台
TDengine是一个开源的专为物联网.车联网.工业互联网.IT运维等设计和优化的大数据平台.除核心的快10倍以上的时序数据库功能外,还提供缓存.数据订阅.流式计算等功能,最大程度减少研发和运维的工作 ...
- 比Hadoop快至少10倍的物联网大数据平台,我把它开源了
作者 | 陶建辉 转载自爱倒腾的程序员(ID: taosdata) 导读:7月12日,涛思数据的TDengine物联网大数据平台宣布正式开源.涛思数据希望尽最大努力打造开发者社区,维护这个开源的商业模 ...
- 基于Hadoop的大数据平台实施记——整体架构设计[转]
http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底 ...
最新文章
- java jediscluster_方便jediscluster操作的工具类
- Js时间戳转为日期格式
- ELK+logback搭建日志系统
- 数据结构的简单理解(4)
- [转]VS2010中的单元测试
- modelsim仿真不出波形_直接扩频通信(下)仿真
- MVC控制器执行重定向
- Linux 下 Tomcat Https
- 编写java项目如何分层_我项目中的代码都是如何分层的?
- Julia : 类型别名
- sprutcam 多机器人_Sprutcam工业机器人离线编程系统
- 国内几款通用论坛程序简介和比较
- Python 2.7 (64位) 出现bug,idle不能打开
- 图像处理(八)图像插值算法
- 腾讯阿里的螺丝钉,一样会生锈!
- html标签的记忆巧法,小学记忆单词的方法
- MySQL笔记---DQL语言
- 关于火星坐标、偏移、加偏和纠偏、无偏的理解
- ubuntu 迅雷(xware desktop)
- 推荐10款测试员常用的单元测试工具
热门文章
- 【一致性仿真】Consensus of second-order heterogeneous multi-agent systems with and without input saturation
- sqlite多进程并发读写模式下,返回SQLITE_BUSY错误的处理方法
- jenkins 配置git
- jenkins定时备份插件 ThinBackup
- Allavsoft for Mac(专业视频下载工具)
- IT行业中,APaaS、SaaS、BaaS、DaaS都是什么
- python入门须知
- 互联网结合产业,并不是为了继续建筑互联网与实体产业之间的高墙
- Groovy读取properties文件
- Python笔记---常用正则表达式练习