大数据的五大关键技术
https://www.douban.com/group/topic/109858772/
大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和展现的有力武器。
一、大数据接入
1、大数据接入
已有数据接入、实时数据接入、文件数据接入、消息记录数据接入、文字数据接入、图片数据接入、视屏数据接入
2、大数据接入技术
Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp
二、大数据存储
1、大数据存储
结构化数据存储、半结构化数据存储、非结构化数据存储
2、大数据存储技术
Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch
三、数据分析挖掘
1、大数据分析与挖掘
离线分析、准实时分析、实时分析、图片识别、语音识别、机器学习
2、大数据分析与挖掘技术
MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib
四、大数据共享交换
1、大数据共享交换
数据接入、数据清洗、转换、脱敏、脱密、数据资产管理、数据导出
2、大数据共享交换技术
Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service
五、大数据展现
1、大数据展现
图化展示(散点图、折线图、柱状图、地图、饼图、雷达图、K线图、箱线图、热力图、关系图、矩形树图、平行坐标、桑基图、漏斗图、仪表盘),文字展示;
2、大数据展现技术
Echarts、Tableau
国家规划大数据产业发展战略,各行各业需要大数据技术支撑指数级的数据增量服务,越来越多的企业逐渐转型于大数据,大数据方面市场需求呈爆发式增长。
大数据的五大关键技术相关推荐
- 数据整理——大数据治理的关键技术
数据整理--大数据治理的关键技术 杜小勇1,2, 陈跃国1,2, 范举1,2, 卢卫1,2 1. 中国人民大学信息学院,北京 100872: 2. 数据工程与知识工程教育部重点实验室(中国人民大学), ...
- 数字冰雹创始人邓潇专访:2017大数据可视化的关键技术及行业应用
大数据可视化的内涵与意义 大数据可视化就是利用视觉的方式将那些巨大的.复杂的.枯燥的.潜逻辑的数据展现出来,无论通过地理空间.时间序列,还是逻辑关系等不同维度,最终使读者在短时间内理解数据背后的规律与 ...
- 大数据学习的关键技术知识体系及学习建议
大数据技术涉及内容庞杂,应用领域广泛,各领域和方向采用的关键技术差异性也会较大.本文从数据科学和大数据关键技术体系角度,来说说大数据的核心技术什么. 1 大数据应用的目标是普适智能 要学好大数据,首先 ...
- 大数据怎么学习:大数据学习的关键技术知识体系、学习路径和误区
由于大数据技术涉及内容太庞杂,大数据应用领域广泛,而且各领域和方向采用的关键技术差异性也会较大,难以三言两语说清楚,本文从数据科学和大数据关键技术体系角度,来说说大数据的核心技术什么,到底要怎么学习它 ...
- 干货分享:大数据可视决策关键技术有哪些?分析篇
一.什么是数据可视化 俗语有曰:文不如表,表不如图.数据可视化就是借助于图形化手段,把最基本的数据进行处理.运算之后,通过可视化技术,深度挖掘.呈现背后深层次的指标.规律,并结合不同行业业务需求,清晰 ...
- 大数据营销的关键是“挑数据”
传统企业触网过程中,大数据营销的难题日益凸显. 过往,传统企业也积累了大量数据包括:财务数据.客户数据.网络数据等.但是,大数据的出现使其面临前所未有的挑战.首当其冲,即是大数据营销. 11月7月,国 ...
- 大数据的数据科学与关键技术是什么?
对于大数据想必大家都有所了解了吧?随着信息化的不断发展,大数据也越来越被人们所熟知.我们都知道,现在很多行业都离不开数据分析,在数据分析中我们有听说了大数据,大数据涉及到了很多的行业,一般来说,大数据 ...
- 中国呼叫中心产业五大关键技术
中国呼叫中心产业五大关键技术 呼叫中心在我国发展起步较早,市场培育相对成熟,市场体量也十分庞大,截至2017年底,全国呼叫中心业务持证企业数同比增长46.9%.全国呼叫中心业务收入超过280亿元,同比 ...
- 大数据流通与交易技术国家工程实验室成立大会在京举行
3月11日,由国家发改委正式批复的"大数据流通与交易技术国家工程实验室"成立大会暨第一次研究中心主任联席会议召开.国家发展和改革委员会.中央网信办.工业和信息化部以及上海市政府等相 ...
最新文章
- 波士顿动力机器狗再进化:已学会自主规划路线
- Java 斐波那契数列
- JavaWeb课程复习资料(八)——添加功能
- LeetCode Hot100 ---- 链表专题专题
- linux扫描后台地址,Linux如何查看和控制进程
- Hadoop安装详细教程 单机版
- BIM学习笔记(一)
- NB50/60 TJ1/TK1 模具 黑苹果保姆级教程整理
- gibboncode导入.stl格式模型,进行网格划分
- 惠普打印机突然停止工作
- 今日头条、抖音推荐算法原理全文详解!
- IoT with Mongodb cloud
- ImportError: No module named 'StringIO'
- 关于Java,你想知道的一切,这里说透了
- STC15L2K32S2芯片介绍与实验板原理图分析
- 转发真阿当老师的一片文章 受益匪浅 (出处:http://cly84920.blog.163.com/blog/static/24750013320158203575958/)...
- 多传感器融合定位 第四章 点云地图构建及基于点云地图定位
- 数学之美之谷歌AK-47的设计者阿米·特辛格博士
- Moviepy时间变换time_mirror再遇‘OSError: MoviePy error: failed to read the first frame of video file‘解决示例代码
- 嘉立创 指定位置放编号的规则