大数据主要所学技术（简介）
大数据主要所学技术简介：
目录
大数据主要所学技术简介：
一： 大数据技术生态体系
二： 各个技术栈简介
一： 大数据技术生态体系
二： 各个技术栈简介
Hadoop
hadoop是一个用java实现的一个开源框架，是一种用于存储和分析大数据的软件平台，专为离线数据而设计的，不适用于提供实时计算。对海量数据进行分布式计算。Hadoop=HDFS（文件系统，数据存储相关技术）+ Mapreduce（数据处理）+ Yarn （运算资源调度系统）
zookeeper
它是针对大型分布式系统的可靠协调系统。提供功能：【本质是替客户端保管数据，为客户提供数据的监听服务】
1. 统一命名服务： 在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。例如：一个域名下可能有多个服务器，服务器不同，但域名一样。
2. 统一配置管理： 把集群统一配置文件交给zookeeper
3. 统一集群管理： 分布式环境中，实时掌握集群每个节点状态，zookeeper可以实现监控节点状态的变化。
4. 服务器动态上下线： 客户端能实时洞察到服务器上下线变化。
5. 软负载均衡： 在zookeeper中记录服务器访问数，让访问数最小的服务器去处理最新的客户端请求
Hive
hive是由facebook开源用于解决海量结构化日志的数据统计，是一个基于hadoop的数据库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能，本质是将SQL语句转化为MapReduce程序。用hive的目的就是避免去写MapReduce，减少开发人员学习成本。
Flume
Flume是hadoop生态圈中的一个组件，主要应用于实时数据的流处理，是一个高可用，高可靠，分布式的海量日志采集，聚合和传输的系统。支持多路径流量，多管道接入流量，多管道接出流量。
含有三个组件：
- source 【收集】
- channel 【聚集，一个通道，类似数据缓冲池】
- sink 【输出】
基础架构：
Kafka
分布式的基于发布/订阅模式的消息队列。主要用于大数据实时处理领域，主要功能可概括为三句话：
生产者发生消息给kafka服务器
消费者从kafka服务器读取消息
kafka服务器依托zookeeper集群进行服务的协调管理
Hbase
Hbase是构建在HDFS之上的分布式，面向列的存储系统，在需要读写时，随机访问超大规模数据库集时，可使用Hbase。Hbase利用HDFS作为其文件存储系统，利用MapReduce来处理hbase中的海量数据
Sqoop
sqoop是一个关系型数据库于hadoop间的数据同步的工具。
sqoop import : 将数据从关系型数据库导入hadoop中
sqoop Export： 将数据从hadoop中导入到关系型数据库中
Spark
spark是基于内存的开源分布式内存计算框架，是快速通用的大规模数据处理引擎，基于内存运算，具有优秀的作业调度策略。
spqrk优势：
- 速度快【基于内存数据处理】
- 易用性【支持java，scala，python等语言】
- 通用性【一栈式解决方案】
Storm
Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。
大数据主要所学技术（简介）相关推荐
- 黄智生教授：大数据时代的语义技术(公号回复“黄智生语义技术”下载彩标PDF论文)
黄智生教授:大数据时代的语义技术(公号回复"黄智生语义技术"下载彩标PDF论文) 原创: 黄智生 数据简化DataSimp 今天 数据简化DataSimp导读:介绍面向大数据环境的 ...
- 数据整理——大数据治理的关键技术
数据整理--大数据治理的关键技术 杜小勇1,2, 陈跃国1,2, 范举1,2, 卢卫1,2 1. 中国人民大学信息学院,北京 100872: 2. 数据工程与知识工程教育部重点实验室(中国人民大学), ...
- AI和大数据下，前端技术将如何发展？
简介:2010年前后,各种大数据应用进入爆发期.如果说之前的Web应用更多地是在"产生"数据,那在2010年之后,如何更好地"展现"数据则被提上了新的高度,很多 ...
- 上交AI研究院副院长马利庄：基于大数据的人脸识别技术进展与展望
文章发布于公号[数智物语] (ID:decision_engine),关注公号不错过每一篇干货. 转自 | 中国人工智能学会 本篇大家整理的是来自上海交通大学人工智能研究院副院长.华东师范大学特聘教授 ...
- 学大数据要学哪些算法_大数据专业是学什么？
01 大数据技术专业属于交叉学科:以统计学.数学.计算机为三大支撑性学科:生物.医学.环境科学.经济学.社会学.管理学为应用拓展性学科.还需要学习数据采集.分析.处理软件,学习数学建模软件及计算机编程 ...
- 大数据需要学习哪些技术？
大数据是对海量数据进行存储.计算.统计.分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算.高并发处理.高可用处理 ...
- 大数据训练营课程大纲项目简介
文章目录 课程大纲 模块一:大数据的"三驾马车":HDFS.MapReduce/YARN.HBase 模块二:大数据时代数据仓库实践:Hive 模块三:更快的数据处理引擎:Spar ...
- 什么是大数据开发？大数据开发要学什么？一个Java转行过程和经历
大数据开发是大数据职业发展方向之一,另外一个方向是大数据分析.从工作内容上来说,大数据开发主要是负责大数据挖掘,大数据清洗处理,大数据建模等工作,主要是负责大规模数据的处理和应用,工作主要以开发为主, ...
- 《程序员》11月精彩内容：大数据平台架构与技术实践
本期<程序员>呈现大数据平台架构与技术实践精彩内容,汇聚来自去哪儿.游族网络.链家网.万达金融等公司的技术专家,将带领读者共同探讨热门技术应用和实践优化,深入解析蕴藏的数据价值,展现时下大 ...
最新文章
- mysql创建库几种方法_MySQL创建数据库的两种方法
- Maqetta源码运行
- python 学习笔记 5 -- 文件输入输出
- mysql 中文 问号 utf8_[MySql] 设置了UTF8，中文存数据库中仍然出现问号
- ConcurrentHashMap原理，jdk7和jdk8的区别
- 【渝粤教育】国家开放大学2018年春季 0434-22T高级英语口语 参考试题
- 单链表删除整表_单链表删除
- $.getJSON() 未能执行回调函数的缘由
- 20140524数据库课笔记
- 在同一窗口和同一选项卡中打开URL
- 十大免费响应式Joomla主题
- Hashmasks背后的故事：以太坊上最牛艺术品诞生之路
- contiki编程（一）
- 创作者基金新上线互动类型 NFTs，快来为你的体验添砖加瓦吧～
- Arduino 浊度传感器 TS300B 的使用
- 推荐几款目前最热门的前端框架
- Android与HEIF格式图片适配方法
- Linux内核设计与实现（13）第十三章：虚拟文件系统
- element UI和阿里图标图iconfont冲突怎么办
- 杨澜经典语录：与思想交朋友