大数据入门-大数据技术概述(一)
目录
大数据入门系列文章
1.大数据入门-大数据是什么
一、概念
二、技术详解
1.基础架构：Hadoop
2.分布式文件系统：HDFS
3.数据仓库：Hive
4.存储引擎：Kudu
5.分布式数据库：HBase
6.实时框架：Flink
三、其他
大数据入门系列文章
1.大数据入门-大数据是什么
大数据入门系列文章
你知道什么是大数据吗，请走传送门。
1.大数据入门-大数据是什么
1.大数据入门-大数据是什么
一、概念
大数据技术是指在构架大数据平台的时候需要的技术。包含存储系统，数据库，数据仓库，资源调度，查询引擎，实时框架等。下面以我目前所了解到的一些技术做简要介绍。目前之介绍简单概念。
二、技术详解
1.基础架构：Hadoop
1.架构
2.简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
2.分布式文件系统：HDFS
1.HDFS架构
2.简介
指被设计成适合运行在通用硬件上的分布式文件系统。
3.特点
HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。
3.数据仓库：Hive
1.架构
2.简介
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
3.特点
执行过程走MapReduce比较慢，处理规模大，可扩展性高，加载模式为读时模式。后面就MapReduce会做专门的解释。
4.存储引擎：Kudu
1.架构
2.简介
Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。
3.特点
支持随机读写，支持OLAP 分析，太多列查询时性能下降，跟关系型数据有点类似。其存储文件不在HDFS上面，有自己的存储文件系统。
5.分布式数据库：HBase
1.架构
2.简介
HBase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。
3.特点
高可靠、高性能、面向列、可伸缩。
6.实时框架：Flink
1.架构
2.简介
Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。
3.特点
流处理特性、API支持、Libraries支持、整合支持。
三、其他
以上就是我目前涉及到的部分技术，下一篇出Zookpeer、Yarn、Spark、Impala、Kafka、Flume。
大数据入门系列文章
你知道什么是大数据吗，请走传送门。
1.大数据入门-大数据是什么
1.大数据入门-大数据是什么
如果你觉得这篇文章对您有帮助，请关注点赞加收藏，想要了解更多请关注公众号联系博主，祝您生活愉快，身心健康！
备注：以上资源来自网络，侵删。
大数据入门-大数据技术概述(一)相关推荐
- 大数据入门及各类技术介绍
大数据入门及各类技术介绍 大数据架构 数据采集 数据存储 数据处理 数据应用 前言: 由于之后工作需要了解部分大数据相关技术,现将查阅的资料整理汇总 只列出主要技术介绍供大家入门查看,不包含具体使用和 ...
- 【大数据入门】Hadoop技术原理与应用之基于Hadoop的数据仓库Hive
基于Hadoop的数据仓库Hive 文章目录 基于Hadoop的数据仓库Hive @[toc] 6.1 概述 6.1.1 数据仓库概念 6.1.2 传统数据仓库面临的挑战 6.1.3 Hive简介 6 ...
- 大数据入门-大数据是什么
目录 一.概念 二.特点 1.数据量大 2.数据时效性 3.数据多样性 4.数据价值低 三.国家发展促进 四.大数据岗位 一.概念 百度百科这样写道 大数据(big data),IT行业术语,是指无法 ...
- 大数据入门--大数据特点
大数据特点: ①volume(大量):数据量大. ②velocity(高速):框架在处理大数据是比传统的mysql要快很多. ③variety(多样化) ④value(低价值密度):大数据的处理特点有 ...
- 大数据入门--大数据概念,大数据是什么?
大数据是什么? 大数据(Big Data) :指无法在一定的时间范围内,用常规软件工具进行捕捉,管理和处理的数据集合.是需要新的处理模式,才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增 ...
- 大数据入门推荐 - 数据之巅 大数据革命，历史、现实与未来等五本PDF
扫码时备注或说明中留下邮箱 付款后如未回复请至https://shop135452397.taobao.com/ 联系店主
- 大数据入门-什么是Kudu
目录 一.概念 二.架构 1.Master Server 2.Tablet Server 3.Table 4.Tablet 三.特性 1.重要性 2.易用性 3.优势 4.与传统关系型数据库比较 5. ...
- 大数据入门-三分钟读懂Hadoop
最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭! 大数据入门系列文章 1.大数据入门-大数据是什么 1.大数据入门-大数据是什么 2.大数据入门-大数据技术概述(一) 2.大数据 ...
- 大数据入门-五分钟读懂HDFS
目录 大数据入门系列文章 一.概念 二.架构及组件概念 三.读写流程 四.大白话 五.其他 大数据入门系列文章 最近在收集整理大数据入门文章,各位盆友关注点赞不迷路,每天都要开心鸭! 大数据入门系列文 ...
最新文章
- Linux centos7 Linux网络相关、firewalld和netfilter、netfilter5表5链介绍、iptables语法
- Kali Linux
- 不能不知道的Docker知识
- Android 常用的性能分析工具详解：GPU呈现模式, TraceView, Systrace, HirearchyViewer（转）...
- 计算机网络——标准化工作及相关组织
- 利用MO实现流场显示
- 基于51/52单片机毕业设计课题选题表/毕设题目/设计资料
- 2020年云计算就业前景怎么样？
- spark web ui怎么看
- java项目生成多个条码_java – 生成随机条形码 – 一个设计问题
- DeepLab系列理解
- 苹果safari浏览器 button点击不会触发focus事件 如何解决？
- MySQL数据库优化的几种方式(笔面试必问)
- 适配动态 | 3月份巨杉数据库与6款产品完成互认证
- 如何自学java（男神马士兵戒言）
- 2.5 对工作表进行保护 [原创Excel教程]
- 详解首个物联网专用网络技术——LPWA
- 大一微积分笔记整理_大一上学期 高数复习要点整理
- 【OR】YALMIP uncertain
- 微信昵称 mysql_mysql 微信用户昵称emoji 完整保存