初识大数据--Hadoop大数据平台架构与实践

Hadoop大数据平台架构与实践

预备知识：

Linux常用命令

Java基础编程

1、大数据相关概念

无处不在的大数据，科学数据、金融数据、零售数据、社交网络数据、交通数据、物联网数据等。

马云：“21世纪核心的竞争是数据的竞争。谁拥有更多数据，谁就拥有未来。”

初始Hadoop

如何对大数据进行存储和分析呢？

系统瓶颈：存储容量、读写速率、计算效率…

谷歌大数据技术：MapReduce、BigTables、GFS

革命性的变化

1：成本降低，能用PC机，就不用大型机和高端存储。

2：软件容错硬件故障视为常态，通过软件保证可靠性。

3：简化并行分布式计算，无须控制节点同步和数据交换。

Google只是发表了相关的技术论文，而没有开放源代码。所以，出现了一个模仿Google大数据技术的开源实现，Hadoop。

Hadoop的功能和优势

Hadoop是一个Apache开发的开源的分布式存储基础架构和分布式计算平台。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce。

HDFS：分布式文件系统，为海量的数据提供了存储。

MapReduce：并行处理框架，实现任务分解和调度，为海量的数据提供了计算。

Hadoop应用：

搭建大型数据仓库，PB级数据的存储、处理、分析、统计等业务。如搜索引擎，日志分析，商业智能，数据挖掘。

Hadoop优势：

1、高扩展理论上是无限的

2、低成本

3、成熟的生态圈

Hadoop生态系统及版本

Hadoop家族：

Hive(小蜜蜂):

将sql语句转换成Hadoop任务去执行，降低了使用Hadoop的门槛。

HBase：

存储结构化数据的分布式数据库。

与传统的关系型数据库相比，HBase放弃事务特性，追求更高的扩展。

与HDFS相比，HBase提供数据的随机读写和实时访问，实现对表数据的读写功能。

zookeeper(动物管理员):

监控Hadoop集群中每个节点的状态，管理整个集群的配置，维护节点资源之间数据的一致性。

Hadoop版本：

这里学习的是ver1.2版本，稳定版，容易上手理解。

 [外链图片转存中...(img-c2srLkMB-1569672170113)]

Hadoop版本：

这里学习的是ver1.2版本，稳定版，容易上手理解。

2、Hadoop安装

step1、准备Linux环境

多种方式：
Windows下安装虚拟机；
租用云主机，阿里云、UnitedStack等；

step2、安装JDK

step3、配置Hadoop