java hbase创建_hadoop组件介绍及python 连接Hbase

Ambari

Apache Ambari是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。是Apache顶级开源项目之一，由Hortonworks公司开源。

Ø 官方网站地址：

http://ambari.apache.org/

Host节点
 在导航栏里点击Hosts进入节点列表页面，列表叶中显示各节点的概要信息。
 如果需要新增节点时，点击【Actions】-【Add New Hosts】按钮进入增加节点页面，进行相关配置
 点击节点名称可以进入到节点信息的页面中，其中左侧为当前节点安装的
服务组件及组件的部分操作，右侧为当前节点最近的资源消耗。

hadoop主要组件介绍：

HDFS

Ø HDFS是Hadoop的分布式文件系统，HDFS组件分为NameNode和DataNode,NameNode负责元数据文件信息的管理，DataNode负责存储数据文件。HDFS使用可以通过命令行的方式操作，也可以通过HDFS提供的API在程序中调用.
 API调用时需要指定HDFS的对外服务的url
 命令行的方式，登录到集群中任意节点，在命令行中使用：
hadoop fs -【要操作的命令】+【操作内容】

Hbase

Ø HBase是一个分布式的、列式存储的开源数据库，HBase需要部署HBase Master和RegionServers。
 hbase的操作方法分为hbase shell和对外API两种方式等。
 hbase shell的方式为登录到集群节点中，使用名【hbase shell】进入hbase 的命令行界面，通过使用【get ‘表名’，‘rowkey’】、【scan ‘表名’，开始rowkey,结束rowkey】、【count】等命令进行操作。
 对外API的方式进行访问hbase多通过java的hbase client进行访问，其他语言可通过访问hbase 的thrift代理服务进行访问，python也可以通过使用hbase client的java jar包进行操作。
 下面是python使用第三方包happybase访问hbase的简单demo

import happybase

ZooKeeper：

Ø ZooKeeper是一个分布式的，分布式应用程序协调服务，多用于保证数据的一致性。hadoop生态中很多组件都依赖于ZooKeeper。

1.1.4. Kafka:

Ø Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。目前集群中主要使用kafka做为实时数据的缓冲层，除此以外，文件数据的收集也通过kafka作为异步调度的媒介。

kafka可以通过命令行操作也可通过api进行操作。Kafka的命令行操作如下：   在kafka的安装节点上，进入到【kafka安装目录】/bin文件夹下   创建topic命令：./kafka-topics.sh --create --zookeeper deepwind4:2131,deepwind3:2181,deepwind2:2181 --replication-factor 3 --partitions 3 --topic testTopic   参数【--zookeeper deepwind4:2181,deepwind3:2181,deepwind2:2181】指定了当前       topic注册到哪些zookeeper节点进行管理。   参数【--replication-factor 3 --partitions 3】设置了当前topic数据存于3个broker的        3个  分区中   参数【--topic testTopic】为创建的topic的名称   创建消费者命令：./kafka-console-consumer.sh --zookeeper deepwind4:2181,deepwind3:2181,deepwidn2:2181 --topic testMyRealTimeDataTopic

Flume

Ø 集群中kafka服务不对外网开放，文件上传异步调度信息由flume来完成，接收外网已上传的数据文件信息再转发到kafka对应的topic队列中。

Azkaban

Ø Azkaban是一款基于Java编写的任务调度系统，在集群中负责调度spark的离线计算任务。

Ø 参考资料：https://azkaban.github.io/

Hive

点位数据会定期从hbase中导出到hive中来存储，导出的文件使用压缩比很高的parquet类型文件进行存储，建模或数据分析等相关工作使用的数据从Hive中获取.

Hive在将parquet元数据文件映射成hive表时，需要使用parquet文件的schema，所以在导出成parquet文件时会分别生成元数据文件和schema文件，比如：存储的路径如下。

 数据文件：/deepwind/history/parquet/【省编号】/【市编号】/【数据时间】
 Schema文件：
/deepwind/history/parquetSchema/【省编号】/【市编号】/【数据时间】/schema

Pyspark

集群中的Jupyter notebook已经与pyspark集成，可以直接使用pyspark中的api进行编码，如下图中spark.sql的执行内容是通过pyspark api的spark sql访问集群中hive表数据，返回结果的数据类型为spark的DataFrame。