hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

一、hadoop2.6伪分布安装请参考：http://blog.csdn.net/gamer_gyt/article/details/46793731
二、pig0.15安装
Pig的介绍
Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-like语言叫Pig Latin，该语言的编译
器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算
提供了一个简易的操作和编程接口.
Pig的运行模式

1.本地模式　　

Pig运行于本地模式，只涉及到单独的一台计算机。

2.MapReduce模式　　

Pig运行于MapReduce模式，需要能访问一个Hadoop集群，并且需要装上HDFS。

Pig的调用方式
    Grunt shell方式：通过交互的方式，输入命令执行任务；
    Pig script方式：通过script脚本的方式来运行任务；
    嵌入式方式：嵌入java源代码中，通过java调用来运行任务。
Pig的安装
1）下载Pig前往http://mirror.bit.edu.cn/apache/pig/ 下载合适的版本，比如Pig 0.12.02）解压文件到
合适的目录tar –xzf pig-0.12.03）设置环境变量export PIG_INSTALL=/opt/pig-0.12.0export PATH=
$PATH:$PIG_INSTALL/bin4）验证执行以下命令，查看Pig是否可用：
pig –help
进入本地模式：pig –x local
进入MapReduce模式：pig –x mapreduce
三、zookeeper3.4.6安装
获取ZooKeeper安装包
    下载地址：http://apache.dataguru.cn/zookeeper
    选择一个稳定版本进行下载，我这里下载的是zookeeper-3.4.6版本。
ZooKeeper伪分布式集群安装
    伪分布式集群：在一台Server中，启动多个ZooKeeper的实例。
上传并解压安装包解压到相应的目录,重命名
tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/hadoop
mv zookeeper-3.4.6 zookeeper
创建实例配置文件
cd zookeeper/conf
cp zoo_sample.cfg zoo1.cfg
cp zoo_sample.cfg zoo2.cfg
cp zoo_sample.cfg zoo3.cfg
修改配置文件
实例1的配置：
vi zoo1.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_1
clientPort=2181
dataLogDir=/usr/local/hadoop/zookeeper/logs_1
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
实例2的配置：
vi zoo2.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_2
clientPort=2182
dataLogDir=/usr/local/hadoop/zookeeper/logs_2
server.1=localhost:2887:3887
server.2=localhost:2888:3888

server.3=localhost:2889:3889

实例3的配置：

vi zoo3.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/hadoop/zookeeper/d_3
clientPort=2183
dataLogDir=/usr/local/hadoop/zookeeper/logs_3
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889
准备启动环境
mkdir/usr/local/hadoop/zookeeper/d_1
mkdir /usr/local/hadoop/zookeeper/d_2
mkdir /usr/local/hadoop/zookeeper/d_3

mkdir /usr/local/hadoop/zookeeper/logs_1
mkdir /usr/local/hadoop/zookeeper/logs_2
mkdir /usr/local/hadoop/zookeeper/logs_3

echo "1" > /usr/local/hadoop/zookeeper/d_1/myid
echo "2" > /usr/local/hadoop/zookeeper/d_2/myid
echo "3" > /usr/local/hadoop/zookeeper/d_3/myid
启动集群
bin/zkServer.sh start zoo1.cfg
bin/zkServer.sh start zoo2.cfg
bin/zkServer.sh start zoo3.cfg
查看是否启动成功
jps
#看到类似下面的进程就表示3个实例均启动成功
13419 QuorumPeerMain
13460 QuorumPeerMain
13561 Jps
13392 QuorumPeerMain
错误：Error contacting service. It is probably not running
原因和解决办法：
1. 没有装nc
yum install nc 或者apt-get install nc,
或者下载netcat的包，本文也有连接，
安装步骤：
a. tar -zxvf netcat***.tar.gz
b. ./configure
c. make
d. make install
OK
2. 打开zkServer.sh，找到
STAT=`echo stat | nc localhost $(grep clientPort "$ZOOCFG" | sed -e 's/.*=//') 2> /dev/null|grep Mode`
这行，加上或去掉-q 1（数字1而非字母l）即可。
3. /etc/hosts里面没有配置localhost
第二个问题一般的机器都没有问题，但是有一种情况没有配置，通过模板导入的虚拟机。
在/etc/hosts里增加下面一行
127.0.0.1 localhost SDN-VM1
运行结果：
JMX enabled by default
Using config: /opt/zookeeper-3.3.3/bin/../conf/zoo.cfg

Mode: follower

4、电脑重启

Java客户端测试
需要引入zookeeper-3.4.6.jar和slf4j-api-1.61.jar这两个jar包。
package com.cjw.demo;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class ZooKeeperClient {
    public static void main(String[] args) throws Exception {
        Watcher watcher = new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.toString());
            }
        };
        ZooKeeper zk = new ZooKeeper("192.168.157.22:2181", 3000, watcher);
        System.out.println("====创建节点");
        zk.create("/cjw", "znode1".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println("====查看节点是否安装成功");
        System.out.println(new String(zk.getData("/cjw", false, null)));
        System.out.println("====修改节点的数据");
        zk.setData("/cjw", "cjw2015".getBytes(), -1);
        System.out.println("====查看修改的节点是否成功");
        System.out.println(new String(zk.getData("/cjw", false, null)));
        System.out.println("====删除节点");
        zk.delete("/cjw", -1);
        System.out.println("====查看节点是否被删除");
        System.out.println("节点状态：" + zk.exists("/cjw", false));
        zk.close();
    }
}
运行结果：
====创建节点
WatchedEvent state:SyncConnected type:None path:null
====查看节点是否安装成功
znode1
====修改节点的数据
====查看修改的节点是否成功
cjw2015
====删除节点
====查看节点是否被删除

节点状态：null配置文件说明

initLimit: follower连接并同步到leader的初始化连接时间，它是通过tickTime的倍数表示。当初始化连接时间超过设置的时间时，则连接失败。

syncLimit: follower和leader之间发送消息时请求和应答的时间长度，如果follower在设置的时间范围内不能和leader通信，那么该follower将被丢弃，它也是按tickTime的倍数进行配置的。

tickTime: 定义心跳的时间间隔，
注：zk的client和server之间也有和web开发类似的session的概念，而zk里最小的session过期时间就是tickTime的两倍
dataDir: 存储在内存中数据库快照功能。

clientPort: 监听客户端连接的端口号

dataLogDir: zk运行的相关日志写入目录，设定了配置，那么dataLog里日志的目录将无效，专门的日志存放

路径，对zk的性能和稳定性有好处。

扫一扫关注微信公众号！号主专注于搜索和推荐系统，尝试使用算法去更好的服务于用户，包括但不局限于机器学习，深度学习，强化学习，自然语言理解，知识图谱，还不定时分享技术，资料，思考等文章！

【技术服务】，详情点击查看：https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装相关推荐

hadoop2.7 伪分布
hadoop 2.7.3伪分布式环境运行官方wordcount hadoop 2.7.3伪分布式模式运行wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:cento ...
Hadoop2.6.0伪分布环境搭建
用到的软件: 一.安装jdk: 1.要安装的jdk,我把它拷在了共享文件夹里面. (用优盘拷也可以) 2.我把jdk拷在了用户文件夹下面. (其他地方也可以,不过路径要相应改变) 3.执行复制安装 ...
高效5步走，高速搭建Hadoop2伪分布环境
前两天将Hadoop2的全然分布式搭建文档整理公布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369).朋友相邀.就再将Hado ...
hadoop安装部署（伪分布及集群）
hadoop安装部署(伪分布及集群) @(HADOOP)[hadoop] hadoop安装部署伪分布及集群第一部分伪分布式一环境准备二安装hdfs 三安装YARN 第二部分集群安装一规划一硬 ...
Hadoop伪分布配置与基于Eclipse开发环境搭建
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html 内部邀请码:C8E245J (不写邀请码,没有现金送) 国 ...
hadoop环境搭建之伪分布集群环境搭建（单节点）
首先,尼玛哥是一名研究生,可以说很多学习的知识都是来源于同门师兄弟,本着将自己学习到的东西以博客的形式分享到网络上,不仅仅可以让自己回顾,也可以帮助需要学习的小伙伴们,供大家一同学习. 首先,hado ...
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境一.环境说明个人理解: zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hado ...
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)
hadoop +hbase+zookeeper 伪分布安装(超级无敌详细) hadoop 配置图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN 安装jdk sudo apt update// ...
zookeeper伪分布环境搭建
前提条件 1. 1台Linux环境机器 2. Linux环境下安装好jdk 目标用1台Linux环境机器,安装zookeeper伪分布式环境. 操作步骤下载: 点击如下链接下载zookeeper安 ...

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装

hadoop2.6伪分布+pig0.15+zookeeper3.4.6安装相关推荐

最新文章

热门文章