Pig 0.12.1安装和使用

1 :安装

解压，配置环境变量，验证 pig安装是否成功

<pre name="code" class="plain">[jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz
[jifeng@jifeng02 ~]$ vi .bash_profile
# .bash_profile# Get the aliases and functions. ~/.bashrc
fi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATH
export JAVA_HOME=$HOME/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=$HOME/hadoop/hadoop-1.2.1
export ANT_HOME=$HOME/apache-ant-1.9.4export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin
export HBASE_HOME=$HOME/hbase-0.94.21
export PIG_HOME=$HOME/pig-0.12.1export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin
~
~
~
".bash_profile" 23L, 591C 已写入
[jifeng@jifeng02 ~]$ source .bash_profile

[jifeng@jifeng02 ~]$ pig -helpwhich: no hadoop in (/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.1/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.0/bin)Warning: $HADOOP_HOME is deprecated.Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14 2.Pig执行模式
Pig有两种执行模式，分别为：
1）本地模式（Local）
本地模式下，Pig运行在单一的JVM中，可访问本地文件。该模式适用于处理小规模数据或学习之用。
运行以下命名设置为本地模式：

[jifeng@jifeng02 ~]$ pig -x local
which: no hadoop in (/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.1/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.0/bin)
Warning: $HADOOP_HOME is deprecated.2015-08-16 22:57:09,716 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14
2015-08-16 22:57:09,717 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/jifeng/pig_1439737029715.log
2015-08-16 22:57:09,735 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/jifeng/.pigbootup not found
2015-08-16 22:57:09,828 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:///
grunt>

2） MapReduce模式
在MapReduce模式下，Pig将查询转换为MapReduce作业提交给Hadoop（可以说群集，也可以说伪分布式）。
应该检查当前Pig版本是否支持你当前所用的Hadoop版本。某一版本的Pig仅支持特定版本的Hadoop，你可以通过访问Pig官网获取版本支持信息。
Pig会用到HADOOP_HOME环境变量。如果该变量没有设置，Pig也可以利用自带的Hadoop库，但是这样就无法保证其自带肯定库和你实际使用的HADOOP版本是否兼容，所以建议显式设置HADOOP_HOME变量。且还需要设置PIG_CLASSPATH变量：

[jifeng@jifeng02 ~]$ vi .bash_profile# .bash_profile# Get the aliases and functions
if [ -f ~/.bashrc ]; then. ~/.bashrc
fi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATH
export JAVA_HOME=$HOME/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=$HOME/hadoop/hadoop-1.2.1
export ANT_HOME=$HOME/apache-ant-1.9.4export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin
export HBASE_HOME=$HOME/hbase-0.94.21
export PIG_HOME=$HOME/pig-0.12.0
export PIG_CLASSPATH=$HOME/hadoop/hadoop-1.2.1/conf/export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin:$HADOOP_HOME/bin
~
~
~
".bash_profile" 24L, 661C 已写入
[jifeng@jifeng02 ~]$ source .bash_profile
[jifeng@jifeng02 ~]$ pig
Warning: $HADOOP_HOME is deprecated.2015-08-16 23:06:24,122 [main] INFO  org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14
2015-08-16 23:06:24,123 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/jifeng/pig_1439737584121.log
2015-08-16 23:06:24,142 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /home/jifeng/.pigbootup not found
2015-08-16 23:06:24,281 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://jifeng01:9000
2015-08-16 23:06:24,463 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: jifeng01:9001
grunt>

3.运行Pig程序
Pig程序执行方式有三种:
1）脚本方式
直接运行包含Pig脚本的文件，比如以下命令将运行本地scripts.pig文件中的所有命令：
pig scripts.pig
2） Grunt方式
Grunt提供了交互式运行环境，可以在命令行编辑执行命令。
Grund同时支持命令的历史记录，通过上下方向键访问。
Grund支持命令的自动补全功能。比如当你输入a = foreach b g时，按下Tab键，则命令行自动变成a = foreach b generate。你甚至可以自定义命令自动补全功能的详细方式。具体请参阅相关文档。
3）嵌入式方式
可以在java中运行Pig程序，类似于使用JDBC运行SQL程序。
Pig Latin编辑器
PigPen是一个Ecliipse插件，它提供了在Eclipse中开发运行Pig程序的常用功能，比如脚本编辑、运行等。下载地址：http://wiki.apache.org/pig/PigPen
其他一些编辑器也提供了编辑Pig脚本的功能，比如vi等。

Pig 0.12.1安装和使用相关推荐

mysql8 win10启动_Windows10 mysql 8.0.12 非安装版配置启动方法
本文为大家分享了mysql 8.0.12非安装版配置启动的具体步骤,供大家参考,具体内容如下 1.官方下载地址选择: MySQL Community Edition -> MySQL Comm ...
Minigui3.0.12完美安装
Minigui3.0.12完美安装,折腾了一天.终于看到了转载于:https://www.cnblogs.com/liubaocheng999/p/4323414.html
mysql-8.0.12语法_mysql-8.0.12 (免安装版) 安装详解
mysql-8.0.12 (解压版) 安装详解错误解决第一步:mysql-8.0.12 (解压版) 下载地址:https://www.mysql.com/downloads/ 第二步:配置初始化m ...
android 11.0 12.0app安装黑名单（限制app安装）
1.概述在11.0 12.0定制化开发中,最近由项目需求要实现对某些app应用安装限制也就是app安装黑名单功能,在黑名单之中的应用会被限制安装,不能安装到系统中功能分析在系统中PMS就是负责管 ...
php 7.0 nts 安装,Windows phpstudy 7.0.12 nts 安装redis
下载地址:https://github.com/MSOpenTech/redis/releases. Redis 支持 32 位和 64 位.这个需要根据你系统平台的实际情况选择,这里我们下载 Red ...
在VirtualBox 5.0.12 for Linux版本上安装CentOS 6.6 x86_64系统
本博文记录了我在CentOS 6.6 64bit上的VirtualBox 5.0.12上安装一个CentOS 6.6 64bit的过程.我选择这样做的原因,是便于以后安装和验证一下软件. 如果直接在真 ...
记一次 Centos7.x Hadoop3.x集群安装部署 Pig 0.17.0
基本信息官网 http://pig.apache.org/ 下载地址 http://www.apache.org/dyn/closer.cgi/pig https://mirror.bit.edu. ...
swig error : Unrecognized option -doxygen Ubuntu 安装 swig-3.0.12
1. 下载下载地址:https://sourceforge.net/projects/swig/ 2. 安装 tar -xzvf swig-3.0.12.tar.gzcd swig-3.0.12# ...
在CentOS 6.6 64bit上安装Oracle VirtualBox 5.0.12
VirtualBox是一款开源虚拟机软件(类似vmware).VirtualBox是由德国Innotek公司开发,由Sun Microsystems公司出品的软件,使用Qt编写,在Sun被Oracle ...

Pig 0.12.1安装和使用

Pig 0.12.1安装和使用相关推荐

最新文章

热门文章