Pig下载与安装与使用

一、什么是pig？
Pig可以看做hadoop的客户端软件，可以连接到hadoop集群进行数据分析工作
Pig方便不熟悉java的用户，使用一种较为简便的类似于SQL的面向数据流的语言pig latin进行数据处理
Pig latin可以进行排序、过滤、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言
Pig可以看做是pig latin到map-reduce的映射器

二、pig安装配置
1、下载安装pig
pig下载地址： https://mirrors.tuna.tsinghua.edu.cn/apache/pig/pig-0.16.0/
2、创建Pig目录与解压

[root@test1 home]# mkdir pig   //创建pig目录
[root@test1 home]# cd pig
[root@test1 pig]# rz       //上传pig`至hadoop
[root@test1 pig]# tar -zxvf pig-0.16.0.tar.gz -C      //解压至pig目录

3、环境变量的修改

[root@test1 pig]# vi /etc/profile
export PIG_HOME=/home/pig/pig-0.16.0
export PATH=$PATH:$PIG_HOME/bin
export PIG_CLASSPATH=/home/hadoop/hadoop/etc/hadoop
[root@test1 pig]# source /etc/profile

4、检测pig是否安装成功

[root@test1 pig]# pig
19/05/25 21:54:40 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
19/05/25 21:54:40 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
19/05/25 21:54:40 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType
2019-05-25 21:54:40,881 [main] INFO  org.apache.pig.Main - Apache Pig version 0.16.0 (r1746530) compiled Jun 01 2016, 23:10:49
2019-05-25 21:54:40,881 [main] INFO  org.apache.pig.Main - Logging error messages to: /home/pig/pig_1558792480869.log
2019-05-25 21:54:41,230 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /root/.pigbootup not found
2019-05-25 21:54:43,842 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2019-05-25 21:54:43,842 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS
2019-05-25 21:54:43,842 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://test1:9000
2019-05-25 21:54:48,299 [main] INFO  org.apache.pig.PigServer - Pig Script ID for the session: PIG-default-93484d75-acf6-4850-9626-8b842d9fa45a
2019-05-25 21:54:48,299 [main] WARN  org.apache.pig.PigServer - ATS is disabled since yarn.timeline-service.enabled set to false
grunt>

三、pig的两种模式
本地模式：所有文件和执行过程都在本地，一般用于测试程序
输入pig –x local

Mapreduce模式（hadoop模式）：实际工作模式
输入pig

四、xtfp6下载（Xftp是一个功能强大的SFTP、FTP 文件传输软件。用于下载pig需要的jar包）
下载地址：https://www.jb51.net/softs/621765.html

五、pig的jar包上传
1、pig目录下的pig-0.14.0-core-h2.jar
为什么不用pig-0.14.0-core-h1.jar？（因为hadoop是hadoop-2.9.2版本）
2、lib目录下所有jar包
3、hadoop-2.9.2/share/Hadoop/common下所有jar包
4、hadoop-2.9.2/share/hadoop/common/lib下所有jar包
5、/home/pig/pig-0.14.0/lib/h2下所有jar包
6、进入eclipse

取名pig
新建lib文件夹，把下载好的jar包复制粘贴到lib
然后选择所有的jar包，build path变成小奶瓶
环境搭建好啦。

Pig下载与安装与使用相关推荐

ZK锦集：Zookeeper的下载和安装 | 真/伪集群的快速搭建| 总结的很详细
前言文章力求:通俗易懂.图文并茂.系统全面,语言精练,主要介绍以下知识点: 1.zk基础知识铺路,做到屋里有粮,心中不慌 2.zk的下载.安装.核心参数配置.节点参数释义 3.zk集群快速搭建的两种 ...
MySQL下载与安装教程以及环境变量配置
MySQL下载 1 搜索mysql 选择mysql downloads 如下 2 点击滑动到底部选择社区版本(免费) 如下 3 选择Community Server 如下 4 选择对应的版本下载我选 ...
java jdk 1.8 安装_下载、安装、配置 java jdk1.8
近期配置react native的开发环境,所以就从配置环境开始.rn的环境配置有那么几项,其中重要的一个就是java jdk(Java Development Kit 的缩写),那么以下就是下载.安 ...
vs安装一直在提取文件_Visual Studio 2019下载及安装教程
宸1分钟前这可是我珍藏多年的资源啊. Visual Studio 2019 Microsoft Visual Studio(简称VS)是美国微软公司的开发工具包系列产品.是目前最流行的Windows ...
python安装包_迈出Python学习第一步：Python开发环境的下载与安装
所谓"磨刀不误砍柴工"."工欲善其事,必先利其器",都在告诉我们一个道理:要做好一个事情,事先做好充分的准备工作是非常重要的.所以在我们正式学习用Python编 ...
oracle怎么下载安装,Oracle数据库的下载和安装方法
一.Oracle数据的下载与安装: 我这里是Oracle Database 11g Release 2版本的. 1.百度云链接: 链接:https://pan.baidu.com/s/1QYvBVS3 ...
我的世界php安装,我的世界Linux搭建网页后台Multicraft下载与安装
小编为大家带来了<我的世界>Linux搭建网页后台Multicraft下载与安装,首先下载Multicraft Linux版,下载好了以后请玩家自己看着下面的教程来安装. 64位:http ...
Editplus下载、安装并最佳配色方案（强烈推荐）
不多说,直接上干货! Editplus下载第一步:进入官网 https://www.editplus.com/ 第二步:下载 https://www.editplus.com/download.ht ...
docker基础文档(链接，下载，安装)
一.docker相关链接 1.docker中国区官网(包含部分中文文档,下载安装包,镜像加速器):https://www.docker-cn.com/ 2.docker官方镜像仓库:https://c ...

Pig下载与安装与使用

Pig下载与安装与使用相关推荐

最新文章

热门文章