【软件工程实践】Pig项目1-什么是Pig

2024-05-17 14:13:57

2021SC@SDUSC

PIG在大数据平台中的位置与作用

题主并没有上过大数据相关的课程，拿出了一份之前扫盲的时候整理的资料来带给大家

Pig是一种高级数据语言，运行于HDFS之上，是hadoop上层的衍生架构

主要的几种大数据架构及其之间的关系如下图所示

按照不同功能进行划分，一些的大数据项目可以如下所示

由上图可以看出，Pig是一种查询平台，我的资料中还有以下的引用：

简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本，类似我们通常熟悉的SQL语句，在Pig中称之为Pig Latin，在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining)，Pig也可以由用户自定义一些函数对数据集进行操作，也就是传说中的UDF(user-defined functions)。

Pig官方网站>>>

Pig Latin介绍

Pig Latin是一种SQL like语言，其功能和SQL类似

Pig源码获取

首先访问Pig官网

点击侧边栏的Releases，下拉，找到Download标题，->Downloqd a release now!

点第一个网址https://dlcdn.apache.org/pig

进去后页面是这样的

选择下载pig-0.17.0-src.tar.gz

下载后是个压缩文件，解压后用任意编程软件打开就行了

核心代码目录

根据小组分工，本人接下来将对Pig的数据类型进行分析，代码集中于/data目录

【软件工程实践】Pig项目1-什么是Pig相关推荐

【软件工程实践 · 团队项目】第一次作业
[软件工程实践 · 团队项目] 第一次作业 Part 0 · 简要目录 Part 1 · 队伍阵容 Part 2 · 会议记录相关 Part 3 · 会议讨论记录 Pa ...
【软件工程实践 · 团队项目】第二次作业
队员姓名与学号(标记组长) 学号姓名 20165211 丁奕(组长) 20165208 孔月 20165230 田坤烨 20165226 刘香杉队名快奶我一口队员风采: 全军出击!!!! 团队 ...
软件工程实践项目开始准备
一.环境准备 1.idea 2022.2 2.jdk 8 3.maven 4.mysql 8.0.27 (以上只是基线包需求我能想到的环境准备,后期可能会添加) 5.我使用了gitee来作为我们软件工 ...
杰克布JeecgBoot低代码开发框架，优秀的国产开源项目，软件工程实践改进
低代码low-code,无代码no-code,合称LCNC,近年来获得较快发展,一个重要的原因是需求推动,各个行业数字化升级和工业4.0,对软件开发人员需求巨大. 一,LCNC解决方案很多公司和创业 ...
软件工程实践2017第二次作业-----个人项目实战之数独
软件工程实践2017第二次作业-----个人项目实战之数独最后一门考试2017.9.16 github地址:https://github.com/ssuo/shudu 题目地址:http://www ...
软件工程python就业方向-软件工程实践总结
软工ByeBye~ 请回望暑假时的第一次作业,你对于软件工程课程的想象对比开篇博客你对课程目标和期待,"希望通过实践锻炼,增强计算机专业的能力和就业竞争力",对比目前的所学所练所 ...
个人作业——软件工程实践总结
一.请回望暑假时的第一次作业,你对于软件工程课程的想象对比开篇博客你对课程目标和期待,"希望通过实践锻炼,增强计算机专业的能力和就业竞争力",对比目前的所学所练所得,在哪些方面达 ...
个人作业收官——软件工程实践总结
个人作业收官--软件工程实践总结一.回望开学初对于软件工程课程的想象,回望博客开篇时对于这门课和这学期的期望, 1)对比现在的你和开学初博客开篇的课程目标和期待. 能力的预期 1.对于java的一些 ...
2017软件工程实践总结
一.请回望暑假时的第一次作业,你对于软件工程课程的想象 1)对比开篇博客你对课程目标和期待,"希望通过实践锻炼,增强计算机专业的能力和就业竞争力",对比目前的所学所练所得,在哪些方 ...
『软件工程12』软件工程实践方法——软件测试
软件工程实践方法-- 软件测试一.软件测试概述 1.软件测试的目的 (1)从用户和开发者角度 (2)Myers软件测试目的 2.软件测试的原则 3.软件测试的对象 4.测试信息流 5.测试与软件开发 ...

最新文章

热门文章