猪和python（pig and python)

Python 真是无处不在国内.

pig 0.9后python作为嵌入式语音，采用Jython解释器使用python2.5特征，此接口是最上层org.apache.pig.scripting.Pig
首先python脚本将一些Pig Latin译。然后将在Python中定义的变量传递给它，最后运行它。

1） Pig.compile 或compilefromFile 对代码进行预编译
2）Bind 方法将控制流中的变量绑定到Pig Latin脚本中的变量，会返回一个BoundScript对象
3）针对BoundScript对象，能够调用runSingle方法来运行他，返回一个pigStat对象，假设在绑定过程中pig对象绑定到了一组包括參数的map，就要调用run方法了，相同返回一个pigStats对象。

用户编写的UDF的一个单独的实例会被构建并运行在每一个map或reduce的任务中，构造器參数是一种传递信息给用户UDF的方式。

python与pig的类型相应

int number
long number
float number
double number
chararray string
bytearray string
map dictionary
tuple tuple
bag list oftuples

pig 的载入函数是基于hadoop的InputFormat创建的，基类是loadFunc，LoadFunc 的默认实现是针对HDFS的，pig 提供了prepareToRead 方法为载入函数提供了初始化自己的一个途径。一旦用户的载入函数实现了getSchema 方法，那么Load语句就不再须要定义他们的模式了。

同理。存储函数式基于Hadoop的OutoutFormat构建的。接受的是Pig的Tuple，然后依据输出个好事创建健-值对后写入存储中，基类是storeFunc,Pig会在每一个map或reduce 任务调用存储函数prepareToWrite办法。PutNext它是存储功能的核心方法。

猪和python（pig and python)相关推荐

猪与蟒（pig and python)
Python 真是无处不在呀. pig 0.9以后将python作为嵌入式支持语音,使用Jython解释器利用python2.5的功能,这个接口的最上层是org.apache.pig.scriptin ...
高中python编程例题-Python进入高中教学
2017年初消息: 浙江省信息技术新教材,即将在2017级(2017年9月入学)高中新生中开始使用. 据了解,与目前的选考(可以理解为高考科目)要求的信息技术教材由3本<信息技术基础>.& ...
好程序员Python培训分享Python程序员面试技巧
好程序员Python培训分享Python程序员面试技巧,往年的这个时候,"金三银四"的招聘热潮已经扑面而至.今年,因为疫情的影响,各大公司的社招可能跟"2002的第一场雪 ...
Python培训：Python有哪些函数?你了解几种?
本期小编要为大家带来的Python教程就是关于Python函数这方面的,我们都知道Python函数,一般是指组织好的.可重复使用的.用来实现单一或相关联功能的代码段,Python函数包含系统中自带的一 ...
python新手任务：python循环嵌套
2019独角兽企业重金招聘Python工程师标准>>> Python 循环嵌套 Python 语言允许在一个循环体里面嵌入另一个循环. Python for 循环嵌套语法: Pyth ...
Python入门 Python自学路线 Python如何学习
本文介绍Python入门 Python自学路线 Python如何学习.先说点题外话吧:首先呢,我刚开始接触编程的时候,学的是C,那时候Python还没有这么火,后来学了C++,PHP,Java,前端. ...
黑客都用Python？学习Python的4个理由！
2019独角兽企业重金招聘Python工程师标准>>> Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. 重点是,Python 是一种对初学者非常友好的 ...
python 3 最佳python中文书籍下载
筛选了2年内优秀的python书籍,个别经典的书籍扩展到5年内. 尽量只收集通用的书籍,专用的书籍只收集特别优秀者. python专业书籍汇总 Python基础教程(第3版) - 2017.pdf 图 ...
【循序渐进学Python】1. Python基础知识
1. Python安装和配置首先需要到Python的官方网站(http://www.python.org/getit/) 下载安装包,现在Python的发行版分为兼容之前Python程序的Pytho ...

猪和python（pig and python)

猪和python（pig and python)相关推荐

最新文章

热门文章