pig---用户自定义函数（UDF）

为什么80%的码农都做不了架构师？>>>

用户自定义函数（UDF）
public abstract class EvalFunc<T> {
  public abstract T exec(Tuple input) throws IOException;
  public List<FuncSpec> getAvgToFuncMapping() throws FrontendException;
  public FuncSpec outputSchema() throws FrontendException;  }
输入元组的字段包含传递给函数的表达式，输出是泛型；对于过滤函数输出就是Boolean类型。建议尽量在
getAvgToFuncMapping()/outputSchema()申明输入和输出数据的类型，以便Pig进行类型转换或过滤不匹配类型的错误值。
Grunt>REGISTER pig-examples.jar;
      DEFINE isGood org.hadoopbook.pig.IsGoodQuality();
加载UDF
public LoadFunc {
public void setLocation(String location, Job job);
public InputFormat getInputFormat();
public void prepareToRead(RecordReader reader, PigSplit split);
public Tuple next() throws IOException;  }
类似Hadoop，Pig的数据加载先于mapper的运行，所以保证数据可以被分割成能被各个mapper独立处理的部分非常重要。从Pig 0.7开始，
加载和存储函数接口已经进行了大幅修改，以便与Hadoop的InputFormat和OutputFormat类基本一致。
Grunt>Register loadfunc.jar
      Define customLoad org.hadoopbook.pig.loadfunc()
      records = load ‘input/sample.txt’ using customLoad(‘16-19, 88-92, 93-93’)

as (year:int, temperature:int, quality:int);

更多精彩内容请关注：http://bbs.superwu.cn

关注超人学院微信二维码：

转载于:https://my.oschina.net/crxy/blog/420708

pig---用户自定义函数（UDF）相关推荐

【Flink】Flink Table SQL 用户自定义函数: UDF、UDAF、UDTF
本文总结Flink Table & SQL中的用户自定义函数: UDF.UDAF.UDTF. UDF: 自定义标量函数(User Defined Scalar Function).一行输入一行 ...
Hive 之用户自定义函数 UDF UDAF UDTF
一什么是UDF UDF是UserDefined Function 用户自定义函数的缩写.Hive中除了原生提供的一些函数之外,如果还不能满足我们当前需求,我们可以自定义函数. 除了UDF 之外,我们 ...
Hive中的用户自定义函数UDF
Hive中的自定义函数允许用户扩展HiveQL,是一个非常强大的功能.Hive中具有多种类型的用户自定义函数.show functions命令可以列举出当前Hive会话中的所加载进来的函数,包括内置的 ...
4.2.11 Flink-流处理框架-Table API 与 SQL-函数（Functions）之用户自定义函数 UDF
目录 1.写在前面 2.标量函数(Scalar Functions):一对一 3.表函数(Table Functions):一对多 4.聚合函数(Aggregate Functions) 5.表聚合函 ...
T-SQL里数据库工程师都不知道的秘密之SQL Server自定义函数UDF
T-SQL SQL Server UDF自定义函数概念与案例实战函数的定义这里的函数指的是用户自定义函数(UDF)全名为(user-defined function),以下简称为函数. 它是数据库 ...
hive 元数据自定义_Hive中的用户自定义函数
1.1 关于自定义函数 1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展. 2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考 ...
sql server 2008学习11 UDF用户自定义函数
用户自定义函数和存储过程是类似的, 是一组有序的t-sql语句,udf被预先优化和编译,并且可以作为一个单元来进行调用. 使用存储过程时可传入参数,传出参数.可以返回值,不过该值用于指示成 ...
【大数据开发】SparkSQL——Spark对接Hive、Row类、SparkSQL函数、UDF函数（用户自定义函数）、UDAF函数、性能调优、SparkSQL解决数据倾斜
文章目录一.Spark对接Hive准备工作 1.1 集群文件下载 1.2 导入依赖 1.3 打开集群metastore服务二.Spark对接Hive 2.1 查询Hive 2.2 读取MySQL中 ...
SQL SERVER 用户自定义函数（UDF）深入解析
本文内容概要: UDF 概念.原理.优缺点.UDF 的分类详细讲述3种 UDF 的创建.调用方法以及注意事项 UDF 的实践建议基本原理: UDF:user-defined functions,用 ...
Hive UDF 用户自定义函数-手机号掩盖(脱敏)
需求分析能够对输入数据进行非空判断.手机号位数判断能够实现校验手机号格式,把满足规则的进行****处理对于不符合手机号规则的数据直接返回,不处理 Maven必须配置 <dependenci ...

pig---用户自定义函数（UDF）

pig---用户自定义函数（UDF）相关推荐

最新文章

热门文章