datax(13)：源码解读Column-datax中的数据类型

一、基类Column概述

Column是datax中所有数据类型的基类，里面有3个属性，以及一个构造方法，外加一个枚举类；

public abstract class Column {private Type type;private Object rawData;private int byteSize;public Column(final Object object, final Type type, int byteSize) {this.rawData = object;this.type = type;this.byteSize = byteSize;}//省去其他非关键方法public enum Type {BAD, NULL, INT, LONG, DOUBLE, STRING, BOOL, DATE, BYTES}
}

二、Column衍生出的类型对象

一个爷爷衍生出的7个金刚葫芦娃

三、用Column及其子类构建出的记录对象Record

Record家族系列（一般情况下DefaultRecord使用较多）

可以通过idea的全局搜索 record.addColumn方法，看看各个读插件是怎么转成Datax内部Column的。具体方法在Record中

基类Record/*** 给该record 添加列** @param column*/void addColumn(Column column);实现类DefaultRecord@Overridepublic void addColumn(Column column) {columns.add(column);incrByteSize(column);}

四、创建Record的RecordSender类

RecordSender主要方法

RecordSender家族类

RecordSender主要通过createRecord来构建一个Record

五、RecordSender，Record，Column关系总结

1、RecordSender中Record createRecord() 可以创建一个Record
2、Record中void addColumn(Column column)可以将column添加到该记录中

注：

对源码进行略微改动，主要修改为 1 阿里代码规约扫描出来的，2 clean code；
所有代码都已经上传到github（master分支和dev），可以免费白嫖

datax(13)：源码解读Column-datax中的数据类型相关推荐

faster rcnn源码解读（四）之数据类型imdb.py和pascal_voc.py（主要是imdb和roidb数据类型的解说）
转载自:faster rcnn源码解读(四)之数据类型imdb.py和pascal_voc.py(主要是imdb和roidb数据类型的解说) - 野孩子的专栏 - 博客频道 - CSDN.NET ht ...
datax(10): 源码解读Communication（Datax通讯类）
前面看了datax的通讯机制,继续看源码-具体的通讯类 Communication.根据datax的运行模式的区别, 数据的收集会有些区别,这篇文章都是讲的在standalone模式下. 一.comm ...
datax(16):源码解读AbstractReporter
之前介绍了通信类communication,容器类container,communication的收集类collector,今天再看一个报告类Reporter: 一.概述AbstractReporte ...
Spark Streaming源码解读之Driver中ReceiverTracker架构设计以具体实现彻底研究
本期内容 : ReceiverTracker的架构设计消息循环系统 ReceiverTracker具体实现一. ReceiverTracker的架构设计 1. ReceiverTracker可以以 ...
DataX Transformer 源码分析及 UDF 扩展与使用
DataX GitHub DataX Transformer 目录 1 前言 2 需求说明 3 解决方案分析 4 解密算法 5 Hive UDF 5.1 测试数据 5.2 新建 Maven 项目 5. ...
spark源码解读3之RDD中top源码解读
更多代码请见:https://github.com/xubo245/SparkLearning spark源码解读系列环境:spark-2.0.1 (20161103github下载版) 1.理解输 ...
Fabric中PBFT源码解读——Checkpoint机制
文章目录 1. 写在前面 1.1 前置阅读 1.2 对TestCheckpoint函数的测试 2. 对TestCheckpoint函数运行流程的解读 2.1 Checkpoint和Water mark ...
Fabric中PBFT源码解读（3）
文章目录 5. Preprepare消息的接收以及Prepare消息的发送 6. Prepare消息的接收以及Commit消息的发送 5. Preprepare消息的接收以及Prepare消息的发送 ...
Hive中lateral view的应用到源码解读
对于从事大数据开发的同学,经常会应用到explode(炸裂函数)和lateral view(侧输出流). Explode(炸裂函数) 参数必须是array或者map格式(通常跟split函数使用): ...
ios html zfplayer,【iOS】ZFPlayer源码解读中
前言本篇继ZFPlayer源码解读基础之上,主要解析说明控制层与播放器,因为在上篇文章至现在并未提及丝毫关于这两个类业务的实现. 首先说下这两个类各自的职责. 控制层:主要负责响应与用户之间的交互, ...