DataX学习笔记-Reader插件开发
DataX开发基于读取ElasticSearch数据的Reader插件
1、检出DataX源码（git clone https://github.com/alibaba/DataX.git DataX），导入项目，新建一个esreader的maven项目进行插件开发。
2、在DataX安装目录的plugins/reader目录下新建esreader目录，目录下包含plugin_job_template.json、plugin.json、esreader-0.0.1-SNAPSHOT.jar，同时在目录下创建一个libs目录，存放相关依赖的jar文件。
相关代码：
package com.alibaba.datax.plugin.reader.esreader;import java.net.InetSocketAddress;
import java.util.ArrayList;
import java.util.List;import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchType;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.slf4DataX学习笔记-Reader插件开发相关推荐
- 知识图谱学习笔记（1）
知识图谱学习笔记第一部分,包含RDF介绍,以及Jena RDF API使用 知识图谱的基石:RDF RDF(Resource Description Framework),即资源描述框架,其本质是一个 ...
- SilverLight学习笔记--Silverlight中WebRequest通讯
本文我们学习如何使用WebRequest类实现客户端和服务器端的通讯. 本例处理过程:在客户端,我们在文本框中输入任意文本,然后用POST方法向服务器端传递信息,服务器端收到从客户端传来的信 ...
- 纳米孔(Oxford Nanopore)测序仪的学习笔记
纳米孔(Oxford Nanopore)测序仪的学习笔记 最近学习了测序中国探基学院的相关课程,关于纳米孔(Oxford Nanopore)测序仪,由诺禾致源的工作人员主讲,收获了一些知识,在此记录一 ...
- Python学习笔记（十五）：类基础
以Mark Lutz著的<Python学习手册>为教程,每天花1个小时左右时间学习,争取两周完成. --- 写在前面的话 2013-7-24 23:59 学习笔记 1,Python中的大多 ...
- 基于Solr的空间搜索学习笔记
基于Solr的空间搜索学习笔记 在Solr中基于空间地址查询主要围绕2个概念实现: (1) Cartesian Tiers 笛卡尔层 Cartesian Tiers是通过将一个平面地图的根据设定的层次 ...
- Apache Nutch 1.3 学习笔记十一（页面评分机制 OPIC）
1. Nutch 1.3 的页面评分机制 Nutch1.3目前默认还是使用OPIC作为其网页分数算法,但其之后,已经引入了PageRank-like算法,以弥补OPIC算法的不足,目前OPIC算法还是 ...
- Windows phone 8 学习笔记(5) 图块与通知
基于metro风格的Windows phone 8 应用提到了图块的概念,它就是指启动菜单中的快速启动图标.一般一个应用必须有一个默认图块,还可以有若干个次要图块.另外,通知与图块的关系比较密切,我们 ...
- CUBRID学习笔记 3 net连接数据库并使用cubrid教程示例
接上文 数据库安装好后,也可以测试语句了. 下面我们用c#写一个控制台程序,连接数据库,并读取数据. 一 下载驱动 net版的下 CUBRID ADO.NET Data Provider 9.3.0 ...
- java学习笔记16--I/O流和文件
本文地址:http://www.cnblogs.com/archimedes/p/java-study-note16.html,转载请注明源地址. IO(Input Output)流 IO流用来处理 ...
最新文章
- 【刷算法】判断链表是否有环以及返回入环节点
- oddo docker 安装
- QT的QApplication类的使用
- DNS中实现父子域，以及授权和转发
- 【转】Azure云存储及存储账户概述***
- 树莓派搭建私人服务器
- Linux中的三个特殊文件
- bzoj 1078 [SCOI2008]斜堆 —— 斜堆
- 元进Python(3)---如何实现IP子网掩码计算器功能？
- 前端 网络三剑客之html 02
- 粉丝文化：抖音广告短视频美妆营销中，男明星比女明星更带货？
- 理论篇：关注点分离(Separation of concerns, SoC)
- 聚名师之力，扬信息之帆，逐教育现代化浪潮——韶关市教育信息化蓝凌名教师工作室挂牌仪式
- 比赛记录——记录一次失败的比赛，九坤量化验证码识别大赛
- 2021SCAU数据结构复习(实验1-实验3)
- 体检预约系统项目总结
- 福利来啦！花瓣网图片批量下载助手APP终于完工，再也不用一张一张保存美图了。
- 腾讯汤道生：产业互联网真正目的是降本增效
- 用哈密顿量算符理解弱相互作用下宇称不守恒
- 【爬虫+数据可视化毕业设计：英雄联盟数据爬取及可视化分析，python爬虫可视化/数据分析/大数据/大数据屏/数据挖掘/数据爬取，程序开发-哔哩哔哩】