apache gobblin mysql_gobblin简单使用
一、下载编译
解压后查看目录下是否存在gradle/wrapper/gradle-wrapper.jar 文件
使用 ./gradlew build -x findbugsMain -x test -x rat -x checkstyleMain
编译项目(因网络因素可能有几次失败)
编译后文件apache-gobblin-incubating-bin-0.14.0.tar.gz
二、配置编写
启动命令(需指定配置文件目录,工作目录):
./bin/gobblin-standalone.sh start --conf /conf/gobblin --workdir /data/gobblin
也可 vi ~/.bashrc
export GOBBLIN_JOB_CONFIG_DIR=/conf/gobblin
export GOBBLIN_WORK_DIR=/data/gobblin/
以mysql --> canal --> kafka --> gobblin --> mysql 线为例
task-job配置文件
#job 名称 需唯一必填
job.name=CanalKafkaToMysql
job.group=gobblin
job.description=canal kafka base data to mysql
#是否开启锁,需zk支持
job.lock.enabled=false
#kafka相关配置
kafka.brokers=10.174.89.47:9092
#数据源 此处按官网配置将异常
source.class=org.apache.gobblin.source.extractor.extract.kafka.KafkaDeserializerSource
extract.namespace=org.apache.gobblin.extract.kafka
topic.whitelist=dxh_base
#simple.writer.delimiter=\n
#反序列化类型
kafka.deserializer.type=CONFLUENT_JSON
mr.job.max.mappers=1
bootstrap.with.offset=earliest
#写入mysql
writer.destination.type=MYSQL
writer.builder.class=org.apache.gobblin.writer.JdbcWriterBuilder
#输出到nohup.out
#writer.builder.class=org.apache.gobblin.writer.ConsoleWriterBuilder
#临时写入目录
writer.staging.dir=/data/gobblin/write-staging
writer.output.dir=/data/gobblin/write-output
#转换器 多个转换器按顺序
converter.classes=org.apache.gobblin.converter.avro.JsonIntermediateToAvroConverter
converter.classes=org.apache.gobblin.converter.jdbc.AvroToJdbcEntryConverter
#converter.avro.jdbc.entry_fields_pairs={\"src_fn\":\"firstname\",\"src_ln\":\"lastname\"}
#最终提交
data.publisher.type=org.apache.gobblin.publisher.JdbcPublisher
data.publisher.final.dir=/data/gobblin/job-out
data.publisher.replace.final.dir=true
#jdbc相关信息
jdbc.publisher.url=jdbc:mysql://10.174.89.47:3306
jdbc.publisher.driver=com.mysql.jdbc.Driver
jdbc.publisher.username=dxh
jdbc.publisher.password=Dxh2017$$
jdbc.publisher.database_name=dxh_base
jdbc.publisher.table_name=itemsku_tmp
writer.jdbc.batch_size=1000
metrics.reporting.file.enabled=true
metrics.log.dir=/data/gobblin/metrics
metrics.reporting.file.suffix=txt
state.store.dir=/data/gobblin/state-store
注:jdbc需依赖gobblin-sql-0.14.0.jar 文件,若lib目录下不存在 可在gobblin-modules 找到
流程线:
source --> converter --> writer --> publisher
三、注意事项
1.每个表需要一个topic
2.每个表需要一个job
3.数据导入中会在目标库建临时表用于暂存数据,虽然可通过配置关闭,但有丢数据的可能。
4.若不扩展converter,与canal对接需写各种schema 定义数据,且对sql进行过滤较难实现
5.若扩展converter需注意传输格式及schema
apache gobblin mysql_gobblin简单使用相关推荐
- Apache Gobblin 分布式大数据集成框架
Apache Gobblin 是一个分布式大数据集成框架,用于流式和批处理数据生态系统.该项目 2014 年起源于 LinkedIn,2015 年开源,并于 2017 年 2 月进入 Apache 孵 ...
- Docker安装Apache与运行简单的web服务——httpd helloworld
Docker运行简单的web服务--httpd helloworld目录[阅读时间:约5分钟] 一.Docker简介 二.Docker的安装与配置[CentOS环境] 三.Docker运行简单的web ...
- apache gobblin mysql_incubator-gobblin-master
文件名大小更新时间 incubator-gobblin-master02018-03-06 incubator-gobblin-master\.github02018-03-06 incubator- ...
- 服务器架设笔记——使用Apache插件解析简单请求
一般来说,对于一个请求,服务器都会对其进行解析,以确定请求的合法性以及行进的路径.于是本节将讲解如何获取请求的数据.(转载请指明出于breaksoftware的csdn博客) 我们使用<服务器架 ...
- Apache htaccess的简单总结,以及参数的使用
一.防盗链功能 只这四行就实现了防盗链是不是很神奇^_^,编写起来是不是又觉得复杂. RewriteEngine On RewriteCond %{HTTP_REFERER} !^http://(.+ ...
- Apache CXF – JAX-WS –简单教程
许多Java开发人员认为Web Service实现的任务艰巨-没人能真正责怪他们,尤其是在企业应用程序开发的多年中,这给开发和设计带来了很多复杂性. 对于某些人来说,了解它是构建完整的企业应用程序的下 ...
- Apache RocketMQ:简单消息示例
通过三种方式来发送RocketMQ消息使用: 可靠的同步发送, 可靠的异步发送和单向传输. 这个页面举例说明了这三种消息发送方式. 根据示例找出最适合你的特定用例. 可靠的同步传输 应用:可靠的同步传 ...
- php+apache+oracle +win7简单详细的安装配置
准备工作–需要的安装包 按下图依次是apache.oracle客户端(basic和sqlplus).php扩展oci8和php这些都去官网都能下载 值得注意的是,版本都需要对应上,oracle11必须 ...
- apache nginx 性能简单对比测试
VPC 32 cpus,8G ram,SSD linux 环境是centos 7 apache 2.4 yum安装base库 php 5.4 yum安装base库 php-fpm 5.4 yu ...
最新文章
- 独家 | 如何正确选择聚类算法?
- 【编程】二叉树的先序、中序、后序遍历
- 【.NET Core 3.0】小技巧 || 原生DI一对多注入
- Python读取写入yaml文件
- Kafka 和 RocketMQ 底层存储之那些你不知道的事
- Spring 整合 Disruptor 第一个版本
- 【Gym 100947E】Qwerty78 Trip(组合数取模/费马小定理)
- jQuery 的 ajax 请求方法
- C语言编译过程总结简版
- 快递鸟批量打印电子面单接口及控件安装
- 窦志成:从微软到人大,只为做有温度的AI
- 技术领导者 第44讲|空降技术高管的“择业七计”
- xp无法连接win10计算机,win10共享的打印机xp无法连接
- 【windows10】宽带拨号连接报错720的解决办法
- 一套打通 Github 搜索语法
- 关闭 Pycharm 自动更新详细教程
- java 实现重定义数组类似于VB的ReDim
- 软件测试梳理 第九节 缺陷和缺陷报告
- 电子稳定器云台的校准
- 耀之阳电商:店铺怎么样打造爆款