streamsets data collector新增upsert 4 mysql

1.背景简介

由于sdc缺少由kudu到mysql的upsert操作，前期通过spark-sql定制化开发了一套数据同步程序，但是由于spark-sql同步大量数据，效率十分低下，现基于sdc源码定制化了支持mysql的upsert数据的导入插件。

2.部署步骤

2.1 cm界面操作

找到如上图的位置添加如下相应配置
sdc-security.policy 的 Data Collector 高级配置代码段（安全阀）：

// custom stage library directory
grant codebase "file:///opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.8.1/user-libs/-" {permission java.security.AllPermission;
};// user-defined external directory
grant codebase "file:///opt/sdc-extras/-" {permission java.security.AllPermission;
};

sdc-env.sh 的 Data Collector 高级配置代码段（安全阀）：

export USER_LIBRARIES_DIR="/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.8.1/user-libs"export STREAMSETS_LIBRARIES_EXTRA_DIR="/opt/sdc-extras"

其中容易遗忘的一步：（登录sdc所在服务器执行如下命令）

chown -R sdc:sdc /opt/sdc-extras

2.2上传驱动包

2.3 上传插件

上传插件（/home/tianjun/opensource/yjp-bi-sdc/target/yjp-bi-sdc-1.0-SNAPSHOT.tar.gz）
到上面指定的sdc目录（/opt/cloudera/parcels/STREAMSETS_DATACOLLECTOR-3.8.1/user-libs/）

2.4选择pipeline

2.5 pipeline配置

2.5.1 Origin端

2.5.2 destinations端

3.启动界面

streamsets自定义插件部署方案相关推荐

Office插件部署
VSTO为我们提供了使用托管代码来开发office扩展到桥梁,它大大提供了开发office扩展到效率缩短了开发周期,并且提供了部署方案. 本文重点是介绍office插件的部署,因此这里就不介绍offi ...
kong笔记——自定义插件目录及部署
kong笔记目录导航简述本文目标: 了解kong插件的基本信息手动部署自定义插件注意:本文不涉及自定义插件的开发,仅仅说明自定义插件的目录结构与部署方式目录结构基本插件模块两个必须的文 ...
在AWS Lambda上部署EC2编译的FFmpeg工具——自定义层的方案
大纲 1 确定Lambda运行时环境 1.1 Lambda系统.镜像.内核版本 1.2 运行时 1.2.1 Python 1.2.2 Java 2 环境准备 2.1 创建EC2实例 3 编译FFmpe ...
在AWS Lambda上部署标准FFmpeg工具——自定义层的方案
大纲 1 确定Lambda运行时环境 1.1 Lambda系统.镜像.内核版本 1.2 运行时 1.2.1 Python 1.2.2 Java 2 打包FFmpeg 3 创建Lambda的Layer ...
纯java的方式实现自定义自动化部署java项目
纯java的方式实现自定义自动化部署java项目前言使用第三方的服务或插件实现部署所存在的问题自动化部署java项目 java项目部署方式流程代码实现打包使用 java 执行 cmd 进 ...
TarsGo新版本发布，支持protobuf，zipkin和自定义插件
本文作者:陈明杰(sandyskies) Tars是腾讯从2008年到今天一直在使用的后台逻辑层的统一应用框架,目前支持C++,Java,PHP,Nodejs,Golang语言.该框架为用户提供了涉及 ...
边缘计算设备与部署方案
1. 边缘计算设备边缘计算设备,是相对于云计算而言的.不同于云计算的中心式服务,边缘服务是指在靠近物或数据源头的一侧,采用网络.计算.存储.应用核心能力为一体的开放平台,就近提供最近端服务.其应用程 ...
【Flink】flink on k8s 部署方案
1. HDFS部署 (k8s) hdfs的作用是用户保存flink的检查点与保持点但是大数据集群目前还是建议单独使用CDH或者HDP部署目前文中的这种hdfs on k8s方式做高可用不太方便 1 ...
AI 框架部署方案之模型部署概述
0 概述模型训练重点关注的是如何通过训练策略来得到一个性能更好的模型,其过程似乎包含着各种"玄学",被戏称为"炼丹".整个流程包含从训练样本的获取(包括数据采 ...

streamsets自定义插件部署方案

目录