前提条件

dophinscheduler-3.1.0 安装 standalone-server 模式，参考
https://blog.csdn.net/windydreams/article/details/127678233

编译数据质量源码

为了保障后期正常运行，简化配置，可以进行以下配置
1）添加资源文件src/main/resources/META-INF/MANIFEST.MF，主要是添加Main-Class

Manifest-Version: 1.0
Implementation-Title: dolphinscheduler-data-quality
Implementation-Version: 3.1.0
Specification-Vendor: The Apache Software Foundation
Specification-Title: dolphinscheduler-data-quality
Build-Jdk-Spec: 1.8
Created-By: Maven Jar Plugin 3.2.0
Specification-Version: 3.1
Implementation-Vendor: The Apache Software Foundation
Main-Class: org.apache.dolphinscheduler.data.quality.DataQualityApplication

2）修改pom文件，添加打包文件

<build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-jar-plugin</artifactId><configuration><archive><manifestFile>src/main/resources/META-INF/MANIFEST.MF</manifestFile><manifest><addClasspath>true</addClasspath></manifest></archive></configuration></plugin></plugins>
</build>

配置好可以使用mvn命令编译打包，生成 dolphinscheduler-data-quality-3.1.0.jar
3）上传jar 包, 路径如下

/opt/DS/apache-dolphinscheduler-3.1.0-bin/standalone-server/libs

如果不进行步骤1、步骤2 的配置，那么在流程定义配置数据质量节点的时候，添加自定义参数, 指定Main-Class ，如下图所示。

配置 dolphinscheduler

配置数据质量选项
修改/opt/DS/apache-dolphinscheduler-3.1.0-bin/standalone-server/conf/common.properties，如下

# data quality option
#data-quality.jar.name=dolphinscheduler-data-quality-dev-SNAPSHOT.jar
data-quality.jar.name=dolphinscheduler-data-quality-3.1.0.jar
#data-quality.error.output.path=/tmp/data-quality-error-data
# Network IP gets priority, default inner outer

然后重启！

/opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh stop standalone-server
/opt/DS/apache-dolphinscheduler-3.1.0-bin/bin/dolphinscheduler-daemon.sh start standalone-server

spark配置

驱动包
将mysql-connector-java-8.0.x.jar 拷贝到$SPARK_HOME/jars目录下面, 本文用的是

/home/hadoop/spark/spark-2.4.8-bin-hadoop2.7/jars/mysql-connector-java-8.0.25.jar

如果是用的其他数据源，也需要将jdbc驱动放入jars/目录
这样基本就可以了，后面就是去配置数据质量规则了

dolphinscheduler-data-quality-3.1.0 部署相关推荐

Outlier Detection for Improved Data Quality and Diversity in Dialog Systems-学习笔记
Outlier Detection for Improved Data Quality and Diversity in Dialog Systems 论文按如下方式检测数据集中的异常值: 1.生成每 ...
Zabbix 3.0 部署监控 [三]
Zabbix 3.0 部署监控 [三] zabbix 时间:2016年9月22日笔者QQ:381493251 Abcdocker交流群:454666672 如果遇到什么问题可以进群询问,我们 ...
Zabbix 3.0 部署监控 [二]
原文出自 http://www.abcdocker.com/abcdocker/1453 Zabbix 3.0 部署监控 [二] zabbix 一.添加监控主机及设置 1.创建主机 Agent可以干 ...
KubeEdge 1.3.0 部署
本文介绍了如何在两台 ubuntu 16.04 64 bit 双核 CPU 虚拟机上从源码开始部署 KubeEdge 1.3.0 集群的过程,云端 Kubernetes 版本为 1.17.3,Gola ...
Red Gate系列之四 SQL Data Compare 10.2.0.885 Edition 数据比较同步工具完全破解+使用教程...
Red Gate系列之四 SQL Data Compare 10.2.0.885 Edition 数据比较同步工具完全破解+使用教程 Red Gate系列文章: Red Gate系列之一 SQL C ...
未能加载文件或程序集“System.Data.OracleClient, Version=4.0.0.0, Culture=neutral, PublicKeyToken=b77a5c561934e0
运行公司的一个程序时报以下错误,应该怎么解决?ORACLE32 位,系统64位,之前把oracle强制删除了,请问有什么办法解决吗? [2018-08-04 15:54:15] [ERROR] 环境部 ...
OpenShift 容器平台社区版 OKD 4.10.0部署--基于VSphere
参考:OpenShift 容器平台社区版 OKD 4.10.0部署 OpenShift - 部署 OKD 4.5_51CTO博客_openshift 部署一.Openshift简介 RedHat O ...
CDH6.2.0部署
CDH6.2.0部署服务器信息服务器主机名安装服务密码等信息 192.168.66.10 mysql.cdh.lczy.com cloudera-manager-server httpd m ...
Win2008上.NET4.0部署出错HTTP 错误 500.21 - Internal Server Error的解决方法
Win2008上.NET4.0部署出错HTTP 错误 500.21 - Internal Server Error的解决方法参考文章: (1)Win2008上.NET4.0部署出错HTTP 错误 5 ...

dolphinscheduler-data-quality-3.1.0 部署

前提条件

编译数据质量源码

配置 dolphinscheduler

spark配置

dolphinscheduler-data-quality-3.1.0 部署相关推荐

最新文章

热门文章