大数据——DBT：dbt集成数据质量监控插件elementary（生产环境篇）

官网地址：https://docs.elementary-data.com/introduction

1、准备
安装好dbt相关环境

2、集成
文件位置在dbt项目的根目录下

将以上文件替换为：

packages:- package: dbt-labs/dbt_utilsversion: [">=0.8.0", "<0.9.0"]- package: elementary-data/elementaryversion: 0.5.1

3、修改dbt配置文件
文件修改也可参考官网方法：elementary集成数据库配置

vim  /root/.dbt/profiles.yml

dbt_dags:outputs:dev:type: redshiftthreads: 1host: "{{ env_var('REDSHIFT_HOST') }}"cluster_id: "{{ env_var('REDSHIFT_CLUSTER_ID') }}"port: 5439#method: iam#pass: "93J#O3VEkel$SXVo"user: "{{ env_var('REDSHIFT_USER') }}"pass: "{{ env_var('REDSHIFT_PASSWD') }}"dbname: "{{ env_var('REDSHIFT_DBNAME') }}"schema: "{{ env_var('REDSHIFT_SCHEMA') }}"target: develementary:outputs:dev:type: redshiftthreads: 1host: "{{ env_var('REDSHIFT_HOST') }}"cluster_id: "{{ env_var('REDSHIFT_CLUSTER_ID') }}"port: 5439#method: iam#pass: "93J#O3VEkel$SXVo"user: "{{ env_var('REDSHIFT_USER') }}"pass: "{{ env_var('REDSHIFT_PASSWD') }}"dbname: "{{ env_var('REDSHIFT_DBNAME') }}"schema: monitortarget: devconfig:send_anonymous_usage_stats: False

dbt项目根目录下：

vim dbt_project.yml

# Name your project! Project names should contain only lowercase characters
name: 'test_project'
version: '1.0.0'
config-version: 2# This setting configures which "profile" dbt uses for this project.
profile: 'test_project'model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
docs-paths: ["docs"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`- "target"- "dbt_packages"
vars:# 公共变量dt: '{{ (modules.datetime.date.today()).strftime("%Y-%m-%d") }}'tests_schema_name: '_test'models:+persist_docs:relation: truecolumns: trueelementary:+schema: monitorinternal:+schema: monitordbt_dags:ods:schema: odsdwd:schema: dwddws:schema: dwsads:schema: adsmonitor:schema: monitorseeds:dbt_dags:+schema: monitor

4、关闭跟踪
在 HOME_DIR/.edr/config.yml 下新建目录和 yml 文件
默认情况下，这个完全匿名的跟踪是打开的。您可以随时选择退出，方法是将以下内容添加到您的config.yml文件中：

vim .edr/config.yml

anonymous_usage_tracking: False

5、加载包

dbt deps

6、安装插件

pip install elementary-data
pip install 'elementary-data[redshift]'

7、测试安装

edr monitor --help

8、加载监控数据 Run to create the package models

dbt run --select elementary

or
重新创建基础表

dbt run -s elementary --full-refresh

elementary数据可以重新生成到数据库中

dbt run --select edr.dbt_artifacts

9、生成指定文件名称的可视化文档

edr monitor report --file-path dbt_edr_monitor_report_info.html

大数据——DBT：dbt集成数据质量监控插件elementary（生产环境篇）相关推荐

重磅福利！《Apache Flink 十大技术难点实战》发布，帮你从容应对生产环境中的技术难题...
精选30+云产品,助力企业轻松上云!>>> 简介: 总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别.问题定位.性能优化等全链路过程,实现从基础概念的准确理解到上手实操的 ...
案例 | 华为对Zabbix的3个探索:水平扩展、数据实时消费及网络体验监控
"和大家分享华为对Zabbix的三个探索实践,为了解决集群管理.Agent迁移.高可用管理问题,设计了水平扩展方案.为了实时监控数据实时呈现,设计了数据实时消费方案,还有为了构建万物互联的智 ...
【数据治理】数据安全-数据脱敏方案
背景隐私保护,保障合法权益,2021年9月1日起施行的数据安全法: 防止数据滥用在数据仓库建设过程中,数据安全扮演着重要角色,因为隐私或敏感数据的泄露,会对数据主体(客户,员工和公司)的财产.名誉 ...
数据治理：1.数据脱敏—6种数据脱敏方案
引用:程序员内点事互联网中内部防止隐私数据泄露的手段-数据脱敏什么是数据脱敏先来看看什么是数据脱敏?数据脱敏也叫数据的去隐私化,在我们给定脱敏规则和策略的情况下,对敏感数据比如手机号.银行卡号 ...
SpringBoot与ElasticSearch、ActiveMQ、RocketMQ的整合及多环境配置、响应式框架WebFlux、服务器端主动推送SSE技术、生产环境部署、Actuator监控平台
1.SpringBoot 与 ElasticSearch 框架的整合 (1)主要的搜索框架:MySQL.Solr.ElasticSearch MySQL:使用 like 进行模糊查询,存在性能问题 S ...
开源大数据数据质量监控调研
开源工具选择不多,目前了解到的就以下3种: Qualitis griffin DolphinScheduler(最近有人上传了分支,支持数据质量监控功能) 1 Qualitis 腾讯微众银行开源,主要 ...
【大数据】什么是数据集成？（SeaTunnel 集成工具介绍）
文章目录一.什么是数据集成? 二.ETL 又是什么? 三.SeaTunnel 介绍 1)概述 2)SeaTunnel 的作用 3)SeaTunnel 的特点 4)Seatunnel 优势与缺点 5) ...
【金猿案例展】中国中车——基于大数据的车辆运维预警监控系统项目
天津卓朗案例本案例由天津卓朗投递并参与"数据猿年度金猿策划活动--2020大数据产业创新服务企业榜单及奖项"评选. 大数据产业创新服务媒体 --聚焦数据 · 改变商业中车唐山机 ...
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
编译:刘佳毅,花名佳易,阿里巴巴计算平台事业部EMR团队开发工程师,目前从事大数据安全相关方面工作. 摘要: 本文主要对Databricks如何使用Spark Streaming和Delta Lake ...
爱奇艺数据质量监控的探索和实践
01 问题和目标:为什么要进行数据质量监控? 数据质量监控其实跟当前疫情的防控工作有些类似,核酸检测能尽早去发现病毒,溯源则会更了解病毒会在哪些场景,或者对哪些人有比较大的影响,方便进行跟踪,这和数据 ...

大数据——DBT：dbt集成数据质量监控插件elementary（生产环境篇）

大数据——DBT：dbt集成数据质量监控插件elementary（生产环境篇）相关推荐

最新文章

热门文章