GP如何进行数据比对？
数据差异明细比对开发流程
需求：根据输入的时间区间,搜寻A B两库的数据同一时间的数据差异
可能使用到的linux命令 diff psql脚本
issue1 :这个时间区间可以存储在表中?
Step1 两库group by 站点比对差异
先将A库的数据根据传入的条件group by 并将结果输出到file1 再将B库的数据根据传入的条件group by 并将结果输出到file2 select ope_id,count(1) from eda.wpp_asht_ope_his_n where logof_timestamp between '2021-04-12 05:00:00' and '2021-04-12 06:00:00' group by ope_id order by ope_id
变量为: ope_id, logof_timestamp ,table_name 时间区间
将 使用linux 命令将file1和file2的差集输出到 并集：cat file1.txt file2.txt | sort | uniq > file.txt 交集： cat file1.txt file2.txt | sort | uniq -d >file.txt 差集：求file1.txt相对于file2.txt的差集，可先求出两者的交集temp.txt，然后在 file1.txt中除去temp.txt即可。 cat file1.txt file2.txt | sort | uniq -d >temp.txt cat file1.txt temp.txt | sort | uniq -u >file.txt
差集的结果能得到站点和数量 A1100 168 此处得到的是file1 和file2 有差异的那一行 ？此处取的是file1 还是file2 都可以 主要是为了获取站点作为参数传入第二段sql
Step2 两库group by 分钟域比对差异
GP如何进行数据比对？相关推荐
- Error in bl_make_text_box(token, drawing_context$gp, drawing_context$yoff_pt) : function ‘Rcpp_preci
Error in bl_make_text_box(token, drawing_context$gp, drawing_context$yoff_pt) : function 'Rcpp_preci ...
- GP通过外部表装载数据时遇到ERROR:extra data after last expected column解决方法
--一般通过hive -e导出文本时,我都习惯把比较容易出错的String类型字段做一次regexp_replace()处理,因为如果字段里面含有制表符,那是一件很坑很坑的事 hive -e &quo ...
- LESSON 10.410.510.6 贝叶斯优化的基本流程BayesOpt vs HyperOpt vs Optuna batch基于BayesOpt实现高斯过程gp优化
超参数优化 - 贝叶斯优化方法 import numpy as np import pandas as pd import sklearn import matplotlib as mlp impor ...
- GP TEE_ObjectInfo结构体在不同的版本之间的变化
概况和背景: 在optee SDK中使用GP标准接口开发的TA,移植到Trustonic-TEE上,编译报错了.rootcause:我开发的TA是参考optee_example repository的 ...
- ArcGIS API for javascript开发笔记（五）——GP服务调用之GP模型的发布及使用详解...
感谢一路走来默默陪伴和支持的你~~~ ----------------欢迎来访,拒绝转载---------------- 关于GP模型的制作请点我! 一.GP发布 ArcGIS Desktop可以作为 ...
- GP两种连接方式性能测试
GP两种连接方式性能测试 Pivotal java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedSta ...
- 【greenplum】 gp的安装
[greenplum] gp的安装 F 20160111 gp的安装 参考: 安装规划: 10.136.92.142 gpadmin/gpadmin --root用户 1.创建 组与用户 方式1.先建 ...
- 导入要素集到SDE数据库的方法以及使用GP工具的许可问题(转载）
转自:http://blog.csdn.net/lk103852503/article/details/7496850 费话不说,先上代码 public static void shpFeatureC ...
- jdbc连接gp单例模式_JDBC连接备忘单
jdbc连接gp单例模式 抽象 这是常见数据库的JDBC连接的快速参考. 我似乎必须大量查找此信息,因此我认为最好将所有参考资料放在一个地方. 德比 <dependency><gro ...
最新文章
- 【割边缩点】解题报告：POJ - 3694 - Network(Tarjan割边缩点 + LCA + 并查集优化)
- matlab三位画图_matlab 3D绘图详解(示例代码)
- oracle的undo
- assertion failed:concurrent update to the log .mutiple streaming jobs delete 4
- 脑机互联不是梦，最新脑机接口发布：智能手机可操控！
- 自动执行任务_中小企业如何做运维自动化？
- spring-data学习上
- (java+selenium)Web自动化12306模拟人工滑块验证
- STM32F407 硬件IIC驱动MCP4017 数字电位器
- 统计学复习笔记（二）—— 常见的概率分布卡方分布，t分布，F分布和中心极限定理
- 数据挖掘导论实验报告01
- HTML系列之文本格式化标签
- （转）CTA大佬Winton创始人：人工智能会颠覆传统投资吗？
- *Algs4-1.4.26-三点共线-(未解决)
- STATIC和静态分析的必要性
- 谷歌PR风采依旧 推动网络推广产业链
- 金融项目外包测试管理经验
- 字节跳动前端面经凉经（半年经验社招）待填坑
- ASP.Net中实现Ajax的几种实现方法之AjaxPro的使用（一） [AjaxPro.AjaxMethod]
- SIP–eyebeam配置手册