json 插入数据_Power BI数据回写SQL Server(2)——存储过程一步到位
在上一讲:
Power BI数据回写SQL Server(1)没有中间商赚差价 中,
我们讲过,利用循环的方式将PQ中得到的table表逐行导入SQL Server中,有的朋友怀疑这种方式会不会造成数据量较大时运行慢、能耗大的问题,这种顾虑理论上是恰当的,所以今天再介绍一种能够直接一次性导入SQL的办法。
熟悉SQL的同学可能已经想到了——“存储过程”。我们可以通过创建一个存储过程来读取PQ生成的文件,然后解析到数据库中。
用过这两种语言的朋友应该知道,PQ可以将查询结果的table转化为XML二进制文件或者JSON格式,而SQL恰好也能支持这两种文件格式的输入,这就好办了。
略微扫一下盲:
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript的一个子集;
XML(Extensible Markup Language)即可扩展标记语言,Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具。
两者的共同优点是都是文本表示的数据格式,可以跨平台、跨系统交换数据。
一、XML篇:
首先我们写一个带xml文件参数的存储过程:
这样我们就可以通过在SQL Server中直接调用这个函数来达到我们预先设定的插入数据的过程。
我们看一下XMLbinary的格式:
学谦数据运营
35592
2020/3/31
第二步,要将PQ返回的table转为以上的xml格式,我们需要在数据表中添加一列名为binary的自定义列,输入:
=Text.Format ( "#[KeyValue]#[NumberValue]#[DateValue] ", [KeyValue=[KeyValue], NumberValue=[NumberValue], DateValue=[DateValue]] )
运行:
这样我们就得到了新的一列:
接着,我们只用这一列,将这一列文本前后分别加上一个“table”然后用Text.ToBinary()转为XMLbinary文件:
XmlBinary = Text.ToBinary("
" & Text.Combine(AddedCustom[binary]) & "")
运行后我们就得到了一个XML二进制文件:
最后,我们要操作的就是将这个文件作为参数传递给SQL Server的存储过程,简单的一行代码:
运行一下看看效果:
原表中数据为0,刷新一次后插入20行数据,多次刷新后,数据每次增加20行。
WOW,你们应该猜到我要说什么了:
二、JSON篇
第一步,在SQL Server中创建一个存储过程,调用json格式的文本为参数;
第二步,powerquery生成JSON格式其实更加简单,使用Json.FromValue(),直接将table转为JSON文件:
第三步,由于SQL读取的是字符串格式的JSON数据,所以需要使用Text.FromBinary()来返回字符串结果:
最后依然是向存储过程传递参数,只不过这次传递的是text格式JSON数据。
好了,我们来看一下效果,舞动起来:
我们需要注意到,Text.FromBinary()获得的JSON字符串中文显示了Unicode编码字符,但是导入SQL中显示是中文没问题的:
这里留给大家一个问题,如果我就想在powerquery中显示中文,应该怎么办呢?欢迎大家在留言区交流分享。
好了,关于如何Power BI如何向SQL回写数据,我们用了三篇文章来讲解。前两篇分别是:
【重磅来袭】在Power BI 中使用Python(4)——PQ数据导出&写回SQL
Power BI数据回写SQL Server(1)没有中间商赚差价
对这几篇文章做一个小总结:
Power BI (PowerQuery)向SQL回写数据本身是一个应用场景并不多的技巧,没想到发了第一篇文章后很多朋友反馈说正是目前能用到的:
所以才有了后面的这两篇文章。
总结起来,方法有这么几个:
1、借助Python的相关库,在PQ中调用,以达到回写SQL的目的;
2、在PQ中循环按行导入SQL;
3、在SQL中创建存储过程,然后在PQ中调用存储过程,JSON或XML文件作为参数
同时,总结了几位朋友的案例,发现应用场景主要集中在这么两个方面:
①pq爬取的数据只是状态数据,转瞬即逝,无法变化记录;
②解决不同数据库之间的壁垒,比如要定期将数据从某个数据库中备份复制到另一个。
所以,如果你在日常工作学习中遇到了以上的应用场景,那么这三篇文章恰好能够帮助你。
不过,我在测试时用的都是几十行的小数据,这几种方法并没有感觉到任何区别,所以对于巨量数据是否会有差异并没有经过实际的测试,欢迎有兴趣的朋友对比一下这几种方式,比较一下优缺点,欢迎反馈。
感谢您对【学谦数据运营】公众号的关注、支持与厚爱,如果本文对您有用,请不要吝惜您的点赞、转发和点亮在看,有任何问题欢迎大家在留言区询问或者直接加我个人微信,谢谢。
json 插入数据_Power BI数据回写SQL Server(2)——存储过程一步到位相关推荐
- 奥威软件大数据bi_哪家BI软件能做Sql server的数据可视化分析?
用Sql server的数据做可视化分析?用奥威BI系列的BI软件吧!他们就能做Sql server的数据可视化分析,并且操作起来十分简单.就拿Sql server数据源上传来说吧!仅需一键选中.拖拉 ...
- 03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠
03.三月风雨愁断肠,学习大数据特别忧伤--谈谈AKS创建SQL Server大数据群集创建愁断肠 [TOC] 前言 使用AKS创建SQL Server大数据群集有几种方法,由于产品不断的更新,SQL ...
- 下一代SQL 产品发布会,诚邀您的参加!!包含 Azure数据服务、高级分析和SQL Server(其中包括支持Linux的SQL Server vNext)。
现在注册 创新和业务转型 不论您是推动业务的决策者,还是下一个突破性应用程序的开发者,数据都是业务的核心 正如微软高层所言,加入我们,实现本地部署到云端的转型,利用微软数据平台最大程度优化您的数据策略 ...
- sqlserver 高版本数据倒到低版本 不同SQL Server版本间的数据库恢复问题
1:通过管理器的脚本生成向导,把数据库,表,存储过程等对象的脚本生成,然后在低版本的SQL Server下执行建立这些对象. 2:通过DTS/SSIS,将表中的数据导过去. 参考:不同SQL Serv ...
- php sql 去除重复数据,MSSQL_快速删除重复记录,SQL Server如何实现?,如果一张表的数据达到上百万 - phpStudy...
如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行相当长的一段时间-- 开发人员的噩梦--删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地 ...
- cesium 风向数据_风向标; 针对“实时”生产数据SQL Server开发/测试数据库克隆
cesium 风向数据 介绍 (Introduction) Today, with DevOps, the need for database cloning is urgent. The devel ...
- php删除sql server 2008,MSSQL_SQL Server2008 数据库误删除数据的恢复方法分享,SQL Server中误删除数据的恢复本 - phpStudy...
SQL Server2008 数据库误删除数据的恢复方法分享 SQL Server中误删除数据的恢复本来不是件难事,从事务日志恢复即可.但是,这个恢复需要有两个前提条件: 1. 至少有一个误删除之前的 ...
- 快速迁移数据中心:华为云数据库SQL Server实践案例技术解析
1. 简介 企业或用户将数据中心部署在线下,采用独立软件提供商(Independent Software Vendor)软件进行管理.线下数据运维成本较高,故障容灾单一化,是目前遇到的瓶颈.采用云 ...
- sql用户名数据迁移到mysql_如何将SQL Server数据迁移到MySQL
展开全部 以下有几款迁移工具的对比,可32313133353236313431303231363533e59b9ee7ad9431333433643734以参考,比较推荐DB2DB. 软件易用性主要是 ...
最新文章
- 问题-[VMware Workstation]断电后,重启电脑,之后就提示“内部错误”
- python 回文链表
- 算法学习-莫比乌斯反演
- rabbitmq java文档_RabbitMQ文档翻译——Hello World!(上)
- js for in 获得遍历数组索引和对象属性
- WCF元数据交互及其序列化
- Android HttpClient用法
- 微信小程序地图polygons自己标点,三个点以上连成面
- AERONET 儒略日公历相互转换
- Linux挂载硬盘(容量大于2T)
- 统计学三种相关系数【pearson、spearman、kendall】
- Stream报错:stream has already been operated upon or closed
- MySQL基础~多表查询分类与SQL92和99语法如何实现内连接和外连接
- Win10深度学习环境配置(CUDA+cuDNN+TensorFlow-gpu+Keras)
- Java.lang.RuntimeException: Unable to start activity
- 2022-2028全球丁二磺酸腺苷蛋氨酸(SAMe)行业调研及趋势分析报告
- 【CSDN备份】exsi+iKuai+openwrt安装
- java中jcl,从批处理JCL执行java
- memcpy函数是怎么样实现的
- TexGen软件的源码开发
热门文章
- 安卓开发——基于ViewPager的图片轮播
- 6.过滤器(Filter)
- Mybatis/Ibatis,数据库操作的返回值
- ansible常用基础命令整合
- 目前发展医疗物联网的困境解析
- ZABBIX API简介及使用
- JavaSE 学习参考:数组遍历
- 1.4.2.4. SAVING(Core Data 应用程序实践指南)
- C#.NET 大型企业信息化系统集成快速开发平台 4.2 版本 - 角色权限的配置页面改进优化...
- JavaScript 设计模式核⼼原理与应⽤实践 之 创建型:工厂模式·简单工厂——区分“变与不变”