在上一讲:

Power BI数据回写SQL Server(1)没有中间商赚差价 中,

我们讲过,利用循环的方式将PQ中得到的table表逐行导入SQL Server中,有的朋友怀疑这种方式会不会造成数据量较大时运行慢、能耗大的问题,这种顾虑理论上是恰当的,所以今天再介绍一种能够直接一次性导入SQL的办法。

熟悉SQL的同学可能已经想到了——“存储过程”。我们可以通过创建一个存储过程来读取PQ生成的文件,然后解析到数据库中。

用过这两种语言的朋友应该知道,PQ可以将查询结果的table转化为XML二进制文件或者JSON格式,而SQL恰好也能支持这两种文件格式的输入,这就好办了。

略微扫一下盲:

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript的一个子集;

XML(Extensible Markup Language)即可扩展标记语言,Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具。

两者的共同优点是都是文本表示的数据格式,可以跨平台、跨系统交换数据。

一、XML篇:

首先我们写一个带xml文件参数的存储过程:

这样我们就可以通过在SQL Server中直接调用这个函数来达到我们预先设定的插入数据的过程。

我们看一下XMLbinary的格式:

        学谦数据运营        35592   2020/3/31    

第二步,要将PQ返回的table转为以上的xml格式,我们需要在数据表中添加一列名为binary的自定义列,输入:

=Text.Format  (                                            "#[KeyValue]#[NumberValue]#[DateValue] ",                                            [KeyValue=[KeyValue], NumberValue=[NumberValue], DateValue=[DateValue]]  )

运行:

这样我们就得到了新的一列:

接着,我们只用这一列,将这一列文本前后分别加上一个“table”然后用Text.ToBinary()转为XMLbinary文件:

XmlBinary = Text.ToBinary("

" & Text.Combine(AddedCustom[binary]) & "")

运行后我们就得到了一个XML二进制文件:

最后,我们要操作的就是将这个文件作为参数传递给SQL Server的存储过程,简单的一行代码:

运行一下看看效果:

原表中数据为0,刷新一次后插入20行数据,多次刷新后,数据每次增加20行。

WOW,你们应该猜到我要说什么了:

二、JSON篇

第一步,在SQL Server中创建一个存储过程,调用json格式的文本为参数;

第二步,powerquery生成JSON格式其实更加简单,使用Json.FromValue(),直接将table转为JSON文件:

第三步,由于SQL读取的是字符串格式的JSON数据,所以需要使用Text.FromBinary()来返回字符串结果:

最后依然是向存储过程传递参数,只不过这次传递的是text格式JSON数据。

好了,我们来看一下效果,舞动起来:

我们需要注意到,Text.FromBinary()获得的JSON字符串中文显示了Unicode编码字符,但是导入SQL中显示是中文没问题的:

这里留给大家一个问题,如果我就想在powerquery中显示中文,应该怎么办呢?欢迎大家在留言区交流分享。

好了,关于如何Power BI如何向SQL回写数据,我们用了三篇文章来讲解。前两篇分别是:

【重磅来袭】在Power BI 中使用Python(4)——PQ数据导出&写回SQL

Power BI数据回写SQL Server(1)没有中间商赚差价

对这几篇文章做一个小总结:

Power BI (PowerQuery)向SQL回写数据本身是一个应用场景并不多的技巧,没想到发了第一篇文章后很多朋友反馈说正是目前能用到的:

所以才有了后面的这两篇文章。

总结起来,方法有这么几个:

1、借助Python的相关库,在PQ中调用,以达到回写SQL的目的;

2、在PQ中循环按行导入SQL;

3、在SQL中创建存储过程,然后在PQ中调用存储过程,JSON或XML文件作为参数

同时,总结了几位朋友的案例,发现应用场景主要集中在这么两个方面:

①pq爬取的数据只是状态数据,转瞬即逝,无法变化记录;

②解决不同数据库之间的壁垒,比如要定期将数据从某个数据库中备份复制到另一个。

所以,如果你在日常工作学习中遇到了以上的应用场景,那么这三篇文章恰好能够帮助你。

不过,我在测试时用的都是几十行的小数据,这几种方法并没有感觉到任何区别,所以对于巨量数据是否会有差异并没有经过实际的测试,欢迎有兴趣的朋友对比一下这几种方式,比较一下优缺点,欢迎反馈。


感谢您对【学谦数据运营】公众号的关注、支持与厚爱,如果本文对您有用,请不要吝惜您的点赞、转发和点亮在看,有任何问题欢迎大家在留言区询问或者直接加我个人微信,谢谢。

json 插入数据_Power BI数据回写SQL Server(2)——存储过程一步到位相关推荐

  1. 奥威软件大数据bi_哪家BI软件能做Sql server的数据可视化分析?

    用Sql server的数据做可视化分析?用奥威BI系列的BI软件吧!他们就能做Sql server的数据可视化分析,并且操作起来十分简单.就拿Sql server数据源上传来说吧!仅需一键选中.拖拉 ...

  2. 03.三月风雨愁断肠,学习大数据特别忧伤——谈谈AKS创建SQL Server大数据群集创建愁断肠

    03.三月风雨愁断肠,学习大数据特别忧伤--谈谈AKS创建SQL Server大数据群集创建愁断肠 [TOC] 前言 使用AKS创建SQL Server大数据群集有几种方法,由于产品不断的更新,SQL ...

  3. 下一代SQL 产品发布会,诚邀您的参加!!包含 Azure数据服务、高级分析和SQL Server(其中包括支持Linux的SQL Server vNext)。

    现在注册 创新和业务转型 不论您是推动业务的决策者,还是下一个突破性应用程序的开发者,数据都是业务的核心 正如微软高层所言,加入我们,实现本地部署到云端的转型,利用微软数据平台最大程度优化您的数据策略 ...

  4. sqlserver 高版本数据倒到低版本 不同SQL Server版本间的数据库恢复问题

    1:通过管理器的脚本生成向导,把数据库,表,存储过程等对象的脚本生成,然后在低版本的SQL Server下执行建立这些对象. 2:通过DTS/SSIS,将表中的数据导过去. 参考:不同SQL Serv ...

  5. php sql 去除重复数据,MSSQL_快速删除重复记录,SQL Server如何实现?,如果一张表的数据达到上百万 - phpStudy...

    如果一张表的数据达到上百万条,用游标的方法来删除简直是个噩梦,因为它会执行相当长的一段时间-- 开发人员的噩梦--删除重复记录 想必每一位开发人员都有过类似的经历,在对数据库进行查询或统计的时候不时地 ...

  6. cesium 风向数据_风向标; 针对“实时”生产数据SQL Server开发/测试数据库克隆

    cesium 风向数据 介绍 (Introduction) Today, with DevOps, the need for database cloning is urgent. The devel ...

  7. php删除sql server 2008,MSSQL_SQL Server2008 数据库误删除数据的恢复方法分享,SQL Server中误删除数据的恢复本 - phpStudy...

    SQL Server2008 数据库误删除数据的恢复方法分享 SQL Server中误删除数据的恢复本来不是件难事,从事务日志恢复即可.但是,这个恢复需要有两个前提条件: 1. 至少有一个误删除之前的 ...

  8. 快速迁移数据中心:华为云数据库SQL Server实践案例技术解析

    1.   简介 企业或用户将数据中心部署在线下,采用独立软件提供商(Independent Software Vendor)软件进行管理.线下数据运维成本较高,故障容灾单一化,是目前遇到的瓶颈.采用云 ...

  9. sql用户名数据迁移到mysql_如何将SQL Server数据迁移到MySQL

    展开全部 以下有几款迁移工具的对比,可32313133353236313431303231363533e59b9ee7ad9431333433643734以参考,比较推荐DB2DB. 软件易用性主要是 ...

最新文章

  1. 问题-[VMware Workstation]断电后,重启电脑,之后就提示“内部错误”
  2. python 回文链表
  3. 算法学习-莫比乌斯反演
  4. rabbitmq java文档_RabbitMQ文档翻译——Hello World!(上)
  5. js for in 获得遍历数组索引和对象属性
  6. WCF元数据交互及其序列化
  7. Android HttpClient用法
  8. 微信小程序地图polygons自己标点,三个点以上连成面
  9. AERONET 儒略日公历相互转换
  10. Linux挂载硬盘(容量大于2T)
  11. 统计学三种相关系数【pearson、spearman、kendall】
  12. Stream报错:stream has already been operated upon or closed
  13. MySQL基础~多表查询分类与SQL92和99语法如何实现内连接和外连接
  14. Win10深度学习环境配置(CUDA+cuDNN+TensorFlow-gpu+Keras)
  15. Java.lang.RuntimeException: Unable to start activity
  16. 2022-2028全球丁二磺酸腺苷蛋氨酸(SAMe)行业调研及趋势分析报告
  17. 【CSDN备份】exsi+iKuai+openwrt安装
  18. java中jcl,从批处理JCL执行java
  19. memcpy函数是怎么样实现的
  20. TexGen软件的源码开发

热门文章

  1. 安卓开发——基于ViewPager的图片轮播
  2. 6.过滤器(Filter)
  3. Mybatis/Ibatis,数据库操作的返回值
  4. ansible常用基础命令整合
  5. 目前发展医疗物联网的困境解析
  6. ZABBIX API简介及使用
  7. JavaSE 学习参考:数组遍历
  8. 1.4.2.4. SAVING(Core Data 应用程序实践指南)
  9. C#.NET 大型企业信息化系统集成快速开发平台 4.2 版本 - 角色权限的配置页面改进优化...
  10. JavaScript 设计模式核⼼原理与应⽤实践 之 创建型:工厂模式·简单工厂——区分“变与不变”