aryson ms sql_数据治理:SQL数据清洗十八般武艺
在Towards Data Science上看过一篇文章,讲的是用Pandas做数据清洗,作者将常用的清洗逻辑封装成了一个个的清洗函数。
https://towardsdatascience.com/the-simple-yet-practical-data-cleaning-codes-ad27c4ce0a38
而公司的业务数据一般存储在数据仓库里面,数据量很大,这时候用Pandas处理是不大方便的,更多时候用的是HiveSQL和MySql做处理。
基于此,我拓展了部分内容,写了一个常用数据清洗的SQL对比版,脚本很简单,重点是这些清洗场景和逻辑,大纲如图:
01 删除指定列、重命名列
场景:
多数情况并不是底表的所有特征(列)都对分析有用,这个时候就只需要抽取部分列,对于不用的那些列,可以删除。
重命名列可以避免有些列的命名过于冗长(比如Case When 语句),且有时候会根据不同的业务指标需求来命名。
删除列Python版:df.drop(col_names, axis=1, inplace=True)删除列SQL版:1、select col_names from Table_Name2、alter table tableName drop column columnName重命名列Python版:df.rename(index={'row1':'A'},columns ={'col1':'B'})重命名列SQL版:select col_names as col_name_B from Table_Name
因为一般情况下是没有删除的权限(可以构建临时表),反向思考,删除的另一个逻辑是选定指定列(Select)。
02 重复值、缺失值处理
场景:比如某网站今天来了1000个人访问,但一个人一天中可以访问多次,那数据库中会记录用户访问的多条记录,而这时候如果想要找到今天访问这个网站的1000个人的ID并根据此做用户调研,需要去掉重复值给业务方去回访。
缺失值:NULL做运算逻辑时,返回的结果还是NULL,这可能就会出现一些脚本运行正确,但结果不对的BUG,此时需要将NULL值填充为指定值。
重复值处理Python版:df.drop_duplicates()重复值处理SQL版:1、select distinct col_name from Table_Name2、select col_name from Table_Name group bycol_name缺失值处理Python版:df.fillna(value = 0)df1.combine_first(df2)缺失值处理SQL版:1、select ifnull(col_name,0) value from Table_Name2、select coalesce(col_name,col_name_A,0) as value from Table_Name3、select case when col_name is null then 0 else col_name end from Table_Name
03 替换字符串空格、清洗*%@等垃圾字符、字符串拼接、分隔等字符串处理
场景:理解用户行为的重要一项是去假设用户的心理,这会用到用户的反馈意见或一些用研的文本数据,这些文本数据一般会以字符串的形式存储在数据库中,但用户反馈的这些文本一般都会很乱,所以需要从这些脏乱的字符串中提取有用信息,就会需要用到文字符串处理函数。
字符串处理Python版:## 1、空格处理df[col_name] = df[col_name].str.lstrip() ## 2、*%d等垃圾符处理df[col_name].replace(' .*', '', regex=True, inplace=True)## 3、字符串分割df[col_name].str.split('分割符')## 4、字符串拼接df[col_name].str.cat()字符串处理SQL版:## 1、空格处理select ltrim(col_name) from Table_name ## 2、*%d等垃圾符处理select regexp_replace(col_name,正则表达式) from Table_name ## 3、字符串分割select split(col_name,'分割符') from Table_name ## 4、字符串拼接select concat_ws(col_name,'拼接符') from Table_name
04 合并处理
场景:有时候你需要的特征存储在不同的表里,为便于清洗理解和操作,需要按照某些字段对这些表的数据进行合并组合成一张新的表,这样就会用到连接等方法。
合并处理Python版:左右合并1、pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=True, suffixes=('_x', '_y'), copy=True, indicator=False, validate=None)2、pd.concat([df1,df2])上下合并df1.append(df2, ignore_index=True, sort=False)合并处理SQL版:左右合并select A.*,B.* from Table_a A join Table_b B on A.id = B.idselect A.* from Table_a A left join Table_b B on A.id = B.id上下合并## Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序;## Union All:对两个结果集进行并集操作,包括重复行,不进行排序;select A.* from Table_a A unionselect B.* from Table_b B # Union 因为会将各查询子集的记录做比较,故比起Union All ,通常速度都会慢上许多。一般来说,如果使用Union All能满足要求的话,务必使用Union All。
05、窗口函数的分组排序场景:假如现在你是某宝的分析师,要分析今年不同店的不同品类销售量情况,需要找到那些销量较好的品类,并在第二年中加大曝光,这个时候你就需要将不同店里不同品类进行分组,并且按销量进行排序,以便查找到每家店销售较好的品类。Demo数据如上,一共a,b,c三家店铺,卖了不同品类商品,销量对应如上,要找到每家店卖的最多的商品。
窗口分组Python版:df['Rank'] = df.groupby(by=['Sale_store'])['Sale_Num'].transform(lambda x: x.rank(ascending=False))窗口分组SQL版:select * from ( Select *, row_number() over(partition by Sale_store order by Sale_Num desc) rk from table_name ) b where b.rk = 1
可以很清晰的看到,a店铺卖的最火的是蔬菜,c店铺卖的最火的是鸡肉,b店铺?
嗯,b店铺很不错,卖了888份宝器狗。
总结,上面的内容核心是掌握这些数据清洗的应用场景,这些场景几乎可以涵盖90%的数据分析前数据清洗的内容。而对于分析模型来说,SQL和Python都是工具,如果熟悉SQL,是能够更快速、方便的将特征清洗用SQL实现。
aryson ms sql_数据治理:SQL数据清洗十八般武艺相关推荐
- pandas使用to_sql方法将dataframe注册为数据库表进行数据整合和数据清洗并不对比SQL操作和dataframe操作
pandas使用to_sql方法将dataframe注册为数据库表进行数据整合和数据清洗并不对比SQL操作和dataframe操作 SQLite 是一个软件库,实现了自给自足的.无服务器的.零配置的. ...
- 数据治理管理平台有哪些特点
现代企业的各项决策和管理都建立在高质量数据的基础之上,而这依赖于数据清洗.数据连通与业务融合等多方面的协同.成熟的数据治理模式和工具能够有效提升数据质量和安全性,确保数据资产的有序存储于共享,为深度推 ...
- 企业数据治理体系一文读懂
01 数据治理有哪些误区? 大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用,不敢用,因此 ...
- 数据资产运营 = 数据资产盘点 + 数据治理 + 数据价值实现
略去大数据分析背景与价值部分,言简意赅的介绍如何进行数据资产管理运营. 数据资产管理运营 = 数据资产盘点 + 数据治理 + 数据价值实现 管理和运营是一个全流程的事情,首先我们需要知道有哪些数据(盘 ...
- 疫情后的数字化转型:如何做好医疗数据治理
目 录 01 医疗信息化发展趋势 02 医院数据治理难点及价值 03 医院数据治理模式 04 总结 近些年来,在医院数据化转型的大背景下,医疗机构的数字化进程明显的加快,各级医疗 ...
- 关于数据治理的读书笔记 - 什么是数据治理?
<关于数据治理的读书笔记 - 数据治理.数据管理和数据管控的理解>我们了解了有关数据治理.数据管理和数据管控,这几个名词之间的区别和联系,回到数据治理的话题上,数据治理究竟是什么? 站在不 ...
- 基于Hadoop的高校大数据治理融合系统设计与实现
本文通过深入分析体验大数据生态圈主流技术,调研分析高校常见信息化系统数据特征,以学生相关数据(如图书数据.一卡通数据.就业数据.医院数据.上网数据)为融合分析研究对象,构建了高校大数据治理融合平台.平 ...
- 干货 | 数据治理落地难?携程度假数据治理需求设计实践
作者简介 Leon Gu,携程数据仓库专家,负责度假数据中台和数据仓库等工作,专注于大数据.数据仓库.数据治理等领域. 一.前言 携程度假包含跟团游.自由行.玩乐.门票.用车等十多条业务线,业务涵盖线 ...
- 数据治理管理平台的5种能力
随着产业互联网和大数据平台兴起,数据治理的重要性不断提升,从过去的强调"兼容.集成",逐步向数据中台.微服务架构和云服务方向发展,强调对数据中心和内外部系统的数据服务能力,为数据资 ...
最新文章
- Eclipse 菜单
- 安装Oracle 10g sys,system 密码忘记设置解决办法
- C# 中的三个高级参数 params
- python 元类的call_python3 全栈开发 - 内置函数补充, 反射, 元类,__str__,__del__,exec,type,__call__方法...
- nl.basjes.parse.useragent.UserAgentAnalyzer内存泄漏问题解决
- goland设置goroot_go环境搭建-goland使用、gopath、go命令
- Exchange 2013学习(六),脱机通讯簿
- es6 --- map的使用
- navicat 添加外键1215错误
- 小勇机器人充电头坏了_崇安区管道机器人CCTV-管道爬行机器人,武汉天仪ty333,优质效率高...
- Yii2.0 对数据库 查询的一些简单的操作
- 图解Raft:应该是最容易理解的分布式一致性算法
- 计算机网络之物理层、链路层、网络层
- APK 包名修改工具
- 全球与中国机器人随机装箱机市场深度研究分析报告
- 如何查看网易云笔记自己曾经使用过的设备
- H5页面播放M4a音频文件
- 看点快报视频解析去水印原理及源码,初窥腾讯视频的解析奥妙
- 音视频OSD——修改叠加信息的位置
- Android——AndroidStudio主题样式、字体设置
热门文章
- 东北师范大学计算机科学与技术学科评估,东北的大学最强十校,工科是真强,2所211大学无缘前十...
- ARM7还是ARM9?uCOS还是Linux?
- CMB/宇宙学中相关仪器设备和术语
- 四说大数据时代“神话”:从大数据到深数据\n
- centos 7 jenkins安装
- 11g RMAN Restore archivelog用法
- SQL Server 2012笔记分享-48:备份时间线
- 刚刚写了一个评星的脚本插件,分享给大家
- 借助网盘搭建SVN服务器
- 查找SQL SERVER 2005 IO过高的数据库