数据资源

https://gitee.com/pingfanrenbiji/resource/blob/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database1/transaction_info.csv

将csv导入数据库





一路continue



有一份追加数据

https://gitee.com/pingfanrenbiji/resource/blob/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database1/insert.csv

insert.csv数据字段和transaction_info.csv数据字段一致

将insert.csv里面的数据追加到transaction_info表中

同样的导入方式 导入insert.csv




数据清洗

删除重复数据

分析:先分组、再计数、再筛选、再去重

select Transaction_index from transaction_info GROUP BY Transaction_index  HAVING count(Transaction_index)>1;delete from transaction_info where Transaction_index='2009-01-02_0039';

修改null值为0

# 更新的逻辑是 先查找 再更新update transaction_info set Amount=0,Last_Amount=0 where Amount is null;update transaction_info set Amount=0,Last_Amount=0 where Last_Amount is null;

修正异常值

# 查询国家的异常值 对国家进行分组 然后统计个数 select Country,count(Country) from transaction_info GROUP BY Country;# 从而可以找到异常值Country in (1,2,3)select * from transaction_info where Country in (1,2,3);# 获取城市为Houston的国家信息 查看该城市属于哪个国家SELECT DISTINCT Country FROM transaction_info WHERE City = 'Houston';# 将异常值更新为正常的国家名称UPDATE transaction_info SET Country = 'United States' WHERE City = 'Houston' AND Country = '3';

熟练使用mysql常用句式

  • 数据
https://gitee.com/pingfanrenbiji/resource/tree/master/%E9%87%91%E8%9E%8D%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90/%E7%AC%AC%E4%B8%80%E7%AB%A0/database2
  • 案例

需求:

1、购买了产品1的用户数据 标是查询用户信息 所以用户表是基础表2、Trans_Account_age(交易日期距离注册日期的自然月间隔)、days_since_last_login(交易距离上次登录的天数)3、分组 在agegroup字段准确分组Trans_Account_age数据,以 “0~1”表示0至1(包含1), “1~12”表示1至12(包含12), “12+”表示12以上

SQL:

SELECT U.* ,T.*, TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) AS Trans_Account_age #交易日期距离注册日期的自然月间隔, TimeStampDiff (DAY, T.Last_login, T.Transaction_date) AS days_since_last_login #交易距离上次登录的天数, CASE  WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) IN (0,1) THEN '0~1' WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) > 1 AND TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) <= 12 THEN '1~12' WHEN TimeStampDiff (MONTH, U.Account_Created, T.Transaction_date) > 12 THEN '12+' ELSE '' END AS agegroupFROM user_info AS ULEFT JOIN transaction_info AS T ON T.ID = U.IDWHERE T.Product = 'Product1';

使用Mysql工具进行数据清洗相关推荐

  1. Windows 下连接mysql工具NavicatForMysql

    Windows 下连接mysql工具NavicatForMysql 一.软件介绍 Navicat for MySQL是一款强大的 MySQL 数据库管理和开发工具,它为专业开发者提供了一套强大的足够尖 ...

  2. sql server转mysql工具下载_SQL Server转换为MySQL工具推荐(Mss2sql)

    SQL Server转换为MySQL工具,用了一下 感觉蛮不错的. 分享上来,同时也以便记录下来以后自用. 工具名称:Mss2sql 来个操作流程: 1.首先下载工具 用户名与密码都是www.linu ...

  3. mysql 工具_最全Mysql运维工具Percona Toolkit使用案例

    Percona Toolkit简介 Percona Toolkit简称pt工具,是Percona公司开发用于管理MySQL的工具,DBA熟悉掌握后将极大提高工作效率. Percona toolkit有 ...

  4. 10个可以简化开发过程的MySQL工具

    导读:本文介绍了10个能够简化开发过程的MySQL工具.使用这些精心设计的工具,你可以更加轻松地管理MySQL数据库.开发人员应该不断寻找那些能够有助于改善开发的工具. 使用各种精心设计的工具来管理M ...

  5. ms access to mysql_Access转MySQL工具

    Bullzip MS Access To MySQL是一个Access转MySQL工具,可以帮助用户把MS Access数据库中的内容转到MySQL数据库中,支持全部转换以及有选择的转换,支持命令行, ...

  6. mysql导入xml 工具下载_XML导入Mysql工具下载|XmlToMysql 最新版v2.1 下载_当游网

    XmlToMysql是一款十分不错的XML导入Mysql工具,它可以帮助用户们将XML中的数据快速的导入到MySQL数据库中,可以直接跳过解析环节,因此可以有效的提升程序员传输数据的效率,让程序员可以 ...

  7. mysql开启yum search pt-mysql_Centos使用MySQL工具Percona Toolkit

    Centos使用MySQL工具Percona Toolkit 安装Percona Toolkit 的Repo 得以支持直接用yum 安装二进制包 yum install -y https://www. ...

  8. bullzip ms access to mysql_Bullzip MS Access To MySQL(Access转MySQL工具)

    BullzipMSAccessToMySQL是一款相当优秀的Access转MySQL工具,软件能够帮助用户以简单的方式帮助您将Access数据转移到MySQL中,方便使用还可以允许用户自定义选择要转换 ...

  9. mysql客户端重庆_MySQL:MySQL工具以及5.7mysqlbinlog|mysql速度极慢问题

    随便记录点 5.7.22代码 MySQL工具主要分为 交互式和非交互式 交互式 就是我们平时用的交互式命令方式 非交互式(batch mode) 主要用于解析binlog和批量导入sql,每次都会读取 ...

最新文章

  1. python迷宫问题求最短路径_用栈求解迷宫问题的所有路径及最短路径程序
  2. 开源代码却无奈遗弃,濒临奔溃的开源开发者们!
  3. tomcat-users.xml 配置(转的)
  4. python3下载文件-在Python 3中从Web下载文件
  5. Chrome浏览器相关细节整理
  6. Boost::context模块fiber的jump_mov测试程序
  7. securecrt是什么工具_比较一下几款常用的SSH工具
  8. 20155319 2016-2017-2 《Java程序设计》第5周学习总结
  9. 巴巴运动网学习笔记(51-55)
  10. MATLAB语音识别系统[声纹识别]
  11. android高德地图热力图,2D 热力图-热力 HeatmapLayer-示例中心-Loca API 示例 | 高德地图API...
  12. 微信公众号开发--实现扫码关注公众号自动登录网站
  13. 拼字法以及98五笔字根码元应用举例
  14. 开源游戏服务器框架汇总
  15. 一个正整数到 Excel 编号之间的转换
  16. linux mp4转h264工具,Linux音视频开发之二:转换YUY2到I420便于压缩成h264
  17. 【Python】数据存储
  18. python实现电话号码映射
  19. 月租最便宜的手机卡_有什么很划算的手机卡套餐?
  20. 短线看盘比较有效的方法

热门文章

  1. 使用计算机自带字体怎么用_在家办公不会扫描文件怎么办?用 iPhone 自带软件就搞定啦...
  2. 函数 写函数时需要:1明确这个功能的结果是什么? 2这个功能实现过程中是否需要未知内容参与运算?...
  3. 海量大数据大屏分析展示一步到位:DataWorks数据服务对接DataV最佳实践 1
  4. php导出数据到excel,防止身份证等数字字符格式变成科学计数的方法
  5. switch case里的变量生命周期
  6. 检测浏览器是否支持WebSocket
  7. HttpRuntime.Cache的使用经验
  8. 【uTenux实验】写在开始实验之前
  9. ***常用的***手段
  10. Python 中的 10 个常见安全漏洞,以及如何避免(上)