整理数据

这章进行了简单的数据清洗。

一、Excel

一开始拿到散乱的数据，先用Excel进行分列。

散乱的数据：

这里先处理 FirstName ，可以看到这一列的问题是，每个名字前面都多一个^字符，用Excel工具去掉即可。

先列出来几个书中提到的函数：

函数	作用
FIND	返回指定字符串的位置
LEFT	取单元格左边的字符
RIGHT	取单元格右边的字符
TRIM	删除单元格中的空格
LEN	求单元格中的长度
CONCATENATE	将两个值合并
VALUE	求以文本格式存储的数据的数值
SUBSTITUTE	以指定的新文本替代单元格中不需要的文本

这里用到的是SUBSTITUTE函数。

SUBSTITUTE(text, old_text, new_Text, [instance_num])

我们先新建一个列，命名为NewFirstName。之后输入公式。如下图：

这样FirstName就处理完了，但是LastName无法使用简单的Excel函数去掉中间的多余字符，所以我们使用R。
这里注意，不是Excel无法处理这种问题，是因为如果想要使用Excel函数去处理，就要嵌套多个不同函数，这样不便于使用及更改，所以还是使用R更方便快捷。

二、正则表达式

正则表达式是一种编程工具，可以用这个工具制定复杂的模式以便匹配和替换文本字符串。
本次数据中的LastName列就可以使用这个方式处理。

先用代码演示一下书中示例：

hfhh <- read.table("D:/Excel/hfda/hfda_ch13_raw_data.csv", sep=",",header=1)    // 先加载数据
NewLastName <- sub("\\(.*\\)", "", hfhh$LastName)    //使用正则表达式处理LastName列
这里解释一下这个正则表达式的含义：
\\(.*\\)  总体来看就是要匹配（）中的内容
分解开来看：
\\(   代表左括号，\\表示括号本身并不是R的表达式
\\)   代表右括号，\\表示括号本身并不是R的表达式
.*    代表括号内的全部内容

这样LastName这一列就处理好了，但在数据中我们发现很多重复项，这些重复项的名字和电话是相同的，而时间等无关项不同。这就需要我们先将其无关项删除，然后再进行去重操作。

先去除无关项：

hfhhNameOnly$Time <- NULL
hfhhNameOnly$CallID <- NULL

三、去重

可以使用R中的unique()函数去掉名字中的重复行。
代码示例如下：

hfhhNameOnly <- unique(hfhhNameOnly)

去重完成后，将整理好的数据存为csv文件。
代码示例如下：

write.csv(hfhhNameOnly, file="hfhhNameOnly.csv")

四、补充介绍正则表达式

正则表达式在很多语言上都经常用到，在这简单整理一下：
https://www.runoob.com/regexp/regexp-intro.html
这个网站里面介绍的超级全面，存在这里留着看，感谢大佬，感谢互联网。

《深入浅出数据分析》第十三章相关推荐

《深入浅出数据分析》第九章——R语言
文章目录记录第一次接触R语言一.R语言下载安装二.运行三.补充 1.加载csv文件 2.hist函数记录第一次接触R语言 <深入浅出数据分析>第九章讲到R语言,在这记录一下,就当 ...
《深入浅出数据分析》样章下载
序言真难以相信,他们竟把这些东西写进讲数据分析的书里了. 本节回答一个热门问题:"作者为什么非要把这些东西写进一本讲数据分析的书里?" 谁适合阅读本书? 请先回答几个问题: 1. ...
《深入浅出数据分析》为读者送上了章回小说的精彩
2010年2月,春节将至,我向博文视点的某个邮箱寄出了一封请求参加翻译任何一本图书的邮件.很快,有人回信,内容简单明了:请下载并试译第1章1~17页内容.落款是博文视点编辑徐定翔.于是我试译,寄出,然 ...
【数据库系统】数据库系统概论====第十三章数据库技术发展
第十三章数据库技术发展文章目录第十三章数据库技术发展 13.1数据库技术发展概述 13.2数据库发展的3个阶段 13.2.1第一代数据库系统 13.2.2第二代数据库系统 13.2.3新一代数 ...
项目管理第十三章项目相关方管理
项目管理第十三章项目相关方管理项目相关方管理:包括识别能够影响项目或会受项目影响的人员.团体或组织,分析相关方对项目的期望和影响,制定合适的管理策略来有效调动相关方参与项目决策和执行.其过程包括: ...
深入浅出数据分析读书笔记
深入浅出数据分析读书笔记一.数据分析引言 1.数据分析的基本流程:确定--分解--评估--决策.一个完整的分析项目可能经过多轮流程确定:客户的论点和数据分解:将手头的资料汇总为有用的格式评估: ...
《深入浅出数据分析》小结
可以学到分析现实问题的系统性方法.从卖咖啡到开橡皮玩具厂,再到要求老板涨工资,此书告诉我们如何发现和解密数据在日常生活中的强大作用.从图形图表到Excel和R计算程序,<深入浅出数据分析> ...
谭浩强《C++程序设计》书后习题第十三章-第十四章
2019独角兽企业重金招聘Python工程师标准>>> 最近要复习一下C和C++的基础知识,于是计划把之前学过的谭浩强的<C程序设计>和<C++程序设计>习题 ...
python 教程第十三章、特殊的方法
第十三章. 特殊的方法 1) 特殊的方法 __init__(self,...) 这个方法在新建对象恰好要被返回使用之前被调用. __del__(self) 恰好在对象要被删除之前调用. __st ...
《Java编程思想》读书笔记第十三章字符串
<Java编程思想>读书笔记第十三章字符串不可变String String对象是不可变的,每一个看起来会修改String值的方法,实际上都是创建一个全新的String对象,以及包含修 ...

《深入浅出数据分析》第十三章

文章目录