玩好大数据：1.数据清洗

当我们面对海量数据，总会出现那么一些异常数据，我们就需要对数据进行清洗，让我们更好的操作数据。

import codecs
import os
filepath="E:\\python\\python文件\\52G\\126\\"#需要读取文件的路径
savefilepath="D:\\数据处理\\good.txt"#需要写入文件的路径
filename=os.listdir(r"E:\python\python\52G葫\126")#批量输出文件名
filenum=len(filename)#所有文件的个数
for num in filename:#批量打开，因为我是从多个文本读取的内容，所以批量打开文本读取print(num)file=codecs.open(filepath+num,"rb","utf-8","ignore")savefile = open(savefilepath, "ab")mylist=file.readlines()#全部都出for i in mylist:mystr=i.split("----")if len(mystr)==2:#筛选savefile.write(i.encode("utf-8"))写入优质数据else:pass
file.close()#关闭文件
savefile.close()#关闭文件

这样，简单的数据清洗就完成了

玩好大数据：1.数据清洗相关推荐

Cris 玩转大数据系列之消息队列神器 Kafka
Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 文章目录 Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 1. Kafka 概述 1.1 消息队 ...
独家直播双十一全网动态？前黑客“劳改”带你玩转大数据
独家直播双十一全网动态?前黑客"劳改"带你玩转大数据发表于2015-11-24 10:26| 4044次阅读| 来源CSDN| 7 条评论| 作者蒲婧 CTO俱乐部CTOCTO讲 ...
python玩转大数据视频[非原创视频]
python玩转大数据:简介 http://v.youku.com/v_show/id_XNTk3NDcwMTg4.html python玩转大数据:网络爬虫 http://v.youku.com/v ...
玩转大数据系列之三：数据报表与展示
为什么80%的码农都做不了架构师?>>> 经过了数据采集与数据同步.数据分析和处理,我们应该考虑将处理好的数据做成报表或者大屏展示给老板们看,以便老板们可以更加精准地做出战略决 ...
《一本书读懂大数据营销玩透大数据营销创造网络营销奇迹》pdf下载百度云
<一本书读懂大数据营销玩透大数据营销创造网络营销奇迹>pdf下载请到文末! 在使用低对比度光源的摄影作品中,辣椒的阴影不再是清晰可见的,阴影的线条也不再"生硬" ...
大数据培训课程数据清洗案例实操-简单解析版
数据清洗(ETL) 在运行核心业务MapReduce程序之前,往往要先对数据进行清洗,清理掉不符合用户要求的数据.清理的过程往往只需要运行Mapper程序,不需要运行Reduce程序.大数据培训数据 ...
Cris 玩转大数据系列之日志收集神器 Flume
Cris 玩转大数据系列之日志收集神器 Flume Author:Cris 文章目录 Cris 玩转大数据系列之日志收集神器 Flume Author:Cris 1. Flume 概述 1.1 什么是 ...
Cris 玩转大数据系列之任务流神器 Azkaban
Cris 玩转大数据系列之任务流神器 Azkaban Author:Cris 文章目录 Cris 玩转大数据系列之任务流神器 Azkaban Author:Cris 1. 概述 1.1 为什么需要工作 ...
孟凯想玩转大数据，得先看懂《小时代》
湘鄂情在餐饮行业已经无路可走,这一点湘鄂情董事长孟凯理解得非常透彻.它高度依赖公务消费,现在政府说不做了,你有天大的本事也扭转不过来,这对湘鄂情是非常致命的. 和湘鄂情同为上市高端餐饮企业的全聚德也正 ...
玩转大数据风控—利用评分卡模型实现信用评级
玩转大数据风控-利用评分卡模型实现信用评级一.算法介绍 1. 什么是逻辑回归? 2. 逻辑回归为何逻辑 ? 3. 逻辑回归怎么回归? 二.构建流程 1．数据处理 1.1 数据清理 1.2 缺失值处理 ...

玩好大数据：1.数据清洗

玩好大数据：1.数据清洗相关推荐

最新文章

热门文章