Python3编写网络爬虫10-数据存储方式三-CSV文件存储

3.CSV文件存储

CSV 全称 Comma-Separated Values 中文叫做逗号分隔值或者字符分隔值，文件以纯文本形式存储表格数据。
文件是一个字符序列可以由任意数目的记录组成相当于一个结构化表的纯文本形式，它比Excel更加简洁，
XLS文本是电子表格，包含文本，数值，公式和格式等内容，CSV都没有就是特定的字符分隔纯文本，结构简单清晰。

3.1 写入

示例：

import csvwith open('data.csv','w') as csvfile:
writer = csv.writer(csvfile)#初始化写入对象
writer.writerow(['id','name','age'])#传入每行数据
writer.writerow(['10001','mike',20])
writer.writerow(['10002','bod',22])
writer.writerow(['10003','jordan',21])

更改列与列之间分隔符可以传入 delimiter参数记得关闭文件

示例：

import csvwith open('data.csv','w') as csvfile:
writer = csv.writer(csvfile,delimiter=' ')#初始化写入对象
writer.writerow(['id','name','age'])#传入每行数据
writer.writerow(['10001','mike',20])
writer.writerow(['10002','bod',22])
writer.writerow(['10003','jordan',21])

同时写入多行参数为二位列表

import csvwith open('data.csv','w') as csvfile:
writer = csv.writer(csvfile)#初始化写入对象
writer.writerow(['id','name','age'])#传入每行数据
writer.writerows([['10001','mike',20],['10002','bod',22],['10003','jordan',21]])

一般情况下爬虫爬取的都是结构化数据一般会用字典来表示 csv库也提供了字典的写入方式

示例：

import csvwith open('data.csv','w') as csvfile:
fieldname = ['id','name','age']#定义字段
writer = csv.DictWriter(csvfile,fieldnames=fieldname)#初始化字典写入对象
writer.writeheader()#写入头信息
writer.writerow({'id':'10001','name':'mike','age':20})
writer.writerow({'id':'10002','name':'bod','age':22})
writer.writerow({'id':'10003','name':'jordan','age':21})

输入中文给 open() 加入参数 encoding='utf-8'

示例：

import csvwith open('data.csv','a',encoding='utf-8') as csvfile:
fieldname = ['id','name','age']#定义字段
writer = csv.DictWriter(csvfile,fieldnames=fieldname)#初始化字典写入对象
writer.writerow({'id':'10004','name':'小米','age':20})

3.2 读取

示例：

import csvwith open('data.csv','r',encoding='utf-8') as csvfile:
reader = csv.reader(csvfile)
for row in reader:
print(row)

在做数据分析时此种方法用的比较多，也是一种常用的数据存储方式，需要熟练掌握。

转载于:https://www.cnblogs.com/liuxiaosong/p/10337133.html

Python3编写网络爬虫10-数据存储方式三-CSV文件存储相关推荐

[ Android 五种数据存储方式之二 ] —— 文件存储数据
关于文件存储,Activity提供了openFileOutput()方法可以用于把数据输出到文件中,具体的实现过程与在J2SE环境中保存数据到文件中是一样的. 文件可用来存放大量数据,如文本.图片.音 ...
Python3编写网络爬虫04-爬取猫眼电影排行实例
利用requests库和正则表达式抓取猫眼电影TOP100 (requests比urllib使用更方便,由于没有学习HTML系统解析库选用re) 1.目标抓取电影名称时间评分图片等 url ...
使用python编写网络爬虫
使用python编写网络爬虫前言 1.为何使用爬虫 2.编写爬虫的知识要求 3.确定爬虫使用的工具库 4.确定要获取的数据集 4.1 分析Url地址变化 4.2 获取目标数据集所在的HTML区域 5 ...
Python实验1——网络爬虫及数据可视化
Python实验1--网络爬虫及数据可视化一.实验目标与基本要求实验目标基本要求二.主要知识点.重点与难点主要知识点重点难点三.实验过程设计获取网页获取数据保存到数据库数据预处 ...
Python学习——（2）通过网络爬虫获取数据
通过网络爬虫获取数据 1. 和爬虫有关的HTTP HTTP是网络数据通信的基础.在本节中会围绕Python网络爬虫讲述常用HTTP知识点. 1.1 基于HTTP的请求处理流程当用户在浏览器的 ...
关于使用Python3进行网络爬虫的字符问题
使用Python3进行网络爬虫的时候,对于某一些网页,使用utf-8编码是没有问题的.比如: import urllib.request url = "https://www.baidu.c ...
用c语言实现网络爬虫,C语言编写网络爬虫
C语言编写网络爬虫 #include #include #include #include #pragma comment(lib, "ws2_32.lib")//加载网络支持的库 ...
22.网络爬虫—APP数据抓取详讲
网络爬虫-APP数据抓取详讲 Fiddler 工作原理安装完成Fiddler后的配置前提条件工具配置手机数据抓取 Fiddler手机端配置手机端操作实战演示后记前言:
练习：selenium 爬取京东的电脑商品100页的数据并保存到csv文件中
练习:selenium 爬取京东的电脑商品100页的数据并保存到csv文件中 from selenium.webdriver import Chrome, ChromeOptions import t ...

Python3编写网络爬虫10-数据存储方式三-CSV文件存储

Python3编写网络爬虫10-数据存储方式三-CSV文件存储相关推荐

最新文章

热门文章