python 保存csv,Python数据存储到文件的3种方式
原标题:Python数据存储到文件的3种方式
爬虫请求解析后的数据,需要保存下来,才能进行下一步的处理,一般保存数据的方式有如下几种:
文件:txt、csv、excel、json等,保存数据量小。
关系型数据库:mysql、oracle等,保存数据量大。
非关系型数据库:Mongodb、Redis等键值对形式存储数据,保存数据量大。
二进制文件:保存爬取的图片、视频、音频等格式数据。
首先,爬取豆瓣读书《平凡的世界》的3页短评信息,然后保存到文件中。
具体代码如下(忽略异常):
爬到评论数据保存到列表中:
1.使用open()方法写入文件
保存数据到txt
将上述爬取的列表数据保存到txt文件:
2.保存数据到csv
CSV(Comma-Separated Values、逗号分隔值或字符分割值)是一种以纯文件方式进行数据记录的存储格式,保存csv文件,需要使用python的内置模块csv。
写入列表或者元组数据: 创建writer对象,使用writerow()写入一行数据,使用writerows()方法写入多行数据。
使用writer对象写入列表数据,示例代码如下:
写入字典数据: 创建DictWriter对象,使用writerow()写入一行数据,使用writerows()方法写入多行数据。
使用 DictWriter 对象写入字典数据,示例代码如下:
将上述爬取到的数据保存到csv文件中:
3.使用pandas保存数据
pandas支持多种文件格式的读写,最常用的就是csv和excel数据的操作,因为直接读取的数据是数据框格式,所以在爬虫、数据分析中使用非常广泛。
一般,将爬取到的数据储存为DataFrame对象(DataFrame 是一个表格或者类似二维数组的结构,它的各行表示一个实例,各列表示一个变量)。 pandas保存数据到excel、csv
pandas保存excel、csv,非常简单,两行代码就可以搞定:
责任编辑:
python 保存csv,Python数据存储到文件的3种方式相关推荐
- Python爬虫数据存哪里|数据存储到文件的几种方式
爬虫请求解析后的数据,需要保存下来,才能进行下一步的处理,一般保存数据的方式有如下几种: 文件:txt.csv.excel.json等,保存数据量小. 关系型数据库:mysql.oracle等,保存数 ...
- 安卓androidstudio访问本地接口_安卓开发之数据存储在本地的四种方式
安卓开发之数据存储在本地的四种方式 本地数据存储,在安卓开发过程中是不可避免的一个话题.这些本地的数据可能是用户的设置,程序的设置,用户的数据图片, 也可能是网络传输的一些缓冲数据. 基本上我们有 ...
- mysql数据存储方式_数据存储在mysql的两种方式
数据存储在mysql的两种方式 发布时间:2020-05-12 16:16:25 来源:亿速云 阅读:250 作者:三月 下文主要给大家带来数据存储在mysql的两种方式,希望这些内容能够带给大家实际 ...
- ajax上传多文件和数据,Ajax上传数据和上传文件(三种方式)
Ajax向后端发送数据可以有三种方式:原生Ajax方式,jQuery Ajax方式,iframe+form 方式(伪造Ajax方式) Title .btn { background-color: co ...
- python 将 csv转excel (.xls和.xlsx)的几种方式
前言 excel 后缀有2种格式, .xls 是从 Excel 97 到 Excel 2003 的默认文件格式,而 .xlsx 是 Excel 2007 及更高版本的默认文件格式. .xlsx和.xl ...
- Android 数据存储和文件使用案例分析
很多时候我们的软件需要对处理后的数据进行存储或再次访问.Android为数据存储提供了如下几种方式: 文件 SharedPreferences(参数) SQLite数据库 内容提供者(Content ...
- Python加载csv文件的两种方式
本文主要讲解下Python加载csv文件的两种方式,如果知道如何处理的就不必往下看了! 下面来简单介绍下. 实例中的数据集是kaggle的Digit Recognizer的train.csv文件,数据 ...
- python下载文件到本地-Python下载网络文本数据到本地内存的四种实现方法示例
本文实例讲述了Python下载网络文本数据到本地内存的四种实现方法.分享给大家供大家参考,具体如下: import urllib.request import requests from io imp ...
- 用Python读取CSV文件的5种方式
典型的数据集stocks.csv: 一个股票的数据集,其实就是常见的表格数据.有股票代码,价格,日期,时间,价格变动和成交量.这个数据集其实就是一个表格数据,有自己的头部和身体. 第一招:简单的读取 ...
最新文章
- spring boot 启动 nested exception is java.lang.IllegalStateException
- html中如何实现放大动画,CSS3实现点击放大的动画实例
- 年入百万的 24 本理财秘籍,免费领取(速领)
- element ui 二级菜单_基于avue和element-ui集成解决方案avue-cli
- 比java好的_Java Spring真的比直接进行Java编程好吗
- 二叉树前序遍历python输出_[宜配屋]听图阁 - Python实现输入二叉树的先序和中序遍历,再输出后序遍历操作示例...
- JAX-RS (REST Web Services) 2.0 requires Java 1.7 o
- sybase 设置默认值_修改Sybase数据库的默认字符集为CP936
- 摄影测量+元宇宙!虚拟校园还有哪些值得我们期待的?
- 房地产开发如何选择最佳招标采购策略
- 【MongoDB】索引属性 之 唯一索引
- 热血传奇C++版官网
- R Shiny module学习笔记
- 我的MBTI职业性格测试
- 【仿真】后仿真中的notifier是奏啥滴!
- 计算机专业实习计划包括哪些,计算机专业实习计划.doc
- Xilinx RFSOC GEN1 ADC和DAC简单测试
- oracle 百分位数,Oracle分析函数PERCENTILE_CONT
- (转)业务知识_电子商务知识
- 页面自动化之 selenium(一) 自动签到与签退