python数据存储与读取_【Python爬虫】数据保存与读取

1、 Open方法

使用with open()新建对象

写入数据

# -*- coding: utf-8 -*-

# __author__ = 'Carina'

import requests

import os

from lxml import etree

url = "https://movie.douban.com/subject/26861685/comments"

r = requests.get(url).text

s = etree.HTML(r)

file = s.xpath('//div[@class="comment"]/p/text()')

# beforepath_ = os.getcwd() # 获取当前目录

# after_path = os.chdir("C:/Users/Carina/Desktop") #修改目录

# print(before_path)

# print(after_path)

# 使用open()保存

with open('C:/Users/Carina/Desktop/pinglun.txt', 'w', encoding='utf-8') as f: # 使用with创建对象

for i in file:

print(i)

f.write(i)

(1)open方法中可以写上绝对路径

(2)使用os库，getcwd()查看当前目录，使用chdir()修改目录

备注：open函数的打开模式

参数

用法

只读。若不存在文件会报错。

只写。若不存在文件会自动新建。

附加到文件末尾。

rb, wb, ab

操作二进制

读写模式打开

2、使用Pandas第三方库

(1)保存数据到Excel

to_excel() ：用于将DataFrame保存到Excel

#其中df为DataFrame结构的数据，sheet_name = 'Sheet1'表示将数据保存在Excel表的第一张表中

df.to_excel('文件名.xlsx', sheet_name = 'Sheet1')

读取Excel数据

read_excel() ：从excel文件中读取数据

pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])

(2)保存数据到csv文件

导入相关的库

将数据储存为DataFrame对象

保存数据到csv文件

import pandas as pd

import numpy as np

df = pd.DataFrame(np.random.randn(6,3)) #创建随机值并保存为DataFrame结构

print(df.head())

df.to_csv('file.csv') #可以是绝对路径，若未指明就在当前目录下

提示：

如果运行以上程序出现ImportError: No module named ‘openpyxl’错误，需要安装“openpyxl”模块，openpyxl只能操作xlsx文件而不能操作xls文件。

(pip install openpyxl)

补充知识

1、在10分钟了解pandas中可以快速了解和学习pandas的基本操作

2、阅读csv模块官方文档，了解使用csv模块保存数据的方法

python数据存储与读取_【Python爬虫】数据保存与读取相关推荐

android app数据存储,基于Android开发的APP数据存储研究
谢原武+龙文摘要: 作为一个完整的应用程序,数据存储操作是必不可少的.Android系统一共提供了四种数据存储方式分别为File文件存储.Shared Preferences存储.ContentPr ...
python实时数据存储与显示_利用python进行数据加载和存储
1.文本文件 (1)pd.read_csv加载分隔符为逗号的数据:pd.read_table从文件.URL.文件型对象中加载带分隔符的数据.默认为制表符.(加载为DataFrame结构) 参数name ...
python数据存储用什么_Python的小数据存储，用什么格式更有逼格？
小数据存储我们在编写代码的时候,经常会涉及到数据存储的情况,如果是爬虫得到的大数据,我们会选择使用数据库,或者excel存储.但如果只是一些小数据,或者说关联性较强且存在存储后复用的数据,我们该如何 ...
python数据拟合固定参数_如何将数据拟合到非理想二极管方程(隐式非线性函数)并检索参数 - python...
散乱数据图我需要将(x,y)-数据拟合到具有两个变量(x和y)的方程式中,并检索5个未知参数. 我正在编写一个脚本,以处理来自简单.txt文件的IV数据(电流电压),并将其拟合为称为非理想二极管方程 ...
python数据数据存储-五种使用python储存数据的方式
原标题:五种使用python储存数据的方式在python编程开发中,总是不可避免的遇到数据储存的问题,下面小卓就介绍python与几种数据储存方式交互的方法. json文件 json是一种轻量级的数 ...
python制作一个密码簿_[python]制作密码薄,完成增删改查和文件存储功能。
题目: 1)用文本编辑器编写一个密码簿文本文件,每一行格式为:姓名,密码 2)编写Python代码,提示:输入文件名,输入文件名后提示:查找,增加,删除,修改,保存 3)选择查找,输入姓名,提示&qu ...
python逻辑与界面分离_一种数据与逻辑分离的Python单元测试工具
一种数据与逻辑分离的Python单元测试工具几个概念 TestCase TestCase是一个完整的测试单元,最小的测试执行实体,就是我们常说的测试用例. TestSuite 以某种特性将测试用例组 ...
python 大数据开发框架有哪些_入门大数据开发行业！必备的十大基础
现在由于人工智能的大热,这方面的人才稀缺,薪资水平不用说,行业中的NO.1,所以各路人马纷纷集结互联网行业,有转行的,有转岗的.对于初学者在学习这方面肯定有许多疑问,是什么疑问呢,我在这里一一给你解 ...
python搜索关键词自动提交_简单爬虫：调用百度接口,实现关键词搜索（python_003)...
需求: 如何用python代码实现百度搜索关键词的功能? 比如输入关键词:"python爬虫",得到一个搜索结果的页面,并保存到本地. 这是经典的python爬虫教学案例之一,也是 ...
python读写磁盘扇区数据有什么用_磁盘存放数据原理 - osc_v8xs2czi的个人空间 - OSCHINA - 中文开源技术交流社区...
磁盘结构作用数据原理拓扑图盘面(side) 模型: 1.磁盘圆形盘面,一个磁盘内含有多个盘面. 2.层叠关系,每个盘面之间不会贴着. 3.第一个盘的正面成为0面,反面为1面:第二个盘正面为2面,反 ...

python数据存储与读取_【Python爬虫】数据保存与读取

python数据存储与读取_【Python爬虫】数据保存与读取相关推荐

最新文章

热门文章