利用python进行数据加载和存储

1、文本文件

（1）pd.read_csv加载分隔符为逗号的数据；pd.read_table从文件、URL、文件型对象中加载带分隔符的数据。默认为制表符。（加载为DataFrame结构）

参数names指定列名，index_col用作行索引的列名或列编号，header用作列名的行号。

（2）利用DataFrame的to_csv方法，将数据写入到文件。

（3）import csv利用csv.reader读取已打开的文件对象；csv.writer方法写入数据。

2、json数据

import json

json.loads()将json数据加载为python对象；json.dumps()将python对象转换为json格式。

3、html

from lxml.html import parse

from urllib2 import urlopen

利用urlopen将希望获取数据的url打开，然后用parse解析得到的数据流。

from pandas.io.parses import TextParser(自动类型转换)

4、xml

利用lxml.objectify解析，from lxml import objectify

parsed=objectify.parse(open(path))

5、二进制格式

将数据以pickle形式保存到磁盘用save方法，frame.save(path)

pd.load(path)将数据读回python

6、excel文件

pd.ExcelFile(path)读取xls或xlsx文件.(预先要安装xlrd和openpyxl包）

7、web API

import requests

import json

data=json.loads(requests.get(url).text)

8、数据库

sqlite3、pyodbc、mysqldb、pymysql等；非关系型pymongo

转载于:https://www.cnblogs.com/zhenpengwang/p/10762790.html

利用python进行数据加载和存储相关推荐

python实时数据存储与显示_利用python进行数据加载和存储
1.文本文件 (1)pd.read_csv加载分隔符为逗号的数据:pd.read_table从文件.URL.文件型对象中加载带分隔符的数据.默认为制表符.(加载为DataFrame结构) 参数name ...
《利用Python进行数据分析·第2版》第6章数据加载、存储与文件格式
第1章准备工作第2章 Python语法基础,IPython和Jupyter 第3章 Python的数据结构.函数和文件第4章 NumPy基础:数组和矢量计算第5章 pandas入门第6章数 ...
利用Python进行数据分析（四）：数据加载、存储与文件格式
标题利用Python进行数据分析(四):数据加载.存储与文件格式学习笔记来源于:简书https://www.jianshu.com/p/047d8c1c7e14 输入输出通常可以划分为几个大类:读取 ...
《利用python进行数据分析》——第6章数据加载、存储与文件格式——读书笔记
第6章数据加载.存储与文件格式 6.1 读写文本格式的数据 pandas提供了一些用于将表格型数据读取为DataFrame对象的函数. 其中read_csv和read_talbe用得最多 panda ...
Python之pandas数据加载、存储
Python之pandas数据加载.存储 0. 输入与输出大致可分为三类: 0.1 读取文本文件和其他更好效的磁盘存储格式 2.2 使用数据库中的数据 0.3 利用Web API操作网络资源 1. 读 ...
python数据分析实例_python数据分析实例3-商铺数据加载及存储
商铺数据加载及存储在data文件夹存放有商铺数据.csv文件,路径:path = '../data/商铺数据.csv' 要求: 1.成功读取"商铺数据.csv"文件,并展示打印出 ...
pandas入门（6）——数据加载、存储与文件格式
pandas入门(6)--数据加载.存储与文件格式输入输出通常可以划分为几个大类:读取文本文件和其他更高效的磁盘存储格式,加载数据库中的数据,利用Web API操作网络资源一.读取文本格式数据函 ...
【数据分析项目实战】商铺数据加载及存储
''' [项目] 商铺数据加载及存储要求: 1.成功读取"商铺数据.csv"文件 2.解析数据,存成列表字典格式:[{'var1':value1,'var2':value2,'va ...
pandas数据加载与存储
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.pandas是什么? 二.数据加载与存储 1.引入库 2.读入数据 2.1 读取Excel文件 2.2 读取 tx ...
数据加载、存储与文件格式(python)
文章目录 6.1 读写文本格式的数据逐块读取文本文件将数据写出到文本格式 JSON 数据访问数据是使用本书所介绍的这些工具的第一步.我会着重介绍 pandas 的数据输入与输出,虽然别的库中也有 ...

利用python进行数据加载和存储

利用python进行数据加载和存储相关推荐

最新文章

热门文章