Python之pandas数据加载、存储

0. 输入与输出大致可分为三类:

0.1 读取文本文件和其他更好效的磁盘存储格式
2.2 使用数据库中的数据
0.3 利用Web API操作网络资源

1. 读取文本文件和其他更好效的磁盘存储格式

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。
1.1 pandas中的解析函数：read_csv        从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号read_table      从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符（"\t"）read_clipboard  读取剪贴板中的数据，可以看做read_table的剪贴板版。在将网页转换为表格时很有用其中，read_csv、read_table使用较多。1.2 逐块读取文本文件读取几行nrows逐块读取chunksize(行数)
1.3 将数据写到文本格式利用DataFrame的to_csv

2. 使用数据库中的数据

2.1 使用关系型数据库中的数据，可以使用Python SQL驱动器（PyODBC、psycopg2、MySQLdb、pymssql等）
2.2 使用非关系型数据库中的数据，如MongoDB，用其官方驱动器pymongo通过默认端口进行连接。

3. 利用Web API操作网络资源

3.1 应用lxml.html处理HTML步骤：1）利用urllib2将URL打开，然后由lxml解析得到数据流2）得到URL和链接文本使用文档根节点的findall方法以及一个XPath，以及个对象的get方法（针对URL）和text_content方法（针对显示文本）3）通过反复试验从文档中找到正确表格4）将所有步骤结合起来，将数据转换为一个DataFrame
3.2 应用lxml.objectify处理XML1）使用lxml.objetify解析文件2）通过getroot得到XML文件的根节点
3.3 使用网站通过JSOM及其他格式提供数据的公共的API使用requests包访问这些API

转载于:https://www.cnblogs.com/lanzhi/p/6467839.html

Python之pandas数据加载、存储相关推荐

pandas数据加载与存储
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录前言一.pandas是什么? 二.数据加载与存储 1.引入库 2.读入数据 2.1 读取Excel文件 2.2 读取 tx ...
python数据分析笔记——数据加载与整理
Python数据分析--数据加载与整理总第47篇 ▼ (本文框架) 数据加载导入文本数据 1.导入文本格式数据(CSV)的方法: 方法一:使用pd.read_csv(),默认打开csv文件. 9. ...
利用Python进行数据分析--数据加载、存储与文件格式
转载自:http://blog.csdn.net/ssw_1990/article/details/23911901 1.手工处理分隔符格式大部分存储在磁盘上的表格型数据都能用pandas.read ...
【Python】Pandas高效加载JSON文件
说明 Python使用Pandas解析JSON的方法有不少,这里使用高效率的 read_json ,但问题是必须符合一定的格式. 推荐阅读 Pandas-read_json官方文档大佬文章--Pan ...
azure云数据库_从Azure Databricks将数据加载到Azure SQL数据库
azure云数据库 In this article, we will learn how we can load data into Azure SQL Database from Azure Dat ...
《利用Python进行数据分析·第2版》第6章数据加载、存储与文件格式
第1章准备工作第2章 Python语法基础,IPython和Jupyter 第3章 Python的数据结构.函数和文件第4章 NumPy基础:数组和矢量计算第5章 pandas入门第6章数 ...
数据加载、存储与文件格式(python)
文章目录 6.1 读写文本格式的数据逐块读取文本文件将数据写出到文本格式 JSON 数据访问数据是使用本书所介绍的这些工具的第一步.我会着重介绍 pandas 的数据输入与输出,虽然别的库中也有 ...
pandas入门（6）——数据加载、存储与文件格式
pandas入门(6)--数据加载.存储与文件格式输入输出通常可以划分为几个大类:读取文本文件和其他更高效的磁盘存储格式,加载数据库中的数据,利用Web API操作网络资源一.读取文本格式数据函 ...
利用Python进行数据分析（四）：数据加载、存储与文件格式
标题利用Python进行数据分析(四):数据加载.存储与文件格式学习笔记来源于:简书https://www.jianshu.com/p/047d8c1c7e14 输入输出通常可以划分为几个大类:读取 ...

Python之pandas数据加载、存储

Python之pandas数据加载、存储

0. 输入与输出大致可分为三类:

1. 读取文本文件和其他更好效的磁盘存储格式

2. 使用数据库中的数据

3. 利用Web API操作网络资源

Python之pandas数据加载、存储相关推荐

最新文章

热门文章