Pandas 使用入门
Pandas 简介
运行环境
jupyter notebook
python 3.6
pandas '0.20.3'
matplotlib '2.1.0'
学习目标:
* 大致了解 pandas 库的 DataFrame
和 Series
数据结构
* 存取和处理 DataFrame
和 Series
中的数据
* 将 CSV 数据导入 pandas 库的 DataFrame
* 对 DataFrame
重建索引来随机打乱数据
pandas 是一种列存数据分析 API。它是用于处理和分析输入数据的强大工具,很多机器学习框架都支持将 pandas 数据结构作为输入。
虽然全方位介绍 pandas API 会占据很长篇幅,但它的核心概念非常简单,我们会在下文中进行说明。有关更完整的参考,请访问 pandas 文档网站,其中包含丰富的文档和教程资源。
基本概念
以下行导入了 pandas API 并输出了相应的 API 版本:
import pandas as pd
pd.__version__
如果要在jupyter notebook中使用画图,还需使用:
%matplotlib inline
pandas 中的主要数据结构被实现为以下两类:
DataFrame
,您可以将它想象成一个关系型数据表格,其中包含多个行和已命名的列。Series
,它是单一列。DataFrame
中包含一个或多个Series
,每个Series
均有一个名称。
数据框架是用于数据操控的一种常用抽象实现形式。Spark 和 R 中也有类似的实现。
创建 Series 的一种方法是构建 Series 对象。例如:
pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
0 San Francisco
1 San Jose
2 Sacramento
dtype: object
您可以将映射 string 列名称的 dict 传递到它们各自的 Series,从而创建DataFrame对象。如果 Series 在长度上不一致,系统会用特殊的 NA/NaN 值填充缺失的值。例如:
city_names = pd.Series(['San Francisco', 'San Jose', 'Sacramento'])
population = pd.Series([852469, 1015785, 485199])pd.DataFrame({ 'City name': city_names, 'Population': population })
但是在大多数情况下,您需要将整个文件加载到 DataFrame 中。下面的示例加载了一个包含加利福尼亚州住房数据的文件。请运行以下单元格以加载数据,并创建特征定义:
california_housing_dataframe = pd.read_csv("https://storage.googleapis.com/ml_universities/california_housing_train.csv", sep=",")
california_housing_dataframe.describe()
上面的示例使用 DataFrame.describe 来显示关于 DataFrame 的有趣统计信息。另一个实用函数是 DataFrame.head,它显示 DataFrame 的前几个记录:
california_housing_dataframe.head()
pandas 的另一个强大功能是绘制图表。例如,借助 DataFrame.hist,您可以快速了解一个列中值的分布:
california_housing_dataframe.hist('housing_median_age')
访问数据
您可以使用熟悉的 Python dict/list 指令访问 DataFrame
数据:
cities = pd.DataFrame({'City name': city_names, 'Population':population})
print(type(cities['City name']))
cities['City name']
<class 'pandas.core.series.Series'>
Out[13]:
0 San Francisco
1 San Jose
2 Sacramento
Name: City name, dtype: object
print type(cities['City name'][1])
cities['City name'][1]
<type 'str'>
Out[7]:
'San Jose'
print type(cities[0:2])
cities[0:2]
此外,pandas 针对高级索引和选择提供了极其丰富的 API(数量过多,此处无法逐一列出)。
操控数据
您可以向 Series
应用 Python 的基本运算指令。例如:
population / 1000.
0 852.469
1 1015.785
2 485.199
dtype: float64
NumPy 是一种用于进行科学计算的常用工具包。pandas Series
可用作大多数 NumPy 函数的参数:
import numpy as npnp.log(population)
0 13.655892
1 13.831172
2 13.092314
dtype: float64
对于更复杂的单列转换,您可以使用 Series.apply
。像 Python 映射函数一样,Series.apply
将以参数形式接受 lambda 函数,而该函数会应用于每个值。
下面的示例创建了一个指明 population
是否超过 100 万的新 Series
:
population.apply(lambda val: val > 1000000)
0 False
1 True
2 False
dtype: bool
DataFrames
的修改方式也非常简单。例如,以下代码向现有 DataFrame
添加了两个 Series
:
cities['Area square miles'] = pd.Series([46.87, 176.53, 97.92])
cities['Population density'] = cities['Population'] / cities['Area square miles']
cities
练习 1
通过添加一个新的布尔值列(当且仅当以下两项均为 True 时为 True)修改 cities
表格:
- 城市以圣人命名。
- 城市面积大于 50 平方英里。
注意:布尔值 Series
是使用“按位”而非传统布尔值“运算符”组合的。例如,执行逻辑与时,应使用 &
,而不是 and
。
提示:“San” 在西班牙语中意为 “saint”。
解决方案
cities['Is wide and has saint name'] = (cities['Area square miles'] > 50) & cities['City name'].apply(lambda name: name.startswith('San'))
cities
索引
Series
和 DataFrame
对象也定义了 index
属性,该属性会向每个 Series
项或 DataFrame
行赋一个标识符值。
默认情况下,在构造时,pandas 会赋可反映源数据顺序的索引值。索引值在创建后是稳定的;也就是说,它们不会因为数据重新排序而发生改变。
city_names.index
RangeIndex(start=0, stop=3, step=1)
cities.index
RangeIndex(start=0, stop=3, step=1)
调用 DataFrame.reindex
以手动重新排列各行的顺序。例如,以下方式与按城市名称排序具有相同的效果:
cities.reindex([2, 0, 1])
重建索引是一种随机排列 DataFrame
的绝佳方式。在下面的示例中,我们会取用类似数组的索引,然后将其传递至 NumPy 的 random.permutation
函数,该函数会随机排列其值的位置。如果使用此重新随机排列的数组调用 reindex
,会导致 DataFrame
行以同样的方式随机排列。
尝试多次运行以下单元格!
cities.reindex(np.random.permutation(cities.index))
有关详情,请参阅索引文档。
练习 2
reindex
方法允许使用未包含在原始 DataFrame
索引值中的索引值。请试一下,看看如果使用此类值会发生什么!您认为允许此类值的原因是什么?
cities.reindex([3, 0, 5, 1])
如果您的 reindex
输入数组包含原始 DataFrame
索引值中没有的值,reindex
会为此类“丢失的”索引添加新行,并在所有对应列中填充 NaN
值.
这种行为是可取的,因为索引通常是从实际数据中提取的字符串(请参阅 pandas reindex 文档,查看索引值是浏览器名称的示例)。
在这种情况下,如果允许出现“丢失的”索引,您将可以轻松使用外部列表重建索引,因为您不必担心会将输入清理掉。
后述
本文是google官方提供的教程:
源地址:需要翻墙
我的GitHub文件地址:
https://github.com/sty945/My_Machine_Learning_Notes/blob/master/intro_to_pandas.ipynb
Pandas 使用入门相关推荐
- AI基础:Pandas简易入门
Pandas 简易入门 0.导语 pandas 是基于 NumPy 的一种工具,该工具是为了解决数据分析任务而创建的.Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工 ...
- 【机器学习-数据科学】第二节:ipython开发环境搭建以及pandas快速入门
ipython开发环境搭建以及pandas快速入门 0.开发环境搭建 技巧 网页版ipython:ipython notebook numpy 1.pandas 快速入门一 导入 创建对象 2. pa ...
- Python+大数据-数据处理与分析-pandas快速入门
Python+大数据-数据处理与分析-pandas快速入门 1.Pandas快速入门 1.1DataFrame和Series介绍 1)DataFrame 用来处理结构化数据(SQL数据表,Excel表 ...
- Pandas DataFrame入门教程(图解版)
Pandas DataFrame入门教程(图解版) DataFrame 是 Pandas 的重要数据结构之一,也是在使用 Pandas 进行数据分析过程中最常用的结构之一,可以这么说,掌握了 Data ...
- Pandas快速入门
1. 写在前面 上一篇文章中,我写的是Numpy快速入门, 这次写一下Pandas的快速入门,这篇博客同样是针对想入门机器学习和深度学习,或者数据分析的小白而写,我们都知道机器学习和深度学习,数据分析 ...
- python panda用法_Python Pandas用法入门
简介 首先pandas是基于numpy进行开发的. Pandas 的主要数据结构是 Series(一维数据)与 DataFrame(二维数据),这两种数据结构足以处理金融.统计.社会科学.工程等领域里 ...
- python数据分析包pandas论文_python数据分析pandas包入门学习(一)pandas数据结构介绍...
本文参考<利用python进行数据分析>的第五章 pandas入门python 1 pandas数据结构介绍 pandas有两种主要的数据结构:series和DataFrame Serie ...
- 第三周 数据分析之概要 Pandas库入门
Pandas库介绍: Pandas库引用:Pandas是Python第三方库,提供高性能易用数据类型和分析工具 import pandas as pd Pandas基于NumPy实现,常与NumPy和 ...
- 数据挖掘 pandas基础入门之查看数据
为什么80%的码农都做不了架构师?>>> import pandas import numpy# 通过传递一个 numpyarray,时间索引以及列标签来创建一个DataFra ...
最新文章
- Meizu M8 Preview
- 【MATLAB】三维图形绘制 ( 绘制网格 + 等高线 | meshc 函数 | 绘制平面 + 等高线 | surfc 函数 )
- BZOJ3832 [Poi2014]Rally 【拓扑序 + 堆】
- 解析:一种合适的数据中心建造方式有多重要?
- 亚信安全中标民生银行防病毒项目 为“互联网+金融”革新防护能力
- 02_Weblogic课程之安装篇:RedHat下JDK安装,RedHat下Weblogic安装,目录结构,环境变量设置
- vue --- 使用中央事件总线(bus)实现跨组件通信
- android字符串复制到剪贴板
- s2 理论 第二套题
- 时间序列预测系统α版本迭代总结
- 【Python】 Python数据类型
- Android Glide加载本地gif动态图
- 前端json编辑器和富文本编辑器的使用
- 笔记本风扇控制程序,支持蓝天模具笔记本
- jsp技术被淘汰了?那还要不要学它?
- c语言编译defined,#if defined(__GNUC__)的意思是不是如果使用的是GCC编译器?
- 20多年来,我国网络文学行业发生了天翻地覆的变化
- Delphi实现win10视频壁纸
- 【​观察】数据驱动零售变革 重塑消费体验是关键
- 百度地图海量点尺寸和大小