Python 是开源的,它很棒,但是也无法避免开源的一些固有问题:很多包都在做(或者在尝试做)同样的事情。如果你是 Python 新手,那么你很难知道某个特定任务的最佳包是哪个,你需要有经验的人告诉你。有一个用于数据科学的包绝对是必需的,它就是 pandas。

pandas 最有趣的地方在于里面隐藏了很多包。它是一个核心包,里面有很多其他包的功能。这点很棒,因为你只需要使用 pandas 就可以完成工作。

pandas 相当于 python 中 excel:它使用表(也就是 dataframe),能在数据上做各种变换,但还有其他很多功能。

如果你早已熟知 python 的使用,可以直接跳到第三段。

让我们开始吧:import pandas as pd复制代码

别问为什么是「pd」而不是「p」,就是这样。用就行了:)

pandas 最基本的功能

读取数据data = pd.read_csv( my_file.csv )

data = pd.read_csv( my_file.csv , sep= ; , encoding= latin-1 , nrows=1000, skiprows=[2,5])复制代码

sep 代表的是分隔符。如果你在使用法语数据,excel 中 csv 分隔符是「;」,因此你需要显式地指定它。编码设置为 latin-1 来读取法语字符。nrows=1000 表示读取前 1000 行数据。skiprows=[2,5] 表示你在读取文件的时候会移除第 2 行和第 5 行。最常用的功能:read_csv, read_excel

其他一些很棒的功能:read_clipboard, read_sql

写数据data.to_csv( my_new_file.csv , index=None)复制代码

index=None 表示将会以数据本来的样子写入。如果没有写 index=None,你会多出一个第一列,内容是 1,2,3,...,一直到最后一行。

我通常不会去使用其他的函数,像.to_excel, .to_json, .to_pickle 等等,因为.to_csv 就能很好地完成工作,并且 csv 是最常用的表格保存方式。

检查数据Gives (#rows, #columns)复制代码

给出行数和列数data.describe()复制代码

计算基本的统计数据

查看数据data.head(3)复制代码

打印出数据的前 3 行。与之类似,.tail() 对应的是数据的最后一行。data.loc[8]复制代码

打印出第八行data.loc[8, column_1 ]复制代码

打印第八行名为「column_1」的列data.loc[range(4,6)]复制代码

第四到第六行(左闭右开)的数据子集

pandas 的基本函数

逻辑运算data[data[ column_1 ]== french ]

data[(data[ column_1 ]== french ) & (data[ year_born ]==1990)]

data[(data[ column_1 ]== french ) & (data[ year_born ]==1990) & ~(data[ city ]== London )]复制代码

通过逻辑运算来取数据子集。要使用 & (AND)、 ~ (NOT) 和 | (OR),必须在逻辑运算前后加上「and」。data[data[ column_1 ].isin([ french , english ])]复制代码

除了可以在同一列使用多个 OR,你还可以使用.isin() 函数。

基本绘图

matplotlib 包使得这项功能成为可能。正如我们在介绍中所说,它可以直接在 pandas 中使用。data[ column_numerical ].plot()复制代码

().plot() 输出的示例data[ column_numerical ].hist()复制代码

画出数据分布(直方图)

.hist() 输出的示例%matplotlib inline复制代码

如果你在使用 Jupyter,不要忘记在画图之前加上以上代码。

更新数据data.loc[8, column_1 ] = english

将第八行名为 column_1 的列替换为「english」复制代码data.loc[data[ column_1 ]== french , column_1 ] = French复制代码

在一行代码中改变多列的值

好了,现在你可以做一些在 excel 中可以轻松访问的事情了。下面让我们深入研究 excel 中无法实现的一些令人惊奇的操作吧。

中级函数

统计出现的次数data[ column_1 ].value_counts()复制代码

.value_counts() 函数输出示例

在所有的行、列或者全数据上进行操作data[ column_1 ].map(len)复制代码

len() 函数被应用在了「column_1」列中的每一个元素上

.map() 运算给一列中的每一个元素应用一个函数data[ column_1 ].map(len).map(lambda x: x/100).plot()复制代码

pandas 的一个很好的功能就是链式方法(tomaugspurger.github.io/method-chai… 和.plot())。data.apply(sum)复制代码

.apply() 会给一个列应用一个函数。

.applymap() 会给表 (DataFrame) 中的所有单元应用一个函数。

tqdm, 唯一的

在处理大规模数据集时,pandas 会花费一些时间来进行.map()、.apply()、.applymap() 等操作。tqdm 是一个可以用来帮助预测这些操作的执行何时完成的包(是的,我说谎了,我之前说我们只会使用到 pandas)。from tqdm import tqdm_notebook

tqdm_notebook().pandas()复制代码

用 pandas 设置 tqdmdata[ column_1 ].progress_map(lambda x: x.count( e ))复制代码

用 .progress_map() 代替.map()、.apply() 和.applymap() 也是类似的。

在 Jupyter 中使用 tqdm 和 pandas 得到的进度条

相关性和散射矩阵data.corr()

data.corr().applymap(lambda x: int(x*100)/100)复制代码

.corr() 会给出相关性矩阵pd.plotting.scatter_matrix(data, figsize=(12,8))复制代码

散点矩阵的例子。它在同一幅图中画出了两列的所有组合。

pandas 中的高级操作

The SQL 关联

在 pandas 中实现关联是非常非常简单的data.merge(other_data, on=[ column_1 , column_2 , column_3 ])复制代码

关联三列只需要一行代码

分组

一开始并不是那么简单,你首先需要掌握语法,然后你会发现你一直在使用这个功能。data.groupby( column_1 )[ column_2 ].apply(sum).reset_index()复制代码

按一个列分组,选择另一个列来执行一个函数。.reset_index() 会将数据重构成一个表。

正如前面解释过的,为了优化代码,在一行中将你的函数连接起来。

行迭代dictionary = {}

for i,row in data.iterrows():

dictionary[row[ column_1 ]] = row[ column_2 ]复制代码

.iterrows() 使用两个变量一起循环:行索引和行的数据 (上面的 i 和 row)

总而言之,pandas 是 python 成为出色的编程语言的原因之一

我本可以展示更多有趣的 pandas 功能,但是已经写出来的这些足以让人理解为何数据科学家离不开 pandas。总结一下,pandas 有以下优点:易用,将所有复杂、抽象的计算都隐藏在背后了;

直观;

快速,即使不是最快的也是非常快的。

它有助于数据科学家快速读取和理解数据,提高其工作效率

以上就是Pandas 最详细教程的详细内容,更多请关注php中文网其它相关文章!

本文转载于:juejin,如有侵犯,请联系a@php.cn删除

python pandas 官网_Pandas 最详细教程相关推荐

  1. Centos | 官网下载Centos7详细教程

    官网下载:https://www.centos.org/download/ 点击上面官网下载链接,我是Windows操作系统,选择的是x86_64(点击x86_64) 这里随便选择一个下载源,我选的是 ...

  2. Maven官网下载安装详细教程

    1.下载安装Maven 第一步 百度搜索Maven,进入官网 第二步 在右侧选择Download 第三步 进入Download页面,选择第三个下载 第四步 下载后解压,接着是配置环境 2.配置环境变量 ...

  3. python pandas 官网_时间序列的Python-Pandas随机抽样

    你确定你需要一个更快的方法吗?你现在的方法没有那么慢.以下更改可能会简化,但不一定会更快: 步骤1:从数据帧列表中随机抽取一个样本(带替换项)rand_stocks = np.random.randi ...

  4. python -- PyQt5(designer)中文详细教程(一)Qt的基本功能

    在介绍PyQt5中文详细教程前,如有需要安装PyQt5的同学可以在此 PyQt5安装详细教程_M_Q_T的博客-CSDN博客参考安装,里面有详细的安装内容. 下一章内容python -- PyQt5( ...

  5. python官网怎么下载-python下载官网

    广告关闭 腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! 1.下载pythonpython下载步骤:(1). 进入python下载官网:ht ...

  6. python下载官网-python下载官网

    广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 1.下载pythonpython下载步骤:(1). 进入python下载 ...

  7. Eclipse正版(官网下载)安装教程及如何在win7或者win10安装配置jdk1.8

    Eclipse正版(官网下载)安装教程及如何在win7或者win10安装配置jdk1.8 阿源是个女程序员啊 1.首先我们先去Eclipse官网下载eclipse安装包,官网地址:http://www ...

  8. 官网下载Eclipse详细步骤

    官网下载Eclipse详细步骤 本文适用于64位的Windows操作系统 进入网址:https://www.eclipse.org/downloads/ 进入页面,直接点击橘黄的Download 64 ...

  9. Python实现照片大小调整的详细教程

    Python实现照片大小调整的详细教程 照片大小调整在图片处理过程中是必不可少的一个环节,本文将详细介绍如何使用Python实现对照片大小的调整,以及相应的代码实现. 环境准备 在开始编写代码之前,需 ...

最新文章

  1. NotificationCenter
  2. [导入]金山词霸2005精简版下载地址
  3. JQuery移除事件
  4. 只读账号设置-db_datareader
  5. PAT甲级1075 PAT Judge:[C++题解]排序、结构体
  6. springMVC3学习--ModelAndView对象(转)
  7. linux网络编程之广播详细代码及文档说明 -,Linux网络编程之广播
  8. docker容器与宿主拷贝文件
  9. python弹窗输入_Python中使用tkinter弹窗获取输入文本
  10. c语言设置bufsiz大小,c语言缓冲区有关问题及c++中的this指针
  11. 敏捷开发流程简单了解
  12. [转]Sandboxie 的工作原理
  13. 从零基础入门Tensorflow2.0 ----七、34 embedding rnn
  14. Python爬取百度热榜前十条数据
  15. Oracle 之 AIO (异步io)
  16. 管道泄漏监测系统分布式光纤测温技术方案
  17. 为什么我玩游戏那么卡?
  18. 4G新业务--RCS简介
  19. 动态规划问题(凑硬币)理解总结
  20. MacBook安装Windows系统后耗电快的原因在这里

热门文章

  1. Kendo UI组件Kendo UI Support for Vue发布R3 2018|附下载
  2. 统计能量法的用武之地
  3. SARIMA初步研究
  4. 西安工业大学计算机二级在哪个校区,西安工大“学霸兄弟”:4年前考入同一学院,又同时被211名校录取...
  5. 虚拟机安装docker
  6. PAT Basic Level 1032 挖掘机技术哪家强(C++实现)
  7. oliver什么意思java_Oliver的含义是什么
  8. 记录:增程式混合动力 和 串联式混合动力汽车 有什么区别与联系?
  9. wazuh api分析
  10. docker部署zabbix6.0服务