pandas 索引_Pandas学习笔记03数据清洗(通过索引选择数据)

2024-06-07 07:52:41

点击上方"可以叫我才哥"关注我们

今天我们就在jupyterlab里进行操作演示，本次推文内容主要以截图为主了。
有兴趣的可以公众号回复 "索引" 获取演示原数据及 ipynb文件。
数据清洗中，我们经常需要从原始数据中通行列索引规则选择需要用于后续处理分析的数据，这便是本次的主要内容。

数据清洗(通过索引选择数据)

1.索引设置

我们在使用pandas读取文件数据时，可以设定初始的索引。
这里我用之前爬取过的拉勾网产品经理岗位数据进行演示如下：

读取数据时指定索引

1.1.reindex

reindex方法可以重新进行索引排序，如果某个索引值之前不存在则会引入缺失值。

reindex重新进行索引排序

1.2.set_index

set_index就是将某列设置为索引

set_index设置索引列

1.3.reset_index

reset_index就是重置索引(变为默认的索引 0到len()-1)，比如可以把上面set_index设置的索引取消，，经常用在对数据进行处理(分组或透视处理)后

reset_index重置索引

1.4.rename

rename可以将行列索引标签名进行替换，用字典的形式

在这里插入图片描述

2.索引选择

2.1. iloc 整数标签

df数据

2.1.1. 行索引

行索引

2.1.2. 列索引

列索引

2.1.3. 混合索引

混合索引

2.2. loc 轴标签

2.2.1.行索引

行索引

2.2.2.列索引

列索引

2.2.3.混合索引

混合索引

2.2.4.函数式索引

函数式索引

2.3. []操作符方法

df[val]主要是选取某列或某些列序列，当然我们也可以通过切片形式选取行(这里是整数索引切片形式)

2.3.1.行索引

行索引

2.3.2.列索引

列索引

2.3.3.混合索引与函数式索引

混合索引与函数式索引

2.3.4.布尔索引

布尔索引可以理解为条件判断，根据条件判断选择满足的数据，是我们在数据清洗中最常见的手段之一。
布尔符号：'&','|','~'：分别代表和and，或or，取反not单条件、且与或

布尔索引

取反、contains与isin

布尔索引

3.删除重复数据

duplicated方法返回是否重复的布尔列表

查看原始数据重复值情况

drop_duplicates方法删除重复数据，保留一条(可选第一条或最后一条)
keep = 'last' 保留最后一条
keep = 'first' 保留第一条

删除重复值

4.思考题

采取至少2种以上获取偶数行的方式

有兴趣的可以公众号回复 "索引" 获取演示原数据及 ipynb文件

嗨，你还在看吗？

pandas 索引_Pandas学习笔记03数据清洗(通过索引选择数据)相关推荐

linux pandas教程_Pandas 学习笔记
1. 安装如果做数据分析用途建议使用Anaconda,自带pandas numy 以及很多库,还有集成开发环境Spyder(自带的变量查看器很好用) WIN LINUX MAC均支持. 安装之后可以 ...
MySQL 8——学习笔记03（插入、更新、删除数据 [DML语句]、查询数据 [DQL语句]）
MySQL 8--学习笔记03(插入.更新.删除数据 [DML语句]) 一.插入数据 1.1 插入所有字段.插入部分字段 1.2 同时插入多条记录(批量插入) 1.3 将查询结果插入到表中二.更新 ...
安装命令：pip install xlrd ,pandas操作Excel学习笔记__7000
pandas操作Excel学习笔记_loc和iloc_7000 pandas操作Excel学习笔记__7000 1.安装环境:pandas需要处理Excel的模块xlrd,所以需要提前安装xlrd.不 ...
Python 基础学习笔记 03
Python基础系列 Python 基础学习笔记 01 Python 基础学习笔记 02 Python 基础学习笔记 03 Python 基础学习笔记 04 Python 基础学习笔记 05 文章目录 ...
ESP32 单片机学习笔记 - 03 - MCPWM脉冲输出/PCNT脉冲计数
ESP32 单片机学习笔记 - 03 - MCPWM脉冲输出/PCNT脉冲计数前言,继续上一篇的内容.因为上一篇刚好实验了iic和spi,形成一对.接下来讲pwm另起一篇. 目录 ESP32 单片机 ...
天池龙珠训练营-机器学习学习笔记-03 LightGBM 分类
天池龙珠训练营-机器学习学习笔记-03 LightGBM 分类本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容,学习链接为:训练营一原理简介: 它是一款基于GBDT(梯度提升决策树)算法的 ...
Git 的安装与初次使用 —— Git 学习笔记 03
Git 的安装与初次使用 -- Git 学习笔记 03 Git 的安装与初次使用 -- Git 学习笔记 03 安装 Git 在 Linux 上安装在 Windows 上安装初次运行 Git 前的 ...
JavaWeb黑马旅游网-学习笔记03【登陆和退出功能】
Java后端学习路线笔记汇总表[黑马程序员] JavaWeb黑马旅游网-学习笔记01[准备工作] JavaWeb黑马旅游网-学习笔记02[注册功能] JavaWeb黑马旅游网-学习笔记03[登陆和 ...
HTML/CSS学习笔记03【CSS概述、CSS选择器、CSS属性、CSS案例-注册页面】
w3cschool菜鸟教程.CHM(腾讯微云):https://share.weiyun.com/c1FaX6ZD HTML/CSS学习笔记01[概念介绍.基本标签.表单标签][day01] HTML ...

最新文章

热门文章