Python处理Excel数据-pandas篇
Python处理Excel数据-pandas篇
非常适用于大量数据的拼接、清洗、筛选及分析
在计算机编程中,pandas是Python编程语言的用于数据操纵和分析的软件库。特别是,它提供操纵数值表格和时间序列的数据结构和运算操作。它的名字衍生自术语“面板数据”(panel data),这是计量经济学的数据集术语,它们包括了对同一个体的在多个时期上的观测。它的名字是短语“Python data analysis”自身的文字游戏。
目录
- Python处理Excel数据-pandas篇
- 一、安装环境
- 1、打开以下文件夹(个人路径会有差异):
- 2、按住左Shift右键点击空白处,选择【在此处打开Powershell窗口(s)】
- 3、输入以下代码通过Pip进行安装Pandas库
- 二、数据的新建、保存与整理
- 1、新建数据保存到Excel
- 2、读取txt文件,将内容保存到Excel(引用B站UP 孙兴华示例文件)
- 3、读取Excel及DataFrame的使用方式
- 三、数据排序与查询
- 1、排序
- 例1:按语文分数排序降序,数学升序,英语降序
- 例2:按索引进行排序
- 2、查询
- 单条件查询
- 多条件查询
- 使用数据区间范围进行查询
- 使用条件表达式进行查询
一、安装环境
1、打开以下文件夹(个人路径会有差异):
C:\Users\Administrator\AppData\Local\Programs\Python\Python38\Scripts
2、按住左Shift右键点击空白处,选择【在此处打开Powershell窗口(s)】
3、输入以下代码通过Pip进行安装Pandas库
./pip install pandas
./pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
安装完成后会有提示:Successfully installed pandas
二、数据的新建、保存与整理
1、新建数据保存到Excel
import pandas as pd
path = 'E:\python\测试\测试文件.xlsx'
data= pd.DataFrame({'序号':[1,2,3],'姓名':['张三','李四','王五']})
data= data.set_index('序号') #设置索引列为'序号'列
data.to_excel(path)
2、读取txt文件,将内容保存到Excel(引用B站UP 孙兴华示例文件)
Txt文件:
E:\python\练习.txt
男,杨过,19,13901234567,终南山古墓,2000/1/1
女,小龙女,25,13801111111,终南山古墓,2000/1/2
男,郭靖,40,13705555555,湖北襄阳,2020/1/1
女,黄蓉,35,13601111111,湖北襄阳,2000/1/4
男,张无忌,18,13506666666,明教,2000/1/5
女,周芷若,17,13311111111,明教,2000/1/6
女,赵敏,17,18800000000,明教,2000/1/7
import pandas as pd
path = r'E:\python\练习.txt'
data = pd.read_csv(path,header=None,names=['性别','姓名','年龄','地址','号码','时间'])
data.to_excel( r'E:\python\练习.xlsx') #将数据储存为Excel文件
3、读取Excel及DataFrame的使用方式
import pandas as pdpath = 'E:\python\测试\\数据查询.xlsx'
data = pd.DataFrame(pd.read_excel(path,sheet_name='Left',header=1,converters={'A': str})) # converters={'A': str} 设置A列格式为文本data.index # 查看索引
data.values # 查看数值
data.sort_index() # 按索引排序
data.sort_values() # 按数值排序
data.head( 5 ) # 查看前5行
data.tail( 3 ) # 查看后3行
data.values # 查看数值
datashape # 查看行数、列数
data.isnull() # 查找data中出现的空值
data.unique() # 查看唯一值
data.columns # 查看data的列名
data.sort_index() # 索引排序
data.sort_values() # 值排序pd.merge(data1,data2) # 合并,以下为左连接
pd.merge(data1,data2,on=[a],how='left')
pd.concat([data1,data2]) # 合并,与merge的区别,自查**(特别注意要使用[])**
pd.pivot_table( data ) # 用df做data透视表(类似于Excel的数透)data.reset_index() # 修改、删除原有索引
data.reindex() # 重置索引,如下示例
data=data.reindex(columns=['商品名称', '规格', '对应车型类别', '备注', '新增的一列'], fill_value='新增的一列要填的值') a=data['x'] # 取列名为'x'的列,格式为series
b=data[['x']] # 取列名为'x'的列,格式为Dataframe
c=data[['w','z']] # 取多列时需要用Dataframe的格式
data.loc['A'] # 取行名为'A'的行
data.loc[:,['x','z'] ] # 表示选取所有的行以及columns为x,z的列
data['name'].values # 取列名为'name'的列的值(取出来的是array而不是series)取单行后是一个Series,Series有index而无columns,可以用name来获取单列的索引
data.head(4) # 取头四行
data.tail(3) # 取尾三行
**data= data.iloc[2:, 2:20] # 选择2行开始、2-11列**
[m, n] = data.shape # 对m,n进行复制,m等于最大行数 n等于最大列数data.notnull() # 非空值
data.dropna() # 删除空值
data.dropna() # 删除有空值的行
data.dropna(axis=1) # 删除有空值的列
data.dropna(how='all') # 删除所有值为Nan的行
data.dropna(thresh=2) # 至少保留两个非缺失值
data.strip() # 去除列表中的所有空格与换行符号
data.fillna(0) # 将空值填充0
data.replace(1, -1) # 将1替换成-1data.fillna(100) # 填充缺失值为100
data.fillna({'语文':100,'数学':100,}) # 不同列填充不同值
data.fillna(method='ffill') # 将空值填充为上一个值
data.fillna(method='bfill') # 将空值填充下一个值
data.fillna(method='bfill',limit=1) # 将空值填充下一个值,限制填充数量为1
三、数据排序与查询
1、排序
例1:按语文分数排序降序,数学升序,英语降序
import pandas as pd
path = 'c:/pandas/排序.xlsx'
data= pd.read_excel(path ,index_col='序号')
data.sort_values(by=['语文','数学','英语'],inplace=True,ascending=[False,True,False])
print(data)
例2:按索引进行排序
import pandas as pd
path = 'c:/pandas/排序.xlsx'
data = pd.read_excel(路径,index_col='序号')
data.sort_index(inplace=True)
print(data)
2、查询
单条件查询
import pandas as pd
path = 'c:/pandas/筛选.xlsx'
data = pd.read_excel(path ,index_col='出生日期')
print(data.loc['1983-10-27','语文'])
多条件查询
import pandas as pd
path = 'c:/pandas/筛选.xlsx'
data = pd.read_excel(path ,index_col='出生日期')
print(data.loc['1983-10-27',['语文','数学','英语']])
使用数据区间范围进行查询
import pandas as pd
path = 'c:/pandas/筛选.xlsx'
data = pd.read_excel(path,index_col='出生日期')
print(data.loc['1983-10-27':'1990-12-31',['语文','数学','英语']])
使用条件表达式进行查询
import pandas as pd
path = 'c:/pandas/筛选.xlsx'
data = pd.read_excel(路径,index_col='出生日期')
print(data.loc[(data['语文'] > 60) & (data['英语'] < 60),:]) #这里的 ,: 指的是列取全部
今天的分享到此就结束啦,后续还会继续更新~
Python处理Excel数据-pandas篇相关推荐
- python pandas excel数据处理_Python处理Excel数据-pandas篇
Python处理Excel数据-pandas篇 非常适用于大量数据的拼接.清洗.筛选及分析 在计算机编程中,pandas是Python编程语言的用于数据操纵和分析的软件库.特别是,它提供操纵数值表格和 ...
- python读写excel数据--pandas
文章目录 1读写excel数据 1.1 读: 1.1 写: 2举例 2.1 要求 2.2 实现 1读写excel数据 利用pandas可以很方便的读写excel数据 1.1 读: data_in = ...
- 0基础python入门书籍 excel_【曾贤志】从零基础开始用Python处理Excel数据 - 第1季 基础篇...
=====[曾贤志]从零基础开始用Python处理Excel数据 第1季 基础篇====== 1-1 什么是python? .mp4 1-2 为什么要学习用Python处理Excel表格? .mp4 ...
- python读取excelsheet-一文看懂用Python读取Excel数据
原标题:一文看懂用Python读取Excel数据 导读:现有的Excel分为两种格式:xls(Excel 97-2003)和xlsx(Excel 2007及以上). Python处理Excel文件主要 ...
- python处理excel教程实例-python如何处理excel数据
python处理excel数据的方法:1.使用xlrd来处理:2.使用[xlutils+xlrd]来处理:3.使用xlwt来处理:4.使用pyExcelerator来处理:5.使用Pandas库来处理 ...
- python做excel数据条件_懂点EXCEL就行!教你利用Python做数据筛选(上)
前言 Python的数据清洗功能有多厉害,相信不用我说大家都知道了,寥寥几行代码便可以把一份杂乱无章的表格给处理的干干净净.但是python也是不容易入门的,毕竟编程语言要理解和精通也是要花不少功夫的 ...
- python归档excel数据_python 数据存储excel
Python的小数据存储,用什么格式更有逼格? 小数据存储 我们在编写代码的时候,经常会涉及到数据存储的情况,如果是爬虫得到的大数据,我们会选择使用数据库,或者excel存储.但如果只是一些小数据,或 ...
- python导入excel数据-Python数据处理之导入导出excel数据
欢迎点击上方"AntDream"关注我 .Python的一大应用就是数据分析了,而数据分析中,经常碰到需要处理Excel数据的情况.这里做一个Python处理Excel数据的总结, ...
- python做excel自动化视频教程-从零基础入门到精通用Python处理Excel数据视频教程...
从零基础入门到精通用Python处理Excel数据视频教程 1.从零基础开始用python处理Excel数据 1-1 什么是python.mp4 1-2 为什么要学习用Python处理Excel表格. ...
- python将EXCEL数据导入数据库时日期型数据变成数字并加.0的问题一行代码解决方案方案
[问题描述]:python将EXCEL数据导入数据库时日期变成文本型数据并显示为数字格式 [解决方案] 数据源: codes: #!/usr/bin/python3 -- coding: utf-8 ...
最新文章
- 在云服务器上持续运行springboot项目
- python发送文件给微信好友_Python定时自动给微信好友发送天气预报
- ☆聊聊Spring系列_Index
- 最近缺货涨价的MCU有这些国产可以替代对标国外!(TOP 60)
- pycharm中如何正确配置pyqt5
- Spring vs Guice:重要的一个关键区别
- e-mobile帐号状态存在异常_一文掌握异常检测的实用方法 | 技术实践
- 正则不等于一个字符串_乳饮料不等于酸奶,记住一个关键词,花最少的钱买到真正的好酸奶...
- mamcache登录、_gomemcache首页、文档和下载 - memcache客户端库 - Go语言中文网 - Golang中文社区...
- sqlmap第一次打靶成功
- Dockerfile文件详解
- GridView 分页导航
- IC卡读写模块(MFRC522) 简介调试QT实现
- python下载完了之后怎么用_python下载后怎么用
- IAR的破解、K60项目的设置
- Axure RP8导入文件报错
- Android 一键加速原理
- 卡巴斯基2017免费版发布下载:文件/网页杀毒、自动更新/保护
- 邮箱如何设置smtp服务器端口,如何改变你的SMTP端口来允许发送电子邮件
- Google云存储服务GDrive再度浮出水面
热门文章
- FireMonkey ListView 设计期添加按钮及其 OnClick 事件
- 易软门诊管理软件php,易软诊所管理软件
- 任我行CRM8.4破解版,任我行破解版免费下载,v8.4完整破解稳定版【捡肥皂】
- user reg.php,织梦member/reg_new.php SQL注入漏洞修复
- mysql增加约束sql语句_sql语句添加约束
- 计算机逻辑门电路图,三态门逻辑电路图大全(三款三态门逻辑电路图)
- STM32-RTC实时时钟-毫秒计时实现
- setup factory 安装前静默卸载
- 计算机四级网络题型,全国计算机四级考试题型
- 首席翻译的英语学习方法