用Python做数据分析之数据统计
接下来说说数据统计部分,这里主要介绍数据采样,标准差,协方差和相关系数的使用方法。
1、数据采样
Excel 的数据分析功能中提供了数据抽样的功能,如下图所示。Python 通过 sample 函数完成数据采样。
2、数据抽样
Sample 是进行数据采样的函数,设置 n 的数量就可以了。函数自动返回参与的结果。
1#简单的数据采样
2df_inner.sample(n=3)
3、简单随机采样
Weights 参数是采样的权重,通过设置不同的权重可以更改采样的结果,权重高的数据将更有希望被选中。这里手动设置 6 条数据的权重值。将前面 4 个设置为 0,后面两个分别设置为 0.5。
1 #手动设置采样权重
2 weights = [0, 0, 0, 0, 0.5, 0.5]
3 df_inner.sample(n=2, weights=weights)
手动设置采样权重1:从采样结果中可以看出,后两条权重高的数据被选中。
手动设置采样权重2:Sample 函数中还有一个参数 replace,用来设置采样后是否放回。
1 #采样后不放回
2 df_inner.sample(n=6, replace=False)
4、描述统计
Excel 中的数据分析中提供了描述统计的功能。Python 中可以通过 Describe 对数据进行描述统计。
Describe 函数是进行描述统计的函数,自动生成数据的数量,均值,标准差等数据。下面的代码中对数据表进行描述统计,并使用 round 函数设置结果显示的小数位。并对结果数据进行转置。
1#数据表描述性统计
2df_inner.describe().round(2).T
5、标准差
Python 中的 Std 函数用来接算特定数据列的标准差。
1 #标准差
2 df_inner[‘price’].std()
3 1523.3516556155596
6、协方差
Excel 中的数据分析功能中提供协方差的计算,python 中通过 cov 函数计算两个字段或数据表中各字段间的协方差。
Cov 函数用来计算两个字段间的协方差,可以只对特定字段进行计算,也可以对整个数据表中各个列之间进行计算。
1#两个字段间的协方差
2df_inner[‘price’].cov(df_inner[‘m-point’])
317263.200000000001
7、相关分析
Excel 的数据分析功能中提供了相关系数的计算功能,python 中则通过 corr 函数完成相关分析的操作,并返回相关系数。
1)相关系数
Corr 函数用来计算数据间的相关系数,可以单独对特定数据进行计算,也可以对整个数据表中各个列进行计算。相关系数在-1 到 1 之间,接近 1 为正相关,接近-1 为负相关,0 为不相关。
1 #相关性分析
2 df_inner[‘price’].corr(df_inner[‘m-point’])
3 0.77466555617085264
8、数据输出
第九部分是数据输出,处理和分析完的数据可以输出为 xlsx 格式和 csv 格式。
1)写入 excel
1#输出到 excel 格式
2df_inner.to_excel(‘excel_to_python.xlsx’, sheet_name=‘bluewhale_cc’)
2)写入CVS
1 #输出到 CSV 格式
2 df_inner.to_csv(‘excel_to_python.csv’)
在数据处理的过程中,大部分基础工作是重复和机械的,对于这部分基础工作,我们可以使用自定义函数进行自动化。以下简单介绍对数据表信息获取自动化处理。
1 #创建数据表
2 df = pd.DataFrame({‘id’:[1001,1002,1003,1004,1005,1006],
3’date’:pd.date_range(‘20130102’, periods=6),
4’city’:['Beijing ', ‘SH’, ’ guangzhou ', ‘Shenzhen’, ‘shanghai’, 'BEIJING '],
5 ‘age’:[23,44,54,32,34,32],
6 ‘category’:[‘100-A’,‘100-B’,‘110-A’,‘110-C’,‘210-A’,‘130-F’],
7 ‘price’:[1200,np.nan,2133,5433,np.nan,4432]},
8 columns =[‘id’,‘date’,‘city’,‘category’,‘age’,‘price’])
9
10 #创建自定义函数
11 def table_info(x):
12 shape=x.shape
13 types=x.dtypes
14 colums=x.columns
15 print(‘数据维度(行,列):\n’,shape)
16 print(‘数据格式:\n’,types)
17 print(‘列名称:\n’,colums)
18
19 #调用自定义函数获取 df 数据表信息并输出结果
20 table_info(df)
21
22 数据维度(行,列):
23 (6, 6)
24 数据格式:
25 id int64
26 date datetime64[ns]
27 city object
28 category object
29 age int64
30 price float64
31 dtype: object
32 列名称:
33 Index([‘id’, ‘date’, ‘city’, ‘category’, ‘age’, ‘price’], dtype=‘object’)
以上就是如何用Python做数据统计的全部内容了,感兴趣的小伙伴下方留言区留言。
文章来源:网络 版权归原作者所有
上文内容不用于商业目的,如涉及知识产权问题,请权利人联系小编,我们将立即处理
用Python做数据分析之数据统计相关推荐
- 各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(二):统计并展示数据
各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(一):爬虫选手信息 各位集美兄得看过来! 利用AI给青春有你2的选手们做数据分析挖掘(二):统计并展示数据 各位集美兄得看过来! 利用 ...
- java爬取网页数据_利用Python做数据分析—对前程无忧数据类岗位进行分析
引言 随着时代的发展,我国在各行各业都需要大量的人才引进,处于近几年最热门的行业也称"最火行业":大数据.数据分析.数据挖掘.机器学习.人工智能,这五门行业各有不同又互有穿插.近几 ...
- python做数据分析的包_用Python做数据分析,Numpy,Pandas,matp
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 用Python做数据分析,Numpy,Pandas,matplotlib是怎么也绕不开的三个包,我最开始学习pandas是看的<利用Python进行 ...
- 每天10分钟用python学数据分析_用Python做数据分析,Numpy,Pandas,matp
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 用Python做数据分析,Numpy,Pandas,matplotlib是怎么也绕不开的三个包,我最开始学习pandas是看的<利用Python进行 ...
- python numpy pandas 书 全_用Python做数据分析,Numpy,Pandas,matp
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 用Python做数据分析,Numpy,Pandas,matplotlib是怎么也绕不开的三个包,我最开始学习pandas是看的<利用Python进行 ...
- python数据分析如何学_用Python做数据分析,Numpy,Pandas,matp
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 用Python做数据分析,Numpy,Pandas,matplotlib是怎么也绕不开的三个包,我最开始学习pandas是看的<利用Python进行 ...
- 一文看懂怎么用 Python 做数据分析
作者 | 蓝鲸网站分析博客 来源 | http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-3.html 常遇到 ...
- python数据分析优势-用Python做数据分析有哪些优势?
原标题:用Python做数据分析有哪些优势? 在大数据的浪潮下,许多行业都开始运用数据来指导各项商业决策的实施.那么我们应该如何进行数据分析呢?这个时候Python出现在我们的眼前,作为数据分析的一大 ...
- python做统计分析_用Python做数据分析,Numpy,Pandas,matp
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 用Python做数据分析,Numpy,Pandas,matplotlib是怎么也绕不开的三个包,我最开始学习pandas是看的<利用Python进行 ...
- 利用Python进行数据分析:数据规整(基于DataFrame)
利用Python进行数据分析:数据规整 在许多应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析.本部分关注可以聚合.合并.重塑数据的方法. 文章目录 利用Python进行数据分析:数据 ...
最新文章
- 我来告诉你考研还是找工作!
- ceph的数据存储之路(10) -----ceph对象存储的ls命令实现及思考
- 软件研发中的N条原则
- stm32 窗口看门狗学习(二)
- 图片加到json中,提交到服务器端处理异常问题。
- yum 安装mysql 5.0_CentOS 通过 yum 安装 Mysql 5.0
- html怎么加圆圈,圆圈1怎么打 word怎么打一个圈里面加数字1
- mupdf添加图片水印_在博客园里给图片加水印(canvas + drag)
- ES6: 模板字符串
- java bouncycastle,使用BouncyCastle在Java中使用ECIES进行加密
- Mybatis自定义轻量级分页组件(易集成,易拓展)
- 论文略读1《Direct training for spiking neural networks:faster,larger,better》
- THREE.js为正方体的6个面贴上图片
- 微信中的黑科技你知道吗?
- kvm切换器不了linux系统,KVM切换器使用中最常见故障排除处理
- 自建免费的代理ip池
- 14.说说ATL常用包装类的用法和坑
- 手机短信真的可信吗# 传统短信伪造攻击的可能性证明
- 超级简单却又非常好吃的一顿饭——排骨汤
- 判断边界由1组成的最大正方形面积
热门文章
- JAVA 图片格式转换 jpg、jpeg、png格式互转
- OpenAI Whisper论文笔记
- 计算机中文字转换为表格怎么弄,怎样将wps中的文字转化成表格?
- Java中undefined是什么意思,Haskell中的undefined和Java中的null有什么区别?
- 通过ajax单独上传图片
- 化学与计算机技术,计算机技术与化学教学整合浅议
- 梦幻手游网页版校验服务器失败,梦幻神域手游服务器验证失败进不去解决办法...
- 看这玩意复习你还会挂科?《web开发1篇》
- 思科ccie认证网络工程师——MAC地址认证和MAC地址旁路认证解析必看
- 天涯上令人肝肠寸断的100个经典签名