数据分析之噪声值处理

1，盖帽法：

#todo 噪声值处理  盖帽法 计算出百分位数q1 = data['NewAge'].quantile(0.01)
q99 = data['NewAge'].quantile(0.99)def func(flo,qmax):def f(x):if x < flo:x=floelif x>qmax:x=qmaxreturn xreturn ffunc1 = func(q1,q99)data['NewAge'] = data['NewAge'].map(func1)
print(data['NewAge'].describe())

注意里面嵌套函数的写法： 外面的func（）函数返回的是一个函数
func1 就是当flo = q1, qmax = q99 时返回的函数。

2，分箱法：把所有的数据利用方法 **pd.qcut（）**分为一段一段的

##todo 分箱法  qcut()
data['NewAge_qcut'] = pd.qcut(data['NewAge'],4)
data.to_csv('C:/Users/76189/Desktop/routine项目/python学习/camp_fin.csv')
print(data)

数据分析之噪声值处理相关推荐

matlab怎么看输出电压纹波,教你如何正确取电源的输出纹波噪声值
描述在设计或应用电源时,大家都会关心电源的输出纹波噪声,但取多少合适呢?若要求放宽了,纹波噪声过大,电路不能正常工作,还费时间调试修改.要求高了,自然滤波器的成本上升,且可能变成是杀鸡用牛刀式的过度 ...
python dataframe 计算上下两行的差值_用Python进行数据清洗！
导读:数据清洗是数据分析的必备环节,在进行分析过程中,会有很多不符合分析要求的数据,例如重复.错误.缺失.异常类数据. Python资源共享群:626017123 01 重复值处理数据录入过程.数据 ...
TLE207x低噪声高速JFET-输入运算放大器的噪声特性测量
00低噪声放大器 TLE207x 是来自于TI公司的神奇的(Excalibur)低噪声高速JFET输入OPAMP.TI的Excalibur工艺对它的运放可以降低到11.6nV/Hz11.6nV/\sq ...
【数据分析】你一定要掌握的Python七种数据清洗方法
本文链接:https://blog.csdn.net/zw0Pi8G5C1x/article/details/84610050 01 重复值处理数据录入过程.数据整合过程都可能会产生重复数据,直接删 ...
基于python的网贷平台Prosper数据分析
1. 项目背景及问题定义 1.1 项目背景 P2P网络借贷来源于p2p小额借贷,P2P小额借贷是一种将非常小额度的资金聚集起来借贷给游资净需求人群的一种商业模式,p2p借贷是指不需要以银行等传统金融机 ...
10、数据分析--数据降维
数据降维不是正则化,虽然都是解决过拟合的方式 ※数据降维的核心:特征值分解知识补充:数据可以从大数据厂商购置或爬虫获取 fit在用升维,降维,训练等处理进行拟合是必要操作(这样才能得到实质的处理 ...
OpenCV—中值滤波
中值滤波器中值滤波器是一种非线性滤波器,常用于消除图像中的椒盐噪声.与低通滤波不同的是,中值滤波有利于保留边缘的尖锐度,但它会洗去均匀介质区域中的纹理. 椒盐噪声椒盐噪声是由图像传感器,传输信道, ...
【OpenCV 例程200篇】92. 指数噪声、均匀噪声、椒盐噪声
[OpenCV 例程200篇]92. 指数噪声.均匀噪声.椒盐噪声欢迎关注『OpenCV 例程200篇』系列,持续更新中欢迎关注『Python小白的OpenCV学习课』系列,持续更新中 2 ...
实时体积云渲染(地平线)：二.Perlin噪声和Worley噪声
实时体积云渲染(地平线):二.Perlin噪声和Worley噪声 Perlin噪声 Perlin噪声同样是网格点噪声的一种,不同于之间在网格点生成随机值的白噪声,Perlin噪声在网格点生成一个随机的 ...

数据分析之噪声值处理

数据分析之噪声值处理相关推荐

最新文章

热门文章