【机器学习】特征预处理
特征预处理
目标
了解数值型数据、类别型数据特点
应用MinMaxScaler实现对特征数据进行归一化
应用StandardScaler实现对特征数据进行标准化
1、什么是特征预处理
特征预处理:通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
可以通过上面那张图来理解
1.1 包含内容
数值型数据的无量纲化:
归一化
标准化
1.2 特征预处理API
sklearn.preprocessing
为什么我们要进行归一化/标准化?
特征的单位或者大小相差较大,或者某特征的方差相比其他的特征要大出几个数量级,容易影响(支配)目标结果,使得一些算法无法学习到其它的特征
约会对象数据
我们需要用到一些方法进行无量纲化,使不同规格的数据转换到同一规格
归一化
定义
通过对原始数据进行变换把数据映射到(默认为[0,1])之间
公式
作用于每一列,max为一列的最大值,min为一列的最小值,那么X’’为最终结果,mx,mi分别为指定区间值默认mx为1、mi为0
那么怎么理解这个过程呢?我们通过一个例子
API
- sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )
- MinMaxScalar.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值:转换后的形状相同的array
- MinMaxScalar.fit_transform(X)
数据计算
我们对以下数据进行运算,在dating.txt中。保存的就是之前的约会对象数据
milage,Liters,Consumtime,target
40920,8.326976,0.953952,3
14488,7.153469,1.673904,2
26052,1.441871,0.805124,1
75136,13.147394,0.428964,1
38344,1.669788,0.134296,1
分析
实例化MinMaxScalar
通过fit_transform转换
def minmax_demo():"""归一化:return:"""# 1、获取数据data = pd.read_csv("dating.txt")data = data.iloc[:, :3]print(data)# 2、实例化一个转换器类transform = MinMaxScaler()# transform = MinMaxScaler(feature_range=[2, 3])# 3、调用fit_transformdata_new = transform.fit_transform(data)print("data_new:\n", data_new)return None
问题:如果数据中异常点较多,会有什么影响?
2.5 归一化总结
注意最大值最小值是变化的,另外,最大值与最小值非常容易受异常点影响,所以这种方法鲁棒性较差,只适合传统精确小数据场景。
3 标准化
3.1 定义
通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内
3.2 公式
作用于每一列,mean为平均值,σ为标准差
所以回到刚才异常点的地方,我们再来看看标准化
对于归一化来说:如果出现异常点,影响了最大值和最小值,那么结果显然会发生改变
对于标准化来说:如果出现异常点,由于具有一定数据量,少量的异常点
对于平均值的影响并不大,从而方差改变较小。
API
- sklearn.preprocessing.StandardScaler( )
- 处理之后每列来说所有数据都聚集在均值0附近标准差差为1
- StandardScaler.fit_transform(X)
- X:numpy array格式的数据[n_samples,n_features]
- 返回值:转换后的形状相同的array
数据计算
同样对上面的数据进行处理
[[90,2,10,40],
[60,4,15,45],
[75,3,13,46]]
分析
实例化StandardScaler
通过fit_transform转换
def stand_demo():"""进行标准化在已有样本足够多的情况下,适合现在嘈杂大数据场景:return:"""# 1、获取数据data = pd.read_csv("dating.txt")data = data.iloc[:, :3]print(data)# 2、实例化一个转换器类transform = StandardScaler()# 3、调用fit_transformdata_new = transform.fit_transform(data)print("data_new:\n", data_new)return None
标准化总结
在已有样本足够多的情况下比较稳定,适合现代嘈杂大数据场景。
【机器学习】特征预处理相关推荐
- 机器学习数据预处理之缺失值:特征删除
机器学习数据预处理之缺失值:特征删除 garbage in, garbage out. 没有高质量的数据,就没有高质量的数据挖掘结果,数据值缺失是数据分析中经常遇到的问题之一.当缺失比例很小时,可直接 ...
- 机器学习-特征工程中的数据预处理
对于一个机器学习问题,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.由此可见,数据和特征在模型的整个开发过程中是比较重要.特征工程,顾名思义,是对原始数据进行一系列工程处理,将其提炼为 ...
- 机器学习系列|从白富美相亲看特征预处理与选择
上篇 1. 引言 再过一个月就是春节,相信有很多码农就要准备欢天喜地地回家过(xiang)年(qin)了.我们今天也打算讲一个相亲的故事. 讲机器学习为什么要讲相亲?被讨论群里的小伙伴催着相亲,哦不, ...
- 自动预测保险理赔:机器学习之特征预处理(Kaggle保险索赔竞赛案例)
原文地址:https://yq.aliyun.com/articles/65158?spm=5176.8091938.0.0.3Wl7HH 摘要: 针对Kaggle保险索赔竞赛给定的数据集,本文详细介 ...
- 机器学习之特征工程--特征预处理(上)
机器学习特征工程--特征预处理(上) 最近又重新看了下常用的特征预处理方法,主要来源是sklearn官方文档,一些关键信息记录下,留存用,有些乱和杂,抽时间再整理. 此为上篇,主要包括:线性转化,非线 ...
- 自动预测保险理赔:用具体案例讲解机器学习之特征预处理
首发地址:https://yq.aliyun.com/articles/65158 本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译. 以下为译文: 机器学习:特征预处理 我正在参加Kag ...
- 机器学习(4)特征预处理
目录 一.基础理论 1.定义 2.特征数据的无量纲化 3.归一化.标准化分析 归一化 标准化 二.归一化 1.归一化基本原理 过程: 1.读取待处理数据 2.创建归一化转换器 3.归一化处理(调用fi ...
- 机器学习算法基础——数据特征预处理
08.特征预处理-归一化 特征处理 通过特定的统计方法(数学方法)将数据转换成算法要求的数据 数值型数据:标准缩放: 归一化 标准化 缺失值 类别型数据:one-hot编码 时间 ...
- 机器学习-3.数据特征预处理与数据降维
特征预处理定义:通过特定的统计方法(数学方法)将数据转换成算法要求的数据. 处理方法 数值型数据:标准缩放(1.归一化,2.标准化):缺失值. 类别型数据:one-hot编码. 时间类型:时间的切分. ...
最新文章
- zabbix配fpmmm(mpm)数据传送不了问题解决
- (二)ElasticSearch6.1.1 Python API
- memcache中的add和set方法区别
- android api接口文档,API 接口文档
- 几种常见的长度单位整理
- 2014新浪研发project师实习笔试(哈尔滨站)
- VS不能设置断点可能的一个原因
- JVM故障分析系列之四:jstack生成的Thread Dump日志线程状态
- 安卓仿苹果键盘输入法_仿ios输入法
- 基于单片机的自行车码表设计
- 京东商品的历史价格走势
- 字符串折叠、涂色问题
- linux装回win10系统无法开机,ghost win10系统安装后无法启动怎么办
- 集运转运系统源码,快递物流一件代付系统源码
- 那些忍了很久的话——人工智能盲目跟风该休了
- Unity基础之EasyAR
- 阿里云ECS通用型g7云服务器支持vTPM第三代神龙架构性能评测
- cuda矩阵相乘_CUDA计算矩阵相乘
- 计算机辅助工业设计应用软件,计算机辅助工业设计(CAID)
- java iw_java知识回顾 - osc_iwr5mti2的个人空间 - OSCHINA - 中文开源技术交流社区
热门文章
- SIGIR 2021 | Pchatbot: 大规模个性化聊天机器人数据集
- 用户的购物历史都有用吗?看作者如何运用对比学习来筛选相关项
- 自监督学习新思路!基于蒸馏(distillation loss)的自监督学习算法
- 小米9拍照黑科技:基于NAS的图像超分辨率算法
- 【华为云踩坑】开启了入方向规则的 tcp/80 端口,仍然无法访问
- ACM-ICPC 2017 Asia Nanning
- 【归并排序】求逆序数算法
- 【SpringBoot集成ElasticSearch 02】Java HTTP Rest client for ElasticSearch Jest 客户端集成(配置+增删改查测试源码)【推荐使用】
- Spring Boot 内置Tomcat——集成PHP解决方案
- 《编译原理》实验预习报告——TINY语言的词法分析