这就是数据分析之数据变换
如果一个人在百分制的考试中得了 95 分，你肯定会认为他学习成绩很好，如果得了 65 分，就会觉得他成绩不好。如果得了 80 分呢？你会觉得他成绩中等，因为在班级里这属于大部分人的情况。
为什么会有这样的认知呢？这是因为我们从小到大的考试成绩基本上都会满足正态分布的情况。
什么是正态分布呢？正态分布也叫作常态分布，就是正常的状态下，呈现的分布情况。比如你可能会问班里的考试成绩是怎样的？
这里其实指的是大部分同学的成绩如何。以下图为例，在正态分布中，大部分人的成绩会集中在中间的区域，少部分人处于两头的位置。正态分布的另一个好处就是，如果你知道了自己的成绩，和整体的正态分布情况，就可以知道自己的成绩在全班中的位置。
数据变换在数据分析中的角色
我们举个例子，假设 A 考了 80 分，B 也考了 80 分，但前者是百分制，后者 500 分是满分，如果我们把从这两个渠道收集上来的数据进行集成、挖掘，就算使用效率再高的算法，结果也不是正确的。因为这两个渠道的分数代表的含义完全不同。
所以说，有时候数据变换比算法选择更重要，数据错了，算法再正确也是错的。你现在可以理解为什么 80% 的工作时间会花在前期的数据准备上了吧。
在数据变换前，我们需要先对字段进行筛选，然后对数据进行探索和相关性分析，接着是选择算法模型（这里暂时不需要进行模型计算），然后针对算法模型对数据的需求进行数据变换，从而完成数据挖掘前的准备工作。
所以你从整个流程中可以看出，数据变换是数据准备的重要环节，它通过数据平滑、数据聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式。
- 数据平滑：去除数据中的噪声，将连续数据离散化。这里可以采用分箱、聚类和回归的方式进行数据平滑，我会在后面给你讲解聚类和回归这两个算法；
- 数据聚集：对数据进行汇总，在 SQL 中有一些聚集函数可以供我们操作，比如 Max() 反馈某个字段的数值最大值，Sum() 返回某个字段的数值总和；
- 数据概化：将数据由较低的概念抽象成为较高的概念，减少数据复杂度，即用更高的概念替代更低的概念。比如说上海、杭州、深圳、北京可以概化为中国。
- 数据规范化：使属性数据按比例缩放，这样就将原来的数值映射到一个新的特定区域中。常用的方法有最小—最大规范化、Z—score 规范化、按小数定标规范化等，我会在后面给你讲到这些方法的使用；
- 属性构造：构造出新的属性并添加到属性集中。这里会用到特征工程的知识，因为通过属性与属性的连接构造新的属性，其实就是特征工程。比如说，数据表中统计每个人的英语、语文和数学成绩，你可以构造一个“总和”这个属性，来作为新属性。这样“总和”这个属性就可以用到后续的数据挖掘计算中。
在这些变换方法中，最简单易用的就是对数据进行规范化处理。下面我来给你讲下如何对数据进行规范化处理。
数据规范化的几种方法
Min-max 规范化
Min-max 规范化方法是将原始数据变换到[0,1]的空间中。用公式表示就是：
新数值=（原数值−极小值）/（极大值−极小值）新数值 =（原数值 - 极小值）/（极大值 - 极小值）新数值=（原数值−极小值）/（极大值−极小值）
Z-Score 规范化
假设 A 与 B 的考试成绩都为 80 分，A 的考卷满分是 100 分（及格 60 分），B 的考卷满分是 500 分（及格 300 分）。虽然两个人都考了 80 分，但是 A 的 80 分与 B 的 80 分代表完全不同的含义。
那么如何用相同的标准来比较 A 与 B 的成绩呢？Z-Score 就是用来可以解决这一问题的。我们定义：
新数值=（原数值−均值）/标准差新数值 =（原数值 - 均值）/ 标准差新数值=（原数值−均值）/标准差
假设 A 所在的班级平均分为 80，标准差为 10。B 所在的班级平均分为 400，标准差为 100。那么 A 的新数值 =(80-80)/10=0，B 的新数值 =(80-400)/100=-3.2。
那么在 Z-Score 标准下，A 的成绩会比 B 的成绩好。
我们能看到 Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和方差，而且结果没有实际意义，只是用于比较。
小数定标规范化
小数定标规范化就是通过移动小数点的位置来进行规范化。小数点移动多少位取决于属性 A 的取值中的最大绝对值。
举个例子，比如属性 A 的取值范围是 -999 到 88，那么最大绝对值为 999，小数点就会移动 3 位，即新数值 = 原数值 /1000。那么 A 的取值范围就被规范化为 -0.999 到 0.088。
Python 的 SciKit-Learn 库使用
SciKit-Learn 是 Python 的重要机器学习库，它帮我们封装了大量的机器学习算法，比如分类、聚类、回归、降维等。此外，它还包括了数据变换模块。我现在来讲下如何使用 SciKit-Learn 进行数据规范化。
Min-max 规范化
我们可以让原始数据投射到指定的空间[min, max]，在 SciKit-Learn 里有个函数 MinMaxScaler 是专门做这个的，它允许我们给定一个最大值与最小值，然后将原数据投射到[min, max]中。默认情况下[min,max]是[0,1]，也就是把原始数据投放到[0,1]范围内。我们来看下下面这个例子：
最大值为1，最小值为0，
2. Z-Score 规范化
在 SciKit-Learn 库中使用 preprocessing.scale() 函数，可以直接将给定数据进行 Z-Score 规范化。
3. 小数定标规范化
我们需要用 NumPy 库来计算小数点的位数。NumPy 库我们之前提到过。
这里我们看下运行代码：
数据挖掘中数据变换比算法选择更重要
在考试成绩中，我们都需要让数据满足一定的规律，达到规范性的要求，便于进行挖掘。这就是数据变换的作用。
如果不进行变换的话，要不就是维数过多，增加了计算的成本，要不就是数据过于集中，很难找到数据之间的特征。
在数据变换中，重点是如何将数值进行规范化，有三种常用的规范方法，分别是 Min-Max 规范化、Z-Score 规范化、小数定标规范化。其中 Z-Score 规范化可以直接将数据转化为正态分布的情况，当然不是所有自然界的数据都需要正态分布，我们也可以根据实际的情况进行设计，比如取对数 log，或者神经网络里采用的激励函数等。
这就是数据分析之数据变换相关推荐
- 这就是数据分析之数据集成
什么是数据集成 我们采集的数据经常会有冗余重复的情况.举个简单的例子,假设你是一个网络综艺节目的制片人,一共有 12 期节目,你一共打算邀请 30 位明星作为节目的嘉宾.你知道这些明星影响力都很大,具 ...
- 这就是数据分析之数据可视化基础概念及工具
图片在内容表达上,要远胜于文字,它不仅能体现数据真实性,还能给人很大的想象空间.如果你想做一名数据分析师,那么掌握可视化技能是必不可少的,因为在大部分情况下,老板更关心呈现的结果. 数据可视化的视图都 ...
- MATLAB 数据分析方法（第2版）2.3 数据变换
2.3 数据变换 2.3.1 数据属性变换 在解决经济问题综合评价时,评价指标通常分为效益型.成本型.适度型等类型.效益型指标值越大越好,成本型指标值越小越好,适度型指标值既不能太大也不能太小为好. ...
- R实战 第六篇：数据变换（aggregate+dplyr）
数据分析的工作,80%的时间耗费在处理数据上,而数据处理的主要过程可以分为:分离-操作-结合(Split-Apply-Combine),也就是说,首先,把数据根据特定的字段分组,每个分组都是独立的:然 ...
- 13 | 数据变换：考试成绩要求正态分布合理么？
上一讲中我给你讲了数据集成,今天我来讲下数据变换. 如果一个人在百分制的考试中得了 95 分,你肯定会认为他学习成绩很好,如果得了 65 分,就会觉得他成绩不好.如果得了 80 分呢?你会觉得他成绩中 ...
- 【Python数据分析】数据预处理2——数据集成
数据挖掘需要的数据往往分布在不同的数据源中,数据集成就是将多个数据源合并存放在一个一致的数据存储位置(如数据仓库)中的过程. 一.实体识别 常见的实体识别有: 1.同名异义(两个不同数据源中属性名称相 ...
- 【Python数据分析】数据预处理1——数据清洗
在数据挖掘过程中,数据预处理过程是占比很大的一部分工作 数据预处理过程主要有以下几个部分 1.数据清洗--2.数据集成--3.数据变换--4.数据规约 本文介绍数据清洗部分 一.缺失值分析与处理 1. ...
- 解读：大数据分析及其数据来源
当我们谈到大数据分析,首先需要确定数据分析的方向和拟解决的问题,然后才能确定需要的数据和分析范围.大数据驱动的分析主要的挑战不是技术问题,而是方向和组织领导的问题,要确定方向,提出问题,需要对行业做深 ...
- 大数据分析的“数据来源”有哪些？
当我们谈到大数据分析,首先需要确定数据分析的方向和拟解决的问题,然后才能确定需要的数据和分析范围.大数据驱动的分析主要的挑战不是技术问题,而是方向和组织领导的问题,要确定方向,提出问题,需要对行业做深 ...
最新文章
- 深度学习博士发出灵魂拷问：我是在做算法还是在调参？
- 宝塔服务器环境好不好_服务器环境怎么搭建？（宝塔环境搭建教程）
- C# 中 StringBuilder和String的区别
- 自相关函数怎么理解，为什么定义中有共轭，卷积呢。定义中的卷积，共轭有什么意义？尤其是在信号处理方面
- Linux中逻辑卷的快照与还原
- 【信息安全111班暑期学习工作任务】
- 斗地主AI算法——第十五章の测试模块
- Bootstrap3.0学习第二十六轮(JavaScript插件——图片轮播)
- 每一段感情结束后，是男方放下的快，还是女方放下的快？
- 北京2018网络赛 hihocoder#1828 : Saving Tang Monk II （BFS + DP +多开一维）
- 我的世界HMCL安装与使用
- Spring 5.0.3.RELEASE中的 Kotlin 语言等支持
- PVT(Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions)
- speedoffice文档中如何快速撤回到上一步操作
- 计算机组成1046Q表示什么,计算器里的tanh是什么意思
- 九 iOS之 图片剪裁
- 批量拿webshell工具【最新】
- java面试亮点技术
- 线性代数重要知识点和理论
- 电子商务电子支付实训二