近来由于数据记录和属性规模的急剧增长，大数据处理平台和并行数据分析算法也随之出现。于此同时，这也推动了数据降维处理的应用。实际上，数据量有时过犹不及。有时在数据分析应用中大量的数据反而会产生更坏的性能。

最新的一个例子是采用 2009 KDD Challenge 大数据集来预测客户流失量。 该数据集维度达到 15000 维。 大多数数据挖掘算法都直接对数据逐列处理，在数据数目一大时，导致算法越来越慢。该项目的最重要的就是在减少数据列数的同时保证丢失的数据信息尽可能少。

以该项目为例，我们开始来探讨在当前数据分析领域中最为数据分析人员称道和接受的数据降维方法。

缺失值比率 (Missing Values Ratio)

该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此，可以将数据列缺失值大于某个阈值的列去掉。阈值越高，降维方法更为积极，即降维越少。该方法示意图如下：

低方差滤波 (Low Variance Filter)

与上个方法相似，该方法假设数据列变化非常小的列包含的信息量少。因此，所有的数据列方差小的列被移除。需要注意的一点是：方差与数据范围相关的，因此在采用该方法前需要对数据做归一化处理。算法示意图如下：

高相关滤波 (High Correlation Filter)

高相关滤波认为当两列数据变化趋势相似时，它们包含的信息也显示。这样，使用相似列中的一列就可以满足机器学习模型。对于数值列之间的相似性通过计算相关系数来表示，对于名词类列的相关系数可以通过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留一列。同样要注意的是：相关系数对范围敏感，所以在计算之前也需要对数据进行归一化处理。算法示意图如下：

随机森林/组合树 (Random Forests)

组合决策树通常又被成为随机森林，它在进行特征选择与构建有效的分类器时非常有用。一种常用的降维方法是对目标属性产生许多巨大的树，然后根据对每个属性的统计结果找到信息量最大的特征子集。例如，我们能够对一个非常巨大的数据集生成非常层次非常浅的树，每颗树只训练一小部分属性。如果一个属性经常成为最佳分裂属性，那么它很有可能是需要保留的信息特征。对随机森林数据属性的统计评分会向我们揭示与其它属性相比，哪个属性才是预测能力最好的属性。算法示意图如下：

主成分分析 (PCA)

主成分分析是一个统计过程，该过程通过正交变换将原始的 n 维数据集变换到一个新的被称做主成分的数据集中。变换后的结果中，第一个主成分具有最大的方差值，每个后续的成分在与前述主成分正交条件限制下与具有最大方差。降维时仅保存前 m(m < n) 个主成分即可保持最大的数据信息量。需要注意的是主成分变换对正交向量的尺度敏感。数据在变换前需要进行归一化处理。同样也需要注意的是，新的主成分并不是由实际系统产生的，因此在进行 PCA 变换后会丧失数据的解释性。如果说，数据的解释能力对你的分析来说很重要，那么 PCA 对你来说可能就不适用了。算法示意图如下：

反向特征消除 (Backward Feature Elimination)

在该方法中，所有分类算法先用 n 个特征进行训练。每次降维操作，采用 n-1 个特征对分类器训练 n 次，得到新的 n 个分类器。将新分类器中错分率变化最小的分类器所用的 n-1 维特征作为降维后的特征集。不断的对该过程进行迭代，即可得到降维后的结果。第k 次迭代过程中得到的是 n-k 维特征分类器。通过选择最大的错误容忍率，我们可以得到在选择分类器上达到指定分类性能最小需要多少个特征。算法示意图如下：

前向特征构造 (Forward Feature Construction)

前向特征构建是反向特征消除的反过程。在前向特征过程中，我们从 1 个特征开始，每次训练添加一个让分类器性能提升最大的特征。前向特征构造和反向特征消除都十分耗时。它们通常用于输入维数已经相对较低的数据集。算法示意图如下：

我们选择 2009 KDD chanllenge 的削数据集来对这些降维技术在降维率、准确度损失率以及计算速度方面进行比较。当然，最后的准确度与损失率也与选择的数据分析模型有关。因此，最后的降维率与准确度的比较是在三种模型中进行，这三种模型分别是：决策树，神经网络与朴素贝叶斯。

通过运行优化循环，最佳循环终止意味着低纬度与高准确率取决于七大降维方法与最佳分类模型。最后的最佳模型的性能通过采用所有特征进行训练模型的基准准确度与 ROC 曲线下的面积来进行比较。下面是对所有比较结果的对比。

从上表中的对比可知，数据降维算法不仅仅是能够提高算法执行的速度，同时也能过提高分析模型的性能。 在对数据集采用：缺失值降维、低方差滤波，高相关滤波或者随机森林降维时，表中的 AoC 在测试数据集上有小幅度的增长。

确实在大数据时代，数据越多越好似乎已经成为公理。我们再次解释了当数据数据集宝航过多的数据噪声时，算法的性能会导致算法的性能达不到预期。移除信息量较少甚至无效信息唯独可能会帮助我们构建更具扩展性、通用性的数据模型。该数据模型在新数据集上的表现可能会更好。

最近，我们咨询了 LinkedIn 的一个数据分析小组在数据分析中最为常用的数据降维方法，除了本博客中提到的其中，还包括：随机投影(Random Projections)、非负矩阵分解(N0n-negative Matrix Factorization),自动编码(Auto-encoders),卡方检测与信息增益(Chi-square and information gain)， 多维标定(Multidimensional Scaling), 相关性分析(Coorespondence Analysis), 因子分析(Factor Analysis)、聚类(Clustering)以及贝叶斯模型(Bayesian Models)。

数据分析七种降维方法相关推荐

1. 随机森林matlab降维,七种降维方法

   之前介绍过关于降维和特征选择,这里对几种降维方法进行介绍,与之前的方法大致相同. ​1 缺失值比例 ​该方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少.因此,可以将数据列缺失值大于某个阈值 ...

2. 看！数据分析领域中最为人称道的七种降维方法

   http://dataunion.org/20803.html 感谢王穆荣的投稿,转载请注明出处:数盟社区 近来由于数据记录和属性规模的急剧增长,大数据处理平台和并行数据分析算法也随之出现.于此同时, ...

3. C库函数qsort七种使用方法示例

   这篇文章是  一楼那个学长写的  C库函数qsort七种使用方法示例 七种qsort排序方法<本文中排序都是采用的从小到大排序> 一.对int类型数组排序 C++代码 int num[10 ...

4. 10截图时屏幕变大_解锁电脑更多的截屏姿势：Win 10中自带的七种截图方法

   说起电脑截图,我们很容易想到的是微信中Alt+A的快捷方式,但如果我们电脑中没有安装微信却要对屏幕内容进行截图应该怎么办?马上下载并安装微信?没有那么复杂,Win 10就自带了多达七种截图方法,熟悉其 ...

5. C语言运行时电脑白屏怎么办,win10电脑白屏死机无响怎么回事_win10电脑白屏死机无响七种解决方法...

   win10专业版使用一段时间后出现白屏死机的问题,开机后不是登录界面,而是白色屏幕,尝试多次还是一样,怎么办呢?此故障原因无非是硬件或软件两大原因,有什么办法解决呢?此文小编告诉大家解决win10电脑 ...

6. html语言单词背不下来,专八词汇背不下来？来看看这七种记忆方法

   专八词汇背不下来?来看看这七种记忆方法 01 结合构词法记忆单词 前缀记忆,英语单词前缀很多. 常用前缀有: anti-(反对,防止),co-(共同),de-(离开,除去),dis-(否定,相反), ...

7. R实战| PCA、tSNE、UMAP三种降维方法在R中的实现

   降维 在组学分析中,一般通过降维算法得到低纬度如二维或三维的新坐标数据,再结合可视化技术去展示样本的在新坐标的空间分布,接着加上统计检验结果证实整体组学水平上组间的差异性.降维算法有基于线性模型的PC ...

8. 流形学习的四种降维方法

   文章目录 流形学习 主成分分析(PCA) 原理 实现 手写版 调库版 缺点 奇异值分解(SVD) 原理 实现 线性判别分析(LDA) 原理 手写版 调库版 PCA与LDA 局部线性嵌入(LLE) 原理 ...

9. 12种降维方法终极指南（含Python代码）

   12种降维方法终极指南(含Python代码) 你遇到过特征超过1000个的数据集吗?超过5万个的呢?我遇到过.降维是一个非常具有挑战性的任务,尤其是当你不知道该从哪里开始的时候.拥有这么多变量既是一个 ...

最新文章

1. android VectorDrawable使用笔记(三)
2. Operation condition And timing analysis
3. Python字节到大整数的打包与解包
4. 【转】多种文件上传绕过手法
5. USB3.0超高速接口应用方案
6. Oracle定义变量、常量
7. 字典生成工具_CANOpen系列教程09_CANOpen对象字典
8. 【Codeforces Round #424 (Div. 2) C】Jury Marks
9. [设计模式] ------ 观察者模式和他的升级版发布订阅模式
10. 随想录（字节序和位序）
11. 基于Weblogic的JNDI数据库连接调优项
12. tcp序列号为什么是随机的_TCP与UDP
13. eclipse里启动rabbitmq报错 java.net.SocketException: Connection reset
14. ios开发快速入门教程
15. Windows如何设置右键快捷键
16. 空降Leader，如何开展工作
17. APP上查个人信用报告靠谱吗？
18. 关于滚动贯穿的解决方案
19. JAVA解题【We Are A Team】
20. 视频格式转换器下载哪个好？分享：3种TS到MP4的转换器

热门文章

1. 网络攻击之防重放篇~
2. ubuntu: 查看cuda版本
3. Python学习日记07
4. 为什么小型软件外包公司很难盈利（一）
5. 数据库中的五种约束及其添加方法
6. Collections详解
7. 命名规则之大驼峰命名法和小驼峰命名法
8. ZeroMemory、memset 和 “={0}” 三者区别
9. 深度学习入门之神经网络的学习
10. Linux nginx 项目部署