数据清洗

数据清洗概述

数据对于算法来说，就好比石油对于汽车。但石油也是提炼于原油，需要花费很大的功夫进行开采、提炼。

同样，作为一名机器学习工程师，大量的时间就要用于清洗数据，把最原始的数据清理为我们的算法模型可以直接用来训练的数据。

常用手段

简单介绍几个数据清洗手段：

缩放特征值

指缩小特征值的范围，留下一些高价值的特征值，删除一些用处不是很大的特征值。其有点如下：

使梯度下降算法更加迅速地收敛
避免NaN陷阱（超出精度范围）
帮助模型为特征确定合适的权重

清查

简单来说就是手动检查一遍所有的数据，现实生活中的数据往往会有很多问题。例如：

遗漏值
例如，有人忘记为某个房屋的年龄输入值。
重复样本
例如，服务器错误地将同一条记录上传了两次。
不良标签。
例如，有人错误地将一颗橡树的图片标记为枫树。
不良特征值。
例如，有人输入了多余的位数

很多研究生干的都是这个事。

人工智能学习教程笔记-5：数据清洗相关推荐

LaTeX中文学习教程笔记
视频地址: LaTeX中文学习教程(用于论文或稿件排版,15集全) 用LaTeX写期刊论文的详细教程一.基本结构 % 导言区 \documentclass{article}%book,article ...
Scala学习教程笔记二之函数式编程、Object对象、伴生对象、继承、Trait、
1:Scala之函数式编程学习笔记: 1:Scala函数式编程学习:1.1:Scala定义一个简单的类,包含field以及方法,创建类的对象,并且调用其方法:class User {private v ...
MySQL精品学习资源合集 | 含学习教程笔记、运维技巧、图书推荐
MySQL凭借开源.免费.低门槛.稳定等优势,成为了当前最流行的关系型数据库之一.从1998年发行第一版以来,通过不断地更新迭代,MySQL被越来越多的公司使用,已然成为当下潮流. 为了帮助大家更好地 ...
Leaflet学习教程+笔记(Mars2D)
Leaflet学习(Mars2D) 一快速开始中文教程–小白必备中文API文档–学会查阅文档准备工作-引入文件 <link rel="stylesheet" href ...
MybatisMybatisPlusSpringboot之最全入门学习教程笔记
目录 1 Mybatis概述 1.1 Mybatis概念 1.1.1 JDBC 缺点 1.1.2 Mybatis优化 1.2 快速入门 1.2.1 创建数据库 1.2.2 IDEA2021创建项目 1 ...
pytorch学习教程笔记（一）
(注:代码来自pytorch官网) 学习使用pytorch构建神经网络,首先我们来看一下不使用深度学习框架的网络如何构建 ```python # -*- coding: utf-8 -*- impor ...
Cesium学习教程+笔记(Mars3D) 图层图层组矢量数据
图层与图层组为什么需要了解图层组?图层与图层组又是啥关系? 之前学过的点线面都是矢量数据 , 添加到矢量图层直接到地图上的 var tucengdian = new mars3d.layer.Gra ...
python 入门学习教程笔记-- BMR 计算器
本讲内容涉及到的知识点有: 1.数值类型: 2.字符串分割,字符串格式化输出,使用{}占位 https://docs.python.org/3/library/stdtypes.html#str.sp ...
《UE4蓝图完全学习》笔记
UE4蓝图完全学习教程笔记文章目录 UE4蓝图完全学习教程笔记 Chapter 1 & 2 1. 打印字符串:print(printstring) 2. 创建各种类型的文本:make lit ...

人工智能学习教程笔记-5：数据清洗

文章目录

数据清洗

数据清洗概述

常用手段

缩放特征值

清查

人工智能学习教程笔记-5：数据清洗相关推荐

最新文章

热门文章