炼数成金数据分析课程---7、数据分析简介

一、总结

一句话总结：

我终于知道他们是要做一些什么样的工作了

1、我们导入了数据，是否可以立即进行数据分析？

需要对数据做预处理：比如去除脏数据这些

2、数据整理和预处理操作一般有哪些？

1、数据清洗
2、合并数据集
3、数据转换
4、重塑和轴向旋转
-数据清洗
-合并数据集
-数据转换
-重塑和轴向旋转
-字符串操作
-示例

3、数据清洗主要做哪些操作？

缺失值处理：比如删除记录、数据插补、不处理等方法
异常值处理：可以剔除，或者修改为正常值，或者影响小的话不处理
-删除记录
-数据插补——拉格朗日插值法、生顿插值法
-不处理

4、数据插补常用的方法有哪些？

均值/中位数/众数插补    根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补
使用固定值     将缺失的属性值用一个常量替换。如广州一个工厂普通外来务工人员的“基本工资”属性的空缺值可以用2015年广州市普通外来务工人员工资标准1895元/月，该方法就是使用固定值
最近临插补    在记录中找到与缺失样本最接近的样本的该属性值插补对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数据建立
回归方法   拟合模型来预测缺失的属性值
均值/中位数/众数插补    根据属性值的类型，用该属性取值的平均数/中位数/众数进行插补
使用固定值     将缺失的属性值用一个常量替换。如广州一个工厂普通外来务工人员的“基本工资”属性的空缺值可以用2015年广州市普通外来务工人员工资标准1895元/月，该方法就是使用固定值
最近临插补    在记录中找到与缺失样本最接近的样本的该属性值插补对带有缺失值的变量，根据已有数据和与其有关的其他变量（因变量）的数据建立
回归方法   拟合模型来预测缺失的属性值
插值法   插值法是利用已知点建立合适的插值函数f（x）未知值由对应点x求出的函数值f(xi)近似代替

5、拉格朗日插值法的原理是什么？

多项式插值：构建多项式，使所有的点落在上面，然后缺失的值就在曲线上面找即可

6、牛顿插值法（有些python库不提供，因为和拉格朗日插值法的原理一样）的原理是什么？

也是多项式插值：原理和拉格朗日插值法一样，都是构造函数，然后在函数上面找点
更好的集成性，和易于变动节点：比拉格朗日插值法有更好的集成性，和易于变动节点的特点

7、拉格朗日插值法的实例？

餐厅月销量数据补全：一个餐厅的月销量数据，缺少了14号的，我们想要把14号的数据补全，直接用python调用函数填数据即可
使用特别简单：直接用python调用函数即可

8、如果我们有缺失值，但是我们不想处理，对我们后面的模型有什么要求？

需要缺失值不影响到后面模型的建模

9、数据清洗中异常值我们怎么处理？

可以剔除，或者修改为正常值，或者影响小的话不处理

10、数据清洗中的异常值对应机器学习中的那一部分内容？

噪点：就是为什么过度拟合不是太好的原因

11、数据分析中的数据集的合并我们怎么做？

用python的pandas库：还有左连接，右连接，内连接这些数据库操作
-Merge方法：根据一个或多个键将不同dataframe中的行合并
-Concat方法：沿一条轴将对多个对象堆叠起来

二、内容在总结中

1、相关知识

2、代码

转载于:https://www.cnblogs.com/Renyi-Fan/p/10989438.html

炼数成金数据分析课程---7、数据分析简介相关推荐

  1. 炼数成金R七种武器之金融数据分析quantmod

    更多资源进群: 377215114 炼数成金<数据分析,展现与R语言>课程上线已经有18个月,至今已经培训了近千名学员,对在中国推动开源数据分析软件起到了重要作用.应广大受众的要求,我们在 ...

  2. 炼数成金数据分析课程---8、数据清洗

    炼数成金数据分析课程---8.数据清洗 一.总结 一句话总结: 数据分析课程的实质是:介绍库中的函数:介绍py的3个常用的数据分析库(numpy,pandas,scipy)的函数的操作 实例:其实找几 ...

  3. 炼数成金数据分析课程---16、机器学习中的分类算法（交叉内容，后面要重点看）...

    炼数成金数据分析课程---16.机器学习中的分类算法(交叉内容,后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用分类算法(如Knn.决策树.贝叶斯分类器等)的原理及pytho ...

  4. 炼数成金数据分析课程---17、机器学习聚类算法（后面要重点看）

    炼数成金数据分析课程---17.机器学习聚类算法(后面要重点看) 一.总结 一句话总结: 大纲+实例快速学习法 主要讲解常用聚类算法(比如K-means等)的原理及python代码实现:后面学习聚类的 ...

  5. 炼数成金数据分析课程---13、回归分析

    炼数成金数据分析课程---13.回归分析 一.总结 一句话总结: 大纲+实例快速学习法 主要内容是回归分析的原理及编程实现 1.回归分析是什么? 通过建立模型来研究变量之间相互关系的密切程度.结构状态 ...

  6. python数据内容_炼数成金：Python数据分析内容分享

    相信看这篇文章的每一位朋友,都有过努力学习 炼数成金:Python数据分析     这个课程.提升自我的想法, 可是学习是一件非常反人性的事情,大多数人都是晚上想想千条路,早上醒来走原路.  也相信很 ...

  7. 【备忘】2017年最新炼数成金机器读心术之神经网络与深度学习视频教程

    课程大纲: 第1课 跌宕起伏70年:神经网络发展概述:最简单的神经元仿生:单层感知器. 第2课 线性神经网络,BP神经网络,基于梯度下降的各种学习算法:BP神经网络应用:信用识别:为什么BP网络丌能支 ...

  8. 炼数成金邀请码：YY96

    dataguru 炼数成金 邀请码 YY96 学费减免 dataguru 炼数成精  邀请码 YY96 学费减免 炼数成金邀请码,使用邀请码报名课程可以减免50%固定学费哦! http://edu.d ...

  9. 炼数成金 优惠码 C183

    最近想学点大数据的分析,找到了炼数成金这个网站,感觉很不错,报名了一个课程,最近炼数成金正在搞活动,使用优惠码立即减一半学费,分享出我的优惠码 所有课程都可以使用!!!!!!!!!! 优惠码:C183

最新文章

  1. 图像轮廓的提取和绘制
  2. 内核compiler.h的学习
  3. c# webservice生成客户端及使用时碰到decimal类型时的特殊处理
  4. ERROR 1045 (28000): Access denied for user'root'@'localhost'(using password:YES)
  5. AcWing 320. 能量项链
  6. git只提交一张图片_即使只使用一张静止的图片，也能制作出带有动感天空的视频...
  7. 对警报线程池的警报线程_审核和警报SQL Server作业状态更改（启用或禁用）
  8. BIND 服务器修复多个高危漏洞
  9. mysql server再次安装失败_MySQL在windows上多次安装失败
  10. 在spring管理的类的要注意问题
  11. 台式计算机常用总线,计算机中常见的总线有哪些
  12. 美通企业周刊 | 麦当劳阿里巴巴开启全域合作；老佛爷百货中国第三店落户贵阳；OPPO推出首款智能电视...
  13. 【20220825】【数学基础】用最小二乘法求解超定方程组
  14. 用java语言写出青蛙的身份_第三章　JAVA 语言基础
  15. java开发常用排名前16的Java工具类
  16. 单列通栏布局版式示意HTML,整体布局2——页面排版布局
  17. 简单动态字符串（SDS）
  18. java小球挡板游戏_多线程的一个小球游戏，就是以前的那个Pong游戏
  19. 不一样的【青椒炒蛋】—36道超人气家常菜
  20. 如何克服焦虑，不安，紧张

热门文章

  1. 古人教你怎样识人不走眼
  2. Newton-Raphson切线法解高次方程近似根
  3. “消费者至上：媒体新时代 ”主题响彻IBC2019
  4. DSP28335 CAN模块例程
  5. 概率论与数理统计学习笔记（6）——分布律，分布函数，密度函数
  6. python控制浏览器脚本_Chrome 33+浏览器 Cookies encrypted_value解密脚本（python实现）...
  7. 手机银行APP评测系列：天津银行持续优化手机银行用户体验，但仍需加强细节提升
  8. 如何组建权责明确、运营高效的数据团队
  9. 软件测试面试屡屡失败，面试官总是说逻辑思维混乱，怎么办？
  10. sql 当为空值时置0_SQL查询值为空时默认输出0的方法