数据分析常用知识体系

数据分析常用知识体系

【数据获取】

一、获取原始数据

1、从数据库 / 数据仓库中获取（数据库 + 数据仓库 + SQL提数）

2、爬虫爬取（R语言爬虫 + Python爬虫）

3、手工整理（问卷数据录入、数据表制作等）

二、获取整理好的数据

1、数据资源下载（统计局、经管之家等）

2、数据资源调取（R语言内置数据集、Python内置数据集）

【数据预处理】

一、数据库

1、常用数据库基础知识（Mysql、sqlServer、Oracle、Hbase + Hive）

2、SQL语句（数据查询select from、数据去重distinct、数据限制where、数据排序order by、数据顺序desc + asc、数据分组group by、数据过滤having、数据锁定limit、条件关联and + or + in / not in、通配符like + _、计算字段count + max + avg等、子查询、表联结inner join + left join + right join、插入数据insert into、创建表create、更新数据update、删除数据delete、删除表drop）

二、EXCEL

1、工作表处理（格式设置、数据编辑）

2、数据查看（筛选、排序、查找替换、分类汇总、数据透视表、数据透视图）

3、函数（vlookup、计算函数等） + 图表制作（基础图形 + 改进图形）

三、R

1、数据读写（读取csv文件、读取txt文件等）

2、数据查看（查看数据整体情况View、查看数据前几行head和后几行tail、查看数据的维度dim、查看数据的类型class、查看数据中各变量的基础情况str、查看数据长度length）

3、数据检查与基本处理（数据转换as.vector + as.data.frame、数据连接rbind + cbind等）

4、数据运算（数学运算、统计运算、函数运算）

5、数据清洗（缺失值、异常值、数据格式化）

四、Python

同上述R语言，但为Python代码

【数据建模分析】

一、常用业务模型

1、通用业务模型（RFM 、AARRR、5W2H、波士顿矩阵、波特五力模型、4P理论等）

2、行业专用模型（教育行业、互联网行业、交通行业、医药行业等）

二、常用数学 / 统计 / 机器学习知识

1、描述统计（平均数、中位数、众数、方差、标准差、分位数、极差、偏度、峰度等）

2、推断统计（区间估计、假设检验、方差分析、回归分析）

3、常用模型（关联规则、决策树、聚类分析、神经网络、SVM、随机森林等）

4、模型评价（混淆矩阵、ROC曲线等）

三、R

上述各模型的R代码

四、Python

上述各模型的Python代码

——————————————————★

互联网数据分析岗位求职备战手册

数据分析常用知识体系相关推荐

数据分析知识体系与校招时间线
一.数据分析知识体系整理 1.统计学(数据分析核心理论基础之一) 具体知识点: 统计学两大基础定理:大数定理,中心极限定理常见分布的图像,性质与应用(ex. 正态分布,泊松分布-) 假设检验 &am ...
python中pandas格式_Python学习笔记之数据分析中Pandas常用知识
前言 Pandas基于两种数据类型:series与dataframe. 一个series是一个一维的数据类型,其中每一个元素都有一个标签.series类似于Numpy中元素带标签的数组.其中,标签可以 ...
收藏！一张图帮你快速建立大数据知识体系
简介: 对海量数据进行存储.计算.分析.挖掘处理需要依赖一系列的大数据技术,而大数据技术又涉及了分布式计算.高并发处理.高可用处理.集群.实时性计算等,可以说是汇集了当前 IT 领域热门流行的 IT ...
收藏！数据建模最全知识体系解读
摘要:一文带你认知数据建模最全知识体系,详细解读三范式.星型模型.雪花模型.星座模型.建模规范等内容. 一.前言数据建模乍一听的时候感觉非常的有技术性,并且外行感觉非常的高大上,高深莫测. 在目前的 ...
20张高清数据分析全知识地图，拿去吧你
最近团队小伙伴为大家整理了20张数据分析的知识地图,话不多说直接上图,觉得有用别忘了转发点赞收藏!(还打包成了电子版,文末领) 1.数据分析步骤地图 2.数据分析基础知识地图 3.数据分析技术知识地图 ...
大数据学习路线图（知识体系整理）
概述本文针对想学习大数据技术从事大数据开发的人员总结了一套专业的学习路线图.大体可以分为以下个阶段七个阶段:入门知识学习阶段 → 基础程序语音学习 → Hadoop生态体系学习 → 分布式计算框架( ...
分分钟拯救监控知识体系
监控 zabbix 监控是整个运维乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供详实的数据用于追查定位问题. 目前业界有很多不错的开源产品可供选择.选择一款开源的监控系统,是一个省 ...
架构师知识体系(5)--建立自己的知识体系吧
http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=400103116&idx=1&sn=89bc2f3644603ffc ...
DAMA数据管理知识体系简介
目录一.DAMA数据管理知识体系简介二.DAMA数据管理知识体系框架三.DAMA数据管理知识体系的用途和目的四.企业使用DAMA数据管理知识体系的收益一.DAMA数据管理知识体系简介 DAM ...

数据分析常用知识体系

数据分析常用知识体系相关推荐

最新文章

热门文章