大数据工程师技能要求的学习路线图

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

1. 大数据工程师

2. 数据分析师

3. 大数据科学家

4. 其他（数据挖掘等）

二、大数据工程师的技能要求

附上大数据工程师技能图：

必须掌握的技能11条

1. Java高级(虚拟机、并发)

2. Linux 基本操作

3. Hadoop（HDFS+MapReduce+Yarn ）

4. HBase（JavaAPI操作+Phoenix ）

5. Hive(Hql基本操作和原理理解）

6. Kafka

7. Storm/JStorm

8. Scala

9. Python

10. Spark (Core+sparksql+Spark streaming ）

11. 辅助小工具(Sqoop/Flume/Oozie/Hue等)

高阶技能6条

1. 机器学习算法以及mahout库加MLlib

2. R语言

3. Lambda 架构

4. Kappa架构

5. Kylin

6. Alluxio

三、学习路径

加米谷大数据理论＋代码＋实战＋实操的独有课程体系，下面是加米谷的0基础大数据开发课程大纲：

第一阶段：Java设计与编程思想

学习内容：Java设计与编程思想

学习目标：Java基础、Java面向对象、Java高级、数据库与JDBC

学习效果：熟练掌握Java语法并灵活运用，能够开发后台应用

第二阶段：Web前端开发

学习内容：Web前端开发

学习目标：HTML基础、CSS3基础、JS脚本编程

学习效果：能够基于HTML+CSS+JQuery进行前端开发

第三阶段：JavaEE进阶

学习内容：JavaEE进阶

学习目标：JavaWeb后端开发、SSM框架

学习效果：掌握主流JavaWeb框架并灵活运用

第四阶段：大数据基础

学习内容：大数据基础

学习目标：Linux基础、Maven基础

学习效果：熟练掌握Linux及Maven等相关知识并灵活运用

第五阶段：HDFS分布式文件系统

学习内容：HDFS分布式文件系统

学习目标：HDFS原理剖析、HDFS编程

学习效果：深入理解HDFS的原理并灵活运用

第六阶段：MapReduce分布式计算模型

学习内容：MapReduce分布式计算模型

学习目标：MapReduce原理剖析、MapReduce实践

学习效果：熟练掌握MapReduce原理并灵活运用

第七阶段：Yarn分布式资源管理器

学习内容：Yarn分布式资源管理器

学习目标：Yarn原理剖析、Yarn实践

学习效果：深入理解Yarn的原理并调优

第八阶段：Zookeeper分布式协调服务

学习内容：Zookeeper分布式协调服务

学习目标：Zookeeper原理剖析、Zookeeper实践

学习效果：深入理解Zookeeper的原理并灵活运用

第九阶段：Hbase分布式数据库

学习内容：Hbase分布式数据库

学习目标：Hbase原理剖析、Hbase编程实践

学习效果：深入理解Hbase的原理并灵活运用及调优

第十阶段：Hive分布式数据仓库

学习内容：Hive分布式数据仓库

学习目标：Hive原理剖析、Hive编程实践

学习效果：深入理解Hive的原理并灵活运用

第十一阶段：FlumeNG分布式数据采集系统

学习内容：FlumeNG分布式数据采集系统

学习目标：FlumeNG原理剖析、FlumeNG编程实践

学习效果：熟练掌握FlumeNG的各种应用场景

第十二阶段：Sqoop大数据迁移系统

学习内容：Sqoop大数据迁移系统

学习目标：Sqoop原理剖析、Sqoop编程实践

学习效果：熟练掌握Sqoop并灵活运用

第十三阶段：Scala大数据黄金语言

学习内容：Scala大数据黄金语言

学习目标：Scala语法剖析、Scala应用实践

学习效果：熟练掌握Scala各种语法并灵活运用

第十四阶段：kafka分布式总线系统

学习内容：kafka分布式总线系统

学习目标：kafka原理剖析、kafka编程实践

学习效果：深入理解kafka原理并灵活运用及调优

第十五阶段：SparkCore大数据计算基石

学习内容：SparkCore大数据计算基石

学习目标：SparkCore核心原理、SparkCore实践

学习效果：深入理解SparkCore原理并灵活运用及调优

第十六阶段：SparkSQL数据挖掘利器

学习内容：SparkSQL数据挖掘利器

学习目标：SparkSQL核心原理、SparkSQL实践

学习效果：熟练掌握SparkSQL的各种应用场景并灵活运用

第十七阶段：SparkStreaming流失计算平台

学习内容：SparkStreaming流失计算平台

学习目标：SparkStreaming核心原理、SparkStreaming实践

学习效果：深入理解SparkStreaming原理及各种应用场景和调优

第十八阶段：SparkMllib机器学习平台

学习内容：SparkMllib机器学习平台

学习目标：SparkMllib算法模型及核心原理、SparkMllib实践

学习效果：熟练掌握SparkMllib的常用算法并灵活运用

第十九阶段：SparkGraphx图计算平台

学习内容：SparkGraphx图计算平台

学习目标：SparkGraphx核心原理、SparkGraphx实践

学习效果：深入理解SparkGraphx的原理并灵活运用

第二十阶段：大数据项目实战

学习内容：大数据项目实战

学习目标：4个大数据项目的实战

学习效果：能够基于所学知识在真实的项目中操练
人工智能、大数据、云计算和物联网的未来发展值得重视，均为前沿产业，多智时代专注于人工智能和大数据的入门和科谱，在此为你推荐几篇优质好文：
大数据工程师就业培训哪个好?
http://www.duozhishidai.com/article-15082-1.html
大数据工程师培训，需要学习的有哪些课程?
http://www.duozhishidai.com/article-15081-1.html
如何成为一名优秀的大数据工程师
http://www.duozhishidai.com/article-7673-1.html

多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

大数据工程师技能要求的学习路线图相关推荐

大数据工程师技能图谱
人工智能大数据与深度学习公众号: weic2c 大数据工程师技能图谱 https://github.com/TeamStuQ/skill-map http://skill-map ...
大数据工程师的海量数据存储学习清单！
大数据和AI的能力在企业应用中发挥着越来越重要的价值,企业在提升数字化转型带来的数字到知识萃取助力于业务的同时,离不开数据在不同场景的进行存储.与数据引擎进行交付,而这些贯穿在数据生命的整个周期,流转 ...
大数据工程师培训，需要学习的课程有哪些?
大数据工程师培训课程有哪些?目前大数据基础课程需要学习Web标准化网页制作,必备的HTML标记和属性.HTML表格.表单的设计与制作.学习CSS.丰富HTML网页的样式.通过CSS布局和定位的学习.让 ...
小白成为大数据工程师需掌握哪些知识技能
小白成为大数据工程师需掌握哪些知识技能 [导语]在大数据学习当中,关于打基础的部分,一直以来都是大家非常重视的,基础打好了,才能真正在后续的发展当中受益,更快地成长起来.作为大数据行业小白,想要成为 ...
大数据工程师学习计划
申明:本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学习路径,不适用于大数据工程师的进阶学习,也不适用于零编程基础的同学. 前言一.背景介绍本人目前是一名大数据工程师,项目 ...
做大数据工程师，需要学习什么？
一.大数据方向工作介绍大数据方向的工作目前分为三个主要方向: 大数据工程师数据分析师大数据科学家其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的方向吧) 二.大数据工程师的 ...
大数据工程师学习路线
转载来源:https://blog.csdn.net/GitChat/article/details/78341484 申明: 本文旨在为普通程序员(Java程序员最佳)提供一个入门级别的大数据技术学 ...
大数据工程师学习路线，大数据培训后好就业吗?能拿多少钱?
大数据开发工程师在一线城市和大数据发展城市的薪资是比较高的,因为我接触到的学生毕业后一般在北京.广东.上海.南京地区就业的居多,所以可能我的概括也有局限性仅供你参考.对于一些大数据行业就业信息的数据报 ...
当我说要做大数据工程师时他们都笑我，直到三个月后……转
GitChat 作者:Fickr孫啟誠原文: 三个月大数据研发学习计划实战解析关注微信公众号:「GitChat 技术杂谈」一本正经的讲技术 [不要错过文末彩蛋] 申明: 本文旨在为普通程序员 ...

大数据工程师技能要求的学习路线图

大数据工程师技能要求的学习路线图相关推荐

最新文章

热门文章