成为一名大数据工程师,需要具备什么技能?
经常看到近几万的朋友都在疑惑,学习Java应该选择什么发展方向,这个咱们在之前的文章中有提到过,Java发展在领域上有三个选择方向:
JavaEE,主要应用于企业级应用开发;安卓开发方向;嵌入式应用开发方向。在此建议大家选择JavaEE方向,因为应用非常广泛,岗位设置也比较多。
但我们从来没有讨论过学习Java,难道这辈子就只能做Java后端开发吗?只能在这条路上奋斗到底吗?难道中途没有其他的选择吗?
偶然认识的一个朋友,最开始是从事Java后端开发的,后来他在业余时间自学成功转入大数据行业,现在是一名大数据工程师,待遇也比之前好更多。前提是他是一名Java后端开发。
大数据是我们如今比较火的一个发展方向。
但是大数据的起点要高,并不是所零基础就可以入门的。
我们接下来讲述的有关大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小白的话,那就只能成为一名工程师的后再来学习大数据吧。
一
认识大数据
大数据本质其实也是数据,不过也包括了些新的特征:
数据来源广; 数据格式多样化(结构化数据、非结构化数据、Excel文件等); 数据量大(最少也是TB级别的、甚至可能是PB级别); 数据增长速度快。
而针对以上新的特征需要考虑很多问题:
例如,数据来源广,该如何采集汇总?采集汇总之后,又该存储呢?数据存储之后,该如何通过运算转化成自己想要的结果呢?
对于这些问题,我们需要有相对应的知识解决。
二
大数据所需技能要求
Python语言:编写一些脚本时会用到。
Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。
Ozzie,azkaban:定时任务调度的工具。
Hue,Zepplin:图形化任务执行管理,结果查看工具。
Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。
必须掌握的技能:
Java高级(虚拟机、并发)、Linux 基本操作、Hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条:
机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio
三
学习规划
第一阶段
Linux学习:Linux操作系统介绍与安装、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。
Java 高级学习:掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。
Zookeeper学习:Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令。
第二阶段
Hadoop 、Hive、HBase、Scala、Spark 、Python
第三阶段
Sqoop、Flume、Oozie、Hue这些工具的学习主要在CSDN,51CTO以及官网都可以学习。
总结
在技术行业里面,每天都会有新的东西出现,需要关注最新技术动态,不断学习。任何一般技术都是先学习理论,然后在实践中不断完善理论的过程。
如果你觉得自己看书效率太慢,你可以网上搜集一些课程。
快速学习的能力、解决问题的能力、沟通能力在这个行业是真的非常重要的指标。
要善于使用StackOverFlow和Google来帮助你学习过程遇到的问题。
以上是我们对大数据学习的总结,需要有编程的基础,我们需要先掌握扎实的编程基础,有一定编程经验,自学起来也相对比开始要简单一点,然后对大数据有兴趣或者想要进入这个行业的就可以去学习了。
大数据学习群:8688+47735 一起学习资源共享
成为一名大数据工程师,需要具备什么技能?相关推荐
- 成为大数据工程师需要具备什么能力?发展前景好么
数据工程工作存在于各个行业,在银行业.医疗保健业.大型科技企业.初创企业和其他行业找到工作机会.许多职位描述要求数据工程师.拥有数学或工程学位,但如果有合适的经验学位往往没那么重要. **那么如何获得 ...
- 作为一名大数据工程师你需要掌握Spark深度学习
Tom M. Mitchell教授对于机器学习的定义对深度学习同样适用,深度学习是一种特殊的机器学习,它将现实世界表示为嵌套的层次概念体系(用较简单概念间的联系定义复杂概念,从一般抽象概括到高级抽象表 ...
- 如何成为一名大数据工程师?
未来,对熟练的大数据工程师的需求将急速增长.现实的情况是这样的,无论公司属于哪个行业,要想在当今竞争激烈的市场环境中取得成功,需要一个强大的软件架构用来存储和访问公司数据,最好从公司创立一开始就要搭建 ...
- 成都python数据分析师职业技能_合格大数据分析师应该具备的技能
课程七.建模分析师之软技能 - 数据库技术 本部分课程主要介绍MySQL数据库的安装使用及常用数据操作 1.关系型数据库介绍 2.MySQL的基本操作: 1)数据库的操作 2)数据表的操作 3)备份与 ...
- 大数据工程师和数据分析师有什么区别
不少朋友都很困惑,大数据工程师和数据分析师有什么区别,哪一个的就业好薪资高? 首先我们来区别下大数据工程师和数据分析师: 1.概念区别 数据分析师,是数据师的一种,专门从事行业数据搜集.整理.分 ...
- 成为大数据工程师需要哪些技能?(一文秒懂大数据)
2008年,维克托·迈尔-舍恩伯格编写的<大数据时代>开启了科学技术的一个新的篇章,让"大数据"一词变得家喻户晓,人人都在谈论大数据,各科技公司也纷纷引入大数据技术.那 ...
- 大数据工程师是做什么的?需要具备什么能力?
如何成为大数据工程师 由于目前大数据人才匮乏,由于18年是各个大学第一年开设大数据专业,所以暂时也没有相关专业的大数据专业人才投入到社会中.对于公司来说,很难招聘到合适的人才. 阿里巴巴曾经举办了一个 ...
- 大数据工程师的日常工作是什么?要掌握哪些核心技术?
很多人都听过大数据工程师,但却很少人知道他们是做什么的?下面就带大家一起来了解一下大数据工程师的日常. 如果你对大数据感兴趣,下面的内容你一定要看看: 大数据工程师是做什么的? 分析历史.预测未来.优 ...
- 大数据工程师修炼笔记
想要成为大数据工程师?你需要掌握以下知识(上) 文| 林肯公园(拒绝任何不标明来源的转载) 国际数据公司IDC预测,到2020年,企业基于大数据计算分析平台的支出将突破5000亿美元,大数据解决方案在 ...
最新文章
- 我们离爱因斯坦想了解的“上帝的思想”,还有多远?
- .Net线程问题解答
- vector的求和用法accumulate
- uva 12589——Learning Vector
- 服务端断开_Java多线程技术:实现多用户服务端Socket通信
- linux日志2 1,cmd log 21 和 cmd 21 log的区别
- STL 标准容器的选择
- ai人工智能的数据服务_建立AI系统的规则-来自数据科学家
- E-Prime 2.0 用了一段时间出现警告信息无法编辑实验程序
- 十进制数转换BCD码
- 计算机坏处英语,玩电脑的危害英语作文,沉迷电脑的危害英语作文!
- 知识产权行业获客难?一招解决
- Excel如何通过年份上的时间差操作求得员工工龄
- greenDao框架浅入深出
- SQL查询选修了全部课程的学生姓名
- .org是什么域名?域名com和org哪种好?
- 【DIY】使用STM32及PID算法实现一个磁悬浮玩具
- weblogic服务器设置编码
- SIM多次热插拔,某次插入,不识别SIM卡
- vim 光标快速移动技巧总结(vim高级操作的基础)from csdner 亓磊