成为一个大数据开发工程师的学习步骤--文字版

本博客搬运自我知乎所出视频成为一个大数据开发工程师的学习步骤？ - 知乎大数据的学习是有条件限制的，首先你需要是一名普通的工程师，如果你是Java工程师的话更好，但如果你是小…https://www.zhihu.com/question/67872368/answer/416481734

P1:江南无所有，聊赠一枝春，大家好，欢迎来到恒生课程。本期我们站在一个开发者的角度来回答题主的问题：成为一个大数据开发工程师的学习步骤。

P2:在回答问题之前，先做一个简单的自我介绍，我目前就职于恒生财富经纪业务群，从毕业到现在已经在大数据领域浸淫了四年，从事过税务，教育，交通等政务大数据项目，也考取或参加了多个相关的技术考试和技术竞赛。说到这里讲个题外话，我觉得一个IT新人应该找出或挤出时间多参加参加考证，培训，竞赛等，一方面可以有面包，另一方面更重要的是可以开阔一个人的视野，提升一个人的能力，就像雷布斯说的那样：最好的投资就是投资自己

P3:回到这里，那么成为一个大数据开发工程师的学习步骤是哪些呢，我根据自己这几年从大学小白到现在(害羞)，提出自己的看法：分为四步，即认识大数据，学习大数据，开发大数据以及最后的成就大数据

P4:《孙子兵法·谋攻篇》有云知己知彼者，百战不殆。当你点开这个视频就意味着你对自己有了一定了解和认识，那么我们就需要来知一知这个”大数据开发工程师”

P5:首先我们先了解下大数据，领域外的很多朋友估计都听过大数据，云什么的，就连我从事建筑的哥哥都问我你能不能用大数据测测哪个基金值得买。但是很多人只知道名字，却难以明白深意概念和逻辑用途，所以我们来了解了解它

*什么是大数据：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
*为什么要用大数据：因为当前业务普遍有存不了，算不动，装不下的困境
*大数据地位：已上升到国家战略层次，如当下火热的政务云，万物互联

P6:大数据我们简单了解了，那么大数据开发工程师呢？大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。岗位要求是能够熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，综上所述该岗位对于技术要求是较高的，看完上述的介绍，大家可能对大数据开发工程师这一职业感到厉害，也可能感到体量太大，难以下手，尤其是对于小白。不过不用太过于慌，上述是我综合多家大型企业的招聘要求做的一个罗列。属于中等需求，实际上由于侧重点的不同，这一职业还可以细分为ETL工程师，平台运维工程师，数据挖掘师等

P7:所以这里就引出了我们这里极为关键也极为万事开头难的一步：学习大数据

P8:对于新手小白，我的建议是先别一口吃个胖子，可以从上述的细分行业入手，选择当下最适合你入门的，比如你的业务能力+sql+数仓建设强，那可以先做数据分析，比如你对hadoop以及市面上的商业云生态产品极为熟悉，可以做平台开发/运维，至于我，我当时是会一点sql，会一点java，会一点shell就先做了大数据ETL工程师。鉴于大家当前的技术能力和爱好行业不同，我就把一些必须要掌握的东西先列上，大家可以先按照此步骤学起来

P9:第一阶段：学会Linux系统：掌握shell编程，掌握Linux并发，掌握Linux系统运维，因为基本上大数据的所有生态组件和数据文件都是部署在Linux系统的，Linux是大数据的最基础技术，最少也要掌握常用的50个命令

P10:学习方法：先从头至尾学会安装部署Linux服务器，再搭建一个MySQL数据库，部署java，python等应用，编写shell脚本等。后面再试着搭建集群，这样流程搞一套基本上就是打好linux基础了

P11:第二阶段：学会数据库：掌握sql语言,推荐MySQL，Hive，spark，oceanbase这些都是兼容Mysql的，掌握数据库之前的异构同步：用navicat，mysqldump，kettle等，掌握数仓建设，三范式建模等，大数据本质上也是数据，只不过是不同的数据库底层架构和计算逻辑，但只有你掌握了RDBMS，才能更加清楚的明白MapReduce，Hive,spark

P12: 学习方法：自己搭建数据库进行学习，可以pg，oracle，mysql，sqlserver等都用一遍

P13: 第三阶段：学会python，java，scala等语言，数据同步，数据分析

P14:这三个语言你必须要掌握一个，推荐python，很多用sql难以跑出来的数据分析在python里都可以做，python的强大我就无需赘言了，而且现在很多大数据工具和平台对python的适配也在逐步增长，比如MapReduce，数据流任务等，当然如果想更进一步，java最好也要掌握，至少达到能看到代码的程度，因为如果你偏向于ETL和平台这块，那么java将是你最好的武器。学习方法：这个看个人吧，我建议是前期通过书籍，视频来认识学习，后期精通就需要靠项目里的学习了，在项目里学习也是最快的，能达到的学习成果就是能自己用java或者python写出一个mapreduce或者udf，至于这两个是什么，下面会介绍到

P15:第四阶段：学习hadoop生态，第四阶段也是学习的最后一个阶段了，到这里你基本上就掌握了大数据的所有的基础技能了，现在就开始迈向大数据吧，如果一开始你的工作是在阿里云，腾讯云这些，那恭喜你你可以更简单快速的了解大数据生态和使用他们，但相对的你对他们的底层原理和逻辑架构远没有开源云hadoop来的深刻，所以学习的话我建议用hadoop，可以自己搭建一套组件：掌握Hive数仓的存储架构，数据集成；掌握storm，flink的流式数据传输和计算;掌握GreenPlum和ES的架构原理和调用用法，掌握hdfs,yarn,mapreduce,spark等等的生态作用

P16:学习方法：上面的生态组件建议每个都试着去学习下，至少也要把云平台的如hive，hdfs等相关吃透学透，如果你至少单纯的想做数据分析和数据挖掘，那么就最低只需要学会hivesql就可以，但是对你的其他技术要求比较高，比如算法和建模，总之没有一个行业是可以想赚的多又能少费力的。

P17:知行合一，学以致用，前面经过四个阶段的学习，我们已经是初步掌握了大数据技能，那么如何成为一个大数据开发工程师呢，

P18:那就是深化思想：摆除传统的数据处理思维，深化集群分布式并发，深化MPP架构，深化MapReduce思维

P19:此外参与到项目中，学到的知识始终是纸上谈兵，付出实践才是最大的进步，也能在项目中学的更多，更深。找到项目：复盘项目，可以复盘一些市面上的大型项目，论证自己所处的角色和工作。进入项目：对于应届生，公司对你的要求不会太高，掌握上面的技术和做过一些学校项目就基本稳进从而参与到大数据项目中；对于半道换行的可以从数据分析，数据挖掘，数仓建设这一块入手，这些行业对大数据技术要求没其他职位那么高，后面再慢慢拓展深度和宽度

P20:我一直认为学习大数据的最高境界就是奔向他，与大数据彼此成就，而不是仅仅做一个利用于大数据的大数据开发工程师

P21:心得:我与大多数人选择大数据行业的初衷都一样：能赚大钱，有挑战性。可在我逐步揭开他神秘面纱的过程中，我发现我被他神奇的逻辑思维和严谨的原理架构所吸引，把一个sql从两天跑完到十几秒就能跑完只是他的基操，星辰大海才是他的极限，于是在某一刻我爱上了大数据，这就是转变思维，从利用他到爱上他，那么如何达到互相成就呢

P22：保持技术饥渴: 活到老，学到老热爱接触新鲜事物并学习

*注重积累：我喜欢把学到的知识和从事过的写成博客，目前已在CSDN上写了一百余篇，排名也从几千万到现在的六千，这些既是我的宝贵财富，也能偶尔帮助下IT网友，收到点赞时还能有一点点成就感
*注重成长：学而时习之，不亦说乎，始终保持着学习的饥渴度才能适应当前日新月异的技术变革，立足于潮涌前头
*有理想有追求: 技术与业务决定了你的能力，但志向也决定了能到达的高度

P23：我的视频至此也就结束了，感谢大家的观看，在我写下这些文字时，从两千年诗画江南走出来的扬州目前正在遭受着疫情的困扰，还出现了重症，虽然这是一个普学视频，但也惟愿以此祝福可爱的扬州早日走出阴霾，天下三分明月夜，二分无赖是扬州，扬州加油！再次感谢观看！

成为一个大数据开发工程师的学习步骤？ - 知乎l

成为一个大数据开发工程师的学习步骤--文字版相关推荐

成为一个大数据开发工程师的学习步骤？
大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小白的话,那就只能成为一名工程师的后再来学习大数据. 一.认识大数据大数据本质其实也是数据,不过也 ...
如何成为阿里巴巴大数据开发工程师？你要学习很多东西
大数据大数据,个个都在喊但究竟什么是大数据开发,如何成为一个大数据开发工程师?加米谷大数据请添加链接描述的这篇文章告诉你如何成为阿里巴巴也需要的大数据工程师. 大数据通用处理平台 1.Spark 2 ...
大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)
我正在参加年度博客之星评选,请大家帮我投票打分,您的每一分都是对我的支持与鼓励. 2021年「博客之星」参赛博主:Maynor大数据 (感谢礼品.红包免费送!) https://bbs.csdn.ne ...
一个优秀的大数据开发工程师的日常是怎么样的？
大数据开发工程师,看起来很高端.但很多时候都是脱离不了开发的层面,基本上大部分人都是api的调用者.除了少部分人是为了大数据开发的底层服务. 那么,作为优秀的大数据开发工程师是怎么样的体验呢,可以先聊 ...
大数据开发工程师学习路线分享
大数据是对海量数据存储.计算.统计.分析等一系列处理手段,处理的数据量是TB级,甚至是PB或EB级的数据,是传统数据处理手段无法完成的,大数据涉及分布式计算.高并发处理.高可用处理.集群.实时性计 ...
大数据开发工程师到底是干嘛的？日常做什么呢？
最近后台收到很多私信,内容大都差不多,总结下来就是: 目前在学习大数据专业,想提前了解一下大数据开发工程师的工作职责是怎么的?需要提前准备些什么?大数据分了哪些岗位? 笔者已从事数据开发工作三年有余, ...
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
大数据开发工程师要求高么？有前景么
Python近段时间一直涨势迅猛,在各大编程排行榜中崭露头角,得益于它多功能性和简单易上手的特性,让它可以在很多不同的工作中发挥重大作用. 正因如此,目前几乎所有大中型互联网企业都在使用 Python ...
大数据开发工程师是做什么的？
大数据开发工程师要负责数据仓库建设.ETL开发.数据分析.数据指标统计.大数据实时计算平台及业务开发.平台建设及维护等工作内容.熟练掌握数据仓库.hadoop生态体系.计算及二次开发.大数据平台工具的 ...

成为一个大数据开发工程师的学习步骤--文字版

成为一个大数据开发工程师的学习步骤--文字版相关推荐

最新文章

热门文章