点击上方 "大数据肌肉猿"关注, 星标一起成长

后台回复【加群】，进入高质量学习交流群

2021年大数据肌肉猿公众号奖励制度

今天分享学习经历的是一位学习群的小伙伴，他毕业之后做过微商、服务员、销售、外卖小哥等，后面去培训机构培训运维，最后转的大数据开发。薪资也从最开始的4K，到现在的年薪40W。

部分offer

一、不堪回首的奋斗往事

2016年6月从湖南某二本文科专业毕业之后在老家做了半年的微商

2017年2月南下深圳，先是做过维也纳酒店的前台服务员，贷款中介公司的电话销售，自如友家的服务管家，后来还去跑过美团外卖，以及在乐凯撒餐厅做过披萨，在这一年多的时间里，平均月收入只有4K。

2018年9月参加某机构线下Python培训半年。

2019年3月入职深圳某A公司从事Python运维工作，月薪9.7K。

2020年1月离职在家自学大数据，在此非常感谢@无精疯 峰哥当时的耐心指导和帮忙规划学习路线，三个月后成功转型大数据，入职深圳某B公司从事数据仓库开发工作，月薪17K。

2020年10月离职后入职深圳某C公司从事大数据开发工作，月薪21K

2021年4月经峰哥再次指导，成功入职深圳某世界500强企业，担任高级大数据工程师职位，月薪27K，总包40W。

二、大数据转型时期的学习路线

第一阶段：学完第一阶段就可以开始找数据仓库开发相关的岗位了（市场上40%的岗位可以投了）

1、Java基础：JavaSE

2、SQL课程：MySQL【重点】

3、Linux基础

4、Hadoop框架：HDFS、MapReduce、Yarn【重点】

5、Hive【重点】

6、HBase

7、辅助框架：Flume、Sqoop、Azkaban

8、大数据项目实战（一）：基于Hive的离线数仓项目【重点中的重点】

第二阶段：学完第二阶段就可以找大数据开发相关的岗位了（市场上75%的岗位都可以投了）

1、Scala基础

2、Spark框架：SparkSQL、SparkStreaming【重点】

3、Kafka消息队列

4、大数据项目实战（二）：基于Spark的实时+数仓项目【重点中的重点】

第三阶段：学完第三阶段就可以找所有和数据开发相关的岗位了（市场上90%的岗位都可以投了）

1、Flink【重点】

2、Redis

3、大数据一些其它的辅助框架（Kylin、Druid、Presto、Impala、ClickHouse等）

4、大数据项目实战（三）：基于Flink的实时ETL和数仓项目【重点中的重点】

第四阶段：（进一线互联网大厂必备的技能）

1、计算机基础和数据结构算法

2、Java底层和部分框架源码

三、企业面试真题

1、请详细描述下hive中shuffle的优化？

2、hive在集群过程中怎么解决数据倾斜？

3、hive导致数据倾斜的可能性(哪些操作会导致)-->分桶 join key 分布不均匀的大量空值导致如何解决？

4、悲观锁和乐观锁的区别以及CAS乐观锁怎么实现，或者有哪些其他方式？

5、编程的设计模式举例一下，用过哪些，什么场景下使用的？

6、你对实时计算这块的理解是怎么样的？

7、Sparkstreaming突然断掉了怎么办？怎么保证数据消费至少一次和精确一次？

8、Sparkstreaming消费kafka数据怎么手动维护offset ？Offset保存到什么数据库？处理的顺序是什么？以及程序刚上线第一次从kafka消费这是怎样的流程？

9、Spark解决了哪些问题让你很有成就感？

10、Spark发生了数据倾斜你会怎么做？

11、Sparkstreaming的背压机制，除了设置背压参数为true之外还需要做什么？

12、Spark性能调优？

13、跑spark作业的时候，给到executor的个数是10个，每个executor的核数是2个，请问跑这个作业时并行度设置为多大比较合适？

14、这么做是为了避免shuffle操作，shuffle为什么会存在数据倾斜？

15、为什么会有shuffle的存在？shuffle操作的意义又是什么？

16、Java中的ArrayList的底层数据结构？LinkedList？

17、创建一个ArrayList里面的空间有多大？

18、让你设计一个容器类，比如ArrayList，你怎么去实现？

19、HashMap的数据结构是什么？为什么要这么设计？

20、数组和链表的区别是什么？

21、你们每天需要同步的数据量有多大？

22、Druid的工作原理？

23、每天集群的数据增量有多大？

24、业务数据量有多大？每日订单量有多少？

25、各大数据组件在各机器上是怎么分配的？

26、离线和实时分别是怎么分层设计的？

27、维表数据的加载和更新？

28、生产环境中Kafka要增加topic分区的时候怎么操作？

29、数仓中每层用的数据存储格式分别是什么？

30、Hive中两个大表进行join的时候有什么优化方法？

31、JVM的垃圾回收器有哪些？你们用的哪种？

32、项目架构流程图：手画+讲解

33、Druid和Kylin做一个技术选型你会考虑哪些因素？

34、现有一个n*m的方格，每个格子里有一个100以内的随机数字，现在需要从方格的最左上角走到最右下角，只能往下和往右走，如何计算出数字之和最大的一条路线？

35、流处理：用户如果在10s内，同时连续输入同样一句话超过5次，就认为是恶意刷屏，请您写出检测刷屏用户的代码？

四、总结

在大学毕业之后，我花了足足3年的时间仅仅才实现月薪从4K到9.7K，而后面仅仅花了3个月的时间就实现了月薪从9.7K到17K，以及最近1年的时间已经实现从17K到27K，对此，我最想说的四句话就是：

1、选择大于努力，知识改变命运；

2、找准自己的赛道，然后努力奔跑，做到足够自律，在这个过程中你可能会很痛苦，但是不要轻言放弃；

3、想获得更快速的成功，还得需要高人的指点和贵人的相助；

4、越努力，越幸运！

--end--

扫描下方二维码添加好友，备注【交流】
可私聊交流，也可进资源丰富学习群更文不易，点个“在看”支持一下????