【知识梳理】白话一下大数据治理、Hadoop生态的事情，给只想浅了解的同学参考下

声明
本文仅整理给需要了解的同学，从业人士想要的更多细节，统统没有；
本文以常聊的HADOOP生态纯白话为主，就不扯Postgre、Oracl这些了；
内容整理出视频教程和社区，如有手误，烦请指正哦；

1. 是什么？

目前，大家的意思，主要是指
通过管理大体量数据，更好更快的满足数据查询；

2. 为什么？举几个关键点

2.1 查数据太费劲

主要的原因是，我们平时用MySQL数据库，增加、修改、查询用得更多；
但，已经有很多数据时，用老法子的话，查询一次几天过去了，还会死给你看；

极端例子意会一下：

你问你爸：能不能帮我问问老师，我的同桌小明住哪？然后把我向他借的课本还他？
你爸：好呀宝贝；

你又问：爸爸，我的同桌小明的外婆家，养了只叫小金的金毛狗。
我超喜欢小金，小金今天中午十二点在干什么？前天中午十二点呢？大前天中午十二点呢？
这些天分别吃了哪些品牌的狗粮？
每个牌子分别吃了多少克？
你爸：？

2.2 又要好又要省钱

如果想要那么好的性能，那就需要很好的设备呀，可是好设备好贵好贵好贵啊；
那么，我们用多台廉价设备，来顶一台高配置设备；
就是三个臭皮匠顶个诸葛亮，哦不对，这叫 分布式，每个臭皮匠叫一个节点；

2.3 要兼容多种数据结构

3类结构的多种文件格式：
a、结构的，如 excel表里的数据，一行一列特别明；
b、半结构的，如杭州富婆联系方式.csv，行很明显，但是列不明显；
c、完全没结构的，如 老人地铁手机.jpg、快速生发洗头法.avi；

3. 思路：怎么办？

3.1 ETL

（1打开冰箱，2把大象放进去，3关上冰箱门）

3.1.1 Extract 抽取，拿出来

把需要的数据源汇聚起来；

爸爸：我先直接添加了小明外婆的微信，让她尽快告诉我，小金这一天24小时分别在干什么；
再把小金生活区的摄像头影像找出来；
还要去把小金智能项圈的数据导出来，里面有小金的行程记录；
别的先放放，不够再加；

3.1.2 Transform 转换

把这些聊天记录、视频、行程用工具，处理成容易查询的表，像excel一样的横平竖直的；

比如
相对细致的1个表：今天，小金7点吃了200g比瑞吉的狗粮，8点出去遛弯，9点和柯基犬布丁玩了一会儿；

相对笼统的1个表：今年5月，小金一共吃了5kg狗粮，其中包含2个品牌，一共遛弯812个小时，睡觉365小时，和柯基犬布丁玩了18次共27个小时；

对应的是不同详细程度的dwd层表和dws层表

另外：外婆最近做了奇怪的梦，内容是：小金今天19点，在做物理实验，然后发明了电灯。
这是明显的脏数据会被处理掉，不会被整理进去；

3.1.3 Load 加载

爸爸：我把上面处理出来的东西，记录好放起来；

4 思路有了，那有没有合适的工具？

有，不过上面也说了，是分布式的多台设备协同工作，所以也由一群人共同管理。
这里引入Hadoop生态内的所有组件，见图

4.1 mapreduce，MR
外援项目经理：看着活儿，给大伙儿分一下；
只懂小语种，比如德语；

4.2 hive
MR的贴身翻译，把英语翻译成MR需要的德语；

主要解决海量数据存储与计算的问题；
4.3 hbase
真社畜：可以去拿各种，还会算数的人；人家听项目经理MR的安排；
可以去看看小金每天吃多少狗粮的人；
不仅如此，还能计算小金每个月吃了多少狗粮；

所以整个过程是：
a、我们写英语，找Hive翻译；
b、Hive把英语翻译成德语，传给项目经理MR；
c、MR get到德语，安排hbase起床搬砖；

注意：其实还有别的翻译，比如Impala和Presto；

4.4 HDFS
真的很像网管，就是提供硬件支持的那个
网管帮帮忙，我的硬盘咋一直响呢？
网管来帮看看，我的键盘咋输不了中文？

5 总结

其实还有比HADOOP生态更强悍的，比如SPARK生态，但是人家的使用门槛更高些，比如说不能用英语翻译成SPARK用的小语种；

不是专门的从业人员，了解到这就够了吧；
是不是光记得杭州富婆了？

有兴趣的同学可以继续深挖；

如对您的理解有所帮助，感谢点赞、收藏；

本文如有勘误，烦请指出，非常感谢；

越努力越幸运~~；