大数据之-Hadoop3.x_MapReduce_序列化概述---大数据之hadoop3.x工作笔记0094

然后我们再来看一下hadoop中的序列化，可以看到

序列化其实就是把内存中的对象，比如我们一个user对象，转换成字节码序列对吧，

这个字节码，其实就一个一个的byte，这样的数据就可以存到磁盘上了，并且也可以

在网络中进行传输了。

而反序列化就是把存在磁盘上的user对象，再通过反序列化转换过来成一个user对象，

加载到内存中使用对吧。这样就完成了序列化和反序列化

我们去看看hadoop的这个序列化和反序列化的过程。

可以看到比如我们有个hadoop102，hadoop103这两个集群中的机器，我们

有个ss字符串，有个cls字符串，这两个字符串，现在在hadoop102内存中，然后

如果我们需要把ss，cl

大数据之-Hadoop3.x_MapReduce_序列化概述---大数据之hadoop3.x工作笔记0094相关推荐

大数据之-Hadoop3.x_MapReduce_序列化案例FlowReducer---大数据之hadoop3.x工作笔记0099
然后我们接着去写hadoop这个序列化案例,统计手机号使用流量情况的 reducer类去,我们起个名字叫 FlowReducer类,可以看到这个类的泛型参数,Reducer的输入,就是 mapper类 ...
大数据之-Hadoop3.x_MapReduce_排序概述---大数据之hadoop3.x工作笔记0114
1.看MapReduce的排序,我们先看一下,map方法之后 ,数据整理以后会,进入环形缓冲区,然后环形缓冲区中的数据满了以后,多于百分之80的时候,会进行数据溢写,数据溢写之前会进行排序对吧,可以 ...
大数据之-Hadoop3.x_MapReduce_序列化案例FlowMapper---大数据之hadoop3.x工作笔记0098
然后我们再来看,我们去实现这个FlowMapper这个类, 去继承mapper 这个类,然后这里我们的参数要考虑好,mapper的输入,我们说是,一行数据,那么输入的key,value,就是 key ...
大数据之-Hadoop3.x_MapReduce_序列化案例FlowBean---大数据之hadoop3.x工作笔记0097
然后我们再来看,我们来写一下这个FlowBean,其实就是我们之前分析,这个hadoop序列化案例的时候,那个用来承接上行流量,下行流量,总流量的,这个类,我们要为这个类实现hadoop的序列化. ...
大数据之-Hadoop3.x_MapReduce_序列化案例FlowDriver---大数据之hadoop3.x工作笔记0100
然后我们再去写那个FlowDriver,去看看,还是那7个步骤对吧. 首先去获取job 然后设置jar,然后再去设置mapper和reducer的关联然后再去设置mapper输出的key,valu ...
大数据_Flink_流式处理_简介_Flink的特点---Flink工作笔记0006
然后我们再来看一下flink的特点我们可以先看一下传统的左边的数据处理过程,其实就类似我们做的传统的web应用, 也可以想一下netty处理数据的过程, 可以把请求看成一个事件,可以看到,服务器启动 ...
大数据之-Hadoop3.x_MapReduce_序列化案例需求分析---大数据之hadoop3.x工作笔记0096
然后我们来通过一个案例,来写下实现hadoop序列化的业务实体类可以看到我们要统计每个手机号的耗费的总上行流量,总下行流量,以及总流量可以看到我们有输入数据的文件有输入数据的格式,以及期望输出的 ...
大数据之-Hadoop3.x_MapReduce_序列化案例Debug调试---大数据之hadoop3.x工作笔记0101
然后前面我就已经写完,FlowBean,这个hadoop序列化bean,以及 FlowMapper,FlowReducer,以及FlowDriver了. 这意味着,我们这个,统计手机号,使用流量的案例 ...
大数据之-Hadoop3.x_MapReduce_编程规范---大数据之hadoop3.x工作笔记0086
然后我们再来看看,如果我们自己去写一个MapReduce的程序,我们应该注意一些什么, 首先如果我们要写一个Mapper的话可以看到,首先我们自己写的Mapper这个类要继承hadoop提供的map ...

大数据之-Hadoop3.x_MapReduce_序列化概述---大数据之hadoop3.x工作笔记0094

大数据之-Hadoop3.x_MapReduce_序列化概述---大数据之hadoop3.x工作笔记0094相关推荐

最新文章

热门文章