我是一个叫world的单词，这是我的Hadoop WordCount之旅

开篇

大家好，我是world，嗯，就是那个被经常hello的world，不是那个经常被count的word，虽然我们长的有点像。

我在哪里呢，你可以在/home/learn/hadoop/wordcount/test.txt文件里找到我，我就躺在哪里，不悲不喜。

是不是一样就看到我啦，我可是生活在一个大家庭，我的左右都是我的兄弟姐妹，老大是hello，我排行老二，之后老三，老四…，我的兄弟姐妹可有上千万，所以我的家test.txt也很大，听du兄弟告诉我说，我足足有276M之大！

听隔壁村的hadoop老大爷说，因为我的兄弟姐妹实在有点多，准备送我们全家去做个检查，对我们做个人口普查，好期待啊。

踏上旅途

这不，刚在hadoop老大爷那听说完没多久，我还以为会在当地对我们进行检查呢，谁知道我们本地的检查员shell说我们家太大了，本地人力物力资源有限，需要让hadoop老大爷送我们去外地做检查，一直听说hadoop老大爷本事可大了，现在终于有机会目睹下了。

送我们去外地做检查的实际上是hadoop老大爷的一个手下，人们都给他叫client，我就叫他小客吧，这个小客听说要送我们去外地，忙乎的拿起电话开始给他大哥NameNode打电话，小客悄悄的告诉我，他这个大哥可牛了，管理着hadoop老大爷的所有存储家产，我们这次能不能去，具体去到哪里，全得听他的。

小客挂了电话之后，对我们说他大哥已经同意我们去了，但是根据hadoop老大爷颁布的第0003号文件hdfs-site.xml规定，我们这一家太大了，需要进行拆分。我听了都懵逼了，我们好好的一大家子，为啥要分开，分开后邻居的小红，小花找不到我怎么办。小客听后说，这都不是事，将你们分开是为了你们在去外地的路上更加快速，别人来我家访问的话，需要通过小客这可以，通过小客访问我们看到的还是一个整体，而且，还有更好的事是，hadoop老大爷可以赠予我们多几条命，这点超值有木有！如果我在外地居住期间出现什么意外，我还有好几次活命的机会，爽歪歪乳娃娃啊！于是，我毫不犹豫的答应了。

因为hadoop老大爷规定小客每次只能运送128M的人数，而我家有276M, 所以我们根据先后顺序分为3批次(128+128+20)运输我们去外地，分好组之后，小客又和大哥进行通话

小客收到大哥NameNode发送的地址后，会通过名字叫RPC的道路和他兄弟DataNode，也就是DN1建立联系，然后让DN1去张罗另外两个弟兄，DN2, DN3。

待小客需要的兄弟都就绪后，小客告诉我，准备好，要把我送到DN1兄弟那了。

小客先是把我们这个分组放到了一个叫缓存的大厅里，然后按照64kb大小将我们“打包(packet)”，并且为了保险起见，每个packet上还跟随着多个叫chunk的信使，说是为了DN1兄弟那好清点我们的人数看看有没有落下的，反正咱也不懂，也不敢问。

就这样，我们一整家就被运送到了一个叫hdfs的地方,听说一会会有一个叫MapReduce的哥们来检查我们，好期待啊！
未完待遇。。。。
欢迎关注公众号: LearnMoreTogether

我是一个叫world的单词，这是我的Hadoop WordCount之旅相关推荐

一个90后少女北漂的日记：我是一个暂时不再做梦的人
她正在用日记记述自己从南方来到北京工作的心情.故事和没有完全实现的梦想.我们将她归入了匿名者的行列,同时为她署名.她说,"这真遗憾,我是一个暂时不再做梦的人." <一个北漂少 ...
一个让人感伤又温馨的计算机故事：我是一个硬盘
先是在一个转载基本不给出处网站上看到了本文的硬盘和内存部分,觉得挺好,于是按原文标题在 Google 中查找来源,发现 2007 年有篇个人博客中有更全的内容.搭档提示说,文章时代可能会更久远,于是多 ...
我是一个平平无奇的AI神经元
来源 | 编程技术宇宙责编 | 晋兆雨头图 | CSDN付费下载自视觉中国我是一个AI神经元我是一个AI神经元,刚刚来到这个世界上,一切对我来说都特别新奇. 之所以叫这个名字,是因为我的工作有 ...
我是一个秒杀请求，正在逃离这颗星球...
作者 | 悟空聊架构来源 | 悟空聊架构(ID:PassJava666) 星球简介地点:β-410 星系,A-731电商星球. 时间:新纪元 2036 年. 星球简介: 中文名:A-731电商星球 ...
给一个由n个单词组成的字符串排序
给一个由n个单词的组成的字符串排序,单词间由空格分隔. 如果字符串为b ab bc,则输出为ab b bc 思路:先将字符串分解成单词数组,然后排序,最后输出代码如下: #include <s ...
[转自天涯]很多年以前，我是一个中锋
零: 1.预祝大叔荣升历史盖帽榜榜眼,这是必然的事情. 2.祝福火箭.挺住.祝火箭明天好运屠熊. 3.怀念一下网友风柜来的人. 一: 有人说过,当你回忆起越来越多的人和事,那就证明你老了.我不知道我是 ...
java句子中找单词_java程序找到一个句子中每个单词的字母数
我想找到一个句子中每个单词的字母数.我已经尝试了几次使用几个代码,但从来没有得到它.我总是显示错误StringIndexOutOfBounds异常.我的一个代码如下:java程序找到一个句子中每个单词 ...
线程可以kill吗_我是一个线程（转）
我是一个线程,我一出生就被编了个号:0x3704,然后被领到一个昏暗的屋子里,在这里我发现了很多和我一模一样的同伴. 我身边的同伴0x6900 待的时间比较长,他带着沧桑的口气对我说:"我们 ...
我是一个*** (三)
送走小敏,时间已经是晚上10点钟了.小敏是本地人.我不是.她家据说在城南,而我住在城北.所以我只是送她上计程车,我没有去过她家,对她的家庭也不了解.我只知道她的单位,本城市最好的一家医院.她在外科.她 ...

我是一个叫world的单词，这是我的Hadoop WordCount之旅

开篇

踏上旅途

我是一个叫world的单词，这是我的Hadoop WordCount之旅相关推荐

最新文章

热门文章