hadoop使用mapreduce统计词频_Hadoop自带WordCount进行词频统计（mapreduce）

Hadoop自带WordCount进行词频统计

准备：

安装好的Hadoop

需要统计词频txt文件(用jieba分过词的

链接: pycharm 分词 jieba 结巴分词输出txt.

step1

启动Hadoop

cd /usr/local/hadoop

./sbin/start-all.sh

用jps命令查看是否开启成功

准备好需要统计词频的txt文件(也可以用filezilla传入Ubuntu)

链接: 如何用filezilla连接Ubuntu.

找到Hadoop文件所在位置

把需要计算词频的文件放在Hadoop文件下(记得这个文件要用jieba分好词后的文件)

step2

使用Hadoop自带的jar包用wordcount计算词频

创建一个文件夹存放需要计算词频的txt文件

bin/hdfs dfs -mkdir -p /input1

把需要计算词频的文件放到刚刚所建的文件夹中(txt文件一定要放在Hadoop文件夹下嗷)

bin/hdfs dfs -put hlm.txt /input1

查看 /input文件夹下面的文件

bin/hdfs dfs -ls /input1

使用jar包中的wordcount计算词频

jar包的位置：

share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar

计算词频代码

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount1

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount

注意每个人的Hadoop版本不同黄线上的文件名也不同

敲下回车之后

查看输出的结果

bin/hdfs dfs -cat /out/hlmcount/part-r-000001

完美结束~

文章来源: blog.csdn.net，作者：摸仙小蓝是人机，版权归原作者所有，如需转载，请联系作者。

原文链接：blog.csdn.net/weixin_43322782/article/details/110199482

hadoop使用mapreduce统计词频_Hadoop自带WordCount进行词频统计（mapreduce）相关推荐

教育统计与测量可以带计算机吗,教育统计与测量.ppt
教育统计与测量教育统计与测量是一门应用性的学科,学习的过程也是应用的过程,从而提高本门课程的学习效果,更好实现课程的功能. 准备的学习用具:统计功能的计算器,练习本两本教育统计篇第一讲教育统计 ...
使用Hadoop自带的例子wordcount实现词频统计
Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文将用wordcount实现词频统计.具体步骤如下: 1. 启动Hadoop 切换到Hadoo ...
Hadoop实现词频统计（按照词频降序排列以及相同词频的单词按照字母序排列）
Hadoop实现词频统计(按照词频降序排列以及相同词频的单词按照字母序排列) 一.环境二.实现步骤 1.数据 2.主函数 3.第一个MapReduce Map Reduce 4.第二个MapRedu ...
基于hadoop下的使用map reduce分布式系统的高考高频词汇统计
hadoop课程设计报告一.设计目的与要求 1.设计目的通过hadoop课程设计可以加深.巩固对本门专业课程理论知识的掌握.通过eclipse和hadoop来编写课设报告等方面的实践训练,筑牢编程 ...
wordcount单词词频统计
单词出现的总次数 1.WordCount概述 WordCount算是大数据计算领域经典的入门案例,相当于Hello World. 虽然WordCount业务极其简单,但是希望能够通过案例感受背后Map ...
Hadoop面试题（网上收集版带答案）
1.列出安装Hadoop流程步骤 a) 创建hadoop账号 b) 更改ip c) 安装Java 更改/etc/profile 配置环境变量 d) 修改host文件域名 e) 安装ssh 配置无密码登 ...
Hadoop自带WordCount.java程序
位置:{Hadoop_HOME}\hadoop-0.20.1\src\examples\org\apache\hadoop\examples\WordCount.java 其中{Hadoop_HOME ...
教你用java统计目录下所有文档的词频
本文是统计目录下所有文档的词频top10,非单个文档,包含中文和英文. 直接上代码: 1 package com.huawei.wordcount; 2 3 import java.io.Buffer ...
Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF--高清晰
一.下载地址(永久有效) 百度云盘下载(公开永久):Hadoop权威指南(第3版) 修订版(带目录书签) 中文PDF高清晰 CSDN积分下载:Hadoop权威指南(第3版)+高清晰二.数据的存储和分 ...
Hadoop系列之二：大数据、大数据处理模型及MapReduce
1.大数据(big data) 什么是大数据?wikipedia上面给出了这样的定义: In information technology, big data is a collection of d ...

hadoop使用mapreduce统计词频_Hadoop自带WordCount进行词频统计（mapreduce）

hadoop使用mapreduce统计词频_Hadoop自带WordCount进行词频统计（mapreduce）相关推荐

最新文章

热门文章