大数据技术与应用实验报告3

大数据技术与应用实验报告3

用JAVA写一个WordCount例子，并生成jar包运行于集群上

编写MapReduce程序

MapReduce

1.编程调试WordCount程序
2.生成jar包，在虚拟机上运行

首先我在Eclipse中新建java项目，项目建成后，src文件时是空的，接下来右键单击src新建包和类，然后就进入Wordcount程序的代码编写阶段，导入jar包

导入后不再报错，下一步就是生成jar文件。

右键单击包，选择Export–>Java–>JAR file–>next，输入jar文件的文件名和生成路径，连点两次next后，进入如下界面，选择程序主类，然后点击finish结束。

将生成的jar文件上传到namenode节点，然后在此路径下执行如下命令 hadoop jar wordcount_test.jar /input/text.txt /output4。在jar文件后面输入主类名，至此成功完成本地开发MapReduce程序后，生成jar包发送给集群运行的测试过程。

大数据技术与应用实验报告3相关推荐

大数据技术与应用实验报告1
大数据技术与应用实验报告1 Hadoop的安装配置.运行一个WordCount 例子根据文件里的word文档以及百度的教程进行一下的安装配置(包括后面的实验需要的) 1.VMWare Worksta ...
大数据技术与应用实验报告2
大数据技术与应用实验报告2 HDFS常用shell命令的使用,以及用JAVA API实现HDFS常用shell命令的功能实现上传文件,下载文件实现上传和下载文件的主要的shell命令把本地文件上 ...
大数据技术与应用实验报告4
大数据技术与应用实验报告4 Hbase的安装.配置以及进行使用环境: Linux ubuntu 16.04 jdk-1.8.0_144 hadoop-2.8.3 hbase-1.2.6 在已安装好 ...
大数据技术与应用实验报告5
大数据技术与应用实验报告5 NoSQL数据库的简单使用(Redis,MongoDB等) 安装Redis: 1,redis的安装环境需要安装gcc(编译依赖gcc) yum install gcc-c ...
熟悉大数据存储基础（实验报告）
[实验与思考] 实验目的 (1) 熟悉大数据存储基础 (2)熟悉大数据技术的基本概念 (3)熟悉开源技术及其商业支援熟悉分布式系统,了解hadoop分布式处理技术 (4)熟悉大数据的数据处理基础知识, ...
大数据技术基础实验十三：Kafka实验——订阅推送示例
大数据技术基础实验十三:Kafka实验--订阅推送示例文章目录大数据技术基础实验十三:Kafka实验--订阅推送示例一.前言二.实验目的三.实验要求四.实验原理 1.Kafka简介 2.K ...
大数据技术基础实验三：HDFS实验——部署HDFS
大数据技术基础实验三:HDFS实验--部署HDFS 文章目录大数据技术基础实验三:HDFS实验--部署HDFS 一.前言二.实验要求三.实验原理 1.什么是HDFS? 2.HDFS的体系结构 3 ...
FinTech研发报告-之大数据技术
前序: 手记血泪史:2016年底~2017年是自己技术生涯的元年,所以逼着自己写一般书籍(原打算,后来发现自律性和俗事太多最后没有实现),当时一直关注FinTech个方面的内容,所以决定先写大数据方面 ...
Hadoop十岁！Doug Cutting成长史+他眼中大数据技术的未来
上次见到(膜拜)Hadoop之父Doug Cutting是在2年前,2014中国大数据技术大会上.今年Hadoop10岁,刚看到他的Hadoop十周年贺词,感觉时间飞逝.最近CSDN和InfoQ都在制 ...

大数据技术与应用实验报告3

大数据技术与应用实验报告3相关推荐

最新文章

热门文章