win10 IDEA 链接远程hadoop 2.6 集群

win10 准备:

1。下载 hadoop2.6-CDH5.7.5 解压 //重要说明：CDH 和普通版本不一样

2。下载 winutils .exe ( hadoop2.6-CDH5.7.5版本 )

3 .将winutils.exe 放入 hadoop2.6/bin 中，同时添加环境变量，

4 将登陆用户设置成英文名字，进入计算机管理界面，本地用户，用户，改成英文的例如：hadoop（如果是中文的会报错）

IDEA 准备：

maven 配置：

<repositories>
    <repository>
        <id>nexus-aliyun</id>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </repository>
    <repository>
        <id>cloudera</id>
        <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0-cdh5.7.5</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
</dependencies>

项目中的 resources 存放 XML文件：

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://Machenmaster</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
</configuration>

hdfs-site.xml:

<property>
     <name>dfs.nameservices</name>
       <value>Machenmaster</value>
</property>
        <!-- Master下面有两个NameNode，分别是Master，Slave1 -->
<property>
    <name>dfs.ha.namenodes.Machenmaster</name>
       <value>m1,m2</value>
</property>
        <!-- Master的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.Machenmaster.m1</name>
                <value>172.16.11.221:9000</value>
        </property>
        <!-- Master的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.Machenmaster.m1</name>
                <value>172.16.11.221:50070</value>
        </property>
        <!-- Slave1的RPC通信地址 -->
        <property>
                <name>dfs.namenode.rpc-address.Machenmaster.m2</name>
                <value>172.16.11.222:9000</value>
        </property>
        <!-- Slave1的http通信地址 -->
        <property>
                <name>dfs.namenode.http-address.Machenmaster.m2</name>
                <value>172.16.11.222:50070</value>
        </property>
        <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://172.16.11.223:8485;172.16.11.224:8485;172.16.11.225:8485;172.16.11.221:8485;172.16.11.222:8485/Machenmaster</value>
        </property>
        <!-- 开启NameNode失败自动切换 -->
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <!-- 配置失败自动切换实现方式 -->
        <property>
                <name>dfs.client.failover.proxy.provider.Machenmaster</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>

其他俩个配置文件：

mapper-site.xml 和 yarn-site.xml 和 linux集群中一样即可

代码: （网上摆的），其中路径自己指定

package mapreducetest;

import java.io.IOException;
import java.net.URI;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {public static class TokenizerMapperextends Mapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {word.set(itr.nextToken());
                context.write(word, one);
            }}}public static class IntSumReducerextends Reducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values,
                           Context context) throws IOException, InterruptedException {int sum = 0;
            for (IntWritable val : values) {sum += val.get();
            }result.set(sum);
            context.write(key, result);
        }}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();
        conf.set("mapred.jar","D:\\project\\HadoopAndHbase\\Hadooptest\\target\\Hadooptest-1.0-SNAPSHOT.jar");

//        Path input = new Path("hdfs://192.168.0.26:9000/people");
        Path input = new Path(URI.create("hdfs://Machenmaster/test/inputTeacherData.txt"));
        Path output = new Path(URI.create("hdfs://Machenmaster/win10_MR_out/out"));
        Job job = Job.getInstance(conf, "word count");

        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);

        System.setProperty("HADOOP_USER_NAME", "hadoop");
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, input);
        FileOutputFormat.setOutputPath(job, output);
        job.waitForCompletion(true);
    }

编译准备：

IDEA 对此项目 main class 打包；

注意，这是后来我加的代码，又编译打包了1次

 conf.set("mapred.jar","D:\\project\\HadoopAndHbase\\Hadooptest\\target\\Hadooptest-1.0-SNAPSHOT.jar");

《问题：为何必须打包？？？？？？？？？？，不打包不能直接链接么，有知晓的朋友请留言探讨》

《问题：为何必须指定绝对打包路径？？？？》

百度的解释：

经过验证，发现问题原因及解决办法如下：

因为使用的是0.20以上的Hadoop版本，在调用jar中的自定义mapper时，需要设置setJarByClass方法，设置方法如下：
job.setJarByClass(MyJob.class);
其实，在输出日志中也有提示信息：
11/12/11 22:53:03 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
job.setJarByClass(MyJob.class);

运行代码无误

win10 IDEA 链接远程hadoop 2.6 集群相关推荐

Hadoop伪分布式集群的安装部署
Hadoop伪分布式集群的安装部署Hadoop伪分布式集群的安装部署首先可以为Linux虚拟机搭建起来的最初状态做一个快照,方便后期搭建分布式集群时多台Linux虚拟机的准备. 一.如何为虚拟机做快 ...
大数据系列(一)之hadoop介绍及集群搭建
大数据系列(一)之hadoop介绍及集群搭建文章最早发布来源,来源本人原创初版,同一个作者: https://mp.weixin.qq.com/s/fKuKRrpmHrKtxlCPY9rEYg 系列 ...
大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程
hadoop完全分布式集群搭建一.搭建准备 1.安装VMware虚拟机 2.Xshell 7 远程客户端及Xftp 7安装 3.搭建模板虚拟机hadoop100 配置虚拟机网络为虚拟机普通用户配置 ...
大数据学习笔记第1课 Hadoop基础理论与集群搭建
大数据学习笔记第1课 Hadoop基础理论与集群搭建一.环境准备二.下载JDK 三.安装JDK 四.下载hadoop 五.安装hadoop集群六.打通3台服务器的免密登录七.hadoop集群配 ...
Linux 部署Hadoop伪分布式集群教程
首先:我们需要下载一些关于Hadoop伪分布式集群需要的工具与tar包链接: https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg 提取码:6s5a 接下来 ...
一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
ubuntu18.04下hadoop安装与集群配置
ubuntu18.04下hadoop安装与集群配置 hadoop安装_单机/伪分布式配置环境创建hadoop用户更新apt 安装SSH.配置SSH无密码登陆安装Java环境安装 Hadoop ...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现...
『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本主机名 ip 对应角色 mas ...
基于32位版CentOS6配置符合HA模式的CDH5.7.0的Hadoop+Yarn+HBase集群
本文参考资料来源: 1,Hadoop完全分布式 -- HA配置 - WarmthYan - CSDN博客 https://blog.csdn.net/qq_33187206/article/deta ...

win10 IDEA 链接远程hadoop 2.6 集群

win10 IDEA 链接远程hadoop 2.6 集群相关推荐

最新文章

热门文章