windows连接远程Hadoop/Spark

环境是Ubuntu，PC上使用Windows 10 ，在idea上连接Hadoop使用Mapreduce。
Hadoop使用的版本是hadoop-2.6.0-cdh5.15.1
报错：
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Wi
首先使用winutils.exe，从https://github.com/4ttty/winutils下载hadoop2.6.0和hadoop.dll
将winutils和hadoop.dll放在C:\Windows\System32下，然后修改org.apache.hadoop.io.nativeio路径下的NativeIO文件（方法是：复制到本地同样的包名，然后写上和源码一样的类NativeIO，然后修改文件）：

如果上述设置之后，还是无法运行hadoop，可以将winutils和hadoop.dll放到D:\java\winutils\bin

然后配置环境变量：
新建HADOOP_HOME：

编辑PATH:

然后在程序中指定：
System.setProperty("hadoop.home.dir", "D:\\winutils")即可。
出现问题：

org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)问题

可以将hadoop-2.7.1的hadoop.dll文件添加进来，替换掉2.6.0版本的hadoop.dll

windows连接远程Hadoop/Spark相关推荐

linux 远程权限不够,Eclipse连接远程Hadoop集群开发时权限不足问题解决方案
eclipse连接远程Hadoop集群开发时报错 Exception in thread "main" org.apache.hadoop.security.AccessContr ...
Eclipse连接远程Hadoop集群运行WordCount例程
hadoop开发主要分为两种,第一种是脱离集群开发:第二种是连接远程Hadoop集群,将我们开发的API提交hadoop执行: http://www.aboutyun.com/thread-6950- ...
hadoop(05)、使用Eclipse连接远程Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> 在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件, ...
连接maven_如何在Eclipse中使用Maven工程连接远程的Spark
如何在Eclipse中使用Maven工程连接远程的Spark 本地Spark跑不会出现什么问题,但是切换到服务器上各种问题. 异常 java.lang.ClassCastException: cann ...
windows连接远程服务器报错‘SSH‘ 不是内部或外部命令，也不是可运行的程序或批处理文件解决方案
windows连接远程服务器报错'SSH' 不是内部或外部命令,也不是可运行的程序或批处理文件解决方案参考文章: (1)windows连接远程服务器报错'SSH' 不是内部或外部命令,也不是可运 ...
windows连接远程打印机
windows连接hp的远程打印机时,自动装不了驱动.. 需打开驱动程序(驱动程序安装需接设备),然后windows就过下载驱动这步了..
Windows连接远程桌面时出现黑屏的解决办法
在工作中,客户购买了Windows服务器后,为了操作方便我们经常使用远程桌面功能,有时候难免会遇到一些问题.比如连接时出现桌面黑屏,导致无法继续进行操作,本篇博客就记录一下解决办法.高手可以忽略,不喜 ...
3389批量远程，windows连接远程服务器命令
本人最近入职了一家网络公司,接手管理了100多台服务器,因工作需要每天多次频繁连接到多台服务器,但是手动一个一个连接非常的耗时间,有什么方法可以可以快速批量远程连接服务器呢? 最近发现使用iis7站长 ...
idea本地配置连接远程hadoop集群的一些网络问题解决汇总
1.Hadoop本地开发,9000端口拒绝访问解决将hosts中的主机名hadoop001指向内网ip如192.168.0.3而不是127.0.0.1 原理参考博客: https://blog.c ...

windows连接远程Hadoop/Spark

windows连接远程Hadoop/Spark相关推荐

最新文章

热门文章