Expected authority at index 7: hdfs://
hadoop版本:1.0.4
今天在跑TestForest的时候,居然出现了这个问题:
Exception in thread "main" java.lang.IllegalArgumentException: Expected authority at index 7: hdfs://at java.net.URI.create(URI.java:859)at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:131)at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)at org.apache.mahout.classifier.df.mapreduce.Classifier.run(Classifier.java:107)at org.apache.mahout.classifier.df.mapreduce.TestForest.mapreduce(TestForest.java:187)at org.apache.mahout.classifier.df.mapreduce.TestForest.testForest(TestForest.java:173)at org.apache.mahout.classifier.df.mapreduce.TestForest.run(TestForest.java:145)at mahout.fansy.partial.test.TestTestForest.main(TestTestForest.java:26)
Caused by: java.net.URISyntaxException: Expected authority at index 7: hdfs://at java.net.URI$Parser.fail(URI.java:2829)at java.net.URI$Parser.failExpecting(URI.java:2835)at java.net.URI$Parser.parseHierarchical(URI.java:3083)at java.net.URI$Parser.parse(URI.java:3034)at java.net.URI.<init>(URI.java:595)at java.net.URI.create(URI.java:857)... 7 more
我调用TestForest的代码如下:
package mahout.fansy.partial.test;import org.apache.hadoop.conf.Configuration;
import org.apache.mahout.classifier.df.mapreduce.TestForest;public class TestTestForest {/*** 测试TestForest* @param args* @throws Exception */public static void main(String[] args) throws Exception {String[] arg=new String[]{"-i","hdfs://ubuntu:9000/user/breiman/input/glass.data","-ds","hdfs://ubuntu:9000/user/breiman/glass.info","-m","hdfs://ubuntu:9000/user/breiman/glass.tree/forest.seq","-a","-mr","-o","hdfs://ubuntu:9000/user/breiman/out-testforest0"};Configuration conf=new Configuration();conf.set("mapred.job.tracker", "ubuntu:9001");conf.set("fs.default.name", "hdfs://");TestForest tf=new TestForest();tf.setConf(conf);Configuration confq=tf.getConf();System.out.println(confq);tf.run(arg);}}
刚开始的时候是直接使用TestForest.main(arg)来调用的,但是发现conf的值设置不了(即全部都是按照默认,这个肯定不行,在win7 的myeclipse上面调用hadoop肯定要设置conf的)但是哪里可以设置,所以就想到了TestForest是继承Configuration的,然后Configuration有一个setConf的方法,所以就实例化了一个TestForest对象,然后调用setConf方法设置conf,但是conf设置的不对,所以出现了上面的错误。要如何设置呢?其实把conf.set("fs.default.name", "hdfs://");改为conf.set("fs.default.name", "ubuntu:9000");就可以了,其中ubuntu是主节点机器名。然后就可以跑了。
分享,成长,快乐
转载请注明blog地址:http://blog.csdn.net/fansy1990
转载于:https://www.cnblogs.com/suncoolcat/p/3339373.html
Expected authority at index 7: hdfs://相关推荐
- hiveserver或者hive启动出现Expected authority at index 7问题解决
完整报错如下: 2020-06-03 11:17:19,161 INFO [main] conf.HiveConf: Found configuration file file:/home/apple ...
- Illegal character in authority at index 18:
java.io.IOException: Illegal character in authority at index 18: http://10.30.53.36 :8080/ServerForJ ...
- 2021年大数据Hadoop(八):HDFS的Shell命令行使用
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 HDFS的Shell命 ...
- Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问(十五)
调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...
- Hadoop之HDFS(一)HDFS入门及基本Shell命令操作
1 . HDFS 基本概念 1.1 HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...
- HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍
3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs d ...
- Hadoop教程(三)HDFS文件系统Shell命令
Hadoop教程(三)HDFS文件系统Shell命令 本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381 Hadoop教程(三)HD ...
- HDFS Shell基本操作总结
本文转自http://www.mc2lab.com/?p=444,所有权利归原作者所有. 1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# ha ...
- hdfs 指令_Hadoop Shell命令
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...
- 大数据基础——HDFS(分布式文件系统)
分布式文件系统--HDFS 文章目录 分布式文件系统--HDFS HDFS概述 HDFS发展历史 HDFS的设计目标 HDSF应用场景 适合的应用场景 不适合的应用场景 HDFS架构 HDFS的基本原 ...
最新文章
- lvs调整hash表大小
- Zookeeper应用场景理解
- 你的护城河在哪?老程序员的一些2016感悟
- Python 第十一篇:开发堡垒机
- Vue的调试工具(Chrome 浏览器)配置
- 洛达项目AB152xP资料SDK相关说明
- 转 自定义View之onMeasure()
- 《C专家编程》:编译器的金科玉律(一)
- tablepc是什么平板电脑_平板电脑 Tablet PC
- java中word转pdf/word转图片/word转html/html转word等操作
- python入门和使用
- 2022年3月15日黑马第三天
- UNI-APP_uni-ap自动获取状态栏高度,自定义导航栏组件
- 猿创征文|2022年前端之路——我的前端开发好帮手
- 买华为手机U8825D的体验
- 2020.7.22英谷实训日志
- pytorch入门学习(四)-----计算图与动态图
- 【CO003】操作系统笔记3 —— IPC 问题
- iOS生态链寄生数百万开发者:艰难求生面临决择
- USB摄像头驱动之设置属性
热门文章
- .Net Email操作类
- 程序代码里的幽默精神
- linux lsof命令语法
- SpringAOP 学习笔记
- android中白色怎么表示,android – 将位图中特定颜色以外的所有颜色转换为白色...
- net根据list创建xml_#一起学spring#创建多模块项目
- php 框架_八大PHP开源框架(PHP开发必藏哟)
- 主进程退出后子进程还会存在吗?_进程和线程面试常见的19个问题
- python 怎么得到图像深度图 软件_Python为8bit深度图像应用color map
- java实现用户分组,java实现分组算法,根据每组多少人来进行分组