hadoop版本:1.0.4

今天在跑TestForest的时候,居然出现了这个问题:

Exception in thread "main" java.lang.IllegalArgumentException: Expected authority at index 7: hdfs://at java.net.URI.create(URI.java:859)at org.apache.hadoop.fs.FileSystem.getDefaultUri(FileSystem.java:131)at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)at org.apache.mahout.classifier.df.mapreduce.Classifier.run(Classifier.java:107)at org.apache.mahout.classifier.df.mapreduce.TestForest.mapreduce(TestForest.java:187)at org.apache.mahout.classifier.df.mapreduce.TestForest.testForest(TestForest.java:173)at org.apache.mahout.classifier.df.mapreduce.TestForest.run(TestForest.java:145)at mahout.fansy.partial.test.TestTestForest.main(TestTestForest.java:26)
Caused by: java.net.URISyntaxException: Expected authority at index 7: hdfs://at java.net.URI$Parser.fail(URI.java:2829)at java.net.URI$Parser.failExpecting(URI.java:2835)at java.net.URI$Parser.parseHierarchical(URI.java:3083)at java.net.URI$Parser.parse(URI.java:3034)at java.net.URI.<init>(URI.java:595)at java.net.URI.create(URI.java:857)... 7 more

我调用TestForest的代码如下:

package mahout.fansy.partial.test;import org.apache.hadoop.conf.Configuration;
import org.apache.mahout.classifier.df.mapreduce.TestForest;public class TestTestForest {/*** 测试TestForest* @param args* @throws Exception */public static void main(String[] args) throws Exception {String[] arg=new String[]{"-i","hdfs://ubuntu:9000/user/breiman/input/glass.data","-ds","hdfs://ubuntu:9000/user/breiman/glass.info","-m","hdfs://ubuntu:9000/user/breiman/glass.tree/forest.seq","-a","-mr","-o","hdfs://ubuntu:9000/user/breiman/out-testforest0"};Configuration conf=new Configuration();conf.set("mapred.job.tracker", "ubuntu:9001");conf.set("fs.default.name", "hdfs://");TestForest tf=new TestForest();tf.setConf(conf);Configuration confq=tf.getConf();System.out.println(confq);tf.run(arg);}}

刚开始的时候是直接使用TestForest.main(arg)来调用的,但是发现conf的值设置不了(即全部都是按照默认,这个肯定不行,在win7 的myeclipse上面调用hadoop肯定要设置conf的)但是哪里可以设置,所以就想到了TestForest是继承Configuration的,然后Configuration有一个setConf的方法,所以就实例化了一个TestForest对象,然后调用setConf方法设置conf,但是conf设置的不对,所以出现了上面的错误。要如何设置呢?其实把conf.set("fs.default.name", "hdfs://");改为conf.set("fs.default.name", "ubuntu:9000");就可以了,其中ubuntu是主节点机器名。然后就可以跑了。

分享,成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990

转载于:https://www.cnblogs.com/suncoolcat/p/3339373.html

Expected authority at index 7: hdfs://相关推荐

  1. hiveserver或者hive启动出现Expected authority at index 7问题解决

    完整报错如下: 2020-06-03 11:17:19,161 INFO [main] conf.HiveConf: Found configuration file file:/home/apple ...

  2. Illegal character in authority at index 18:

    java.io.IOException: Illegal character in authority at index 18: http://10.30.53.36 :8080/ServerForJ ...

  3. 2021年大数据Hadoop(八):HDFS的Shell命令行使用

    2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据 目录 HDFS的Shell命 ...

  4. Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问(十五)

    调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs  *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...

  5. Hadoop之HDFS(一)HDFS入门及基本Shell命令操作

    1 . HDFS 基本概念 1.1  HDFS 介绍 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统.是 Hadoop 核心组件之 ...

  6. HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

    3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端,使用方法如下: [toto@hadoop hadoop-2.8.0]$ hdfs d ...

  7. Hadoop教程(三)HDFS文件系统Shell命令

    Hadoop教程(三)HDFS文件系统Shell命令 本文链接:https://blog.csdn.net/yuan_xw/article/details/50202381 Hadoop教程(三)HD ...

  8. HDFS Shell基本操作总结

    本文转自http://www.mc2lab.com/?p=444,所有权利归原作者所有. 1.HDFS Shell基本操作总结 1.1 浏览你的HDFS目录 [root@slave1 bin]# ha ...

  9. hdfs 指令_Hadoop Shell命令

    调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式. 所有的的FS shell命令使用URI路径作为参数.URI格式是scheme://authority/path.对HDF ...

  10. 大数据基础——HDFS(分布式文件系统)

    分布式文件系统--HDFS 文章目录 分布式文件系统--HDFS HDFS概述 HDFS发展历史 HDFS的设计目标 HDSF应用场景 适合的应用场景 不适合的应用场景 HDFS架构 HDFS的基本原 ...

最新文章

  1. lvs调整hash表大小
  2. Zookeeper应用场景理解
  3. 你的护城河在哪?老程序员的一些2016感悟
  4. Python 第十一篇:开发堡垒机
  5. Vue的调试工具(Chrome 浏览器)配置
  6. 洛达项目AB152xP资料SDK相关说明
  7. 转 自定义View之onMeasure()
  8. 《C专家编程》:编译器的金科玉律(一)
  9. tablepc是什么平板电脑_平板电脑 Tablet PC
  10. java中word转pdf/word转图片/word转html/html转word等操作
  11. python入门和使用
  12. 2022年3月15日黑马第三天
  13. UNI-APP_uni-ap自动获取状态栏高度,自定义导航栏组件
  14. 猿创征文|2022年前端之路——我的前端开发好帮手
  15. 买华为手机U8825D的体验
  16. 2020.7.22英谷实训日志
  17. pytorch入门学习(四)-----计算图与动态图
  18. 【CO003】操作系统笔记3 —— IPC 问题
  19. iOS生态链寄生数百万开发者:艰难求生面临决择
  20. USB摄像头驱动之设置属性

热门文章

  1. .Net Email操作类
  2. 程序代码里的幽默精神
  3. linux lsof命令语法
  4. SpringAOP 学习笔记
  5. android中白色怎么表示,android – 将位图中特定颜色以外的所有颜色转换为白色...
  6. net根据list创建xml_#一起学spring#创建多模块项目
  7. php 框架_八大PHP开源框架(PHP开发必藏哟)
  8. 主进程退出后子进程还会存在吗?_进程和线程面试常见的19个问题
  9. python 怎么得到图像深度图 软件_Python为8bit深度图像应用color map
  10. java实现用户分组,java实现分组算法,根据每组多少人来进行分组