运行完成之后,可以到tmp目录下查看Hadoop-root目录和hsperfdata_root目录,其实hsperfdata_root是空的,不过在hadoop-root目录下有很多临时目录和文件:

[root@www.linuxidc.com /]# ls -l -R tmp/hadoop-root

tmp/hadoop-root:

总计 8

drwxr-xr-x 4 root root 4096 09-24 19:43 mapred

tmp/hadoop-root/mapred:

总计 16

drwxr-xr-x 4 root root 4096 09-24 19:43 local

drwxr-xr-x 2 root root 4096 09-25 16:32 system

tmp/hadoop-root/mapred/local:

总计 16

drwxr-xr-x 2 root root 4096 09-25 16:32 localRunner

drwxr-xr-x 3 root root 4096 09-24 19:43 taskTracker

tmp/hadoop-root/mapred/local/localRunner:

总计 8

-rw-r--r-- 1 root root 104 09-25 16:32 split.dta

tmp/hadoop-root/mapred/local/taskTracker:

总计 8

drwxr-xr-x 3 root root 4096 09-24 19:43 jobcache

tmp/hadoop-root/mapred/local/taskTracker/jobcache:

总计 8

drwxr-xr-x 10 root root 4096 09-25 16:32 job_local_0001

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001:

总计 64

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000000_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000001_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000002_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000003_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000004_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000005_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_m_000006_0

drwxr-xr-x 2 root root 4096 09-25 16:32 attempt_local_0001_r_000000_0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000000_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000001_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000002_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000003_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000004_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000005_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_m_000006_0:

总计 0

tmp/hadoop-root/mapred/local/taskTracker/jobcache/job_local_0001/attempt_local_0001_r_000000_0:

总计 0

tmp/hadoop-root/mapred/system:

总计 0如果没有使用root用户,就会出现很多问题,我想是因为权限的问题。

从root用户切换到用户shiyanjun:

[root@www.linuxidc.com /]# su shiyanjun配置认证,并通过ssh登录到127.0.0.1:

[shiyanjun@www.linuxidc.com hadoop-0.18.0]$ ssh-keygen

Generating public/private rsa key pair.

Enter file in which to save the key (/home/shiyanjun/.ssh/id_rsa):

/home/shiyanjun/.ssh/id_rsa already exists.

Overwrite (y/n)? y

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/shiyanjun/.ssh/id_rsa.

Your public key has been saved in /home/shiyanjun/.ssh/id_rsa.pub.

The key fingerprint is:

76:7d:0c:8c:77:81:6c:eb:d9:7e:b2:d2:87:d0:ac:61 shiyanjun@www.linuxidc.com

[shiyanjun@www.linuxidc.com hadoop-0.18.0]$ ssh localhost

shiyanjun@localhost's password:

Last login: Wed Sep 24 16:30:17 2008这时,准备好待处理数据文件,开始运行WordCount工具:

[shiyanjun@www.linuxidc.com hadoop-0.18.0]$ bin/hadoop jar hadoop-0.18.0-examples.jar wordcount my-input my-output总是会因为创建输出目录而发生异常:

08/09/25 17:14:24 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

08/09/25 17:14:24 INFO mapred.FileInputFormat: Total input paths to process : 7

08/09/25 17:14:24 INFO mapred.FileInputFormat: Total input paths to process : 7

08/09/25 17:14:25 INFO mapred.JobClient: Running job: job_local_0001

08/09/25 17:14:25 INFO mapred.FileInputFormat: Total input paths to process : 7

08/09/25 17:14:25 INFO mapred.FileInputFormat: Total input paths to process : 7

08/09/25 17:14:25 ERROR mapred.LocalJobRunner: Mkdirs failed to create file:/home/shiyanjun/hadoop-0.18.0/my-output/_temporary

08/09/25 17:14:25 WARN mapred.LocalJobRunner: job_local_0001

java.io.IOException: The directory file:/home/shiyanjun/hadoop-0.18.0/my-output/_temporary doesnt exist

at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:148)

java.io.IOException: Job failed!

at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1113)

at org.apache.hadoop.examples.WordCount.run(WordCount.java:149)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)

at org.apache.hadoop.examples.WordCount.main(WordCount.java:155)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)

at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)

at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:53)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.util.RunJar.main(RunJar.java:155)

at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)

at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)

at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)

待解决...

因为刚刚接触Linux系统,对于一些配置还是不能游刃有余。有知道该如何配置的朋友,请不吝赐教,谢谢。

linux hadoop 本地,Linux系统下运行基于本地的Hadoop相关推荐

  1. Linux系统下实现基于TCP/IP协议的简单Socket通信

    Linux系统下实现基于TCP/IP协议的简单Socket通信 网络套接字Socket Socket概念 主机字节序和网络字节序 Sockaddr地址结构 Socket实现客户端.服务端通信 服务端程 ...

  2. linux下geany配置python_Linux系统下搭建基于Geany+Python开发环境

    Linux系统下搭建基于Geany+Python开发环境 一.升级python mkdir /usr/local/python3 # tar xvf Python-3.6.1.tar.xz  # 解压 ...

  3. linux系统参加网络会议,在Deepin Linux系统下运行腾讯会议的方略

    对于经常使用腾讯会议开网络会议的人,如果能在电脑Deepin Linux系统下运行是再好不过的了,但是不能直接的使用,而是通过Wine间接的使用腾讯会议. 方略 把腾讯会议下载下来,如果是安装程序的话 ...

  4. linux 脚本 java_linux系统下运行java项目的脚本编写

    本文主要讲linux系统下运行jar包,至于如何打包jar包,放到linux系统下可以参考其他的博客. 在linux系统下运行jar包的命令如下: 1.java -jar xxxxx.jar  //  ...

  5. nvr linux 软件,Linux系统下运行RTSP协议安防视频平台EasyNVR出现安装服务错误,如何解决?...

    原标题:Linux系统下运行RTSP协议安防视频平台EasyNVR出现安装服务错误,如何解决? 大家知道TSINGSEE青犀视频云-边-端全线产品都是有两个不同系统的版本,分别是windows版本和l ...

  6. 微信开发者工具命令行_在Linux系统下运行微信Web开发者工具

    微信Web开发者工具只有window版本和mac版本,如果想要在Linux系统下运行微信Web开发者工具,需要花费很大周折.注:带 * 的步骤或文件为不确定是否管用的步骤或文件. 本人系统为Linux ...

  7. 【操作系统】如何在linux系统下运行C程序

    如何在linux系统下运行C程序 linux系统与windows系统不同,如何在linux中运行C,我们来看看吧. 工具/原料 Linux虚拟机 电脑 方法/步骤 查看全文 http://www.ta ...

  8. 【Linux C】Linux系统下运行C++程序以及运行C语言程序区别

    一.创建测试C++脚本 #include <iostream>using namespace std; int main() {cout << "Hello worl ...

  9. Linux Ubuntu 16.04系统下可用的Windows应用

    众所周知,Linux系统下的生态环境不是很好,很多可以在Windows 10系统下运行的 软件都不能在Linux下运行,那么接下来为大家推荐部分可以应用的软件: A.Google-Chrome. 最简 ...

最新文章

  1. 为什么老外不愿意用 MyBatis?
  2. 智能水位检测系统proteus_基于单片机控制的智能检测系统Proteus仿真设计研究
  3. dokuwiki 的管理和使用
  4. 控制面板的cpl程序列表
  5. JVM调优总结(5):典型配置
  6. Spring框架(二) ---- bean的歧义性
  7. 中国经济怎么办之我见
  8. windows的python切换环境_Windows下的python虚拟环境设置
  9. Scrapy_CSS选择器
  10. [Ext JS 4] 实战之 带week(星期)的日期选择控件(三)
  11. HTML语言中 blur()方法,jQuery的blur()方法怎么用?
  12. python抓取数据 常见反爬虫 情况
  13. 传智播客-刘意-java深入浅出精华版学习笔记Day07
  14. dex2jar android,dex2jar
  15. 华为U2000网管研究实录 (3) - 运行分析(服务端进程)
  16. 软考中级系统集成项目管理工程师自学好不好过,怎么备考,给点经验
  17. 小程序怎么接入第三方客服工具?
  18. 阅读这篇文章,假设你不知道的傅里叶变换,然后来掐死我
  19. Idea突然不停indexing的问题
  20. 技术团队分享改进总结

热门文章

  1. python中F/f表达式优于format()表达式
  2. python 的filter()函数
  3. 服务器操作系统文件共享设置,服务器操作系统文件共享设置
  4. linux smtp 发送邮件乱码,使用gomail发送邮件之解决附件名乱码的问题
  5. PtQt4标准对话框——QFileDialog
  6. linux——脚本的练习示例三
  7. Ink on paper 最小生成树-Prim-二分答案并查集
  8. NIO源码解析:FileChannel基本使用
  9. Elasticsearch Terms Aggregation计数聚合详解
  10. php读取文件和读取redis,PHP结合redis实现大文件去重