我有一台本地计算机(local_user@local_machine)。hadoop文件系统位于不同的服务器(some_user@another_server)上。hadoop服务器中的一个用户名为target_user。如何从local_user@local_machine访问target_user中的文件?更准确地说,假设在some_user@another_server上的HDFS中存在一个文件/user/target_user/test.txt。从local_user@local_machine访问/user/target_user/test.txt时,我应该使用什么正确的文件路径?在

{hdi}本身可以访问文件。但是我无法使用我编写的从HDFS读写的python脚本从本地机器访问文件(需要3个参数-本地文件路径、远程文件路径和读或写),很可能是因为我没有给出正确的路径。在

我试过以下方法,但都不管用:

$ #local_user@local_machine

$ python3 rw_hdfs.py ./to_local_test.txt /user/target_user/test.txt read

$ python3 rw_hdfs.py ./to_local_test.txt some_user@another_server/user/target_user/test.txt read

所有这些都给出了完全相同的错误:Traceback (most recent call last):

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 377, in _make_request

httplib_response = conn.getresponse(buffering=True)

TypeError: getresponse() got an unexpected keyword argument 'buffering'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 560, in urlopen

body=body, headers=headers)

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 379, in _make_request

httplib_response = conn.getresponse()

File "/usr/lib/python3.5/http/client.py", line 1197, in getresponse

response.begin()

File "/usr/lib/python3.5/http/client.py", line 297, in begin

version, status, reason = self._read_status()

File "/usr/lib/python3.5/http/client.py", line 279, in _read_status

raise BadStatusLine(line)

http.client.BadStatusLine:

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "/usr/lib/python3/dist-packages/requests/adapters.py", line 376, in send

timeout=timeout

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 610, in urlopen

_stacktrace=sys.exc_info()[2])

File "/usr/lib/python3/dist-packages/urllib3/util/retry.py", line 247, in increment

raise six.reraise(type(error), error, _stacktrace)

File "/usr/lib/python3/dist-packages/six.py", line 685, in reraise

raise value.with_traceback(tb)

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 560, in urlopen

body=body, headers=headers)

File "/usr/lib/python3/dist-packages/urllib3/connectionpool.py", line 379, in _make_request

httplib_response = conn.getresponse()

File "/usr/lib/python3.5/http/client.py", line 1197, in getresponse

response.begin()

File "/usr/lib/python3.5/http/client.py", line 297, in begin

version, status, reason = self._read_status()

File "/usr/lib/python3.5/http/client.py", line 279, in _read_status

raise BadStatusLine(line)

requests.packages.urllib3.exceptions.ProtocolError: ('Connection aborted.', BadStatusLine('\x15\x03\x03\x00\x02\x02\n',))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "python_hdfs.py", line 63, in

status, name, nnaddress= check_node_status(node)

File "python_hdfs.py", line 18, in check_node_status

request = requests.get("%s/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus"%name,verify=False).json()

File "/usr/lib/python3/dist-packages/requests/api.py", line 67, in get

return request('get', url, params=params, **kwargs)

File "/usr/lib/python3/dist-packages/requests/api.py", line 53, in request

return session.request(method=method, url=url, **kwargs)

File "/usr/lib/python3/dist-packages/requests/sessions.py", line 468, in request

resp = self.send(prep, **send_kwargs)

File "/usr/lib/python3/dist-packages/requests/sessions.py", line 576, in send

r = adapter.send(request, **kwargs)

File "/usr/lib/python3/dist-packages/requests/adapters.py", line 426, in send

raise ConnectionError(err, request=request)

requests.exceptions.ConnectionError: ('Connection aborted.', BadStatusLine('\x15\x03\x03\x00\x02\x02\n',))

文件系统位于服务器,如何访问hadoop文件系统上的文件,该文件系统位于与本地计算机不同的服务器上?...相关推荐

  1. Spring boot上传文件(图片)到阿里云OSS(直接上传到应用服务器)

    Spring boot上传文件(图片)到阿里云OSS(直接上传到应用服务器) 主要思路 上传图片的思路有两种: 第一种是上传到应用服务器,再由应用服务器上传到OSS.这种适合上传的文件较小,较为简单, ...

  2. egg.js ajax上传文件,egg.js 通过 form 和 ajax 两种方式上传文件并自定义目录和文件名...

    一.需求 egg.js 的文件上传个人觉得很一般,内置的 multipart 插件并不怎么好用. egg-multipart 也是基于 co-busboy 实现的. egg 官方给的文件上传的示例地址 ...

  3. 打开ftp服务器上的文件夹时发生错误 操作超时,打开FTP服务器上的文件夹时发生错误。请检测是否有权访问该文件夹...

    只要能解决,分数不是问事 我用IE上输入ftp://....打开后提示 打开FTP服务器上的文件夹时发生错误.请检查是否有权限访问该文件夹. 详细信息: 200 Type ste to A. 227 ...

  4. 使用python来访问Hadoop HDFS存储实现文件的操作

    在调试环境下,咱们用hadoop提供的shell接口测试增加删除查看,但是不利于复杂的逻辑编程 查看文件内容 www.xiaorui.cc 用python访问hdfs是个很头疼的事情.... 这个是p ...

  5. 服务器文件上传记录,记录一下上传文件(图片)的过程上传图片到ftp服务器

    由于没理解servlet为何要用struts2取代而耗费了不少时间在找如何获取前端传输过来的数据.html public void doPost(HttpServletRequest request, ...

  6. python3 上传文件到目标机器_通过python模块实现服务器和本地机器之间快速拷贝文件...

    在实际的开发过程中,很多时候我们都不直接在本机上开发,一般都在远程服务器上开发并运行程序. 比如三胖在实际开发中就会使用到很多台服务器:我有一台笔记本电脑,通过 ssh 连接着很多台服务器,我需要经常 ...

  7. 云服务器iss列表,【踩坑】发布ASP.NET网站到本地IIS和云服务器

    疑问:如何在服务器上发布一个网站? 申请了某某云的1元服务器域名,然而并不知道有什么乱用.总所周知,服务器一般都是用来发布网站的,然后我就陷入了一个很大的疑问中:如何在服务器上发布一个网站? 想起之前 ...

  8. java scp 上传文件_java基于Scp实现Linux下远程获取、上传文件

    前不久在项目开发中遇上的一个需求:需要在B机器上将A机器某路径下的文件拷贝到B机器上做保存. 简单分析下来,自己的理解就是:一个RPC,主要就是解决跨域传输文件的问题.在提前能拿到A机器的IP.Por ...

  9. c#如何通过ftp上传文件_定时上传文件到ftp,2步完成Windows系统定时上传文件到ftp...

    FTP能操作任何类型的文件而不需要进一步处理,就像MIME或Unicode一样.但是,FTP有着极高的延时,这意味着,从开始请求到第一次接收需求数据之间的时间,会非常长:并且不时的必须执行一些冗长的登 ...

最新文章

  1. 地平线将融资10亿美元,或创AI芯片融资纪录
  2. MongoRepository
  3. springboot + shiro 尝试登录次数限制与并发登录人数控制
  4. Python中小整数对象池和大整数对象池
  5. Python练习 | Python 可迭代对象 迭代器
  6. MSSQL Server 2008 功能
  7. 自行车中的物理知识汇总
  8. Google 放话:要教会我家宝宝开发Android App!
  9. Spring Security(二) UserDetailsService 和 PasswordEncoder 密码解析器 详解
  10. C# 打开word文件
  11. 关于编写性能高效的javascript事件的技术[转] 来源:酷勤网 发布于 2015-2-12
  12. 什么是云数据库RDS?
  13. 大数据基础(林子雨版)
  14. mysql 关联顺序_Mysql 多表关联链接顺序说明
  15. c语言中最大公约数的编程,C语言中最大公约数求法
  16. 复正弦信号、实数信号的DFT
  17. Python 爬取留言板留言(二):多线程版+selenium模拟
  18. 信息系统项目管理师(2022年) —— 第 13 章 项目合同管理
  19. Arduino模拟电脑键盘(基于AVR-USB的USB-HID设备)
  20. matlab 自带的地图toolbox总结2

热门文章

  1. 为了实现自己的美好程序人生
  2. 济南昊锐科技谈程序员与用户UI
  3. 技术人员的明天:35岁后我们做什么
  4. Visual C++ 中的ODBC编程
  5. linux 蓝牙脚本,linux下蓝牙开发(bluez应用)
  6. 2020 年诺贝尔生理奖授予丙肝病毒的3 位发现者
  7. Mac隔空投送功能在哪? macbook隔空投送更方便的使用方法
  8. c++语言的设计与演化 pdf_天津大学在金属材料织构设计与调控领域取得进展
  9. P2550 [AHOI2001]彩票摇奖(python3实现)
  10. NOI题库 7654 等差数列末项计算