pythonjava app切出后无网络连接_Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么破？...

@向晓宇：

大佬，你好，请问你是怎么解决这个问题的呀？

最近我在下载数据集的时候也遇到这个问题了，纠结好几天了都没有解决。大佬可以具体指点一下怎么做的嘛，新手膜拜！下面是执行代码，麻烦大佬指点一下哈：

`import os

import shutil

from tqdm import tqdm

import requests

import tarfile

import re

import sqlite3

def download_urls():

lists = [

['http://image-net.org/imagenet_data/urls/imagenet_fall11_urls.tgz',

'data/urls/imagenet_fall11_urls.tgz',

'data/urls/fall11.txt'],

['http://image-net.org/imagenet_data/urls/imagenet_winter11_urls.tgz',

'data/urls/imagenet_winter11_urls.tgz',

'winter11.txt'],

['http://image-net.org/imagenet_data/urls/imagenet_spring10_urls.tgz',

'data/urls/imagenet_spring10_urls.tgz',

'data/urls/spring10.txt'],

['http://image-net.org/imagenet_data/urls/imagenet_fall09_urls.tgz',

'data/urls/imagenet_fall09_urls.tgz',

'data/urls/fall09.txt']]

for list_ in lists:

url = list_[0]

tar_path = list_[1]

txt_path = list_[2]

file_size = int(requests.head(url).headers["content-length"])

#r = requests.get(url, stream=True)

with requests.get(url, stream=True, timeout = 500) as r:

pbar = tqdm(total=file_size, unit="b", unit_scale=True)

with open(tar_path, 'wb') as f:#wb

for chunk in r.iter_content(chunk_size=1024):

f.write(chunk)

pbar.update(len(chunk))

pbar.close()

tar = tarfile.open(tar_path, 'r')

for item in tar:

tar.extract(item, '.')

shutil.move(item.name, txt_path)

def main():

if not os.path.exists('data'):

os.mkdir('data')

if not os.path.exists('data/urls'):

os.mkdir('data/urls')

download_urls()

if name == '__main__':

main()

pythonjava app切出后无网络连接_Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么破？...相关推荐

adb connect 远程adb连接手机无法连接，显示由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。（10060）windows调试Linux解决方式 ip连接方式
adb connect 远程adb连接手机无法连接,显示由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败.(10060) 解决方法解决步骤解决方法解决目标前提 1.需要手机r ...
svn checkout 提示“由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。”解决方法...
安装好之后再windows上checkout项目,一直出错:"由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败":在尝试了很多次之后找到了最后的问题所在. 在 ...
关于“svn: Can‘t connect to host ‘*.*.*.*‘: 由于连接方在一段时间后没有正确答复或连接”的解决方法
关于"svn: Can't connect to host '*.*.*.*': 由于连接方在一段时间后没有正确答复或连接"的解决方法参考文章: (1)关于"svn: ...
由于连接方在一段时间后没有正确答复或连接的主机没有反应_电动车锂电池正确充电方法及充电过程详解...
时下,手机.笔记本电脑甚至汽车等都在使用锂电池,这种电池作为二次电池,可以多次充电,使用方便.但对于锂电池充电方法,却存在着多种说法甚至是误区,那么,哪些是正确的锂电池充电方法?拿到一个新的电子设备, ...
由于连接方在一段时间后没有正确答复或连接的主机没有反应_长假后回到实验室要注意这些！！...
8天长假结束了!大部分实验室要开始复工啦!回到实验室,第一件事当然是打开仪器,可是休了一个长假的仪器跟你一样,可能也有"节后综合征",搞不好会闹别扭的,那么如何正确打开你的仪器呢? ...
Cannot connect：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。192.168.0.113:22
问题:linux虚拟机下载好docker后,利用docker下载mysql容器,利用smartty连接mysql出现上图所示原因:这个问题之前没有出现,后来出现,很大原因是ip自动改变了解决:在l ...
pythonjava app切出后无网络连接_写了一个java的Server 用python的client访问却访问不通问题。...
首先给出这个java的Server代码 try{//1.创建一个服务器端Socket,即ServerSocket,指定绑定的端口,并监听此端口 ServerSocket serverSocket=ne ...
服务器tcp连接上限问题解决：报错代码10060 由于连接方在一段时间后没有正确答复或连接的主机没有反应
first 在flask后台上新开了一个接口,然后准备做一下压测压测报错如下图定位原因第一种情况(后台服务问题?): 1,难道是因为flask的性能不够,导致的这个问题? 否决了,因为我部署前面 ...
关于“svn: Can't connect to host '*.*.*.*': 由于连接方在一段时间后没有正确答复或连接”的解决方法...
阿里云服务器环境(PHP+Nginx+MySQL) [原因1]svnserve.conf 没写好,当然你先备份一份先: cp svnserve.conf svnserve.conf.bak 打开此文件 ...

pythonjava app切出后无网络连接_Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么破？...

pythonjava app切出后无网络连接_Python爬虫爬资源时由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。怎么破？...相关推荐

最新文章

热门文章