python多线程下载多个文件_python多线程下载文件练习1

***今天在我BF的帮助下完成了小小的程序，也是我第一次写博客呢，谢谢他哦嘎嘎

1.首先，计算出下载文件的长度。

conn = urllib.urlopen(url)

headers = conn.info()

File_len = int (headers['Content-Length'])

2.根据所得到的文件长度对于每个线程确定下载数据的长度和开始下载位置。

req = urllib2.Request('http://guidetodatamining.com/guide/ch2/BX-Dump.zip')

req.headers['Range'] = 'bytes=%s-%s' % (start, end)

3在本地建一个文件保存所下载数据，对于每个线程所下载起始位置跟下载起始位置相同。每个线程互斥访问文件。

4.检查所下载文件对错。

Python中的filecmp模块来比较两个文件。

import filecmp

filecmp.cmp(r'C:\Users\tana\Desktop\BX-Dump.zip',r'C:\Users\tana\Desktop\multithreads.zip')

具体代码：

import urllib

import urllib2

import threading,time

#线程函数

def threadcode(start,end):

req = urllib2.Request('http://guidetodatamining.com/guide/ch2/BX-Dump.zip')

req.headers['Range'] = 'bytes=%s-%s' % (start, end)

response = urllib2.urlopen(req)

#互斥临界区

l.acquire()

f.seek(start,0)

f.write(response.read())

l.release()

# Get file size function 获得文件大小

def GetHttpFileSize(url):

length = 0

try:

conn = urllib.urlopen(url)

headers = conn.info()

except Exception, err:

pass

return int (headers['Content-Length'])

#分割文件方便多线程下载

def Split(size,blocks):

ranges = []

blocksize = size / blocks

for i in xrange(blocks-1):

ranges.append((i*blocksize,blocksize*i+blocksize-1))

ranges.append(( blocksize*(blocks-1), size-1))

print ranges

return ranges

#建立多线程

url = 'http://guidetodatamining.com/guide/ch2/BX-Dump.zip'

thread_num = 5

file_len = GetHttpFileSize(url)

l=threading.Lock()

ranges=Split(file_len,thread_num)

f=open("multithreads.zip",'wb+')

childthreads=[]

for i in range(thread_num):

t = threading.Thread( target = threadcode, name="Thread-%d" % i,args=(ranges[i]))

t.start()

childthreads.append(t)

for t in childthreads:

t.join()

f.close()

print 'down'

python多线程下载多个文件_python多线程下载文件练习1相关推荐

python不同数据的读入_python读写不同编码txt文件_python读写txt文件
python读写不同编码txt文件_python读写txt文件以后整理规范 [python] view plaincopy import os import codecs filenames=os. ...
python 多线程读写文件_Python多线程同步---文件读写控制方法
1.实现文件读写的文件ltz_schedule_times.py #! /usr/bin/env python #coding=utf-8 import os def ReadTimes(): res ...
python 多线程读写文件_python多线程同步之文件读写控制
本文实例为大家分享了python多线程同步之文件读写控制的具体代码,供大家参考,具体内容如下 1.实现文件读写的文件ltz_schedule_times.py #! /usr/bin/env pyth ...
python多线程处理文件_python多线程分块读取文件
# _*_coding:utf-8_*_ import time, threading, ConfigParser ''' Reader类,继承threading.Thread @__init__方法 ...
python下载链接下载文件_python从下载链接下载文件到本地
1.需要的python库 requests 2.代码(复制可用)#引用 requests文件 import requests #下载地址 Download_addres='https://nj02cm ...
python如何实现下载文件_python实现下载文件的三种方法
python实现下载文件的三种方法 Python开发中时长遇到要下载文件的情况,最常用的方法就是通过Http利用urllib或者urllib2模块. 当然你也可以利用ftplib从ftp站点下载文件. ...
python读取手机文件_python 读取网络文件
Python之pandas数据加载.存储 Python之pandas数据加载.存储 0. 输入与输出大致可分为三类: 0.1 读取文本文件和其他更好效的磁盘存储格式 2.2 使用数据库中的数据 0.3 ...
python本地读csv文件_python读写csv文件方法详细总结
python提供了大量的库,可以非常方便的进行各种操作,现在把python中实现读写csv文件的方法使用程序的方式呈现出来. 在编写python程序的时候需要csv模块或者pandas模块,其中csv ...
python处理json文件_python处理json文件
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! python类型转换json类型的对应关系? json类型转换到python的类 ...

python多线程下载多个文件_python多线程下载文件练习1

python多线程下载多个文件_python多线程下载文件练习1相关推荐

最新文章

热门文章

python多线程下载多个文件_python多线程下载文件 练习1

python多线程下载多个文件_python多线程下载文件 练习1相关推荐

最新文章

热门文章

python多线程下载多个文件_python多线程下载文件练习1

python多线程下载多个文件_python多线程下载文件练习1相关推荐