思路是 先构造url列表 all_url

然后

for i in range(0, len(all_url)):

urlqueue.put(all_url[i])

然后get 做到每次从列表中取出url

现在问题是，range后面 无法写成 0到列表长度

会显示IndexError: list index out of range

意思是 索引错误：列表索引超出范围

而且列表是没有任何问题的，没有空

而且如果列表长度是2000， 那么只能range(0， 1000)，这样就无任何报错

这样就很麻烦

下面是代码

import requests

from lxml import html

import time

import threading

from queue import Queue

class Spider(threading.Thread):

def __init__(self, name, urlqueue):

super().__init__()

self.name = name

self.urlqueue = urlqueue

def run(self):

headers = {

'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36'

}

print('线程 ：' + self.name + '启动')

while not self.urlqueue.empty():

try:

url = self.urlqueue.get()

rep = requests.get(url, headers = headers, timeout = 5)

time.sleep(1)

if rep.status_code == 200:

print("链接成功")

self.parse(rep)

print(url + " 爬取完成")

except Exception as e:

print("主页：：" +url + " 链接失败, 原因：：", e)

pass

print('线程 ：' + self.name + '结束')

def parse(self, rep):

con = rep.content

sel = html.fromstring(con)

title = sel.xpath('//div[@class="titmain"]/h1/text()')

title = str(title).replace(']', '').replace('[', '').replace("'", '').replace(",", '').replace(r"\r\n", "").replace('"', '').replace(' ', '').replace(r'\xa0', '').replace('?', '').replace('/', '').replace(r'\u3000', ' ')

date = sel.xpath('//div[@class="texttit_m1"]/p/text()')

date = str(date).replace(']', '').replace('[', '').replace("'", '').replace(r'\u3000', ' ')

if len(date) > 20:

file_name = title + ".txt"

a = open(file_name, "w+", encoding='utf-8')

a.write('\n' + str(title) + '\n' + '\n' + str(date))

print(file_name + '保存成功')

a.close

else:

pass

if name == '__main__':

with open('未爬取url.txt') as f:

data = f.readline()

#读取数据行

james = data.strip().split(',')

#将数据转换为列表

all_url = []

for jame in james:

a=eval(jame)

#去除ifu两端引号

all_url.append(a)

print(len(all_url))

start = time.time()

urlqueue = Queue()

threadNum = 3 #线程数量

for i in range(0, 1468):

urlqueue.put(all_url[i]) #问题在这里

del all_url[i]

threads = []

for i in range(1, threadNum+1):

thread = Spider("线程" + str(i), urlqueue)

thread.start()

threads.append(thread)

for thread in threads:

thread.join()

with open('未爬取url.txt', 'w+') as b:

b.write('\n'.join([str(all_url)]))

b.write('\n' + '=' *50 + '\n')

b.close

print(' 未爬取url 保存完成')

end = time.time()

print("-------------------------------")

print("下载完成. 用时{}秒".format(end-start))

另外 url是从txt读的 不知道怎么传上来， 最后构造的all_url列表是肯定没有问题的