爬虫

爬取优信二手车：循环遍历每页，获取相应的有价值字段信息，这里不详细阐释了。

多线程

Python中，使用concurrent.futures模块下的ThreadPoolExecutor类来实现线程池，因爬取过程无需考虑前后执行顺序，因此我使用较为灵活地抢占式线程池。

使用with关键字创建资源池，调用实例化对象的submit方法来启动线程资源池，并把需要线程执行的函数名称和函数参数传进去。

使用time模块记录程序运行的时长，在每段程序运行前后，各获取一次当前时间，差值就是运行时间。通过对比测试结果，多线程的效率比单线程还是快不少。

定时器

Python中，使用threading模块下的Timer类来实现，它的本质还是线程，只不过多了个时间参数，也是通过start方法来启动。

在定时器的触发函数里，再创建一个定时器，并将处理函数指向自己，就可以实现定时器的无限循环触发。

如果想停止无限循环的定时器，可以使用cancel函数。

最后贴上运行效果、完整代码：

平台：Win7，语言：Python，IDE：Spyder

youxin.py

"""

引用python的标准库模块

"""

import requests

from scrapy import Selector

from concurrent.futures import ThreadPoolExecutor

import threading

"""

下面是配置类数据(也可放在单独的config模块里)

"""

# 优信二手车网址

BASE_URL = 'https://www.xin.com/shenyang/i'

# 要爬取的最大页数

MAX_PAGE = 10

# 请求头信息

HOST = 'www.xin.com'

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 \

(KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'

# 输出显示样式

SHOW = '\n{name}\n{price}' + ' '*5 + '{other}\n{buy}\n\n' + '*'*50

# 时间间隔为3分钟的定时器

TIMER = 60*3

class YouXin():

def __init__(self):

'''

定义一个优信二手车爬虫类

'''

# 初始化请求头信息

self.headers = {

'Host': HOST,

'User-Agent': USER_AGENT,

}

def get_page(self, index):

"""

返回网页响应数据

index：页码索引

"""

# 构造动态url

url = BASE_URL + str(index)

try:

response = requests.get(url, headers=self.headers)

if response.status_code == 200:

return response.text

# 捕获并打印异常，保证程序不中断

except Exception as e:

print(e)

def parse_page(self, index):

"""

解析网页、提取字段

index：页码索引

"""

html = self.get_page(index)

if html:

# 构造一个Selector对象来提取数据

selector = Selector(text=html)

# 匹配整个页面的每个二手车信息块

items = selector.css('.carlist-show li')

for item in items:

# 构造一个可迭代的存放二手车信息的字典

yield {

# 获取名称

'name': item.css('.across .aimg::attr(title)').extract_first(),

# 获取价格

'price': item.css(

'.across .pad em::text').extract_first().replace(

'\n','').replace(' ',''),

# 获取上牌时间、公里数

'other': ''.join(item.css(

'.across .pad').xpath('./span[1]//text()').extract()),

# 获取购买活动

'buy': '：'.join(item.css('.across .pad').xpath(

'./span[position()>1]//text()').extract(

)).replace('\n','').replace(' ',''),

}

def main(self, index):

"""

主入口

index：页码索引

"""

for item in self.parse_page(index):

print(SHOW.format(**item))

def loop_timer_headle():

"""

循环触发定时器

"""

# 引用全局变量timer

global timer

# 构造类对象

youxin = YouXin()

# 构建3个线程抢占式爬取

with ThreadPoolExecutor(3) as executor:

for index in range(1, MAX_PAGE+1):

executor.submit(youxin.main, index)

# 给全局变量定时器timer赋值

timer = threading.Timer(TIMER, loop_timer_headle)

# 启动定时器

timer.start()

if __name__ == '__main__':

# 创建一个定时器，1秒后触发loop_timer_headle函数

timer = threading.Timer(1, loop_timer_headle)

# 启动定时器

timer.start()

最后，各位看官，您觉得文章还行，对您有帮助的话，请点个赞同，谢谢！