本文版权归@itcast @wj14k 所有，未经允许不得转载！感谢你的阅读！

想成为一名真正的程序猿，你需要一份从事编程的工作！那么我们今天就来抓取腾讯招聘网站上的招聘信息！

要获取腾讯招聘网站上的招聘信息，总共需要以下三步：

准备工作：安装scrapy框架模块、安装lxml模块

利用谷歌浏览器抓包：确定url，发送请求所需参数，确定返回数据所在位置

利用scrapy爬虫框架完成代码

一. 准备工作

目标：安装scrapy、lxml模块

1. 在命令行终端输入 pip install scrapy 后，等待下载安装完成

scrapy是一个爬虫框架

可以帮助我们用很少的代码完成快速的抓取

2. 在命令行终端输入 pip install lxml 后，等待下载安装完成

lxml可以用来对html页面的数据进行提取

二. 利用谷歌浏览器抓包

1. 确定列表页和详情页的url

1.png

2. 注意最后一页

1-2.png

3. 确定工作职责和工作要求

2.png

4. 根据抓包确定代码逻辑

对起始url发送请求获取响应，指定该响应用专门解析列表页的函数来提取处理

在列表页解析函数中，对列表页的响应内容进行提取

提取下一页的url，并构造请求对象，指定使用列表页解析函数来解析响应

提取详情页的url，并构造请求对象，指定使用详情页解析函数来解析响应

在详情页解析函数中，提取相应的数据：

标题

工作职责

工作要求

三. 完成代码

1. 创建scrapy项目和爬虫

1.1 在终端输入 scrapy startproject Tencent创建项目

Tencent是项目的名字，创建完成后，可以在相应的路径下看到如下文件夹及文件结构

3.png

1.2 进入项目路径下，终端输入scrapy genspider tencent tencent.com创建爬虫

tencent.com是爬虫抓取的url的域名范围，后续可以在代码中进行修改。创建爬虫成功后在spiders文件夹下可以看到名为tencent的py文件

4.png

打开tencent.py文件可以看到scrapy框架已经帮我写好了一部分代码

5.png

1.3 完成tencent.py中的代码

1

import scrapy

2

import json

3

from scrapy import Request

4

​

5

​

6

class TencentSpider(scrapy.Spider):

7

name = 'tencent'

8

allowed_domains = ['tencent.com']

9

start_urls = ['https://hr.tencent.com/position.php']

10

​

11

def parse(self, response):

12

"""专门处理解析列表页"""

13

# 先分组定位详情页url所在的li，注意不包含第一个和最后一个li

14

tr_list = response.xpath('//table[@class="tablelist"]//tr')[1:-1]

15

for tr in tr_list:

16

# 提取并拼接详情页的url字符串

17

dedail_url = 'https://hr.tencent.com/' + tr.xpath('.//a/@href').extract_first()

18

# 构造并返回详情页的请求对象，并指定对应的响应的解析函数

19

yield Request(dedail_url, callback=self.parse_detail)

20

​

21

# 翻页：定位并找到下一页的url

22

next_href = response.xpath('//a[text()="下一页"]/@href').extract()

23

if next_href != 'javascript:;':

24

next_url = 'https://hr.tencent.com/' + next_href[0] # 拼接下一页的url

25

# 构造并返回下一页(列表页)请求对象，并指定对应的响应的解析函数

26

# 下一页还是列表页，所以还用parse函数进行解析处理！

27

yield Request(next_url, callback=self.parse)

28

​

29

def parse_detail(self, response):

30

"""专门处理解析详情页"""

31

item = {} # 定义数据字典

32

# 提取工作详情的标题

33

item['title'] = response.xpath('//td[@id="sharetitle"]/text()').extract_first()

34

# 提取工作职责

35

item['job_duty'] = response.xpath('//table[@class="tablelist textl"]//tr[3]//li/text()').extract()

36

# 提取工作要求

37

item['job_requirements'] = response.xpath('//table[@class="tablelist textl"]//tr[4]//li/text()').extract()

38

# 将数据保存在文件中

39

with open('tencent.txt', 'a', encoding='utf-8') as f:

40

f.write(json.dumps(item, ensure_ascii=False, indent=4) + '\n')

41

yield item

1.4 设置settings.py文件

在项目文件夹Tencent下修改settings.py配置文件

USER_AGENT是用户代理

ROBOTSTXT_OBEY改为False表示忽略robot协议

USER_AGENT是用户代理

ROBOTSTXT_OBEY改为False表示忽略robot协议

6.png

1.5 在项目路径下终端执行scrapy crawl tencent就可以将招聘信息保存到文件中

7.png

小结

现在我们就可以通过以下步骤完成代码抓取腾讯招聘信息

利用谷歌浏览器进行抓包，确定列表页的url和详情页的url，确定数据所在位置

scrapy的命令

创建scrapy爬虫项目 scrapy startproject 项目名

在项目路径下创建scrapy爬虫scrapy genspider 爬虫名 爬虫爬取范围的域名

在项目路径下运行爬虫 scrapy crawl 爬虫名

完成爬虫模块代码的编写

完成配置文件的修改，运行爬虫