准备工作

新建项目-新建pythonfile

安装爬虫模块

1

pip install requests

requests的常用函数

request.get()，对应http协议的get请求，也就是把网页下载下来。

request.post()，对应http协议的post请求，就是把数据上传到网页服务器。

观察boss直聘的url。

1

https://www.zhipin.com/c101250100-p110101/

通过观察发现，后面应该是城市代码和职位代码

通过检查-network发现，城市代码应该是储存在city.json里面

职位代码应该是储存在position.json里面

通过观察：city.json的url为

1

https://www.zhipin.com/wapi/zpcommon/data/city.json

postion.json的url为

1

https://www.zhipin.com/wapi/zpcommon/data/position.json

爬取城市代码

测试连接

1

2

3

4

5

import requests

# requests-->请求

url = 'https://www.zhipin.com/wapi/zpcommon/data/city.json' # boss直聘城市链接

response = requests.get(url)

print(response) # 打印响应

返回值：

1

200：代表返回成功

404：网络连接失败

500：服务器奔溃

加入浏览器伪装头’user-agent’，防止被服务器发现你是爬虫

1

headers = {'user-agent': 'mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.106 safari/537.36'}

第一次打印

1

2

3

4

5

6

7

8

import requests

from pprint import pprint

url = 'https://www.zhipin.com/wapi/zpcommon/data/city.json' # boss直聘城市代码

headers = {'user-agent': 'mozilla/5.0 (x11; linux x86_64) \

applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.106 safari/537.36'}

response = requests.get(url, headers=headers)

data = response.json() # 从返回对象中提取json

pprint(data)

结果如下：

根据上图观察，返回的json可以当成是一个多层字典。

数据均在zpdata\citylist下，于是对zpdata进行第一次解包。

对citylist进行第二次解包。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

import requests

from pprint import pprint

url = 'https://www.zhipin.com/wapi/zpcommon/data/city.json' # boss直聘城市代码

headers = {'user-agent': 'mozilla/5.0 (x11; linux x86_64) \

applewebkit/537.36 (khtml, like gecko) chrome/80.0.3987.106 safari/537.36'}

response = requests.get(url, headers=headers)

data = response.json() # 从返回对象中提取json

data1 = data['zpdata']['citylist']

# pprint(data1)

for ii in data1:

province = ii['name'] # 省名

province_code = ii['code'] # 省对应的代码

city_list = ii['sublevelmodellist']

for ci in city_list:

city = ci['name'] # 城市名

city_code = ci['code'] # 城市代码

print(province, '\t', province_code, '\t', city, '\t', city_code)

省和城市代码就爬取完毕了，直接粘贴到excel就可以。至于如何直接导出excel，后面再说。

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！