Python 爬取拉勾招聘信息

故事背景

最近有个好哥们啊浪迫于家里工资太低，准备从北方老家那边来深圳这边找工作，啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平，当时我有点懵逼这个行业不熟悉啊咋搞呢，准备打开招聘网站先看看再说打开网站输入招聘职位发先量还挺大，这样慢慢看不行啊效率太低啦，咋是程序员啊直接把数据拉下来不就行啦于是有啦这篇博客。

技术实现

用到的库

import os
import json
import urllib
import requests

页面分析

数据地址：https://www.lagou.com/

当我在 chrom 中输入拉勾网站查看页面源码时发现页面上的数据并没有直接显示在源码上。推断可能是使用 AJAX 异步加载数据，当我打开 chrom 开发者工具在 network 中查看 XHR 时发现一个 https://www.lagou.com/jobs/positionAjax.json?city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false 请求点开 response 果然数据都在这个请求中返回。

返回的数据格式如下：

可以发现我们需要的数据都存放在 result 中，于是准备直接获取数据但是使用 request 去模拟请求发现每次都会被拦截。因为拉勾在不登录的情况下浏览器也能获取数据应该不是用户级别的拦截，猜想可能是在 cookie 层面做的限制，发现请求没有携带网站的 cookie 直接拦截

获取请参数

def get_request_params(city, city_num):req_url = 'https://www.lagou.com/jobs/list_{}/p-city_{}?&cl=false&fromSearch=true&labelWords=&suginput='.format(urllib.parse.quote(city), city_num)ajax_url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city={}&needAddtionalResult=false'.format(urllib.parse.quote(city))headers = headers = {"Accept": "application/json, text/javascript, */*; q=0.01","Referer": "https://www.lagou.com/jobs/list_{}/p-city_{}?px=default#filterBox".format(urllib.parse.quote(city), city_num),"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ""(KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36",}return req_url, ajax_url, headers

于是在请求中加上 cookie, 代码如下：

def get_cookie(city):city_num = get_city_num_by_name(city)req_url, _, headers = get_request_params(city, city_num)s = requests.session()s.get(req_url, headers=headers, timeout=3)cookie = s.cookiesreturn cookie

虽然加入 cookie 后能获取到数据但每次都是第一页的数据且是固定职位的数据，当再次查看请求真实数据地址的链接发现请求中每次都会携带 query 参数如下：

于是增加请求参数获取：

def get_params(pn, kd):return {'first': 'true','pn': pn,'kd': kd}

虽然我们解决请求参数以及获取页面数，但是每次只能爬取固定城市的数据太僵硬啦，查找原因原来是我们在请求数据 url 中携带有 city_nun 这个参数，每个城市都有一个对应的数字

打开拉勾页面源码将页面拉到最底部会发现 cityNumMap,查找到这个我们就能控制获取想要的城市职位信息啦

最终实现

import os
import json
import urllib
import requests
from cityNumMap import city_num_mapdef validate_params(city, key_world):if not city or not key_world:raise Exception('输入参数不能为空')def get_city_num_by_name(city_name):city_num = city_num_map.get(city_name)if not city_name:raise BaseException('>>>你输入的城市名有误，请确认后在重新输入')return city_numdef get_request_params(city, city_num):req_url = 'https://www.lagou.com/jobs/list_{}/p-city_{}?&cl=false&fromSearch=true&labelWords=&suginput='.format(urllib.parse.quote(city), city_num)ajax_url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city={}&needAddtionalResult=false'.format(urllib.parse.quote(city))headers = headers = {"Accept": "application/json, text/javascript, */*; q=0.01","Referer": "https://www.lagou.com/jobs/list_{}/p-city_{}?px=default#filterBox".format(urllib.parse.quote(city), city_num),"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ""(KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36",}return req_url, ajax_url, headersdef get_params(pn, kd):return {'first': 'true','pn': pn,'kd': kd}def get_cookie(city):city_num = get_city_num_by_name(city)req_url, _, headers = get_request_params(city, city_num)s = requests.session()s.get(req_url, headers=headers, timeout=3)cookie = s.cookiesreturn cookiedef get_page_info(city, key_world):params = get_params(1, key_world)city_num = get_city_num_by_name(city)_, ajax_url, headers = get_request_params(city, city_num)html = requests.post(ajax_url, data=params, headers=headers, cookies=get_cookie(city), timeout=5)result = json.loads(html.text)total_count = result.get('content').get('positionResult').get('totalCount')page_size = result.get('content').get('pageSize')page_remainder = total_count % page_sizetotal_size = total_count // page_sizeif page_remainder == 0:total_size = total_sizeelse:total_size = total_size + 1print('>>>该职位总计{}条数据'.format(total_size))return total_sizedef get_page_data(city, key_world, total_size):path = os.path.dirname(__file__)path = os.path.join(path, 'lagou.txt')f = open(path, mode='w+')city_num = get_city_num_by_name(city)_, ajax_url, headers = get_request_params(city, city_num)for i in range(1, total_size):print('>>>开始获取第{}页数据'.format(i))params = get_params(i, key_world)html = requests.post(ajax_url, data=params, headers=headers, cookies=get_cookie(city), timeout=5)result = json.loads(html.text)data = result.get('content').get('positionResult').get('result')page_size = result.get('content').get('pageSize')for i in range(page_size):company_name = data[i].get('companyFullName')company_size = data[i].get('companySize')company_label = data[i].get('companyLabelList')salary = data[i].get('salary')education = data[i].get('education')result_str = '{}&&{}&&{}&&{}&&{}\n'.format(company_name, company_size, company_label, salary, education)f.write(result_str)print('>>>数据获取完成')if __name__ == "__main__":city = input('>>>请输入你要搜索职位的城市：').strip()kb = input('>>>请输入你要搜索的职位：').strip()validate_params(city, kb)total_size = get_page_info(city, kb)get_page_data(city, kb, total_size)

实现效果

在本地执行 pythin3 lagou.py 输入查找的地址以及职位会在当前同级目录下生成 lagou.txt 文件存储数据结果

部分结果数据

项目地址：完整代码