前言

爬取步骤

1.引入库

代码如下（示例）：

import requests
from urllib.parse import urlencode
from pyquery import PyQuery as pq
import time

2.代码如下

base_url = 'https://zhaopin.baidu.com/api/qzasync?'headers = {'Host':'zhaopin.baidu.com','User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}
def get_page(page):params = {'query':'销售代表','city':'重庆','is_adq':'1','pcmod':'1','token': '==gxgG7pa6K1Ut1ZlZGmypZlWu5ZVZobVapldKJZm5ma','pn':str(page),'rn':'20'}url = base_url + urlencode(params)try:response = requests.get(url, headers=headers)time.sleep(2)if response.status_code == 200:return response.json()except requests.ConnectionError as e:print('Error',e.args)def parse_page(json):if json:items = json.get('data').get('disp_data')for item in items:job = {}job['companydescription'] = item.get('companydescription')job['city'] = item.get('city')job['requirements'] = item.get('requirements')job['company'] = item.get('company')job['ori_salary'] = item.get('ori_salary')yield jobif __name__ == '__main__':k = 0for i in range(0,100, 20):json = get_page(i)for j in parse_page(json):print('success')

总结

利用python爬虫爬百度百聘招聘数据----利用Ajax的方式抓取相关推荐

【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
Python爬虫 | 利用python爬虫获取想要搜索的数据
这篇文章主要介绍了利用Python爬虫采集想要搜索的信息(利用某du的接口实现)并且处理掉它的反爬手段,文中示例代码很详细,具有一定的学习价值,感兴趣的小伙伴快来一起学习吧. ☀️新人小白博主
简易爬虫-利用Python爬虫爬取圣墟小说到本地
大家好,今天给大家带来Python爬虫的简易制作,很适合新手练手. 爬虫即是利用程序模仿真实用户浏览网页并记录目标内容,从而可避过网站的广告,以获取较好的阅读体验. 本次以辰东大神的新书<圣墟& ...
利用Python爬虫爬取网页福利图片
最近几天,学习了爬虫算法,通过参考书籍,写下自己简单爬虫项目: 爬取某福利网站的影片海报图片环境:anaconda3.5+spyder3.2.6 目录 1.本节目标 2.准备工作 3.抓取分析 4. ...
复工复产，利用Python爬虫爬取火车票信息
文章目录 Python 爬虫操作基本操作 python 标准库 urllib 获取信息上传信息 python 标准库 urllib3 获取信息上传信息第三方库 requests 获取特征信息模 ...
利用Python爬虫从百度百科获取全国所有县区的地理信息
最近因为工作需要,需要从百度百科获得全国近3000个县区的位置.地貌.气候.水文等地理信息.因为自己对爬虫有些兴趣,就尝试用Python爬虫来获得这些数据,也算是自己对爬虫的学习过程吧.因为学习爬 ...
利用python爬虫(案例7)--X讯招聘的小职位们
学习笔记爬取X讯招聘的小职位们写个小案例,我们想爬取X讯招聘网站里处于1级页面的职位名称和处于2级页面的工作职责和工作要求.由于这个X讯招聘网站是动态加载的,所以需要抓取我们与网站进行交互时产生的 ...
利用Python爬虫爬取斗鱼直播间信息，以及直播的实际人数！
首先我准备利用mysql来存储我爬取的信息,建一个host表如下: 然后下载pymysql ,利用它与数据库链接,因为在这里我只涉及到写入的操作: Unit_Mtsql 然后就是使用Beautiful ...
java爬虫抓取nba_利用Python爬虫爬取NBA数据功能实例分享
Python实现爬虫爬取NBA数据功能示例本文实例讲述了Python实现爬虫爬取NBA数据功能.分享给大家供大家参考,具体如下: 爬取的网站为:stat-nba.com,这里爬取的是NBA2016- ...
利用python爬虫爬取图片并且制作马赛克拼图
想在妹子生日送妹子一张用零食(或者食物类好看的图片)拼成的马赛克拼图,因此探索了一番= =. 首先需要一个软件来制作马赛克拼图,这里使用Foto-Mosaik-Edda(网上也有在线制作的网站,但是我 ...

利用python爬虫爬百度百聘招聘数据----利用Ajax的方式抓取

文章目录

前言

爬取步骤

1.引入库

2.代码如下

总结

利用python爬虫爬百度百聘招聘数据----利用Ajax的方式抓取相关推荐

最新文章

热门文章