python爬虫获取智联招聘信息

智联招聘的页面信息是jsonp传输的数据，所以抓包或者正常爬取内容不可能的是，下面我将分享分析出来的数据并整体操作步骤。用谷歌浏览器打开网址，并打开检查，里面有network选项，包含这个网页的请求响应全部内容，当我发现在上面那些选项里面随便选一个地区或者行业时请求响应信息一共有三个，第一个应该是请求，第二个是图片，不用想第三个就是响应包，并打开头部信息就发现了请求url，这就是我们需要的数据，这是一个json数据，为了看清结构和内容首先我们在浏览器输入栏里把这个RequetUrl放进去，再把看到的内容全部复制到bejson这个网站，再点击试图运行一看，果然是一推推字典形式的文件，这就肯定是json文件，也是我们需要的数据，下一步就是代码实现爬取，并分析有用数据存储到我的文件里。
代码实现
import urllib.request
from bs4 import BeautifulSoup
import ssl,json
import urllib.parse
import pyexcel_xls
def GetData(url):headers = {"Accept": "application/json, text/javascript, */*; q=0.01","X-Requested-With": "XMLHttpRequest","User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36","Content-Type": "application/x-www-form-urlencoded; charset=UTF-8"}req = urllib.request.Request(url,headers=headers)context = ssl._create_unverified_context()response = urllib.request.urlopen(req,context=context)data = response.read().decode('utf-8')datadic=json.loads(data)data1=datadic["data"]["results"]dataopen=pyexcel_xls.get_data("智联招聘.xls")biglist=dataopen["北京"]for y in data1:maxlist=[y["jobType"]["display"],y["jobName"],y["company"]["name"],y["company"]["size"]["name"],y["eduLevel"]["name"],y["salary"],y["emplType"],y["city"]["display"],y["welfare"]]biglist.append(maxlist)pyexcel_xls.save_data("智联招聘.xls",dataopen)if __name__=="__main__":GetData("https://fe-api.zhaopin.com/c/i/sou?pageSize=60&cityId=530&industry=10100&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=python%E5%BC%80%E5%8F%91&kt=3&lastUrlQuery=%7B%22pageSize%22:%2260%22,%22jl%22:%22530%22,%22in%22:%2210100%22,%22kw%22:%22python%E5%BC%80%E5%8F%91%22,%22kt%22:%223%22%7D")# cityId:北京-代号2007，上海-538  ，深圳-765  ，广州-763# industry行业： 互联网IT - 代号10100# pageSize=60 60条信息# https://sou.zhaopin.com/?pageSize=60&jl=530&kw=python&kt=3

python爬虫获取智联招聘信息相关推荐

用python抓取智联招聘信息并存入excel
用python抓取智联招聘信息并存入excel tags:python 智联招聘导出excel 引言:前一阵子是人们俗称的金三银四,跳槽的小朋友很多,我觉得每个人都应该给自己做一下规划,根据自己的进步 ...
python 爬虫爬智联招聘的招聘要求
今天爬了智联招聘关于应聘python的要求,这个代码没什么讲的,和上一个一样,加的东西会在后面讲.可以把所在页面的所有招聘信息内部的招聘信息都抓到 from bs4 import BeautifulS ...
python爬取智联招聘信息
import random import re from time import sleep import requests from tqdm import tqdm import user_age ...
(转)python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
python爬虫实例——爬取智联招聘信息
受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享. 本文将介绍如何实现该爬虫. 目录网页分析实现代码分析结果总结 github代码地址网页分析以https://xiaoyuan.zh ...
python爬去智联招聘网_Python爬虫爬取智联招聘（进阶版）
点击上方"程序人生",选择"置顶公众号" 第一时间关注程序猿(媛)身边的故事图片:Westworld Season 2 作者王强简介 Python追随者, ...
python+selenium爬取智联招聘信息
python+selenium爬取智联招聘信息需求准备代码结果需求老板给了我一份公司名单(大概几百家如下图),让我到网上看看这些公司分别在招聘哪些岗位,通过分析他们的招聘需求大致能推断出我 ...
python爬虫获取肯德基门店信息
python爬虫获取肯德基门店信息 1.在谷歌浏览器中打开肯德基官网,进入餐厅查询页面 2.在搜索框中输入地区并按f12打开开发者工具发现已经抓取到了一条Ajax请求,可以从中获取请求的url,以及 ...
Python爬虫项目：抓取智联招聘信息
来自https://mp.weixin.qq.com/s/0SzLGqv2p0-IWSN3r8bOHA ''' Python爬虫之五:抓取智联招聘基础版该文件运行后会产生一个代码,保存在这个Pyth ...

python爬虫获取智联招聘信息

python爬虫获取智联招聘信息相关推荐

最新文章

热门文章