如下是我简单的获取拉钩网异步加载页面信息的过程

获取的是深圳 Python 岗位的所有信息，并保存在Mongo中

(对于异步加载，有的人说是把你要爬页面的信息整个页面先爬下来，保存本地，然后再看有没有你要的东西，有不是异步，没有就是异步；这种方式当然是没有任何问题，但是我的判断方式是，当我点击页面某个位置时，页面的链接并没有变化，而内容却发生了变化，这种我就说它是异步加载，当然，异步加载方式很多，我们要具体网站具体分析)

这个东西完全可以封装成类，各司其职(这里就可以延伸到Scrapy框架) 后面会更新一个使用Scrapy框架抓取信息的教程

当然还有selenium+phantomjs

直接上代码

import requests

import json

import pymongo

headers = {

'Referer':'https://www.lagou.com/jobs/list_Python?px=default&city=%E6%B7%B1%E5%9C%B3',

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

# headers中的Referer参数是必须的，？号之前都是必须的后面可以省略，不会对结果有影响

pagenum = 1

key = 'Python' #这里可以设置一个列表，先抓取页面所有的技术名称，保存起来，然后抓取职位信息的时候循环嵌套遍历

first = 'true'#可以不要，没发现有什么作用

post_data = {'first': first,'kd':key,'pn':pagenum}

#first:代表是不是首页，kd:代表关键字，pn:代表第几页

json_url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E6%B7%B1%E5%9C%B3&needAddtionalResult=false&isSchoolJob=0'

#获取json内容

def get_content(post_data):

r = requests.post(json_url,headers=headers,data=post_data)

datas = json.loads(r.text)

return datas['content']

#获取mongo连接

def get_connect():

client = pymongo.MongoClient('localhost', 27017)

lagou = client['panpan']

lagoudt = lagou['lagou']

return lagoudt

#数据写入数据库

def to_mongo(results):

lagou = get_connect()

for result in results:

lagou.insert(

{'positionName' : result['positionName'],

'positionLibles' : ','.join(result['positionLables']),

'workYear' : result['workYear'],

'education': result['education'],

'salary' : result['salary'],

'city' : result['city'],

'financeStage' : result['financeStage'],

'industryField' : result['industryField'],

'createTime' : result['createTime'],

'positionAdvantage' : result['positionAdvantage'],

'companySize' : result['companySize'],

'district' : result['district'],

'companyShortName' : result['companyShortName'],

'companyFullName' : result['companyFullName'],

'firstType' : result['firstType'],

'secondType' : result['secondType'],

'subwayline' : result['subwayline'],

'stationname' : result['stationname'],

'linestaion' : result['linestaion']})

total_page = get_content(post_data)['pageSize'] #总页数

#循环每一页的内容

for page in range(1,total_page+1):

first = 'false'

print(page)#记录当前页码

post_data = {'kd':'Python','pn':page}

data = get_content(post_data)

to_mongo(data['positionResult']['result'])

这明细是一个异步加载的例子，我就不多说了，前面有

图片.png

这个一看就是通过Ajax 实现的异步加载吗，而且Response里返回的JSon内容就是我们需要的呀，直接取不就行了，话不多说，直接看上面代码，有疑问的可以给我留言，我也是刚开始学，有问题的地方，请您指正

图片.png