python爬虫之后,为什么出现了信息不一致,在浏览器中直接查看的信息与最后经过爬虫之后数据不一致。

代码

import requests

from bs4 import BeautifulSoup

import json

def main():

proxies = {

"http": "http://60.191.134.165:9999"

}

headers = {

'Accept': 'application/json, text/javascript, */*; q=0.01',

'Accept-Encoding': 'gzip, deflate, br',

'Accept-Language': 'en-US,en;q=0.9',

'Cache-Control': 'no-cache',

'Connection': 'keep-alive',

'Content-Length': '25',

'Cookie': '_ga=GA1.2.1320949454.1514984795; _gid=GA1.2.1879436474.1514984795; user_trace_token=20180103210635-ed72273d-f086-11e7-9fc4-5254005c3644; LGUID=20180103210635-ed722d89-f086-11e7-9fc4-5254005c3644; hasDeliver=0; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; index_location_city=%E4%B8%8A%E6%B5%B7; JSESSIONID=ABAAABAAADEAAFIAE15C222689F961134964EAE30686CD3; _gat=1; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1514984795,1515032379,1515055492; LGSID=20180104164453-887600c8-f12b-11e7-be47-525400f775ce; PRE_UTM=m_cf_cpt_baidu_pc; PRE_HOST=bzclk.baidu.com; PRE_SITE=http%3A%2F%2Fbzclk.baidu.com%2Fadrc.php%3Ft%3D06KL00c00f7Ghk60yUKm0FNkUsaKlRdp00000PW4pNb00000V2KXI1.THL0oUhY1x60UWY4rj0knW03r7tdgvwM0ZnqmW03mW9huAfsnj0srjI9rfKd5HbkrDPjfW7KPbR1PYwAwHczwHKKwbmsPjNKnH01PHPj0ADqI1YhUyPGujY1njn1nW0dn10YFMKzUvwGujYkP6K-5y9YIZK1rBtEILILQhk9uvqdQhPEUitOIgwVgLPEIgFWuHdVgvPhgvPsI7qBmy-bINqsmsKWThnqn16Ln1m%26tpl%3Dtpl_10085_15730_11224%26l%3D1500117464%26attach%3Dlocation%253D%2526linkName%253D%2525E6%2525A0%252587%2525E9%2525A2%252598%2526linkText%253D%2525E3%252580%252590%2525E6%25258B%252589%2525E5%25258B%2525BE%2525E7%2525BD%252591%2525E3%252580%252591%2525E5%2525AE%252598%2525E7%2525BD%252591-%2525E4%2525B8%252593%2525E6%2525B3%2525A8%2525E4%2525BA%252592%2525E8%252581%252594%2525E7%2525BD%252591%2525E8%252581%25258C%2525E4%2525B8%25259A%2525E6%25259C%2525BA%2526xp%253Did%28%252522m6c247d9c%252522%29%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FDIV%25255B1%25255D%25252FH2%25255B1%25255D%25252FA%25255B1%25255D%2526linkType%253D%2526checksum%253D220%26ie%3Dutf-8%26f%3D8%26ch%3D11%26tn%3D98012088_5_dg%26wd%3D%25E6%258B%2589%25E5%258B%25BE%25E7%25BD%2591%26oq%3D%25E6%258B%2589%25E5%258B%25BE%25E7%25BD%2591%26rqlang%3Dcn; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F%3Futm_source%3Dm_cf_cpt_baidu_pc; _putrc=7DC8891E31D8ED9B; login=true; unick=%E8%8B%97%E4%B9%A6%E5%AE%87; TG-TRACK-CODE=index_search; LGRID=20180104164506-90362101-f12b-11e7-be47-525400f775ce; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1515055505; SEARCH_ID=e78029bc203748cab2163c1545822c01',

'Host': 'www.lagou.com',

'Origin': 'https://www.lagou.com',

'Pragma': 'no-cache',

'Referer': 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',

'X-Anit-Forge-Code': '0',

'X-Anit-Forge-Token': 'None',

'X-Requested-With': 'XMLHttpRequest',

'Content-type': 'application/json;charset=utf-8'

}

form_data = {

"first": "true",

"pn": "1",

"kd": "python"

}

url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7&needAddtionalResult=false&isSchoolJob=0'

result = requests.post(url, data=json.dumps(form_data), headers=headers, proxies=proxies)

print(result.text)

if __name__ == '__main__':

main()

c 抓取ajax异步数据,用requests.post提交表单抓取异步ajax信息失败相关推荐

  1. html ajax提交表单实例,jQuery使用$.ajax提交表单完整实例

    本文实例讲述了jQuery使用$.ajax提交表单的方法.分享给大家供大家参考,具体如下: 首先,新建Login.html页面: /p> "http://www.w3.org/TR/x ...

  2. php 不刷新提交,提交表单而不刷新页面ajax,php,javascript?

    我想提交表单而不刷新页面,从我阅读的内容来看,它应该可以与Ajax一起使用,我在做什么错? 当我这样做时,一切都与php和其他东西一起工作: document.getElementById(" ...

  3. 如何异步提交表单 如何异步跨域提交表单

    1.使用post提交方式 2.构造表单的数格式 3.结合form表单的submit调用ajax的回调函数. 代码: 使用 jQuery 异步提交表单 <html xmlns="http ...

  4. jquery+ajax验证不通过也提交表单问题处理

    这篇文章主要介绍了jquery validationEngine中使用ajax验证不通过也提交表单问题处理,需要的朋友可以参考下 validationEngine给我们为前端的表单验证减少了很大的工作 ...

  5. JQ+ajax 提交表单不跳转页面

    微信小程序开发交流qq群   173683895    承接微信小程序开发.扫码加微信. 代码 <div class="apply_box"><h1>合作申 ...

  6. ajax提交表单序列化(serialize())数据

    知识点: $("#form").serialize();将表单数据序列化为标准URL编码文本字符串(key1=value1&key2=value2-). 以下用一个例子来演 ...

  7. ajax提交成功清空表单,Ajax提交数据后,清空form表单

    按钮不同,页面相同,还需要显示的数据不同,这里会由于页面的缓存问题,导致,每次点开这个页面显示的数据相同. 这不是我们想要的.这就需要清楚表单数据了. 如下: $('#myform')[0].rese ...

  8. 4.jQuery中Ajax提交表单数据

    目录 1  表单的同步提交 2  Ajax监听表单提交事件 submit 3  阻止表单的默认提交行为 e.preventDefault() 4  获取表单内的数据 4.1 字符串型 serializ ...

  9. Jquery ajax提交表单几种方法详解

    [导读] 在jquery中ajax提交表单有post与get方式,在使用get方式时我们可以直接使用ajax 序列化表单$( 表单ID) serialize();就行了,下面我来介绍两个提交表单数据的 ...

最新文章

  1. 【学习参考】Animate.css动画演示
  2. VSCode如何自动换行,右侧换行间距长度,隐藏右侧代码预览(Minimap代码缩略图滚动条),比对代码差异窗口也自动换行
  3. 工作日的努力python_python计算上班时间的问题
  4. QGS/300 performance issue
  5. css3 transition的应用
  6. vue获取table一列数据_VUE table表格动态添加一列数据,新增的这些数据不可以编辑(v-model绑定的数据不能实时更新)...
  7. TensorFlow4-常量和变量及TensorBoard使用
  8. python中右对齐_python中如何右对齐-问答-阿里云开发者社区-阿里云
  9. end_request: I/O error
  10. JVM常见垃圾收集器
  11. python和c 的区别-python和C语言的差别
  12. 数字电路设计之数字电路工程师面试集锦
  13. Linux 命令行进入DB2
  14. “菜刷刷”系统装机流程
  15. 【Unity3D】使用Unity做一个简单的游戏,roll_a_ball,第一步创建游戏。
  16. h3c交换机端口加入vlan命令_7.2.2 H3C交换机VLAN接口基本属性配置
  17. 浏览器打开任意可执行exe文件方法
  18. 详细地址访问腾讯地图API,转换为经纬度
  19. Unity Transform 检视器快速复制粘贴
  20. 28 电子商务风险控制

热门文章

  1. Golang源码中xmm0寄存器
  2. excel数据转换成对应公式
  3. Tensorflow针对CPU的编译优化加速-解决Not compiled to use: SSE4.1 SSE4.2 AVX AVX2 FMA
  4. Python数据分析库pandas高级接口dt的使用详解
  5. Python LeetCode(13.罗马数字转整数)
  6. IBM将自愿离职变常态 柳传志教你优雅回应裁员
  7. 量化投资学习——股指期货理论价格说明
  8. 北斗卫星导航产业重大应用示范项目落户哈市
  9. firefox同步mac和win
  10. 基于多回波 LiDAR 数据的三维物体检测