python爬虫基础之AJAX页面的抓取

一、基于AJAX请求页面的爬取

爬取网页：http://www.jy.whzbtb.com/V2PRTS

通过抓包，我们不难发现这是一个AJAX请求，我们需要携带必要的参数才能获取每一页的页面内容，具体可以看下面的源码

import urllib.request
import urllib.error
import urllib.parse"""一、添加header"""
#1.1、以字典的形式设置headers
def get_one_page(i):header={  "User-Agent":'User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',     }  web_url= "http://www.jy.whzbtb.com/V2PRTS/WinningPublicityInfoList.do"  postData = urllib.parse.urlencode({"page": str(i),"rows": "10"}).encode('utf-8')#encode：将Unicode码转为utf-8码req = urllib.request.Request(url=web_url,data=postData,headers=header)try:  response = urllib.request.urlopen(req, timeout=3)  except urllib.error.URLError as e:  if hasattr(e, 'code'):  print(e.code)  if hasattr(e, 'reason'):  print(e.reason)  else:          webData=response.read().decode('utf-8')print(webData)get_content(webData)def get_content(webData):pass  #提取信息，略for i in range(1,20):   #这里选择爬取的页数try:get_one_page(i)except:get_one_page(i)

感兴趣的朋友们可以看看，共同学习，共同提高！！

python爬虫基础之AJAX页面的抓取相关推荐

python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
Python爬虫 | 斗图网表情包抓取
Python爬虫 | 斗图网表情包抓取 1.数据来源分析 2.制作div_list 3.发起请求 4.保存图片 5.批量获取 6.完整代码声明 1.数据来源分析打开斗图吧的主页,发现网址非常有 ...
Python爬虫实战（4）：抓取淘宝MM照片
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫实践（入门篇）——抓取《天使降临到我身边》图片
今天就学了一下Python爬虫,于是想实践一下.刚好一周前在B站补完番<天使降临到我身边>--里面的小学生特可爱.情节也不错,心里就比较喜欢这部漫画,所以就想扒一些图片当壁纸.刚好,Pyt ...
python爬虫之js链接跳转抓取_Python爬虫获取页面所有URL链接过程详解
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用Beautiful Soup对爬取的页面进行解析,提取出所有的URL. 什么是Beautiful Soup ...
Python爬虫之js加密破解，抓取网易云音乐评论生成词云
js破解历程前言技能点界面概况静态网页动态网页页面解析 step1: 找参数step2:分析js函数step3:分析参数step4: 校验step5:转为python代码编写爬虫很多人学 ...
Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语 ...
Python爬虫实战（1）：抓取毒舌电影最新推送
update:6/11/2017 由于毒舌电影公众号被关闭账号,源码已失效,可参考并调整相关参数以适配网站上其他公众号文章的抓取,望周知. ~~~~~~~~~~~ 作为一个电影爱好者," ...
python 爬虫课程推荐_关于递归抓取的课程推荐
Python爬虫包 BeautifulSoup 递归抓取实例详解概要:爬虫的主要目的就是为了沿着网络抓取需要的内容.它们的本质是一种递归的过程.它们首先需要获得网页的内容,然后分析页面内容并找到另一个 ...

python爬虫基础之AJAX页面的抓取

python爬虫基础之AJAX页面的抓取相关推荐

最新文章

热门文章