xmlhttp方法抓取下一页问题

http://www.hyey.cn/Drug/DrugList.aspx?fl=2
我想抓取这个页面的下一页，他采用了__VIEWSTATE这个参数限制了，看谁有办法帮我解决下，下边是代码，post的参数都取到了，看看是不是xmlHttp.setRequestHeader这个头参数哪里不对

postdate="__VIEWSTATE="&VIEWSTATE&"&__EVENTVALIDATION="&EVENTVALIDATION&"&txtPageSizeV=2"
postCode=PostHttpPage(ListUrl,ListUrl,postdate)

Function PostHttpPage(RefererUrl,PostUrl,PostData)
    Dim xmlHttp
    Dim RetStr
    Set xmlHttp = CreateObject("Msxml2.XMLHTTP")
    xmlHttp.Open "POST", PostUrl, False
    XmlHTTP.setRequestHeader "Content-Length",Len(PostData)
    xmlHttp.setRequestHeader "Content-Type", "text/html,application/xhtml+xml,application/xml"
    xmlHttp.setRequestHeader "Connection", "Keep-Alive"
xmlhttp.setRequestHeader "Cache-Control", "no-cache"
    xmlHttp.setRequestHeader "Referer", RefererUrl
    xmlHttp.Send PostData
    If Err.Number <> 0 Then
        Set xmlHttp=Nothing
        PostHttpPage = "$False$"
        Exit Function
    End If
    PostHttpPage=bytesToBSTR(xmlHttp.responseBody,"GB2312")
    Set xmlHttp = nothing
End Function

xmlhttp方法抓取下一页问题相关推荐

python爬虫获取下一页_Python Scrapy 自动抓取下一页内容
最近在学下Scrapy,抓取下一页的时候遇到了问题 import scrapy from crawlAll.items import CrawlallItem class ToutiaoEssayJo ...
python 爬取下一页_如何使用Beautifulsoup在python中抓取下一页
通过提取"转到最后一页"元素的page参数来确定最后一页.并通过^{}遍历每个维护web抓取会话的页面:import re import requests from bs4 imp ...
php天猫列表数据抓取,如何翻页抓取网页数据——以采集天猫搜索列表为例
我们在抓取数据时,通常不会只抓取网页当前页面的数据,往往都会继续抓取翻页后的数据.本文就为大家介绍,集搜客GooSeeker网络爬虫如何在进行数据抓取时,自动抓取翻页后的数据. 在MS谋数台的爬虫路线 ...
php取网页内容乱码,如何解决php用file_get_contents方法抓取网页数据出现乱码
我们都经常碰到在抓取数据时碰到乱码现象,让人崩溃.今天主要和大家探讨如何解决php用file_get_contents方法抓取网页数据出现乱码的问题,需要的朋友可以参考下,希望能帮助到大家.下面跟随小 ...
php 抓取京东搜索页,京东商品列表页爬虫采集方法 - 八爪鱼采集器
采集场景在京东搜索页 https://search.jd.com/Search 输入关键词搜索,采集搜索后得到的多个商品列表数据. 鼠标放到图片上,右键,选择[在新标签页中打开图片]可查看高清大图 ...
Web Scraper 翻页——抓取分页器翻页的网页（Web Scraper 高级用法）| 简易数据分析 12
这是简易数据分析系列的第 12 篇文章. 前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法,比如说修改网页链接加载数据.点击"更多按钮"加载数据和下拉自动加载 ...
Python+selenium 抓取美团单页接口数据里的用户评论和用户名称以及打分数据
一.原理 selenium的原理很简单,就是模拟人对浏览器的操作,人是怎么操作的,在编写代码时就以这个为逻辑来进行编写.编写起来很是简单,并且也能够很容易纠错. 缺点是,速度比较慢,抓取起来耗时,并且 ...
火车头抓取阿里巴巴内容页
最近在做阿里巴巴的抓取,对于这种大型的网站,简单的按照教程的标签前后截取,很难以应用这种复杂的样式,因为对于阿里和淘宝这种网站,内容页的样式是用户自己定义的,所以说前后截取已经不再试用. 在网上参考了 ...
用re库正则方法抓取名言网数据
写在前面:感谢马中华老师. # 导入库 from urllib.request import urlopen import re# 模拟浏览器发起请求 url = 'http://quotes.tos ...

xmlhttp方法抓取下一页问题

xmlhttp方法抓取下一页问题相关推荐

最新文章

热门文章