第一种情况

这是网址

我要做的是获取全部数据包括列表页和详情页

这个网站看上去是很容易获取，都是很标准的格式，只是详情页跳转了一次url，翻页虽然没用参数但是有data，一切看上去都很容易。

翻页方案一

driver = webdriver.Firefox()

driver.get(response.url)

soup = BeautifulSoup(driver.page_source, 'lxml')

for i in range(300):

table=soup.find('table',class_='Winstar-table').find_all('tr')

#解析迭代

driver.find_element_by_link_text('[下一页]').click()

time.sleep(2)

soup = BeautifulSoup(driver.page_source, 'lxml')

driver.close()

翻页方案二

VIEWSTATE = response.xpath("//input[@id='__VIEWSTATE']/@value").extract_first()

EVENTVALIDATION = response.xpath("//input[@id='__EVENTVALIDATION']/@value").extract_first()

for i in range(392):

data = {

'__EVENTTARGET': '_ctl9$lbtnNextPage',

'__EVENTARGUMENT': '',

'__LASTFOCUS': '',

'__VIEWSTATE': VIEWSTATE,

'__EVENTVALIDATION': EVENTVALIDATION,

'_ctl9:dprlEnterpriseType': '01',

'_ctl9:dprlEnterpriseClassify': '',

'_ctl9:txtEnterpriseName': '',

'_ctl9:txtGotoPage': ''

}

#迭代

res = requests.post(response.url, headers=self.headers1, data=data)

html = etree.HTML(res.text)

VIEWSTATE = html.xpath("//input[@id='__VIEWSTATE']/@value")[0]

EVENTVALIDATION = html.xpath("//input[@id='__EVENTVALIDATION']/@value")[0]

方案二我一开始用的 BeautifulSoup去解析，但是没成功，后来小伙伴改用了xpath，我发现是我少加了一个参数。

接下来就是进入到详情页

截图一.png

截图一是在列表页获取的详情页URL但是里面的内容并不全，真正的信息在下面

截图二.png

根据请求的URL特点,就是找到一个RelatingID

我去看了请求页的源码

function tonclick(id)

{

if(id.length == 3)//id长度判断，=3的才是实际节点。

{

var ran = randomnumber=Math.floor(Math.random()*100);

var itemtype = GetUrlParam("ItemType");

var itemid = GetUrlParam("ItemID");

var tabid = GetUrlParam("tabid");

var moduleid = GetUrlParam("moduleid");

var resourceID = GetUrlParam("ResourceID");

window.open(InfoTable.OpenUrl(itemtype,itemid,id).value+"&tabid="+tabid+"&moduleid="+moduleid+"&ResourceID="+resourceID+"&Ran="+ran,'main')

}

};

function GetUrlParam( paramName )

{

var oRegex = new RegExp( '[\?&]' + paramName + '=([^&]+)', 'i' ) ;

var oMatch = oRegex.exec( window.location.search ) ;

if ( oMatch && oMatch.length > 1 )

return oMatch[1] ;

else

return '' ;

}

function loadxml(tableid)

{

document.getElementById("treebox").innerHTML="";//先将树清空。

tree=new dhtmlXTreeObject("treebox","100%","100%",0);

tree.setImagePath("Skin/Default/Image/");

tree.setOnClickHandler(tonclick);

tree.loadXMLString('');

tonclick(tableid);//加载默认打开页面

}

function loadpage(itemtype)

{

var itemid = GetUrlParam("ItemID");

var tabid = GetUrlParam("tabid");

var moduleid = GetUrlParam("moduleid");

var resourceID = GetUrlParam("ResourceID");

location.href = "InfoTable.aspx?ItemID="+itemid+"&ItemType="+itemtype+"&tabid="+tabid+"&moduleid="+moduleid+"&ResourceID="+resourceID;

}

开始我觉的是逆向解开就能得到RelatingID，但是仔细找找你就会发现RelatingID藏得并不复杂

截图三.png

打开详情页的url会调用/ajax/JSJG.CollectionLoad.WebUI.InfoTable,JSJG.CollectionLoad.WebUI.ashx这个请求，获取一个详情的URL

重点来了

截图四.png

调用/ajax/JSJG.CollectionLoad.WebUI.InfoTable,JSJG.CollectionLoad.WebUI.ashx会用到Payload参数

下面是获取RelatingID的代码

referer='http://host/'+tr.find('a')['onclick'].split('(\'')[1].split('\'')[0]

ItemID =referer.split('ItemID=')[1].split('&')[0]

ItemType ='01'

url = 'http://host/ajax/JSJG.CollectionLoad.WebUI.InfoTable,JSJG.CollectionLoad.WebUI.ashx?_method=OpenUrl&_session=no'

payload = 'itemtype={}\r\nitemid={}\r\ntable=011'.format(ItemType, ItemID)

headers = {

'Referer':str(referer),

'Host':'host',

'Content-Type':'text/plain;charset=UTF-8',

'Origin':'http://host',

'Accept':'*/*',

'Accept-Encoding':'gzip, deflate',

'Accept-Language':'zh-CN,zh;q=0.9',

'Connection': 'keep-alive',

'Content-Length': '67',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.18 Safari/537.36', }

res = requests.post(url, headers=headers, data=payload)

RelatingID = re.search("RelatingID=(.*?)'", res.text).group(1)

特别提示要注意payload传参方式

到这里就获取到了RelatingID，然后拼接一下URL，解析保存然后任务就完成啦！

但是程序跑完我发现保存的数据大概只有六页

因为我用到了两次headers，第一个headers在所有方法的最前面，第二个headers是在一个方法里面

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.18 Safari/537.36'}

self.headers['Referer'] = referer

self.headers['Host'] = 'host'

self.headers['Content-Type'] = 'text/plain;charset=UTF-8'

self.headers['Origin'] = 'http://host'

self.headers['Accept'] = '*/*'

self.headers['Accept-Encoding'] = 'gzip, deflate'

self.headers['Accept-Language'] = 'zh-CN,zh;q=0.9'

self.headers['Connection'] = 'keep-alive'

self.headers['Content-Length'] = '67'

我掉进的坑是这俩重名但是在方法内部使用了self来调用，这就导致它请求的时候会认为我是调用的全局headers而不是方法内部的headers

解决完重跑可以得到全部5k+的数据了，开心

最后感谢我的小伙伴给与我的帮助

未完待续。。。