python 网页爬虫，带登陆信息

注意点：

1. 用Fiddler抓取登陆后的headers,cookies;

2. 每抓取一次网页暂停一点时间防止反爬虫;

3. 抓取前，需要关闭Fiddler以防止端口占用.

还需解决的问题：

爬取记录较多时，会触发反爬虫机制。

用Fiddler抓取登陆后的headers,cookies

也可使用火狐F12查看

#-*- coding: utf-8 -*-
import sys
import time
import urllib
import bs4
import re
import random  import requests  def main(startUrl):print(startUrl)global csvContentheaders = {'Accept': 'text/html, application/xhtml+xml, */*',  'Accept-Encoding':'gzip, deflate',  'Accept-Language':'zh-CN','User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko'  }  cookies = {'_csrf':'iN90P1mtdXxv/ZWpt8W8kg==',  '_csrf_bk':'b095b5ac898229ebf3adc8f0e901523a',   'aliyungf_tc':'AQAAAAoHdhpO9Q4AHJUE2sFxGtgWCuH9',  'auth_token':'eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiIxODU1MDEzNTUyMSIsImlhdCI6MTUxNzE5MTI3OSwiZXhwIjoxNTMyNzQzMjc5fQ.z9l-sSAyPlLFsD97Yrs7khD1dRBCyyByb-sijUgorQzgR5HdVykD1_W_gn8R2aZSUSRhR_Dq0jPNEYPJlI22ew','bannerFlag':'true','csrfToken':'9_lfoqS9eAThxvDa8XjDHA6B','Hm_lpvt_e92c8d65d92d534b0fc290df538b4758':'1517191269','Hm_lvt_e92c8d65d92d534b0fc290df538b4758':'1516864063','OA':'TkU7nzii8Vwbw4JYrV6kjTg0WS645VnS6CIervVVizo=',   'ssuid':'360989088',  'TYCID':'709b5a10019e11e89c185fb756815612',  'tyc-user-info':'%257B%2522token%2522%253A%2522eyJhbGciOiJIUzUxMiJ9.eyJzdWIiOiIxODU1MDEzNTUyMSIsImlhdCI6MTUxNzE5MTI3OSwiZXhwIjoxNTMyNzQzMjc5fQ.z9l-sSAyPlLFsD97Yrs7khD1dRBCyyByb-sijUgorQzgR5HdVykD1_W_gn8R2aZSUSRhR_Dq0jPNEYPJlI22ew%2522%252C%2522integrity%2522%253A%25220%2525%2522%252C%2522state%2522%253A%25220%2522%252C%2522vipManager%2522%253A%25220%2522%252C%2522vnum%2522%253A%25220%2522%252C%2522onum%2522%253A%25220%2522%252C%2522mobile%2522%253A%252218550135521%2522%257D','undefined':'709b5a10019e11e89c185fb756815612'   }  resultPage = requests.get(startUrl, headers= headers, cookies = cookies)randomTime= random.random()*10+5print('randomTime    '+str(randomTime))time.sleep(randomTime)  soup = bs4.BeautifulSoup(resultPage.text,'html.parser')industry = soup.find_all(attrs={'class': 'in-block overflow-width vertival-middle sec-c2'})[0].string;companys= soup.find_all(attrs={'class': 'search_right_item ml10'})for company in companys:tempCsvContent=''tempCsvContent+=industry+','tempCsvContent+=company.contents[0].a.string+','#         if(company.contents[0].a.string=='昆山市大千园艺场'):
#             break;for child in company.contents[1].div.children:content= str(child.get_text);if None!=re.search("法定代表人",content):try:tempCsvContent+=child.a.string+','except:tempCsvContent+=','    elif None!=re.search("注册资本",content):try:tempCsvContent+=child.span.string+','except:tempCsvContent+=','    elif None!=re.search("注册时间",content):try:tempCsvContent+=child.span.string+','except:tempCsvContent+=','    elif None!=re.search("江苏",content): try:tempCsvContent+=re.match('^.*?f20">(\d+).*$',content).group(1)+','except:tempCsvContent+=','    else:Nonetry:tempCsvContent+=company.contents[0].a.attrs['href']  +',' link = company.contents[0].a.attrs['href']linkResult = requests.get(link, headers= headers, cookies = cookies)randomTime2= random.random()*10+5print('randomTime 2    '+str(randomTime2)+'        '+link)time.sleep(randomTime2)  linkSoup = bs4.BeautifulSoup(linkResult.text,'html.parser')location = linkSoup.find_all(attrs={'colspan': '4'})[0].text.replace('附近公司','');tempCsvContent+=location+',';selfRisk = linkSoup.find(attrs={'class': 'new-err selfRisk pl5 pr5'}).string;tempCsvContent+=selfRisk+',';roundRisk = linkSoup.find(attrs={'class': 'new-err roundRisk pl5 pr5'}).string;tempCsvContent+=roundRisk+',';riskItems = linkSoup.find(attrs={'class': 'navigation new-border-top new-border-right new-c3 js-company-navigation'}).find(attrs={'class': 'over-hide'}).find_all(attrs={'class': 'float-left f14 text-center nav_item_Box'});for content in riskItems[2].contents[1]:value = str(content)try:    if('<span class="c9">' in value):tempCsvContent+=content.span.string+',';else:tempCsvContent+='0'+',';except:tempCsvContent+='0'+',';for content in riskItems[3].contents[1]:value = str(content)try:    if('<span class="c9">' in value):tempCsvContent+=content.span.string+',';else:tempCsvContent+='0'+',';except:tempCsvContent+='0'+',';for content in riskItems[4].contents[1]:value = str(content)try:    if('<span class="c9">' in value):tempCsvContent+=content.span.string+',';else:tempCsvContent+='0'+',';except:tempCsvContent+='0'+',';        for content in riskItems[5].contents[1]:value = str(content)try:    if('<span class="c9">' in value):tempCsvContent+=content.span.string+',';else:tempCsvContent+='0'+',';except:tempCsvContent+='0'+',';  tempCsvContent=tempCsvContent.rstrip(',')tempCsvContent+='\r'csvContent+=tempCsvContentexcept:print('exception')tempCsvContent=''print(csvContent)print()print()print()print()print()if __name__ == '__main__':  for i in range(3,4):name=str(i).zfill(2)file = open('D:\\result-'+name+'.csv','w')csvContent='行业分类,企业描述,法定代表人,注册资本,注册时间,分数, 细节, 注册地址, 天眼风险-自身风险, 天眼风险-周边风险, 法律诉讼, 法院公告, 失信人, 被执行人, 开庭公告, 经营异常, 行政处罚, 严重违法,股权出质,动产抵押,欠税公告,司法拍卖, 招投标,债券信息,购地信息,招聘,税务评级,抽查检查,产品信息,进出口信用,资质证书,微信公众号,商标信息,专利,软件著作权,作品著作权,网站备案\r'for j in range(1,6):#             randomTime= random.random()*10+10
#             print('randomTime  header  '+str(randomTime))
#             time.sleep(randomTime)  main('https://szh.tianyancha.com/search/oc'+str(i).zfill(2)+'/p'+str(j))file.write(csvContent)file.closecsvContent=''print(csvContent)

运行结果示例

代码链接

python 网页爬虫，带登陆信息相关推荐

python网页爬虫-python网页爬虫浅析
Python网页爬虫简介: 有时候我们需要把一个网页的图片copy 下来.通常手工的方式是鼠标右键 save picture as ... python 网页爬虫可以一次性把所有图片copy 下来. ...
python网页爬虫-Python网页爬虫
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python.离开腾讯创业后,第一个作品课程图谱也是选 ...
Python 网络爬虫笔记4 -- 信息标记与提取
Python 网络爬虫笔记4 – 信息标记与提取 Python 网络爬虫系列笔记是笔者在学习嵩天老师的<Python网络爬虫与信息提取>课程及笔者实践网络爬虫的笔记. 课程链接:Pytho ...
Python 网页爬虫文本处理科学计算机器学习数据挖掘兵器谱 - 数客
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python.离开腾讯创业后,第一个作品课程图谱也是选 ...
Python 网页爬虫文本处理科学计算机器学习数据挖掘兵器谱
Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱 2015-04-27 程序猿程序猿来自:我爱自然语言处理,www.52nlp. ...
python网页爬虫+简单的数据分析
python网页爬虫+简单的数据分析文章目录 python网页爬虫+简单的数据分析一.数据爬取二.数据分析 1.我们今天爬取的目标网站是:http://pm25.in/ 2.需要爬取的目标数据是 ...
Python网页爬虫练习：requests库Beautiful爬取bilibili网页信息
我是卢本伟! import requests from bs4 import BeautifulSoup import bs4 def get_blibli_vedio():#获取bilibili实时 ...
Python网页爬虫--
pycharm里安装beautifulSoup以及lxml,才能使爬虫功能强大. 做网页爬虫需要,<网页解析器:从网页中提取有价值数据的工具 http://blog.csdn.net/ochan ...
python酒店评论分析_手把手用Python网络爬虫带你爬取全国著名高校附近酒店评论...
点击蓝色"Python空间"关注我丫加个"星标",每天一起快乐的学习今日鸡汤我站在鼓楼下边,一切繁华与我无关. /1 前言/ 简介:本文介绍如何用p ...
【选课脚本】用Python网页爬虫来进行选(qiang)课（更新至v1.0.8）
0x00 前言每当选课的时候,都如同打仗一般都有自己想要的课,但是名额就那么一点于是各显神通,有人用 js,有人用 chrome 的 console 人生苦短,我用Python (Last Up ...

python 网页爬虫，带登陆信息

python 网页爬虫，带登陆信息相关推荐

最新文章

热门文章