python requests 爬取数据

import requests
from lxml import etree
import time
import pymysql
import json
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36','Content-Type':'application/x-www-form-urlencoded','Pragma':'no-cache','Upgrade-Insecure-Requests':'1','Content-Length':'86','Host':'www.bjda.gov.cn'
}headers_xiangqing={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36','Pragma':'no-cache','Upgrade-Insecure-Requests':'1','Host':'www.bjda.gov.cn'
}dd={'pageSize':'20'
}temp=[]dd['currentPage'] = '10'
print(dd)
response = requests.post('http://www.bjda.gov.cn/eportal/ui?pageId=348736', headers=headers, data=dd)
selector = etree.HTML(response.text)
item_spider = list(set(selector.xpath('//tr[@class="chaxun_con"]//a/@href')))
temp.extend(item_spider)for i in temp:print('http://www.bjda.gov.cn/eportal/ui?pageId=348738&'+i[1:])response=requests.get('http://www.bjda.gov.cn/eportal/ui?pageId=348738&'+i[1:],headers=headers_xiangqing)print(response.status_code)selector=etree.HTML(response.text)tr=selector.xpath('//table[@class="table_sjcx"]//tr')print(tr

posted on 2018-04-18 11:15 秦瑞It行程实录阅读(...) 评论(...) 编辑收藏

转载于:https://www.cnblogs.com/ruiy/p/8872962.html

python requests 爬取数据相关推荐

如何用六步教会你使用python爬虫爬取数据
前言: 用python的爬虫爬取数据真的很简单,只要掌握这六步就好,也不复杂.以前还以为爬虫很难,结果一上手,从初学到把东西爬下来,一个小时都不到就解决了. python爬出六部曲第一步:安装req ...
Python爬虫---爬取数据(上)
又是女票,拿了3万多条的13年某地区的公司信息,但是三年过去了,工商局的注册信息发生了巨大变化,有的注册资本增加了,有的公司老板变多了,更有不少公司不存在了,因此,需要一份最新的信息以便于她进行使用. ...
python在线爬取数据导入Neo4j创建知识图谱
近期学习Neo4j,以豆瓣top250数据为研究对象,实现python在线爬取数据写入Neo4j创建知识图谱,下文详细介绍步骤. 1.知识图谱设计通过分析网页,爬取网页可以得到movie.count ...
Python 学习 02 —— Python如何爬取数据
文章目录系列文章二.Python 爬虫 1.任务介绍 2.简介 3.基本流程 3.1.准备工作 3.1.1.分析页面 3.1.2.编码规范 3.1.3.导入模块 3.1.4.程序流程 3.2.获 ...
python+requests+ 爬取官网双色球开奖数据
python+requests+mysql 爬取官网双色球开奖数据分析网页数据获取方式第一种查询方式第二种查询方式完整代码分析网页数据获取方式第一种查询方式在官网上可以找到多种数据查询 ...
python爬取百度搜索_使用Python + requests爬取百度搜索页面
想学一下怎样用python爬取百度搜索页面,因为是第一次接触爬虫,遇到一些问题,把解决过程与大家分享一下 1.使用requests爬取网页首先爬取百度主页www.baidu.com import r ...
python为啥爬取数据会有重复_利用Python来爬取“吃鸡”数据，为什么别人能吃鸡？...
原标题:利用Python来爬取"吃鸡"数据,为什么别人能吃鸡? 首先,神装镇楼背景最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波 ...
python初学者爬取数据完整教程
都说python爬网页数据方便,我们今天就来试试,python爬取数据到底有多方便简介爬取数据,基本都是通过网页的URL得到这个网页的源代码,根据源代码筛选出需要的信息准备 IDE:pyChar ...
Python爬虫爬取数据
我是Python小白,我会用比较通俗易懂的方法告诉你如何去爬取数据. 一开始,我们需要pycharm(也就是我们编代码的工具),其次我们需要打开我们需要爬取数据的网页,我以鞋子为例. 那么,接下来就开 ...

python requests 爬取数据

python requests 爬取数据相关推荐

最新文章

热门文章