python爬取天眼查存入excel表格_python爬取企查查江苏企业信息生成excel表格
1.前期准备具体请查看上一篇
2.准备库requests,BeautifulSoup,xlwt,lxml1.BeautifulSoup:是专业的网页爬取库,方便抓取网页信息
2.xlwt:生成excel表格
3.lxml:xml解析库
3.具体思路企查查网站具有一定的反爬机制,直接爬取会受到网站阻拦,所以我们需要模拟浏览器请求,绕过反爬机制,打开企查查网站,获取cookie及一系列请求头文件,然后使用BeautifulSoup分析网页节点捕捉需要的信息
4.源码# encoding: utf-8import requestsfrom bs4 import BeautifulSoupimport lxmlimport xlwtimport redef craw():
file = xlwt.Workbook()
table = file.add_sheet('sheet1', cell_overwrite_ok=True)
print('正在爬取,请稍等....') for n in range(1,500):
print('第'+ str(n) + '页......')
url = 'https://www.qichacha.com/g_JS_' + str(n) + '.html'
user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
headers = { 'Host': 'www.qichacha.com', 'User-Agent': r'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Accept-Encoding': 'gzip, deflate, br', 'Referer': 'http://www.qichacha.com/', 'Cookie': r'zg_did=%7B%22did%22%3A%20%22166870cd07f60d-0c80294526eac7-36664c08-1fa400-166870cd0801af%22%7D; acw_tc=3af3b59815398640670163813ec3ddf30042b9b31607691a7b8d249c27; UM_distinctid=166870d292d85-016e1a972f471f-36664c08-1fa400-166870d292f349; _uab_collina=153986407973326937715323; QCCSESSID=g0gqbq7t1r8ksn94j8ii1qpbq1; CNZZDATA1254842228=364260894-1539860390-https%253A%252F%252Fwww.qichacha.com%252F%7C1540383468; Hm_lvt_3456bee468c83cc63fb5147f119f1075=1539864081,1540384169; zg_de1d1a35bfa24ce29bbf2c7eb17e6c4f=%7B%22sid%22%3A%201540384168992%2C%22updated%22%3A%201540384533698%2C%22info%22%3A%201539864055943%2C%22superProperty%22%3A%20%22%7B%7D%22%2C%22platform%22%3A%20%22%7B%7D%22%2C%22utm%22%3A%20%22%7B%7D%22%2C%22referrerDomain%22%3A%20%22%22%7D; Hm_lpvt_3456bee468c83cc63fb5147f119f1075=1540384534', 'Connection': 'keep-alive', 'If-Modified-Since': 'Wed, 24 Oct 2018 12:35:27 GMT', 'If-None-Match': '"59*******"', 'Cache-Control': 'private',
}
response = requests.get(url, headers=headers) if response.status_code != 200:
response.encoding = 'utf-8'
print(response.status_code)
print('ERROR') # soup = BeautifulSoup(response.text, 'lxml')
html_str = response.text
soup = BeautifulSoup(html_str, 'html.parser')
list = [] # list = soup.findAll(class_='panel panel-default')
list = soup.findAll(class_='panel panel-default') for i in range(len(list)):
text = list[i]
soup2 = BeautifulSoup(str(text), 'lxml')
icon = soup2.find('img').attrs['src']
table.write((n - 1) * 10 + i, 1, str(icon))
name = soup2.find(class_='name').text
table.write((n - 1) * 10 + i, 2, name) try:
content = soup2.findAll(class_='text-muted clear text-ellipsis m-t-xs')[0].text
address = soup2.findAll(class_='text-muted clear text-ellipsis m-t-xs')[1].text
table.write((n - 1) * 10 + i, 3, content)
table.write((n - 1) * 10 + i, 4, address) except:
print('第'+str(n)+'页第'+str(i)+'行错误')
file.save('D:/qcc.xls')if __name__ == '__main__':
craw()
5.结果
image.png
作者:XuJiaxin_
链接:https://www.jianshu.com/p/114665cc3d89
python爬取天眼查存入excel表格_python爬取企查查江苏企业信息生成excel表格相关推荐
- python爬取天眼查存入excel表格_爬虫案例1——爬取新乡一中官网2018届高考录取名单...
有一种非常常见并且相对简单的网络爬虫,工作流程大概是这样的: 访问目标网页 提取目标网页内表格信息 写入excel文件并保存 初次实践,我决定尝试写一个这样的爬虫.经过一番构思,我准备把爬取新乡一中官 ...
- 读书笔记(十)——python简单爬取企查查网企业信息,并以excel格式存储
2019独角兽企业重金招聘Python工程师标准>>> 今天这个小爬虫是应朋友,帮忙写的一个简单的爬虫,目的是爬取企查查这个网站的企业信息. 编程最终要的就是搭建编程环境,这里我们的 ...
- python 爬取企业注册信息_读书笔记(十)——python简单爬取企查查网企业信息,并以excel格式存储...
今天这个小爬虫是应朋友,帮忙写的一个简单的爬虫,目的是爬取企查查这个网站的企业信息. 编程最终要的就是搭建编程环境,这里我们的编程环境是: python3.6 BeautifulSoup模块 lxml ...
- python爬虫从企查查获取企业信息-手工绕开企查查的登录验证
想要从企查查爬取企业信息,如果没有登录直接检索,邮箱.电话都被隐藏了: 上面的图片是之前截的图,今天再次检索,好像又可见了: 不过单击查看详情时,还是会被隐藏: 不管怎么说,只要企查查想限制登录,总会 ...
- 使用python程序抓取天眼查,企查查和爱企查上的企业基本信息
本文说明使用python程序自动抓取天眼查或者企查查上的企业基本信息.本文中的程序仅供学习参考,请通过正规渠道获取相应的数据资产. 工程目录如下: w3目录下内容为: 工程中的部分源码如下. 文件pa ...
- Python自动化爬取天眼查数据
首先要注册一个账号密码,通过账号密码登录,并且滑块验证,自动输入搜索关键词,进行跳转翻页爬取数据,并保存到Excel文件中. 代码运行时,滑块验证经常不通过,被吃掉,但是发现打包成exe运行没有这个问 ...
- 爬取天眼查 的python 代码
''' @Description: 天眼查关键词爬取风险信息 @Author: bessie_lina @Date: 2019-08-14 17:39:30 @LastEditTime: 2019-0 ...
- 记录一次利用python调用chrome爬取天眼查网址工商信息的过程
1.首先准备工作: 1.pyhton3.6(官网有下载).https://www.python.org/downloads/release/python-363/ 2.pycharm 2017 开发工 ...
- php天眼查数据抓取,python用xpath采集天眼查内容,有反爬,zip拼数据
# -*- coding: utf-8 -*- """ 起始未登录有反爬,爬失败.策略:重新登录,并在headers中加入cookie,成功了. "" ...
- php抓取天眼查,python用xpath采集天眼查内容,有反爬,zip拼数据
# -*- coding: utf-8 -*- """ 起始未登录有反爬,爬失败.策略:重新登录,并在headers中加入cookie,成功了. "" ...
最新文章
- 2010年终总结---戏说茅台酒涨价
- boost库在window下的编译
- android studio3.12,Android Studio V3.12环境下TV开发教程(六)提供卡片视图
- SAP Hybris Commerce Cloud 项目里的 eclipsebin 文件夹
- netmiko 记录日志_netmiko连接网络设备
- 嵌入式成长轨迹37 【Zigbee项目】【CC2430基础实验】【自动闪烁】
- 邮箱如何秘密发送多个人邮件_如何发送秘密消息
- python中elif可以单独使用吗_python中elif可以单独使用吗
- 餐饮小票在线生成_意大利电子小票发送截止日即将来临
- invalid LOC header(bad signature)错误及解决
- OpenJDK8编译之后,缺少com.sun.tools.javac.Main怎么办
- BAT54C不断电源保护电路
- 服务器网页源代码被修改6,特洛伊木马服务器源代码(C#)
- python写ppt_python可以写PPT吗
- IDEA 插件开发实战
- reviewboard 介绍
- access考试素材_access数据库考试试题及答案.doc
- Go 切片(slice)使用
- 计算机网络按分布范围分类可分为局域网,计算机网络按照覆盖范围可以分为局域网...
- 网络爬虫 测试代理IP