一、背景

希望根据企业名称查询其经纬度，所在的省份、城市等信息。直接将企业名称传给百度地图提供的API，得到的经纬度是非常不准确的，因此希望获取企业完整的地理位置，这样传给API后结果会更加准确。百度企业信用提供了企业基本信息查询的功能。希望通过Python爬虫获取企业基本信息。目前已基本实现了这一需求。本文最后会提供具体的代码。代码仅供学习参考，希望不要恶意爬取数据！

二、分析

以苏宁为例。输入“江苏苏宁”后，查询结果如下：

经过分析，这里列示的企业信息是用JavaScript动态生成的。服务器最初传过来的未经渲染的HTML如下：

注意其中标注出来的JS代码。有意思的是，企业基本信息都可以直接从这段JS代码中获取，无需构造复杂的参数。

这是进一步查看的结果，注意那个“resultList”，后面存放的就是页面中的企业信息。显然，利用正则表达式提取需要的字符串，转换成JSON就可以了。

三、源码

以下代码为查询某个企业的基本信息提供了API：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Author: Wild Orange
# @Email: jixuanfan_seu@163.com
# @Date:   2020-06-19 22:38:14
# @Last Modified time: 2020-07-03 10:04:45import requests
import re
import jsonheaders={'User-Agent': 'Chrome/76.0.3809.132'}#正则表达式提取数据
re_get_js=re.compile(r'<script>([\s\S]*?)</script>')
re_resultList=re.compile(r'"resultList":(\[{.+?}\]),"totalNumFound')
has_statement=Falsedef Get_company_info(name):'''@func: 通过百度企业信用查询企业基本信息'''url='https://xin.baidu.com/s?q=%s'%nameres=requests.get(url,headers=headers)if __check() and res.status_code==200:html=res.textretVal=_parse_baidu_company_info(html)return retValelse:print('无法获取%s的企业信息'%name)def _parse_baidu_company_info(html):'''@function：解析百度企业信用提供的企业基本信息@output: list of dict, [{},{},...]pid: 跳转到具体企业页面的参数bid: 具体企业页面URL中的参数name: 企业名称type: 企业类型date: 成立日期address: 地址person: 法人代表status: 存续状态regCap: 注册资本scope: 经营范围'''js=re_get_js.findall(html)[1]data=re_resultList.search(js)if not data:returncompant_list=json.loads(data.group(1))retVal=[]for x in compant_list:regCap=x['regCap'].replace(',','')if regCap[-1]=='万':regCap=regCap[:-1]regCap=float(regCap)address=x['domicile'].replace('<em>','').replace('</em>','')temp_v={'pid':x['pid'],'bid':x['bid'],'name':x['titleName'],'type':x['entType'],'date':x['validityFrom'],\'address':address,'person':x['legalPerson'],'status':x['openStatus'],'regCap':regCap,\'scope':x['scope']}retVal.append(temp_v)return retValdef __basic():statement='/26412/31243/24207/21457/34920/20110/67/83/68/78/65292/26410/21457/34920/20110/\20854/20182/24179/21488/65281/10/20316/32773/65306/119/105/108/100/95/111/114/97/110/103/\101/10/20010/20154/20027/39029/65306/104/116/116/112/115/58/47/47/98/108/111/103/46/99/115/\100/110/46/110/101/116/47/113/113/95/51/53/52/48/56/48/51/48/10/22914/26524/35273/24471/25991/\31456/26377/24110/21161/65292/27426/36814/28857/20010/36190/126/35874/35874/65281'info=statement.split('/')[1:]outVal=''for x in info:outVal+=chr(int(x))return outValdef __check():global has_statementif has_statement is True:return Trueelse:try:print(__basic()+'\n')has_statement=Truereturn Trueexcept Exception as E:print(b'\xe7\xa8\x8b\xe5\xba\x8f\xe5\xb7\xb2\xe8\xa2\xab\xe5\x88\\xab\xe4\xba\xba\xe7\xaf\xa1\xe6\x94\xb9\xef\xbc\x81\xe6\xac\\xa2\xe8\xbf\x8e\xe5\x88\xb0CSDN\xe5\x85\xb3\xe6\xb3\xa8\xe5\\x8e\x9f\xe4\xbd\x9c\xe8\x80\x85\xef\xbc\x9awild_orange'.decode('utf-8'))return False

四、使用方法

直接将需要查询的企业名称传入Get_company_info：

   res=Get_company_info('江苏苏宁')print(res)

结果：

需要注意的是：

返回的是字典构成的数组，每个字典元素代表一家企业的信息。顺序与浏览器中显示的顺序相同。
字典中参数的含义已在_parse_baidu_company_info函数的注释中说明。
程序仅获取第一页的信息。如果要查询多页，可以修改源码。
程序仅获取企业的基本信息，没有进入企业的具体页面，如：苏宁物流具体页面。不过返回结果中的pid或bid应该能用于构造查询页面的URL。

此文转载于网络，如有侵权请联系小编删除

源码获取加群：1136192749

用Python爬虫获取百度企业信用中企业基本信息！太厉害了！相关推荐

python爬虫获取百度贴吧内容
python爬虫获取百度贴吧内容 python爬虫获取百度贴吧内容 *声明:本文仅供学习交流使用,请勿用于商业用途,违者后果自负.* python爬虫获取百度贴吧内容博主是一个比较懒的人,不会按时更 ...
Python 爬虫 - 获取百度关键字搜索内容
Python 爬虫获取百度关键字搜索内容 https://www.cnblogs.com/w0000/p/bd_search_page.html Github headers内的参数,仅有UA时,返 ...
Python爬虫获取企查查公开的企业信息
1.参考博文 https://blog.csdn.net/qq_39295735/article/details/84504848?utm_medium=distribute.pc_relevant. ...
python爬去百度搜索结果_python爬虫获取百度搜索结果的简单示例
编程之家收集整理的这篇文章主要介绍了python爬虫获取百度搜索结果的简单示例,编程之家小编觉得挺不错的,现在分享给大家,也给大家做个参考. 感兴趣python爬虫获取百度搜索结果的简单示例的小伙伴, ...
python Chrome + selenium自动化测试与python爬虫获取网页数据
一.使用Python+selenium+Chrome 报错: selenium.common.exceptions.SessionNotCreatedException: Message: sessi ...
python如何获取百度搜索结果的真实URL
在公司中需要去抓取一些数据,就遇到了以下这些问题: 想通过爬虫获取百度搜索结果的原始链接.通过Firefox的HttpFox插件,发现在搜索结果的URL是加密过的,例如: http://www.bai ...
python爬虫案例——百度贴吧数据采集
全栈工程师开发手册 (作者:栾鹏) python教程全解 python爬虫案例--百度贴吧数据采集通过python实现百度贴吧页面的内容采集是相对来说比较容易的,因为百度贴吧不需要登陆,不需要coo ...
Python 爬虫实战：分析豆瓣中最新电影的影评
Python 爬虫实战:分析豆瓣中最新电影的影评接触python时间不久,做些小项目来练练手.前几天看了<战狼2>,发现它在最新上映的电影里面是排行第一的,如下图所示.准备把豆瓣上对它的 ...
python爬虫获取网络图片
python爬虫获取网络图片记录一下利用爬虫获取网络图片具体操作来自博客:Python 爬虫系列教程一爬取批量百度图片我的编辑器是vscode,首先安装三个包 pip install Beaut ...

用Python爬虫获取百度企业信用中企业基本信息！太厉害了！

一、背景

二、分析

三、源码

四、使用方法

用Python爬虫获取百度企业信用中企业基本信息！太厉害了！相关推荐

最新文章

热门文章