python3爬取巨潮资讯网的年报数据

前期准备：
需要用到的库：
完整代码：

前期准备：

巨潮资讯网有反爬虫机制，所以先打开巨潮资讯网的年报板块，看看有什么解决办法。
巨潮咨询年报板块

可以通过这样的方式获取单页年报的数据，数据格式为json。其中包括年报名称，地址等数据。
所以思路就是，先通过单页的数据，然后在对每页中的年报数据进行下载。

需要用到的库：

import requests
import random                  #随机生成爬虫休眠时间
import time

完整代码：

import requests
import random
import timedownload_path= 'http://static.cninfo.com.cn/'
saving_path= 'E://2018年报sz'User_Agent= ["Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)","Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)","Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)","Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)","Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6","Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1","Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0"]                                #User_Agent的集合headers= {'Accept': 'application/json, text/javascript, */*; q=0.01',"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8","Accept-Encoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,zh-HK;q=0.6,zh-TW;q=0.5",'Host': 'www.cninfo.com.cn','Origin': 'http://www.cninfo.com.cn','Referer': 'http://www.cninfo.com.cn/new/commonUrl?url=disclosure/list/notice','X-Requested-With': 'XMLHttpRequest'}def single_page(page):query_path= 'http://www.cninfo.com.cn/new/hisAnnouncement/query'headers['User-Agent']= random.choice(User_Agent)      #定义User_Agentquery= {'pageNum': page,                            #页码'pageSize': 30,                                    'tabName': 'fulltext','column': 'szse',                                    #深交所'stock': '','searchkey': '','secid': '','plate': 'sz','category': 'category_ndbg_szsh;',     #年度报告'trade': '','seDate': '2000-01-01+~+2019-04-26'     #时间区间}namelist= requests.post(query_path,headers = headers,data = query)print(page, '*********')return namelist.json()['announcements']        #json中的年度报告信息def saving(single_page):          #下载年报headers= {'Accept': 'application/json, text/javascript, */*; q=0.01',"Content-Type": "application/x-www-form-urlencoded; charset=UTF-8","Accept-Encoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7,zh-HK;q=0.6,zh-TW;q=0.5",'Host': 'www.cninfo.com.cn','Origin': 'http://www.cninfo.com.cn'}for i in single_page:if i['announcementTitle']== '2018年年度报告（更新后）' or i['announcementTitle']== '2018年年度报告':download= download_path+ i["adjunctUrl"]name= i["secCode"]+ '_' + i['secName']+ '_' + i['announcementTitle']+ '.pdf'if '*' in name:name= name.replace('*','')file_path= saving_path+ '//' + nametime.sleep(random.random()* 2)headers['User-Agent']= random.choice(User_Agent)r= requests.get(download,headers = headers)f= open(file_path, "wb")f.write(r.content)f.close()print(name)else:continuedef spy_save(page):try:page_data = single_page(page)except:print(page,'page error, retrying')try:page_data= single_page(page)except:print(page,'page error')     saving(page_data )

后续还可以通过使用代理，使用多进程来提高爬取效率以及减少被反爬虫封禁的可能。

python3爬取巨潮资讯网的年报数据相关推荐

python3爬取巨潮资讯网站年报数据
python3爬取巨潮资讯网站年报数据 2018年年底巨潮资讯http://www.cninfo.com.cn改版了,之前实习生从网上找的脚本不能用了,因此重新修改了下爬取脚本.最初脚本的原链接忘了, ...
批量爬取巨潮资讯网中“贵州茅台”相关公告的PDF文件。
1 需求批量爬取巨潮资讯网中"贵州茅台"相关公告的PDF文件. 2 代码实现 import reimport requests from selenium import webd ...
基于python+selenium+Chrome自动化爬取巨潮资讯网A股财务报表
转自同学的博客引言: 网页爬虫分为静态网页爬虫和动态网页爬虫,前者是指索要获取的网页内容不需要经过js运算或者人工交互, 后者是指获取的内容必须要经过js运算或者人工交互.这里的js运算可能是aja ...
python3爬取数据_python3爬取巨潮资讯网站年报数据
python3爬取巨潮资讯网站年报数据 2018年年底巨潮资讯http://www.cninfo.com.cn改版了,之前实习生从网上找的脚本不能用了,因此重新修改了下爬取脚本.最初脚本的原链接忘了, ...
爬虫|巨潮资讯网上市公司年报爬取
爬虫|巨潮资讯网上市公司年报爬取 import pandas as pd from selenium import webdriver from selenium.webdriver.common.k ...
python 爬虫 requests+BeautifulSoup 爬取巨潮资讯公司概况代码实例
第一次写一个算是比较完整的爬虫,自我感觉极差啊,代码low,效率差,也没有保存到本地文件或者数据库,强行使用了一波多线程导致数据顺序发生了变化... 贴在这里,引以为戒吧. # -*- coding: ...
巧用selenium爬取巨潮资讯公司数据
巧用selenium爬取巨潮资讯公司数据立项背景:在做深度学习的过程中利用python进行建模,需要数据来训练模型. 项目目标:通过运用python的selenium模块,爬取巨潮资讯网站关于公司的 ...
selenium爬取巨潮资讯指定领域下所有上市公司的数据并存储到csv文件
selenium爬取巨潮资讯指定领域下所有上市公司的数据并存储到csv文件 from selenium.webdriver import Chrome #引入selenium中的Chrome from ...
请用Python语言写一个巨潮资讯网批量下载PDF的程序
下面是一个使用 Python 的简单程序,可以批量下载巨潮资讯网上的 PDF 文件: import requests import os# 巨潮资讯网 PDF 文件的 URL 前缀 url_prefi ...

python3爬取巨潮资讯网的年报数据

python3爬取巨潮资讯网的年报数据

前期准备：

需要用到的库：

完整代码：

python3爬取巨潮资讯网的年报数据相关推荐

最新文章

热门文章