如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

今天乐视的股价可以说是从水深火热到激情澎湃，振幅高达 19.5%，不知大家都赚到了吗？

不管赚没赚到，买股票前收集资料进行调研还是必须的。

上市公司信息发布哪里权威呢，自然是巨潮资讯，毕竟是中国证监会指定信息披露网站。

如何抓取其中乐视相关 pdf 文件呢，从网站上一个个下载多累，还未必能找全，我教你个办法，自动化抓取，一劳永逸。下面开始演示。

一、搜索

这里以从巨潮资讯网 全站乐视相关 pdf 为例，巨潮网址：

http://www.cninfo.com.cn

注意里面用了 site 和 filetype 两个操作符，这两个啥用途呢？

site 用于列出某域名下所有网页（包含文件）

filetype 用于筛选文件类型

二者结合就起到列出网站下所有搜索词相关 pdf 文件的目的。

二、抓取

现在链接有了，如何抓取呢，这里就该 Web Scraper 出场了。

1、建立 Sitemap。

2、按如下结构建立选择器。

3、抓取并导出 Excel 如下。

三、下载

链接有了，如何下载呢，迅雷上呗。

下载任务圆满完成：

四、思考

1、乐视抓完了，格力呢？巨潮会抓了，别的网站呢？

2、如果把搜索词乐视去掉又会如何？这里面有什么花头可挖？

3、filetype 后面换个别的文件类型呢，比如 ppt，doc，xls？

4、百度高级搜索 界面如下，你还能想出什么玩法？

如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件相关推荐

python3爬取巨潮资讯网的年报数据
python3爬取巨潮资讯网的年报数据前期准备: 需要用到的库: 完整代码: 前期准备: 巨潮资讯网有反爬虫机制,所以先打开巨潮资讯网的年报板块,看看有什么解决办法. 巨潮咨询年报板块可以通过这样 ...
批量爬取巨潮资讯网中“贵州茅台”相关公告的PDF文件。
1 需求批量爬取巨潮资讯网中"贵州茅台"相关公告的PDF文件. 2 代码实现 import reimport requests from selenium import webd ...
基于python+selenium+Chrome自动化爬取巨潮资讯网A股财务报表
转自同学的博客引言: 网页爬虫分为静态网页爬虫和动态网页爬虫,前者是指索要获取的网页内容不需要经过js运算或者人工交互, 后者是指获取的内容必须要经过js运算或者人工交互.这里的js运算可能是aja ...
web scraper 抓取网页数据的几个常见问题
如果你想抓取数据,又懒得写代码了,可以试试 web scraper 抓取数据. 相关文章: 最简单的数据抓取教程,人人都用得上 web scraper 进阶教程,人人都用得上如果你在使用 web s ...
不会 Python 没关系，手把手教你用 web scraper 抓取豆瓣电影 top 250 和 b 站排行榜
苏生不惑第190 篇原创文章,将本公众号设为星标 ,第一时间看最新文章. 关于Python之前分享过很多文章了: Python 抓取知乎电影话题下万千网友推荐的电影,这个国庆节不愁没电影看了王菲k ...
不会 Python 没关系，手把手教你用 web scraper 抓取豆瓣电影 top 250 和 b 站排行榜...
苏生不惑第190 篇原创文章,将本公众号设为星标,第一时间看最新文章. 关于Python之前分享过很多文章了: Python 抓取知乎电影话题下万千网友推荐的电影,这个国庆节不愁没电影看了王菲k歌又 ...
python3爬取巨潮资讯网站年报数据
python3爬取巨潮资讯网站年报数据 2018年年底巨潮资讯http://www.cninfo.com.cn改版了,之前实习生从网上找的脚本不能用了,因此重新修改了下爬取脚本.最初脚本的原链接忘了, ...
python3爬取数据_python3爬取巨潮资讯网站年报数据
python3爬取巨潮资讯网站年报数据 2018年年底巨潮资讯http://www.cninfo.com.cn改版了,之前实习生从网上找的脚本不能用了,因此重新修改了下爬取脚本.最初脚本的原链接忘了, ...
爬虫|巨潮资讯网上市公司年报爬取
爬虫|巨潮资讯网上市公司年报爬取 import pandas as pd from selenium import webdriver from selenium.webdriver.common.k ...
python 爬虫 requests+BeautifulSoup 爬取巨潮资讯公司概况代码实例
第一次写一个算是比较完整的爬虫,自我感觉极差啊,代码low,效率差,也没有保存到本地文件或者数据库,强行使用了一波多线程导致数据顺序发生了变化... 贴在这里,引以为戒吧. # -*- coding: ...

如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件相关推荐

最新文章

热门文章