Python裸奔也疯狂：批量爬取中国工程院院士信息

中国工程院院士，是中国设立的工程科学技术方面的最高学术称号，为终身荣誉，由选举产生。在工程科学技术方面作出重大的、创造性的成就和贡献，热爱祖国，学风正派，品行端正，具有中国国籍的高级工程师、研究员、教授或具有同等职称的专家，可被提名并当选为中国工程院院士。

增选院士每两年进行一次,必要时,可提前或延后进行。每次的增选院士名额,由中国工程院主席团讨论决定。

为更好地膜拜众位男神女神，了解其在相关领域做出的杰出贡献，本文代码用于从中国工程院官方网站公开的信息中进行快速提取，主要用来演示Python标准库os、re、urllib的用法以及网络爬虫的原理，没有使用任何扩展库。本文涉及到的内容严禁用于不良用途，违者后果自负。

首先，打开工程院官方网站，查看全部院士名单，查看源代码，进行简单分析，得到规律，以便后面设计正则表达式，图中红框内是我们感兴趣的内容：

接下来打开任意一位院士的链接，进一步分析，得到数据组织的规则，以方便设计正则表达式：

所有规则都清晰之后，就可以编写代码进行爬取了：

----------相关阅读----------

Python爬虫扩展库scrapy选择器用法入门（一）

Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文

Python不使用scrapy框架而编写的网页爬虫程序

Python爬虫扩展库BeautifulSoup4用法精要

祝所有程序员1024节日快乐

学会提问，你就成功了一大半！

盘点那些让人上火的提问方式（论如何让交流更高效）

----------喜大普奔----------

1、继《Python程序设计基础》（2017年9月第5次印刷）、《Python程序设计（第2版）》（2017年9月第4次印刷）、《Python可以这样学》（2017年7月第3次印刷）系列图书之后，董付国老师新书《Python程序设计开发宝典》已于2017年8月1日在清华大学出版社出版，并于2017年9月进行了第2次印刷。为庆祝新书《Python程序设计开发宝典》全面上架，清华大学出版社联合“赣江图书专营”淘宝店推出特价优惠活动，《Python程序设计开发宝典》原价69元，新书上架期间超低价39.8元，可以复制下面的链接使用浏览器打开查看图书详情和购买：

https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-14464369246.84.46f16db0roWfX4&id=557107249812&rn=339cbc9df2bac424664103917dedfbd2&abbucket=8&tbpm=3

2、董付国老师新作《中学生可以这样学Python》已正式出版，很快会在各大书城全面上架。

3、董付国老师6本Python系列图书阅读指南

Python裸奔也疯狂：批量爬取中国工程院院士信息相关推荐

python实战-HTML形式爬虫-批量爬取电影下载链接
文章目录一.前言二.思路 1.网站返回内容 2.url分页结构 3.子页面访问形式 4.多种下载链接判断三.具体代码的实现四.总结一.前言喜欢看片的小伙伴,肯定想打造属于自己的私人影院 ...
Python每日一练(9)-批量爬取B站小视频
目录 1. 批量爬取B站小视频 2. 获取动态请求的JSON数据 3. 随机生成浏览器的头部信息 4. 获取要下载视频的大小 5. 实时打印文件下载进度 1. 批量爬取B站小视频哔哩哔哩网站(英文名 ...
Python爬虫学习教程，批量爬取下载抖音视频
这篇文章主要为大家详细介绍了python批量爬取下载抖音视频,具有一定的参考价值,感兴趣的小伙伴们可以参考一下项目源码展示: ''' 在学习过程中有什么不懂得可以加我的 python学习交流扣扣qu ...
Python爬虫练习-Xpath解析批量爬取PPT
批量爬取PPT,分页爬取 import os import requests from lxml import etreeif __name__ == '__main__':# UA伪装headers ...
python爬虫实战1：批量爬取网址图片
1.爬虫基础知识目前,爬虫的相关知识了解了以下这么多. 2.爬取图片的步骤学习了很多视频教程,基本介绍爬虫都是主要分3步: 1.请求网页 2.解析网页 3.保存图片 3.爬虫实战唯有实战,才能提 ...
从入门到入土：Python爬虫学习|实例练手|爬取LOL全英雄信息及技能||异步加载|初级难度反扒处理|寻找消失的API
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python爬虫实战之一 - 基于Requests爬取拉勾网招聘信息，并保存至本地csv文件
Python爬虫实战之二 - 基于Requests抓取拉勾网招聘信息 ---------------readme--------------- 简介:本人产品汪一枚,Python自学数月,对于小白,本 ...
爬取中国工程院院士的信息
编写多进程网络爬虫程序,爬取中国工程院网页(http://www.cae.cn/cae/html/main/col48/column_48_1.html)上每位院士的信息,将每位院士的建立存为本地文件 ...
python爬虫实战-如何批量爬取唯品会商品信息＞＞＞
第一步.打开唯品会网站 https://www.vip.com.然后随意搜索一种商品,比如"键盘",搜索之后下拉发现页面URL没有发生改变,但是商品信息在不断加载,那么这就是动态 ...

Python裸奔也疯狂：批量爬取中国工程院院士信息

Python裸奔也疯狂：批量爬取中国工程院院士信息相关推荐

最新文章

热门文章