pandas nat_利用pandas爬取研招网信息

pandas是python的一个数据分析库,Numpy,Pandas,Matplotlib是用python进行数据分析的三剑客,但是很少人知道pandas也可以用来写爬虫

这里举一个很简单的例子

打开研招网,随便点进去了一个高校招生网,如图

这里只是举一个简单的例子,只是为了说明pandas在爬数据这里的用法,在以后碰到的其他场景中,可以结合这个例子,写出功能更加强大的代码

下图是我们要爬取的目标

接下来就是介绍pandas 中read_html这个方法的使用了

1.作用

快速获取在html中页面中table格式的数据

2.read_html函数

read_html函数的api:

pandas

实战开始

定位到table的位置

代码展示

可以看到简单的几行代码,就成功的爬下来了

import pandas as pd
url = 'http://gs.xauat.edu.cn/show.asp?id=2308'
tb = pd.read_html(url)
print(type(tb))

之后进行数据清洗,即可写成csv文件或者to_sql存入数据库,不赘述

这个简单的例子就讲完了,补充一下如果遇到反爬的403 可以换个思路,用requests发请求

还是很好用的,对吧!

pandas nat_利用pandas爬取研招网信息相关推荐

通过selenium八爪鱼爬取研招网各专业的初试信息
任务需求: 因工作需要,需要爬取研招网各个高校每个专业研究生考试的初试科目信息. 处理步骤: 1,查看研招网页面(https://yz.chsi.com.cn/zsml/zyfx_search.jsp ...
利用Selenium爬取淘宝商品信息
文章来源:公众号-智能化IT系统. 一. Selenium和PhantomJS介绍 Selenium是一个用于Web应用程序测试的工具,Selenium直接运行在浏览器中,就像真正的用户在操作一样. ...
利用python爬取qq个性网图片
利用python爬取qq个性网图片网站头像布局大同小异,稍改代码即可爬取想要的头像. 不多bb,上代码. import requests from parsel import Selector im ...
爬取学校官网信息公告并存入数据库
前段时间做了爬取学校信息并展示的小软件,爬取内容包括学校官网.教学管理系统.招生就业信息等,其中用到了QueryList库.翻页爬虫,定时爬虫,插入数据库等不熟系QueryList的可以看一下我的这 ...
利用Scrapy爬取1905电影网
本文将从以下几个方面讲解Scrapy爬虫的基本操作 Scrapy爬虫介绍 Scrapy安装 Scrapy实例--爬取1905电影网相关资料 Scrapy 爬虫介绍 Scrapy是Python开发的一 ...
利用Selenium爬取煎蛋网妹纸图原来是这么简单！！！
上期说到,下期更新爬取煎蛋网妹纸的selenium版本,它来了!!! 获取页面url信息获取图片url信息永久性保存图片注释: 想要获取GeckoDriver安装包的小伙伴,可以给博主留言或者搜 ...
利用node爬取王者荣耀英雄信息，并存入数据库
抓取一.新建一个文件夹文件夹不要是中文二.下载第三方模块 cmd进入文件夹地址,输入:npm init -y进行初始化输入npm i crawler mysql-ithm下载爬虫和node-o ...
利用python爬取当乐网游戏评论简单数据分析
类库整理 jieba分词 github传送门 Pyecharts 数据可视化展示 github传送门 Wordcloud 词云 github传送门或者 github传送门2 数据采集来源说明:来自 ...
利用正则表达式爬取猫眼电影TOP100信息
本文利用requests库和正则表达式爬取了猫眼电影TOP100电影信息,并将电影封面和标题.主演等文字信息保存在了本地.本文完整代码链接:https://github.com/iapcoder/Ma ...
利用selenium爬取携程酒店信息
上节博客我们利用requests请求库,正则表达式来提取信息(链接https://mp.csdn.net/postedit/81865681),提到过使用selenium也可以抓取酒店信息,在这里利用 ...

pandas nat_利用pandas爬取研招网信息

pandas nat_利用pandas爬取研招网信息相关推荐

最新文章

热门文章