python抓取网页表格数据

小白初入python，在博客上借鉴了一些源码，然后改进了一下，选了湖大硕士招生分数线的一个表格进行爬取。成功是成功了，咳咳，还有很多改进的地方。啥也不说了，直接上源码~

# -*- coding:utf-8 -*-
# The author is Sympathy
from bs4 import BeautifulSoup
import requests
import csv
import bs4
# 用于抓取湖大硕士生招生初试线表格数据
def check_link(url):try:r = requests.get(url)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:print('无法连接服务器')def get_contents(ulist, rurl):soup = BeautifulSoup(rurl, 'lxml')trs = soup.find_all('tr')for tr in trs:ui = []for td in tr:ui.append(td.string)ulist.append(ui)def save_contents(urlist):with open("E:/code/captureweb/2018年湖大初试成绩线.csv", 'w',newline='') as f:writer = csv.writer(f)writer.writerow(['2018湖大初试成绩'])for i in range(len(urlist)):for p in range(1,10):urlist[i].append(' ')if i not in [0,1,15,32,34,35,36,37]:for p in range(2):urlist[i].insert(0,' ')elif i in [32,34,36]:for p in range(4):urlist[i].insert(0,' ')elif i in [35,37]:for p in range(6):urlist[i].insert(0,' ')writer.writerow([urlist[i][1], urlist[i][3], urlist[i][5], urlist[i][7], urlist[i][9], urlist[i][11],urlist[i][13]])
def main():urli = []url = "http://gra.hnu.edu.cn/info/1075/4129.htm"rs = check_link(url)get_contents(urli, rs)save_contents(urli)
main()

python抓取网页表格数据相关推荐

excel两个表格数据对比_用Excel一键抓取网页表格数据
无需插件或编程,Excel自带一键抓取网页表格数据,你会用吗?省去从网页复制甚至手工抄写的麻烦,极大提高工作效率! 首先在浏览器打开想要抓取表格的网页(例如:中国银行外汇牌价),复制地址栏网址,然后打 ...
Python案例学习：抓取网页表格数据解析并写入Excel
三年多没写博客了,原因是因为我转行了,经历了很长的低谷,那段时间从不看博客,今天打开来看,回复了一些评论,很抱歉,有些网友的评论没有及时回复.最近开始想写代码了~ 最近看基金股票,想抓取一些行业当天的 ...
python爬取网页表格数据匹配_爬取表格类网站数据并保存为excel文件
本文转载自以下网站:50 行代码爬取东方财富网上市公司 10 年近百万行财务报表数据 https://www.makcyun.top/web_scraping_withpython6.html 主要学 ...
python爬取网页表格数据匹配,python爬虫——数据爬取和具体解析
标签:pattern div mat txt 保存关于 json result with open 关于正则表达式的更多用法,可参考链接:https://blog.c ...
python求excel平均数_#python抓取excel表格数据#使用python3读取处理excel表的数据内容如何对内容求平均值...
使用python3读取处理excel表的数据内容如何对内容求平均值先说下概述: 值就是集合平均数. (a1 a2 --an)/n为a1,a2,--,an术平均值. 简单算均数.有这么一组数字10.2 ...
python 爬虫表格,python爬虫爬取网页表格数据
用python爬取网页表格数据,供大家参考,具体内容如下 from bs4 import BeautifulSoup import requests import csv import bs4 #检查 ...
python爬虫表格table_Python基于pandas爬取网页表格数据
以网页表格为例:https://www.kuaidaili.com/free/ 该网站数据存在table标签,直接用requests,需要结合bs4解析正则/xpath/lxml等,没有几行代码是搞不 ...
python 抓取网页数据
python 抓取网页数据此文解决如何从不同网页爬取数据的问题及注意事项,重点说明requests库的应用. 在开始之前,要郑重说明一下,不是每一个网页都可以爬取数据哦.有的网页涉及个人隐私或其他敏 ...
Python抓取网页中的动态序列化数据
Python抓取网页中的动态序列化数据动态序列化数据经常应用于前后端分离的页面.或者通过VUE.JS等HTML页面环境,常规的爬虫抓取方法并不能满足数据采集的要求,因此需要其他的方式进行数据的采集. ...

python抓取网页表格数据

python抓取网页表格数据相关推荐

最新文章

热门文章