python爬虫网页表格

from bs4 import BeautifulSoup
import requests
import csv
import bs4  #检查url地址
def check_link(url):  try:  r = requests.get(url)  r.raise_for_status()  r.encoding = r.apparent_encoding  return r.text  except:  print('无法链接服务器！！！')  #爬取资源
def get_contents(ulist,rurl):  soup = BeautifulSoup(rurl,'lxml')  trs = soup.find_all('tr')  for tr in trs:  ui = []  for td in tr:  ui.append(td.string)  ulist.append(ui)  #保存资源
def save_contents(urlist):  with open("C:/Users/Administrator/paichong/2019年中国企业500强排行榜.csv",'w') as f:  writer = csv.writer(f)  #writer.writerow(['2016年中国企业500强排行榜'])  for i in range(len(urlist)):  writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])  def main():  urli = []  url = "http://www.maigoo.com/news/463071.html"  rs = check_link(url)  get_contents(urli,rs)print(urli)save_contents(urli)  main()

参考：https://blog.csdn.net/zhuxunyuoyi/article/details/75210705?locationNum=9&fps=1

python爬虫网页表格相关推荐

python爬虫网页表格_python网页表格
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 以网页表格为例:https:www.kuaidaili.comfree该网站数据 ...
硬核来袭！！！一篇文章教你入门Python爬虫网页解析神器——BeautifulSoup详细讲解
文章目录一.BeautifulSoup介绍二.安装三.bs4数据解析的原理四.bs4 常用的方法和属性 1.BeautifulSoup构建 1.1 通过字符串构建 1.2 从文件加载 2.Be ...
python提取网页表格信息_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
python读取网页表格数据库_python 提取网页表格数据库数据库
python开源工具列表[持续更新] 以下是个人在工作中整理的一些python wheel,供参考.这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib). ...
python爬虫网页中的图片_Python爬虫爬取一个网页上的图片地址实例代码
本文实例主要是实现爬取一个网页上的图片地址,具体如下. 读取一个网页的源代码: import urllib.request def getHtml(url): html=urllib.request. ...
HTML的学习---为了python爬虫网页
之前学习了xml知识,使用python解析.创建和更改xml文件,现在需要用python爬虫新浪博客的文章,所以进一步学习下HTML. XML 指可扩展标记语言(EXtensible Markup L ...
python 爬虫网页登陆
相信各位在写python爬虫的时候会在爬取网站时遇到一些登陆的问题,比如说登陆时遇到输入验证码比如说登录时遇到图片拖拽等验证,如何解决这类问题呢?一般有两种方案. 使用cookie登陆我们可以通过使 ...
python爬虫网页中的图片_Python爬取网页中的图片（搜狗图片）详解
前言最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: 我们这里以sogou作为爬取的对象. 首先我们进入搜狗图片http://pic.s ...
python爬虫网页图片显示不出来_用Python爬取20万条网页美女图片，两只眼睛都看不过来了！...
前言最近几天,研究了一下一直很好奇的爬虫算法.这里写一下最近几天的点点心得.下面进入正文: 你可能需要的工作环境: Python 3.6官网下载本地下载我们这里以sogou作为爬取的对象. 首先 ...

python爬虫网页表格

python爬虫网页表格相关推荐

最新文章

热门文章

python爬虫 网页表格

python爬虫 网页表格相关推荐

最新文章

热门文章

python爬虫网页表格

python爬虫网页表格相关推荐