Python网页爬虫练习：requests库Beautiful爬取bilibili网页信息

我是卢本伟！

import requests
from bs4 import BeautifulSoup
import bs4
def get_blibli_vedio():#获取bilibili实时热榜视频排行榜url = "https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3"try:r = requests.get(url, timeout=50)r.raise_for_status()r.encoding = r.apparent_encodingsoup=BeautifulSoup(r.text,"html.parser")get_contents=[]for tag_li in soup.find(name="ul",attrs={"class","rank-list"}).children:if isinstance(tag_li,bs4.element.Tag):#过滤非Tag类型实例one_vedio={}one_vedio["当前排名"]=int(tag_li.find(name="div",attrs={"class","num"}).string)one_vedio["视频链接"]=tag_li.find(name="a").attrs["href"]one_vedio["视频标题"]=tag_li.find(name="a",attrs={"class","title"}).stringget_contents.append(one_vedio)for each_vedio in get_contents:print("当前排名:"+str(each_vedio["当前排名"])+"      "+"视频标题:"+each_vedio["视频标题"]+"      "+"视频链接"+each_vedio["视频链接"])except requests.HTTPError:print("HTTPError")def get_bilibili_firstpage_vedio():#爬取bilibili网页首页的视频信息url="https://www.bilibili.com/?spm_id_from=333.851.b_696e7465726e6174696f6e616c486561646572.1"try:r = requests.get(url, timeout=50)r.raise_for_status()r.encoding = r.apparent_encodingsoup=BeautifulSoup(r.text,"html.parser")get_contents=[]for each_firstpage_vedio in soup.find(name="div",attrs={"class","recommend-box"}).children:if isinstance(each_firstpage_vedio,bs4.element.Tag):#过滤非标签if each_firstpage_vedio.attrs["class"][0]=="video-card-reco":each_vedio=[]each_vedio.append(each_firstpage_vedio.find(name="a").attrs["href"])each_vedio.append(each_firstpage_vedio.find(name="p",attrs={"class","title"}).string)for e in each_firstpage_vedio.find(name="p", attrs={"class", "up"}).descendants:if isinstance(e,bs4.element.NavigableString):each_vedio.append(e)get_contents.append(each_vedio)for each in get_contents:print("视频链接:" +each[0]+"     "+"视频标题:" +each[1]+"      "+"up主:"+each[2])except requests.HTTPError:print("HTTPError")if __name__=="__main__":get_blibli_vedio()get_bilibili_firstpage_vedio()

Python网页爬虫练习：requests库Beautiful爬取bilibili网页信息相关推荐

python爬虫requests实战_Python爬虫之requests库网络爬取简单实战
实例1:直接爬取网页实例2 : 构造headers,突破访问限制,模拟浏览器爬取网页实例3 : 分析请求参数,构造请求参数爬取所需网页实例4: 爬取图片实例5: 分析请求参数,构造请求参数爬取 ...
python3爬虫实战：requests库+正则表达式爬取头像
python3爬虫实战:requests库+正则表达式爬取头像网站url:https://www.woyaogexing.com/touxiang/qinglv/new/ 浏览网页:可以发现每个图片 ...
Python新手爬虫训练小项目《爬取彼岸图网》（超详细讲解版）
Python新手爬虫训练小项目<爬取彼岸图网>(超详细讲解版) 这是我的第一篇文章,作为一名新手爬虫,这个算是我这几天来的努力成果,虽然代码寥寥几行但花费了大半天,新手上路还是不能只看视频 ...
Python网络爬虫：利用正则表达式方法爬取‘’豆瓣读书‘’中‘’新书速递‘’条目
1.简述:正则表达式是爬虫的方法之一,这里利用Requests库进行爬取,尽管Urllib也能进行爬取,但过程过于繁琐,在了解Urllib的爬取过程后,没有进行实战演练,但在学习了Requests的爬 ...
爬虫系列（1）：极简爬虫——基于requests和re爬取安居客上海二手房价数据
爬虫系列(1):极简爬虫--基于requests和re爬取安居客上海二手房价数据入坑爬虫已经有一年多,一直想好好记录下从各位前辈和大佬处学到的技术,因此开了一个爬虫系列,想借此细致地介绍和演示其中的 ...
Crawler：基于BeautifulSoup库+requests库实现爬取2018最新电影《后来的我们》热门短评
Crawler:基于BeautifulSoup库+requests库实现爬取2018最新电影<后来的我们>热门短评目录输出结果实现代码输出结果实现代码 # -*- coding: ...
python爬取豆瓣电影信息可行性分析_Python爬虫实现的根据分类爬取豆瓣电影信息功能示例...
本文实例讲述了Python爬虫实现的根据分类爬取豆瓣电影信息功能.分享给大家供大家参考,具体如下: 代码的入口:if __name__ == '__main__': main()#! /usr/bin ...
Python网络爬虫（九）：爬取顶点小说网站全部小说，并存入MongoDB
前言:本篇博客将爬取顶点小说网站全部小说.涉及到的问题有:Scrapy架构.断点续传问题.Mongodb数据库相关操作. 背景: Python版本:Anaconda3 运行平台:Windows IDE ...
Python网络爬虫3 - 生产者消费者模型爬取某金融网站数据
博客首发于www.litreily.top 应一位金融圈的朋友所托,帮忙写个爬虫,帮他爬取中国期货行业协议网站中所有金融机构的从业人员信息.网站数据的获取本身比较简单,但是为了学习一些新的爬虫方法和技 ...

Python网页爬虫练习：requests库Beautiful爬取bilibili网页信息

Python网页爬虫练习：requests库Beautiful爬取bilibili网页信息相关推荐

最新文章

热门文章