python爬b站弹幕_【Python爬虫】第五课（b站弹幕）

import requests

import re

av_id = '67946325'

headers = {

'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',

'Accept': 'text/html',

'Cookie': "嘿嘿"

}

resp = requests.get('https://www.bilibili.com/video/av'+av_id,headers=headers)

match_rule = r'cid=(.*?)&aid'

oid = re.search(match_rule,resp.text).group().replace('cid=','').replace('&aid','')

print('oid='+oid)

xml_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid='+oid

resp = requests.get(xml_url,headers=headers)

if resp.encoding == 'ISO-8859-1':

encodings = requests.utils.get_encodings_from_content(resp.text)

if encodings:

encoding = encodings[0]

else:

encoding = resp.apparent_encoding

global encode_content

encode_content = resp.content.decode(encoding,'replace')

print(encode_content)

#爬虫headers需要包含什么内容才不会返回404呢？我尝试7个全写，发现就不对。

#正则表达式快忘记了……

#最后的乱码解决方案

python爬b站弹幕_【Python爬虫】第五课（b站弹幕）相关推荐

python爬取地图地址_网络爬虫-python爬取高德地图地点
python爬取你想要的数据,近期由于业务需求,用python爬取了高德地图一些地点的数据,爬出来数据大致情况如下: image 下面是基本流程: 2.安装网络爬取第三方库,主要是下面三个(pip i ...
python爬取论坛图片_[python爬虫] Selenium定向爬取虎扑篮球海量精美图片
前言: 作为一名从小就看篮球的球迷,会经常逛虎扑篮球及湿乎乎等论坛,在论坛里面会存在很多精美图片,包括NBA球队.CBA明星.花边新闻.球鞋美女等等,如果一张张右键另存为的话真是手都点疼了.作为程序员 ...
python爬取妹子图片_利用爬虫爬取清纯妹子图片
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 from bs4 import BeautifulSoup import requests import time import os def get_h ...
python爬取携程网游记_网页爬虫 - 用python selenium抓取携程信息
问题最近在学习selenium,遇到一个很奇怪的问题,debug了半天还是没弄明白,我是在测试抓取携程网站的机票信息我的代码: # -*- coding: utf-8 -*- from sele ...
python爬取高德地图_爬虫实战:如何爬取高德地图？
提起高德地图,咱们每一个人都不会陌生,高德地图是一款非常好用的地区服务软件,很多用户在出行的时候都会使用这款软件,日程用来导航,也可以用来打车,一次呼叫多种车型,用户可以在这里获得更好的服务,随时都可 ...
python爬取qq电话_用Python爬取整个学院MM的电话和QQ，爬虫这也太霸道了！
1. python爬虫可以爬取大规模数据.Python具有丰富和强大的库.它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起.基本上可以负责任地认为,Pytho ...
python爬取豆瓣短评_爬虫-爬取豆瓣短评
爬虫-爬取豆瓣短评啥是爬虫? 按照一定的规则,自动地抓取互联网信息的程序. 为啥要用爬虫? 可以利用爬虫自动地采集互联网中的信息,采集回来后进行相应的存储或处理,在需要检索某些信息的时候,只需在 ...
python 知乎美女_知乎大神用Python爬取高颜值美女（爬虫+人脸检测+颜值检测）
原标题:知乎大神用Python爬取高颜值美女(爬虫+人脸检测+颜值检测) 1 数据源知乎话题『美女』下所有问题中回答所出现的图片 2 抓取工具 Python 3,并使用第三方库 Requests.l ...
python爬取qq电话_用Python爬取整个学院MM的电话和QQ，爬虫这也太牛了！
文章末尾有python全套学习资料领取 1. python爬虫可以爬取大规模数据.Python具有丰富和强大的库.它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在 ...
python 爬取财经新闻_如何用 100 行 Python 代码实现新闻爬虫？
CSDN",选择"置顶公众号" 关键时刻,第一时间送达! 每天我都要坐地铁上班,而地铁里完全没有手机信号.但我希望在坐地铁的时候读些新闻,于是就写了下面这个新闻爬虫. 我 ...

python爬b站弹幕_【Python爬虫】第五课（b站弹幕）

python爬b站弹幕_【Python爬虫】第五课（b站弹幕）相关推荐

最新文章

热门文章