如何解决Python 爬取网易云评论为[ ]的问题

我们在使用基础知识爬取网易云评论发现爬取不到内容，但是标签似乎也没有问题，html定位内容也没有出错，具体显示如下：

 #起始地址
start_url = 'https://music.163.com/#/song?id=1366450142'#请求头，浏览器模拟#设置这一步的目的是为了伪装我们的爬虫，防止被识别出来#由requests自动生成的headers，可被服务器轻易识别为爬虫
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',}
'''
params="K2HjGyPzWSCz2O772ysQLqvidrQlnnjxpnBh/ZjO8j8FLlHKNxNn+VQyMuztFaxMbUcj4pm98zkF6IpQ7RjIcFGMAbrv+C8DP6MaS5JoEx0MtMcizFfcoysQ0vG9RRTqXP0tRvie+7vgFfcSv1zg1u3zjUPswqWXH7dq9AoRL23cAhG4H9jFcUfUzovMlwXP"
encSecKey="ccbe33dd2f440faf537173be8d6b237257d0493faee3708cfbb91ca80ce45c3fa0dfea2af7650d251bd8c140638cae8719906bac1ff379b8c4cc79a1c95e267ab6fc28bc63c78d3e9eff396d4b43a97284b6770ecf429bc209a7954056e2355f81459bdd951ba90da7bb47711556fae4986281fe13c41e89fede0881726731d7"
data = {"params":params,"encSecKey":encSecKey}
'''
res = requests.get(start_url,headers)# 把网页解析为BeautifulSoup对象
soup = BeautifulSoup(res.text,'html.parser')
items=soup.find_all('div',class_='cnt f-brk')
for item in items:print(type(item))#comment=item.find(class_='s-fc7')comment=item.find('a')print(comment)

在图最下面，它告诉我们：此处共有99个请求，4.5Mb的流量，耗时3.81s完成。
我们在代码中得到的不过是第一个请求，具体点开第一个请求，我们发现其实评论不在这里面。

在Network中，有一类非常重要的请求叫做XHR（当你把鼠标在XHR上悬停，你可以看到它的完整表述是XHR and Fetch）
我们平时使用浏览器上网的时候，经常有这样的情况：浏览器上方，它所访问的网址没变，但是网页里却新加了内容。
典型代表：如购物网站，下滑自动加载出更多商品。在线翻译网站，输入中文实时变英文。比如，你正在使用的教学系统，每点击一次Enter就有新的内容弹出。
这个，叫做Ajax技术（技术本身和爬虫关系不大，在此不做展开，你可以通过搜索了解）。应用这种技术，好处是显而易见的——更新网页内容，而不用重新加载整个网页。又省流量又省时间的。
如今，比较新潮的网站都在使用这种技术来实现数据传输。只剩下一些特别老，或是特别轻量的网站，还在用老办法——加载新的内容，必须要跳转一个新网址。
这种技术在工作的时候，会创建一个XHR（或是Fetch）对象，然后利用XHR对象来实现，服务器和浏览器之间传输数据。

我们需要找到含有目标信息的html在哪里。

import requests
from bs4 import  BeautifulSoup
headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
url='https://c.y.qq.com/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.song&searchid=60997426243444153&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E5%91%A8%E6%9D%B0%E4%BC%A6&g_tk=5381&loginUin=0&hostUin=0&format=json&inCharset=utf8&outCharset=utf-8&notice=0&platform=yqq.json&needNewCode=0'
# 使用json()方法，将response对象，转为列表/字典
res_music = requests.get(url,headers)
print(res_music.status_code)
json_music = res_music.json()
# 一层一层地取字典，获取歌单列表
list_music = json_music['data']['song']['list']
# list_music是一个列表，music是它里面的元素
for music in list_music:# 以name为键，查找歌曲名print(music['name'])'''
# 解析html
bs_music = BeautifulSoup(res_music.text,'html.parser')json_music = res_music.json()
# 一层一层地取字典，获取歌单列表
list_music = json_music['data']['song']['list']
# list_music是一个列表，music是它里面的元素
for music in list_music:# 以name为键，查找歌曲名print(music['name'])
'''

欢迎来到肥鼠路易的CSDN博客空间，一键三连，欢迎大家常来做客，一起学习交流

如何解决Python 爬取网易云评论为[ ]的问题相关推荐

python爬取网易云评论最多的歌_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
用python爬取网易云评论10w+的歌曲名_Python3爬取网易云音乐评论
|下载W3Cschool手机App,0基础随时随地学编程>>戳此了解| 导语利用Python为自己喜欢的音乐制作专属词云.至于词的来源嘛,当然是对应歌曲的所有评论或者热门评论啦!!!毕竟 ...
用python爬取网易云评论_Python3爬取网易云音乐评论|python爬虫|python入门|python教程...
https://www.xin3721.com/eschool/pythonxin3721/ 本文转载至知乎ID:Charles(白露未晞)知乎个人专栏下载W3Cschool手机App,0基础随时随 ...
用python爬取网易云评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
用python爬取网易云评论最多的歌_巧用Python爬取网易云音乐歌曲全部评论
一.首先分析数据的请求方式网易云音乐歌曲页面的URL形式为https://music.163.com/#/song?id=歌曲id号,这里我用Delacey的Dream it possible 为例 ...
用python爬取网易云评论10w+的歌曲名_Python爬取网易云音乐评论热门歌曲和ID
一.构造歌手个人主页的URL 前段时间我们获取了网易云音乐全部歌手的id号,今天我们就利用全部歌手的id号来构造歌手个人主页的URL,从而实现用爬取全部歌手的热门歌曲及其id号的目的.以歌手薛之谦的 ...
python爬取网易云音乐热评_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
Python爬虫——selenium爬取网易云评论并做词云
大家好!我是霖hero 到点了上号网易云,很多人喜欢到夜深人静的时候,在网易云听音乐发表评论,正所谓:自古评论出人才,千古绝句随口来,奈何本人没文化,一句卧槽行天下!评论区集结各路大神,今天我们来爬取 ...
Python爬取网易云歌曲评论，做词云分析
前言 emmmm 没什么说的,想说的都在代码里环境使用 Python 3.8 解释器 3.10 Pycharm 2021.2 专业版 selenium 3.141.0 本次要用到selenium模块 ...
python爬取网易云音乐评论分析_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...

如何解决Python 爬取网易云评论为[ ]的问题

如何解决Python 爬取网易云评论为[ ]的问题相关推荐

最新文章

热门文章