python 爬取网易云音乐评论

网易云音乐的评论里总会有大批的神评论，突发灵感想写个爬虫爬取评论，后来发现百度的方法都需要AES加密的密钥，太麻烦了，本人小白表示看不懂，在知乎上看到网易云有API接口可以直接爬取，不需要任何密钥。具体代码如下：

# coding:utf-8
import re
import time
from urllib import requestclass PL:def __init__(self):  # 定义初始信息# 定义http头信息self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ""Chrome/55.0.2883.87 Safari/537.36","referer": "http://music.163.com/song?id=4466775&market=baiduqk"}# 使用request打开api接口，获取数据def single(self, song_id):offset = 0comment = []# 爬虫爬35*28条评论for i in range(28):# api里limit对应的是每页多少条，offset对应的是页数single_url = 'http://music.163.com/api/v1/resource/comments/R_SO_4_'+str(song_id)+'?limit35&offset='+str(offset)offset += 35# requst访问api接口获取数据html_url = request.Request(url=single_url, headers=self.headers)html = request.urlopen(html_url)data = html.read()# 转换获取数据的格式为strstr_data = data.decode()# 已"content":"为分隔符，分割获取的字符串split_data = str_data.split('"content":"')# 循环处理所有字符for i in split_data:data_split = i.split('","')if data_split[0] not in comment:comment.append(data_split[0])pl = open(r'C:\Users\liushipeng\Documents\pl.txt', 'a+')# 由于评论里有些表情字符无法储存到文本里，删除所有无法处理的字符，方法比较笨for i in comment:try:pl.write(i + '\n')except Exception as error:data = self.error_gbk(error, i)try:pl.write(data + '\n')except Exception as error:data1 = self.error_gbk(error, data)try:pl.write(data1 + '\n')except Exception as error:data2 = self.error_gbk(error, data1)try:pl.write(data2 + '\n')except:passtime.sleep(2)pl.close()# 清除写入文本里时报错的字符def error_gbk(self, error, content):u = str(error).split(" '")u_error = str(u[1]).split("' ")result = re.sub(u_error[0], '', content)return resultif __name__ == '__main__':# 通过歌曲id来访问歌曲对应的API接口song_id = '1365221826'p = PL()p.single(song_id)

python 爬取网易云音乐评论相关推荐

python爬取网易云音乐评论分析_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云音乐评论并进行可视化分析
2019独角兽企业重金招聘Python工程师标准>>> 前言今天为大家一个爬取网易云音乐评论的Python案例,并用Python的第三方库来进行可视化分析,生成图表样式,可以清晰地 ...
Python爬取网易云音乐评论，反爬算啥啊！
兴趣点: 这个网易云音乐的评论我早就想爬了,可惜技术不行,研究了两天的时间我终于用最简单的方法实现了网易云音乐评论的爬取,我以毛不易的<像我这样的人>为例来介绍一下爬取网站: 虚假的爬取 ...
python爬取网易云音乐评论分析_Python爬取网易云音乐评论（附加密算法）
网易云音乐,里面汇聚了哲学家,小说家,story-teller,皮皮虾等各种人才,某些评论非常值得收藏(甚至开了一个歌单专门收藏它们).竟然这么好玩,何不尝试把他们爬取下来呢? 前置需求可选:fid ...
python爬取评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云音乐热评_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取网易云评论最多的歌_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
用python爬取网易云评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
用python爬取网易云评论10w+的歌曲名_Python3爬取网易云音乐评论
|下载W3Cschool手机App,0基础随时随地学编程>>戳此了解| 导语利用Python为自己喜欢的音乐制作专属词云.至于词的来源嘛,当然是对应歌曲的所有评论或者热门评论啦!!!毕竟 ...

python 爬取网易云音乐评论

python 爬取网易云音乐评论相关推荐

最新文章

热门文章