python抓取网易云音乐评论_Python 爬取网易云音乐评论

Python 爬取网易云音乐评论

刘瑞琦how_to_reg

•

24 天前

•

3 评论

•

326 浏览

import time,json

from selenium import webdriver

class Music(object):

# 初始化

def __init__(self, url):

self.url = url

self.driver = webdriver.Chrome()

# 打开浏览器

def get_url(self):

# 打开url

self.driver.get(self.url)

# 进入第一个格子

self.driver.switch_to.frame(0)

# 将滚动条拉倒底部

js = 'window.scrollBy(0,6666)'

self.driver.execute_script(js)

# 存放提取的内容

kw = []

# 第20页结束

for _ in range(0, 21):

# 获取数据

html = self.driver.find_elements_by_xpath('//div[@class="cmmts j-flag"]/div')

for i in html:

cover = i.find_element_by_xpath('.//div[@class="head"]/a/img').get_attribute('src')

uid = i.find_element_by_xpath('.//div[@class="head"]/a').get_attribute('href')

yes = i.find_element_by_xpath('.//div[@class="cnt f-brk"]').text

# 以json的形式输出

data = {

# 头像

'cover': cover.split('?')[0],

# ID

'uid': uid.split('=')[-1],

# 昵称

'name': yes.split('：')[0],

# 评论

'commit': yes.split('：')[1]

}

# 追加到空数组中

kw.append(data)

# 输出内容

print(data)

# 点击下一页

rang = self.driver.find_element_by_partial_link_text('下一页')

rang.click()

# 卡1秒防止内容未被加载出来

time.sleep(1)

# 保存

# with open(r'../Image.json', 'a', encoding='UTF-8')as f:

# f.write(json.dumps(kw, ensure_ascii=False, indent=4))

if __name__ == '__main__':

music = Music('https://music.163.com/#/song?id=1441758494')

music.get_url()

python抓取网易云音乐评论_Python 爬取网易云音乐评论相关推荐

python抓取微博评论_Python爬取新浪微博评论数据，你有空了解一下？
开发工具 Python版本:3.6.4 相关模块: argparse模块: requests模块: jieba模块: wordcloud模块: 以及一些Python自带的模块. 环境搭建安装Pyth ...
python爬取豆瓣电影评论_python 爬取豆瓣电影评论，并进行词云展示及出现的问题解决办法...
def getHtml(url): """获取url页面""" headers = {'User-Agent':'Mozilla/5.0 ( ...
python爬携程景区评论_python爬取携程景点评论信息
python爬取携程景点评论信息今天要分析的网站是携程网,获取景点的用户评论,评论信息通过json返回API,页面是这个样子的按下F12之后,F5刷新一下具体需要URL Request的方式为P ...
python爬取淘宝商品信息_python爬取淘宝商品信息并加入购物车
先说一下最终要达到的效果:谷歌浏览器登陆淘宝后,运行python项目,将任意任意淘宝商品的链接传入,并手动选择商品属性,输出其价格与剩余库存,然后选择购买数,自动加入购物车. 在开始爬取淘宝链接之前, ...
python可以爬取的内容有什么_Python爬取视频(其实是一篇福利)过程解析 Python爬虫可以爬取什么...
如何用python爬取视频网站的数据如何用python爬取js渲染加载的视频文件不是每个人都有资格说喜欢,也不是每个人都能选择伴你一生! 有哪位大神指导下,有些视频网站上的视频文件是通过 js 加载 ...
python爬取评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
用python爬取网易云评论_python爬取网易云音乐评论
本文实例为大家分享了python爬取网易云音乐评论的具体代码,供大家参考,具体内容如下 import requests import bs4 import json def get_hot_comme ...
python爬取音乐排行_python爬取网易云音乐热歌榜实例代码
首先找到要下载的歌曲排行榜的链接,这里用的是: https://music.163.com/discover/toplist?id=3778678 然后更改你要保存的目录,目录要先建立好文件夹,例如我 ...
python爬取歌曲评论_python 爬取歌曲评论的简单示例
这篇文章主要为大家详细介绍了python 爬取歌曲评论的简单示例,具有一定的参考价值,可以用来参考一下. 感兴趣python 爬取歌曲评论的简单示例的小伙伴,下面一起跟随512笔记的小编罗X来看看吧. ...
python爬虫淘宝评论_Python爬取淘宝店铺和评论
1 安装开发需要的一些库 (1) 安装mysql 的驱动:在Windows上按win+r输入cmd打开命令行,输入命令pip install pymysql,回车即可. (2) 安装自动化测试的驱动s ...

python抓取网易云音乐评论_Python 爬取网易云音乐评论

python抓取网易云音乐评论_Python 爬取网易云音乐评论相关推荐

最新文章

热门文章