做题思路

1. 分析源码，确定信息所在位置

2.进行内容解析

3.将获取到的信息字典的方式保存到列表，然后再将列表信息保存到.csv文件中

import csv
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains'''
https://music.163.com/#/song?id=399354373
目标：评论者的网名，与评论
需要切换iframe
鼠标行为连点击下一页
'''class WYYmusic:  # 音乐# 初始化类def __init__(self):self.driver = webdriver.Chrome()self.driver.get('https://music.163.com/#/song?id=399354373')  # 打开链接self.driver.implicitly_wait(3)self.driver.switch_to.frame(self.driver.find_element(By.ID, 'g_iframe'))# 操作def operate(self):# 歌评论for self.i in range(10):self.SongReview = []divlist = self.driver.find_elements(By.XPATH, '//*[@class="itm"]/div[2]')# print(divlist)for item in divlist:# print(i)# 评论try:commentdict = {}comment = item.find_element(By.XPATH, './/div[@class="cnt f-brk"]').textname = comment.split("：")commentdict['name'] = name[0]commentdict['comment'] = name[1]self.SongReview.append(commentdict)# print(comment)# print(name)except Exception as e:print()self.save()# print(SongReview)#定位下一页按钮button_tag=self.driver.find_element(By.XPATH,'//*[@class="m-cmmt"]/div[3]/div/a[11]')action=ActionChains(self.driver)action.move_to_element(button_tag)action.click()action.perform()self.driver.quit()def save(self):if self.i == 0:self.mod='w'else:self.mod="a"headers=['name','comment']with open('评论.csv',self.mod,encoding='utf-8-sig',newline='')as f:writers=csv.DictWriter(f,headers)if self.i==0:writers.writeheader()writers.writerows(self.SongReview)# 程序主入口
if __name__ == "__main__":# 爬虫reptile = WYYmusic()reptile.operate()

博主B站链接：本座小白TT的个人空间_哔哩哔哩_Bilibili

GitHub链接： GitHub - MeteorPRC/Reptile

Python爬虫之实例---用selenium爬取网易云评论相关推荐

Python爬虫——教你js逆向爬取网易云评论
大家好!我是霖hero 正所谓条条道路通罗马,上次我们使用了Selenium自动化工具来爬取网易云的音乐评论,Selenium自动化工具可以驱动浏览器执行特定的动作,获得浏览器当前呈现的页面的源代码, ...
Python爬虫——selenium爬取网易云评论并做词云
大家好!我是霖hero 到点了上号网易云,很多人喜欢到夜深人静的时候,在网易云听音乐发表评论,正所谓:自古评论出人才,千古绝句随口来,奈何本人没文化,一句卧槽行天下!评论区集结各路大神,今天我们来爬取 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
python爬取网易云歌单_详解python selenium 爬取网易云音乐歌单名
目标网站: 首先获取第一页的数据,这里关键要切换到iframe里打印一下获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错. 结果: 一共37页,爬取完毕后关闭浏览器完整代码: u ...
Selenium爬取网易云音乐评论
Selenium爬取网易云音乐评论一.爬取工具 1.1 selenium selenium这是一个第三方库我们可以通过 pip install selenium来安装这个第三方库. Sele ...
python+execjs爬取网易云评论
python+execjs爬取网易云评论分析网站 JS分析 execjs解密js 运行结果代码分析网站首先打开网易云首页,随便点一首歌曲进入到评论区. 接着按F12进入开发者工具,重新刷新页面 ...

Python爬虫之实例---用selenium爬取网易云评论

做题思路

Python爬虫之实例---用selenium爬取网易云评论相关推荐

最新文章

热门文章