爬取Google Play中app的用户评论（2）

我遇到的下一个困难是如何爬取完整的用户评论

如图，很多评论都是折叠起来的要是想直接获取完整的用户评论，最后只能得到空值

于是我尝试另外写一个方法来获取完整的评论结果不尽人意

然后我看书上的实例有用selector获取网页源代码的方法

先获取网页源代码就可以直接获取完整的用户评论了

selector = etree.HTML(driver.page_source)
usereviews = selector.xpath('//span[@jsname="fbQN7e"]')

这样获取的是页面所有的用户评论

现在要做的就是把用户评论一条一条的展现出来

于是用到了一个for循环语句

在此过程中绕了许多弯路一开始想要把所有的信息

比如用户名日期评分评论等信息都放到一个for循环

为此尝试了许久最大的困难就是

除了用户评论外的所有信息都可以直接获得

而评论要首先按一个 full review按钮把评论的全部内容都展现出来之后才能获取完整的评论

而按按钮和获取评论必须紧接着一起实现

否则就不能确定按按钮和获取评论是不是同一个用户评论中的内容了

因此我只好把获取评论单独的放到一个for循环中

然后呢有少数的用户评论很简短不用按按钮就可以获取全部信息

那么这样的话获取用户评论就要分情况讨论了

爬取Google Play中app的用户评论（2）相关推荐

爬取某东购买猪肉的用户评论，为生产经营提供了方向性参考
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于乡村四十二,作者至善背景最近在调研电商平台黑猪肉市场需求情况,电商平台有效的用户 ...
python3 爬虫爬取华为应用市场 APP应用评论（一）爬取全部评论——学霸君
python3 爬虫爬取华为应用市场 APP应用评论(一)爬取全部评论--学霸君 import requests import re import requests from bs4 import ...
利用python的scrapy框架爬取google搜索结果页面内容
scrapy google search 实验目的爬虫实习的项目1,利用python的scrapy框架爬取google搜索结果页面内容. https://github.com/1012598167/ ...
python3 爬虫爬取华为应用市场 APP应用评论（一）爬取全部评论——作业帮
python3 爬虫爬取华为应用市场 APP应用评论(一)爬取全部评论--作业帮 import requests import re import requests from bs4 import ...
爬取Google patent上公司所有专利
爬取Google patent上公司所有专利需求:给出了需要爬取的公司列表,形式如下: ['DURATA THERAPEUTICS INC','DYNAVAX TECHNOLOGIES CORP'] ...
python3 爬虫数据处理爬取华为应用市场 APP应用评论（二）根据评论生成词云——小猿搜题
python3 爬虫&数据处理爬取华为应用市场 APP应用评论(二)根据评论生成词云--小猿搜题 # 导入扩展库 import re # 正则表达式库 import collections ...
python3 爬虫爬取华为应用市场 APP应用评论（一）爬取全部评论——小猿搜题
python3 爬虫爬取华为应用市场 APP应用评论(一)爬取全部评论--小猿搜题 import requests import re import requests from bs4 import ...
爬取Google Scholar论文列表，如何利用公开数据进行合著作者分析？
Preface 之前同学读研选导师,帮忙参考了一下.我发现有些老师很年轻,但是 Google Scholar 各项数据都高得离谱(主要是 citation 和 h-index ),甚至轻松碾压一些在人 ...
爬取google scholar数据
突破限制爬取网页数据 googlesholar为例[转] 分类: 常用工具使用 2010-11-04 09:23 931人阅读评论(1) 收藏举报浏览器google服务器stringwindow ...

爬取Google Play中app的用户评论（2）

爬取Google Play中app的用户评论（2）相关推荐

最新文章

热门文章