「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑

作者 | 小安和小编

来源 | 菜鸟学Python（ID：cainiao_xueyuan）

前几天地铁上看到很多人在谈论新的神剧《黄金瞳》，从开播至今，瞬间俘获了一大批观众，好奇的去查看了一番，发现演员阵容强大，而且题材也很不错。这么好的影视剧，要不爬一下岂不是太可惜了？

图片来源《黄金瞳》官微

网页爬取

首先我在网页端打开了《黄金瞳》的页面开发者模式，发现最为关键的观众评价不能全部爬取，于是我以手机模式打开，发现了全部的短评，而短评的json数据链接也可以在XHR下找到。如下图所示:

找到我们需要的json链接后，接下来就是观察这个链接有什么特点。url如下所示：

http://m.maoyan.com/review/v2/comments.json?movieId=1209205&userId=-1&offset=0&limit=15&ts=0&level=2&type=3。

http://m.maoyan.com/review/v2/comments.json?movieId=1209205&userId=-1&offset=15&limit=15&ts=0&level=2&type=3。

观察上面的两个url可以发现，不同的链接之间，区别只在于offset，也即偏移量的不同，所以在模拟浏览器进行请求时，只需要改变offset的数值即可。模拟浏览器进行数据抓取的代码如下图所示：

上述代码中要注意请求头的建立，请求头信息要补充完全，否则猫眼网页会对我们的请求进行反爬虫处理。最后我们大概得到了500多条短评数据：

保存数据

接下来是将数据进行提取并将我们提取的信息写入本地的csv文件当中，代码如下所示：

由于上述的链接返回的是json数据信息，因此，我们直接利用json数据库对信息进行解析，并进行提取即可。

看看都评论了啥

1).字数分析

爬取到信息后，先按照字数进行分析，看看大家都写了什么内容:

请注意上面的用户编号为51905119的用户，该用户竟然在评价字数为200字的情况下，给出了0分的评价。看来这部吸引大众眼球的《黄金瞳》让他感觉很失望啊。

2).评分分析

接下来，我们查看一下评分如何,我们用pyecharts快速可视化看一下:

由饼形图可见，评分为10分的占到了评价总量的80%以上

3).用户等级分布

接下来我们来看一下针对于不同的用户等级数量，以及不同等级下的用户评分。

由上图可以看出，等级1、等级2和等级3的用户都给了很高的评价，而唯一的等级5给出了一个0分的评价，还记得我们数据展示的那个0分吗？对，就是那个用户给出的，数据分析的结果与我们上面数据展示产生了很好的呼应。

词云看看大家的焦点

最后，我们来制作一下关于《黄金瞳》的评价词云展示，从词云里看一下大家对于这部剧的评价。

目前的评论分析主要是采集第一集，评论的样本量比较小。大家的焦点是里面有很多老戏骨，剧情有的说不错，有的说拖沓，如果后面剧情展开，能收集到上万条评论，会更准确些。

如果有看过这部片子的欢迎留言讨论。

（*本文仅代表作者观点，转载请联系原作者）

◆

精彩推荐

◆

「2019 Python开发者日」全日程揭晓！这一次我们依然“只讲技术，拒绝空谈”10余位一线Python技术专家共同打造一场硬核技术大会。更有深度培训实操环节，为开发者们带来更多深度实战机会。更多详细信息请咨询13581782348（微信同号）。