刚刚过去的七夕，肯定又有不少小伙伴看着《我在时间尽头等你》成功脱单了吧！小编在这里先送上自己的祝福。但相信也有不少的读者朋友们过了个寂寞，还收到了亲友预订的七夕蛤蟆。为什么这么多如此优秀的同学都还单着呢，你有分析过自己单身的原因吗？小编上网搜了一下，发现我国的单身人口竟然已达2.46亿，占全国总人口的17.65%！而就在七夕之际，珍爱网发布了一条《95后单身人群白皮书》，其中指出95后单身三大原因在于没遇到合适的人、社交圈小且宅、工作忙。小编不禁好奇，难道单身不是因为qiong么？ 图片来源：http://www.chinanews.com/photo/碰巧大数据一直是iDi实验室的重要研究方向之一，利用大数据的方法，我们可以从多方面研究大样本量的用户。因此小编突发奇想，何不爬取微博数据来对广大优秀同学单身的原因进行验证！话不多说，快随小编一起来看看吧~Part01 技术方案本次分析所用到的工具为后羿采集器、python，所使用的编译器为pycharm。其中后羿采集器是原Google技术团队倾力打造的一款网页数据采集软件，此处主要用于微博数据的采集和导出。使用到的python的库主要为“jieba”库和“wordcloud”库。jieba是优秀的中文分词第三方库，它可以依据中文词库对中文文本进行分词处理。wordcloud是优秀的词云展示第三方库，以词语为基本单位，通过图形可视化的方式，更加直观和艺术的展示文本。本次分析的大体流程为：Step1：确定爬取内容。根据可以搜索到的微博的数据量，确定想要爬取的主题内容。因为是进行大数据分析，数据量尽量多一些会使结果更加准确。Step2：爬取微博数据。使用后羿采集器进行微博数据的采集，并将所采集数据保存至excel文件。Step3：数据清洗。使用python的“jieba”库进行分句、分词、提取关键词。Step4：数据分析。利用“jieba”库进行词频分析，依据关键词信息制作词云图。流程图如下：Part02 实施步骤确定爬取内容确定爬取内容部分，以获得更多的数据量为选取方法的依据。若使用“单身原因”为关键词在微博中搜索，微博数据仅为900条左右，因此小编果断放弃了关键词的方式，并选取了五个讨论量及阅读量相对较高的话题进行分析。选取的五个话题分别是#90后单身原因top3#、#部分女生单身的原因#、#单身的原因很简单#、#长年单身的原因#、#众多单身狗说没有异性喜欢的原因#。爬取微博数据爬取微博数据部分，小编选用了后羿采集器作为采集工具。也许大家会好奇小编为什么没有使用自主编写爬虫脚本的方法进行数据采集？其实两种方法各有各的优点，自主编写爬虫脚本更能满足定制化的需求，而数据采集器的优点在于对于一些简单的需求较容易实现，使用数据采集器就不用再考虑微博的反爬机制、代理IP池等种种令人头秃的东西。于是小编分析了一下需求，并使用了后羿采集器作为采集工具(绝不是因为小编懒)。如果大家对自主编写爬虫脚本感兴趣的话，可以在文章下方留言哦，小编下次可以和大家分享爬虫代码的有关内容！使用后羿采集器采集数据的步骤如下：1)选择数据采集模式。小编在这里采用的是智能模式。2)编辑任务。此步骤主要是要将所要爬取网页的网址输入进去，同时也可以编辑任务分组、任务名称等。3)进行预登录。我们需要在点击预登录之后登录自己的微博账号和密码，这样数据采集器才可以模拟我们的登录状态去爬取微博数据。登录完成之后点击“登录完成“。4)设置循环采集模式。预登录完成后，在分页设置部分点击“点选分页按钮”→“分页按钮”→“点选分页按钮”，这样我们就将循环采集模式设置为了自动点击下一页采集。5)开始采集。设置完成后，点击“开始采集”→“启动”就可以开始采集了！为了保证数据的唯一性，建议大家将启动界面的“数据去重”选项也一并勾选。6)导出数据。采集器会一直爬取话题下的微博，直到爬取完成。爬取完成后将数据导出为excel，我们就拿到了想要爬取的话题下的微博数据了！此处小编将数据存储为了“单身原因微博数据.xlsx”表格中。数据清洗数据处理部分，小编主要使用jieba库来对爬取到的微博文本进行处理。步骤为分句、分词、去除无意义词。话不多说，咱们直接上代码！1)读取微博内容，并利用jieba库对微博内容进行分句。2)使用jieba库对句子再次进行切割，得到词语。此处我们使用停用词词库(自行构建，不想被分开的词语)、去除词词库(需要被删除的无意义词语)对词语进行筛选。同时，我们仅仅保留名词、动词、名动词、成语等具有实际意义的词语。词频分析做词云图进行完数据清洗后，得到了实际意义较强的词语。接下来就可以进行词频统计和做词云了。1)词频统计。此处小编使用collection库进行了词频统计，并且利用python列表的most_common()方法得到了top50词语。我们将词语打印至控制台查看结果。大家如果想对词频进行深入分析，也可以将词频分析结果写入excel文件进行更加细致的查看。2)制作词云。依据词语频率，使用wordcount库进行词云图片的制作并存储为jpg图像文件。说了这么多，大家是不是也很好奇最后得到的单身原因呢？话不多说，直接上图：从图中我们可以看到，频率最高的几个词为“喜欢”，“没有”，“选择”，“异性”，“觉得”，“谈恋爱”，“爱情”，“不到”，“恋爱”，“可能”，“知道”，“生活”等。这其实与白皮书报告的结果大致相似，大家期待爱情，但是异性较少，没有遇到喜欢的人，没有选择。结语虽然如此，但小编还是建议大家多出去走走，拓展一下自己的社交圈。说不定美美的爱情就在等着你哦?！i讯    “i讯”通过获取设计资讯，解读学术会议，跟踪校企合作，提供精彩活动，帮助读者了解交互设计、智能设计、用户研究等领域内容及校企合作的进展与成果，并辅以趣味多样的线上线下活动，为读者提供精彩动态。◆ ◆ ◆  ◆ ◆编辑：木樨编辑责任人：果冻

—  推荐阅读  —(点击蓝字即可阅读)湖南大学智能设计与交互体验实验室简介赵江洪  工业设计学科“教授的教授”这是我见过最入门、最有趣、最简单的SPSS教程探秘湖南大学设计学科“活化石”

毕业论文分享特辑(三) | 《基于大数据分析的用户画像研究与应用》

520特辑  注意！Ta发的?可能是在向你表白！如果有收获，记得戳在看哦