昨天安稳的开始了Python数据分析的学习，向右奔跑前辈问我有没有兴趣搞下简书用户的爬取和数据分析，像我这种爱好学习（不行，让我吐一下），当然是答应了。说实话，这个实战对我来说，难度很大：

1 数据的获取：我爬取最大的数据也就是20W+，简单的scrapy还能写一点，但简书用户量巨大，第一次尝试百万级甚至千万级数据的爬取。
2 数据的清洗和处理： “一个好的数据决定一个好的分析”，昨天才开始下载anaconda玩，估计得恶补下。
3 数据分析：本人感觉表达能力不是特别好，本人现在也是一个研究生，社会实践项目较少，对数据的表达能力缺乏。

不过既然感兴趣，也想去做，那就做呗！然后准备就建个系列文章记录我的一个小的实战项目吧。

数据爬取分析

今天先讲讲我的爬取数据的一点分析吧。简书没有管理用户的一个系统，我的想法是：

第四步：就是通过URL获取用户的具体信息啦

部分成果

已经爬取了50w+数据，代码今天就不贴上了。大家有什么好的想法也可以和我讨论。

简书非官方大数据（一）相关推荐

大疆 android 简书,实测大疆智图与CC（Smart3D）三维建模、正射拼图对比
本文授权转载于简书:三维GIS那点事_王跃军部分有GIS前沿整理编辑版权归原作者所有,转载请联系原作者 3月份大疆发布了"大疆智图"地面站,有基础版和专业版之分,基础班可以在大 ...
送书福利 | 大数据智能：数据驱动的自然语言处理技术
刘知远崔安颀等编著电子工业出版社-博文视点 2020-01 ISBN: 9787121375385 定价: 89.00 元新书推荐 ????今日福利 |关于本书| 本书前身<大数据智能- ...
大牛书单 | 大数据存储方向好书分享
导语:读书是一生的功课,技术人通过读书实现自我提升,学习优秀知识沉淀.TEG书知道本期特邀腾讯云数仓数据湖产品负责人堵俊平.腾讯云数据库负责人林晓斌.腾讯TEG云架构平台部数据块中心高级工程师王银虎, ...
小红书推荐大数据在阿里云上的实践
简介: 本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景.第二部分讲一下小红书是怎么使用Flink的一些新的功能.第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MC- ...
扒开思派健康招股书：大数据的面子，“卖药”的里子
经过疫情的洗礼,大数据+不断渗透进各行各业,医疗算得上是一个典型的领域. 据灼识咨询报告显示,中国医疗健康支出的总额也由2015年的40975亿元增加到2020年的73253亿元,预计在2030年将增 ...
简论我国大数据国家战略：数据治国与数据强国
数据强国过去30年里,中国在工业化.信息化和网络化方面都取得了不俗的成绩.但是也要看到经济高速发展所带来的问题,包括基础设施建设.环境保护.食品安全等方面的挑战,都需要使用大数据这种创新方式提供更好 ...
大数据专业考研书_大数据考研-可以考的专业
关键词:大数据,考研可以选择哪些专业和学校 _ 点对点考研点对点私人定制部 11 月 18 日报道, 大数据作为当下最热门的专业之一, 也是大学本科考研后就业的热点, 这方面信息比较稀缺, 点对点 ...
大数据专业考研书_大数据专业需要考研吗？
从当前大数据领域的人才需求,以及未来大数据领域的发展趋势两方面来看,读研对于大数据专业的毕业生来说,还是有必要的.当然,由于研究生教育对于教育资源的要求相对比较高,所以如果能考入重点大学会有更好的学习 ...
android spinner 简书,Spinner添加数据
第一种方法: 设置list public List getDataSource(){ List list = new ArrayList List.add("beijing"); ...

简书非官方大数据（一）

数据爬取分析

部分成果

简书非官方大数据（一）相关推荐

最新文章

热门文章