C# 学习之路--百度网盘爬虫设计与实现（一）

百度网盘爬虫

现在市面上出现了很多网盘搜索引擎，写这系列博文及爬虫程序的初衷：

更方面的查找资源
学习C#
学习爬虫的设计与实现
记录学习历程
自我监督

能力有限，如有不妥之处，还请各位看官点评。同在学习的网友~与君共勉。

工具/库选择

mysql5.6 (习惯使然，sqlserver比较庞大，个人使用起来不是很习惯，后期可能改为sqlserver)
HttpWebRequest、HttpWebResponse、JSON.NET库
vs2015, .NET4.5

PS：介绍以上是权当做个备忘录/提示。

百度网盘搜索流程

此爬虫原理是通过爬取用户的分享/专辑保存链接来达到资源搜索的目的，而用户与用户之间通过订阅/关注来联系，慢慢形成一个庞大的爬虫网络。

首先设定爬取用户(初始化爬虫队列)。
遍历用户分享/专辑，更改队列状态。
将用户订阅/关注用户加入队列。
重复以上步骤。

PS：看似简单的流程，想要精工还需细磨。

获取百度网盘推荐用户

当没有订阅任何用户时，网盘的分享动态界面会出现一些用户噢。这是系统推荐的用户，虽然改动不一定会很大，但是可以作为爬虫的初始用户来处理(这种推荐用户听说关注的人都不少噢)

接口返回信息：

errorno: 状态码
request_id：请求ID
hotuser_list：用户列表

用户列表结构：

type：类型(通常返回-1，不明用途)
hot_uname：用户昵称
avatar_url：头像缩略图地址
intro：描述
follow_count：订阅人数
fans_count：粉丝人数
user_type：用户类型？（不明意义）
is_vip：是否为VIP
pubshare_count：分享数
hot_uk：不知道啥玩意
album_count：分享专辑数

END

暂时就写到这儿了，要去写代码了~ 写完再会

转载于:https://www.cnblogs.com/By-ruoyu/p/6993424.html

C# 学习之路--百度网盘爬虫设计与实现（一）相关推荐

duilib基本布局学习（模仿百度网盘）及绑定按钮事件
使用的网易版本的duilib: https://github.com/netease-im/NIM_Duilib_Framework 重写demo中basic.xml页面的布局,熟悉布局语法,类似于h ...
百度网盘爬虫（如何爬取百度网盘）
因为要做去转盘网(分类模式点我),所以一定要爬取网盘资源,本来想自己写一个爬虫挺不容易的,不想分享出来,但最后还是决定了拿给大家一起看吧,毕竟有交流才有进步,有兴趣的朋友也可以看看我写的其他日志或者关 ...
python网络爬虫百度网盘_百度网盘爬虫（如何爬取百度网盘）
因为要做去转盘网(分类模式点我),所以一定要爬取网盘资源,本来想自己写一个爬虫挺不容易的,不想分享出来,但最后还是决定了拿给大家一起看吧,毕竟有交流才有进步,有兴趣的朋友也可以看看我写的其他日志或者关 ...
文件管理学习：从百度网盘搬家onedrive测评
网上已经有很多多家网盘对比的文章了,得按需选择.由于我平时依赖微软系列比较多,常用office,有自己的微软邮箱,可以科学上网.所以最后我选择了onedrive,基于上述前提,搬家就是个一蹴而就的事. ...
多线程百度网盘爬虫Python完整源码
#coding: utf8import re #正则表达式模块import urllib2 #获取URLs的组件import timefrom Queue import Queueimport thr ...
mysql python视频教程百度云_前端和后端终极学习视频（百度网盘资料）
1.ps 链接: https://pan.baidu.com/s/1mjYbcJA 密码:pqdt 2.HTML5+CSS3从入门到精通.iso 链接:https://pan.baidu.com/s/ ...
前端和后端终极学习视频（百度网盘资料）
1.ps 链接: https://pan.baidu.com/s/1mjYbcJA 密码:pqdt 2.HTML5+CSS3从入门到精通.iso 链接:https://pan.baidu.com/s/ ...
python入门教程(非常详细),python教学资源百度网盘
python入门教程 <[3]学习视频>百度网盘资源免费下载链接提取码:m6tm[3]学习视频|python视频教程|Python入门基础视频教程|lets python 视频教程|Let ...
杯具了！曾经很火的百度网盘高速下载工具又跑路了！
对于百度网盘,我们已经基本再熟悉不过了,自 2016 年以来,网盘行业已有网易网盘.华为网盘.金山快盘.新浪微盘.360 云盘等多款网盘陆续关停服务,百度网盘一跃成为网盘市场上不多的选择. 互联网产品 ...

C# 学习之路--百度网盘爬虫设计与实现（一）

百度网盘爬虫

工具/库选择

百度网盘搜索流程

获取百度网盘推荐用户

END

C# 学习之路--百度网盘爬虫设计与实现（一）相关推荐

最新文章

热门文章