瞎老弟的联系方式

qq群：383472162

目录索引

第0期-xiaspider2021计划及介绍

第0.5期-xiaspider2021模组先导篇

第1期-通过携程获取机票价格

第2期-通过去哪儿获取机票价格

第3期-通过途牛获取机票价格

第4期-通过起点获取小说

第5期-通过飞卢小说获取小说

第6期-通过qq阅读获取小说

第7期-通过潇湘书院获取小说

第8期-通过晋江获取小说

第9期-通过简书获取文章

第10期-通过yy直播获取封面图

第11期-通过斗鱼直播获取弹幕

第12期-通过百度贴吧获取帖子

第13期-爬取新闻是违法违规的以下架

第14期-爬取新闻是违法违规的以下架

第15期-通过新浪体育爬取赛程

第16期-通过搜狐体育爬取赛程

网站反爬手段总结

注意：分析中不包括根据访问速度，访问次数，访问频率等可以通过多账号或代理ip绕过的行为检测

第1期-携程：js加密

第2期-去哪儿：js加密，selenium检测，css加密

第3期-途牛：js加密，账号登录

第4期-起点：账号登录(vip付费章节)

第5期-飞卢：账号登录(vip付费章节)

第6期-qq阅读：ajax请求(不算是反爬，但是有人会找不到接口)

第7期-潇湘书院：字体加密(渲染无效)

第8期-晋江：二类字体加密(渲染有效)

第9期-简书：user-agent检测

第10期-yy直播：/

第11期-斗鱼直播：/

第12期-百度贴吧：/

第13期-新闻：因违法违规被暂停

第14期-新闻：因违法违规被暂停

第15期-新浪体育：/

第16期-搜狐体育：基于用于行为反爬

里程碑

1，第一次出现js加密：携程机票

2，第一次出现css加密：去哪儿机票

3，第一次出现selenium检测：去哪儿机票

4，第一次出现强制登录账号：途牛机票

5，第一次出现字体加密：潇湘书院

6，第一次出现二类字体加密：晋江文学城

7，第一次出现user-agent检测：简书

8，第一次出现用户行为检测：搜狐体育

解释

有的时候，不仅没有给出接口地址，甚至没有给出网站地址，这是为什么，是不是糊弄人？

这个确实我也没办法，因为之前我每次都会写清楚地址，结果是会因为版权问题无法过审，修改4，5次也仍然无法通过审核，最后还得把已经写了的所有这部分的内容都删掉。这我也没办法，毕竟普通的爬虫虽然应当不是违法行为，但是毕竟也不算光明磊落的事情。像14-15期这种，我甚至在文章中只是提及了一下爬取的方法，都会被判定为违反法规。因此，现在尽量都是低调行事，不再提及网站的地址和接口了。所以说，带来影响，确实很抱歉，但我么得办法。如果你需要这部分的内容，包括代码，可以按照我给出的联系方式来和我进行联系。

第0.8期-xiaspider2021目录索引相关推荐

PHP设置禁止目录索引,/var/www/html目录索引禁止
我正在使用以下文件复制在 /etc/nginx/conf.d/default.conf server { listen 80; root /var/www/html/public; index ind ...
SQL Server 2008/2012中SQL应用系列及BI学习笔记系列--目录索引
SQL Server 2008中的一些特性总结及BI学习笔记系列,欢迎与邀月交流. 3w@live.cn ◆0.SQL应用系列 1.SQL Server 2008中SQL增强之一:Values新用途 ...
onedrive目录PHP源码,另一个OneDrive目录索引应用 OLAINDEX
OLAINDEX ✨ Another OneDrive Directory Index. 此图来自如有乐享,感谢推广本项目受 Oneindex 启发,功能借鉴其思想,在这里感谢. 项目持续开发,会 ...
r语言默认工作目录document_使用 Docker 和 Nginx 实现简单目录索引服务
本文将会介绍如何使用 Docker.Node.JavaScript.Traefik 完成一个简单的目录索引服务,全部代码在 300 行以内.相关代码已开源至 GitHub ,文末有链接,感兴趣可以自取 ...
反骨仔的 2016 年度全文目录索引
反骨仔的 2016 年度全文目录索引序这是博主去年所发文章的目录汇总,虽然含金量不高,即便技术不高,但始终勇于献丑,敢于弄斧到班门. [备注]推荐:表示推荐数 ≥ 50,非自荐:强烈推荐:表示推荐 ...
phpstudy nginx 目录索引失败 404 Not Found 的原因
解决方法: 打开站点的 nginx 配置文件(一般在 nginx 目录的 conf/vhosts 下面), 把默认文档 index index.php index.html error/index.h ...
php空间搭建tcshare,TCshare:天翼云盘API目录索引列表程序新手注意事项及composer install出错处理...
天翼云盘(原名天翼云)是中国电信面向个人用户推出的云服务产品,提供"极速安全"云端存储及分享服务. 天翼云盘凭手机号码登录使用,支持电信.联通.移动手机号码,覆盖WEB.PC客户端 ...
SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引 @邀月
邀月的数据库学习 http://www.cnblogs.com/downmoon/archive/2011/03/10/1980172.html SQL Server 2008中SQL应用系列及BI ...
【.NET Core项目实战-统一认证平台】开篇及目录索引
[.NET Core项目实战-统一认证平台]开篇及目录索引一.如何添加客户端授权? 在了解如何进行客户端授权时,我们需要了解详细的授权流程,在[.NET Core项目实战-统一认证平台]第八章授权 ...

第0.8期-xiaspider2021目录索引

瞎老弟的联系方式

目录索引

网站反爬手段总结

里程碑

解释

第0.8期-xiaspider2021目录索引相关推荐

最新文章

热门文章