来自:http://hi.baidu.com/gcjia/blog/item/2b77bc3df8544803bba1675f.html

1.迅雷是什么?

迅雷是基于P2SP的一款下载软件,能够大大增强下载速度,可谓迅雷不及掩耳盗铃之势如破竹。

P2SP的道理不复杂,就是指:如果多个服务器上有某个相同的文件,当某个用户下载其中一个服务器上的这一文件时,迅雷会自动查找到另外的几个服务器,同时下载这一文件,达到提速的目的。

迅雷比较流氓,在用户没有得到任何提示毫不知情的情况下,偷偷上传用户的本地文件,在所有网络流量的统计中排到了第7位。(注:CERNET上似乎可以进三强)迅雷比较小气,不说源代码不是公开的,连原理也不公开。

迅雷比较聪明,她的架构让人佩服啊佩服,佩服啊佩服,佩服啊佩服……

2 下载原理

还记得百度的mp3搜索么?你到mp3.baidu.com上搜索一个mp3,百度会给你列出她知道的所有服务器列表(这些服务器都是别人的),你可以在百度上点击该连接下载mp3,而不用登陆真正的服务器。

迅雷就是把这个过程自动化了,并且增加了判断文件唯一性的功能,画个图简单说明一下:

1.用户点击1.2.3.4上的QQ_1.exe文件的连接

2.用户客户机上的迅雷得到该文件的唯一的校验值。

3.迅雷自动向自己的资源服务器上搜索,查找到存放同一文件的其他的服务器列表

4.得到文件在该服务器上的目录和文件名(红色部分,有可能和原始连接中的文件名不相同),http://www.cnblogs.com/erwin/admin/ftp://1.2.3.5/QQ_2.exe,http://1.2.3.6/QQ_3.exe,以及公网用户1.2.3.7有QQ.exe

5.迅雷自动向1.2.3.5和1.2.3.6上下载该文件的不同文件块,以达到加速下载的目的(紫色部分)。

6.用户向公网用户1.2.3.7发送一个UDP资源请求

7.1.2.3.7回应一个资源请求说:偶这儿有你要的文件

8.用户向公网用户1.2.3.7的3077端口发起请求,并传输数据。

9.下载完毕后,如果迅雷资源服务器上,该文件的服务器列表中没有目前用户点击下载的服务器1.2.3.4,则将这个新的服务器地址加入到该文件的服务器列表(蓝色部分)。

注:

1.上述过程中的6、7、8步骤中隐含了一个过程:判断用户是否是公网用户。

如果是公网用户,则该用户的IP地址和提供下载服务的端口也将记录在迅雷的资源服务器中,后续用户可以从该用户处下载;第三节有这个过程的说明。

2.迅雷如何区分不同的文件?很多文件名字不同但是内容相同,很多文件名字相同但是内容不同。搜索迅雷的相关信息只是得到了几句无关痛痒的废话:迅雷还使用了独创的文件校验机制,保证了用户下载文件的正确性和完整。至于什么方法不得而知

3.我们如何查看迅雷搜索到的资源列表?

在迅雷搜索到一系列的资源列表并且任务没有完成时,会在相同下载目录下建立一个临时文件,里面有搜索到的资源信息,其中peer就是搜索到的包含要下载文件的公网用户。

3 协议解析

分析第二节原理图中的下载过程,第1、2、5步和正常的下载是一模一样的,我们无法根本无法区分。那好,我们就在3、4、6上做文章。

除了上述用户下载一个具体文件的过程的各个报文外,还有交换资源信息报文,用户和用户之间的文件块传输报文、判断用户是否是公网用户的报文等。

1.资源请求报文

每次迅雷都会向219.134.132.47的tcp端口3076发出资源请求,该地址是写死在迅雷软件中的,并非依靠DNS请求得到。

如果该地址不可用,则会切换到另外两个可替换的地址219.134.132.42、219.134.132.86。

Web迅雷则使用219.134.132.46。

过滤掉这个报文,那么迅雷客户端就无法完成资源请求,无法从多点下载。用TP过滤掉报文后迅雷只能从原始连接下载,如下图:

协议报文特征如下:

2.资源搜索回应报文

过滤掉这个报文,那么迅雷客户端就无法得到资源列表,无法从多点下载。

协议报文特征如下:

3.用户之间的文件传输(握手报文)

用户之间是可以传送文件块的,下面的报文就是传送文件块开始之前的握手报文,3077端口为客户端的监听端口,用来把本地的文件传输给别人。(如果3077不能用,会转到其他端口).

4.用户之间资源信息交换报文

5.提交新的资源信息报文

6.连接NAT测试服务器报文

迅雷每过几分钟就会向statnat1.sandai.net发送NAT测试报文,也就是告诉迅雷的资源服务器,自己是否是公网IP.该报文由于无返回报文,所以猜想采用的办法是采用STUN的方法:

将本机的IP地址放在UDP的payload里,如果迅雷的服务器收到报文发现IP层的源地址和payload里的IP地址一致,那么就是公网地址,否则就是处于防火墙后面或者需要经NAT才能上公网。

协议报文如下:

注:

sandai.net是xunlei旗下的一个网站,很少单独抛头露面,多出现在迅雷软件检索关联信息、显示广告的DNS请求报文中。

4TP过滤

如果TP武断的对迅雷进行过滤,只需要设定一个traffic management,把目的地址为219.134.132.0/24网段,目的端口为3076的报文全部过滤就可以防止迅雷下载,但是有可能会误报。下面的规则更详细一点,可以减少误报。

1.针对用户向服务器资源请求报文和资源回应报文的过滤

由于迅雷的服务器IP地址比较容易更换,所以建议过滤的DV:

协议:tcp

源端口/目的端口:3076

开始的四个字节:0x29000000

2.针对用户之间的资源信息交互报文的过滤

协议UDP

端口3076

前四个字节0x32000000

3.针对用户之间的文件传输(握手报文)的过滤

协议tcp

源端口或者目的端口可以为3077、3078

前四个字节为0x29000000

4.提交新的资源信息的报文的过滤

协议TCP

目的端口3076

前四个字节0x29000000

5.针对连接NAT测试服务器的报文的过滤

协议UDP

目的端口3076

前四个字节0x00000101

转载于:https://www.cnblogs.com/erwin/archive/2009/07/24/1529808.html

[缓存]迅雷下载原理相关推荐

  1. 迅雷下载原理及其协议分析

    迅雷下载原理及其协议分析 2012-08-26 迅雷是一个多协议的的P2SP下载管理器,除了支持基本的HTTP.FTP下载,还支持同一个资源的多种P2P协议下载,例如BT和电驴协议.当然,最大的特点是 ...

  2. [缓存]迅雷下载的原理——P2SP加速技术

    BT的出现使大多数人现在对P2P并不陌生,P2P的下载概念,简单点说,就是下载不再象传统方式那样只能依赖服务器,内容的传递可以在网络上的各个终端机器中进行. 而现在,P2SP出现使用户有了更好的选择, ...

  3. 迅雷下载原理的源代码(linux c)

    #include <stdio.h> #include <pthread.h> #include <stdlib.h> #include "include ...

  4. BT、电骡、迅雷等P2P下载原理

    迅雷的下载原理: 一.迅雷下载原理分析      迅雷的工作原理据称为"多资源超线程技术基于网格原理,能够将网络上存在的服务器和计算机资源进行有效的整合".实际上还是传统的下载技术 ...

  5. [缓存]迅雷(XUNLEI)的工作原理揭密

    迅雷(XUNLEI)如何搜索一个资源的多服务器版本? -------实现一个类似迅雷的系统"福雷(FULEI)" 来自:http://blog.csdn.net/mudboy    ...

  6. 迅雷下载原理和P2p技术

    1. 迅雷的盗链(盗链其他网站的资源)       迅雷记录下载地址并将其存在自己的服务器,以后下载同样的资源时自动从所有可用的下载地址连接,保证用户在下载链接甚至是死链接的情况下,也可以从镜像服务器 ...

  7. php防止文件盗链,详解PHP防止盗链防止迅雷下载的方法

    防止盗链: 原理:当服务器要我们下载文件的时候,我们会拿到一个链接,然后我们通过这个链接找到这个文件,然后将它下载下来.那么也就是说这个链接必须要有的,那么如何防止盗链呢?那就是给你的链接并不是真正的 ...

  8. python调用迅雷下载引擎_python将下载地址转换成迅雷和qq旋风的下载地址

    迅雷和qq旋风下载,有加速和离线功能,很方面,我是在网上看到的原始地址和迅雷地址,qq旋风地址的转化原理,然后用python+pyqt写了一个客户端 原理: 迅雷: 迅雷下载地址="thun ...

  9. 迅雷工作原理的推测及慎用它的理由

    迅雷工作原理的推测及慎用它的理由 什么是迅雷? 迅雷是一款新型的基于P2SP技术的下载软件.它使得您的下载更稳定和更迅速. 要 进一步了解迅雷,就要了解到什么是P2SP.我想大多数人对P2P并不陌生, ...

最新文章

  1. 感知哈希算法——找出相似的图片
  2. SEO快速排名算法独家揭秘
  3. 东方通 中间件_东方通:中间件国产替代进程中的艰难领军者
  4. 5月10日优酷殴打腾讯员工那些事
  5. hdu1754(树状数组求最值问题)
  6. linux7怎么安装yum,centos7下怎么安装yum
  7. 使用R进行相关性分析
  8. 实战 SQL Server 2008 数据库误删除数据的恢复 (转)
  9. 下一代智能数据工厂,阿里云发布全新DataWorks
  10. 【英语学习】【English L06】U06 Banking L2 A savings account sounds better for me
  11. 浅析NVR主流芯片方案
  12. 数据库管理工具 Navicat使用教程:导航窗格提示和技巧 - 管理连接
  13. linux 替换文件夹内容,Linux批量替换文本,文件夹内所有文本内容
  14. springboot电子阅览室app毕业设计源码016514
  15. Tableau画图初学者~新手教程~常见类型图
  16. 机器人光机电一体化分拣实训系统
  17. 计算机用户被锁定 蓝屏,电脑提示文档已被administrator锁定怎么办
  18. CloneZilla再生龙 | 打造自己的深度学习镜像
  19. 程序员技术入股的那些坑
  20. 大地水准面 地球椭球体 大地基准面 地图投影理解

热门文章

  1. 锁是网络数据库中的一个非常重要的概念
  2. 爬虫之数据解析的三种方式
  3. Java基础-基本数据类型
  4. [转]在ROS下使用zeroconf配置多机通信
  5. 乱花渐欲迷人眼-杜绝设计的视噪
  6. linux程序莫名异常怎么查
  7. 创业-程序员独自5大思维障碍
  8. Kali渗透测试——利用metasploit攻击靶机WinXP SP1
  9. 【BZOJ】1649: [Usaco2006 Dec]Cow Roller Coaster(dp)
  10. ASP.NET MVC5+EF6+EasyUI 后台管理系统(40)-精准在线人数统计实现-【过滤器+Cache】...