利用DHT网络原理制作bt采集蜘蛛

这个python代码是用来从DHT网络（一种分布式的“磁力链接”的共享网络，这个叫法是我个人对这种分布式网络的称呼）中，检测收集“磁力链接”。每一个磁力链接就对应着一个种子文件。由于“磁力链接”在DHT网络中是通过分布式共享。所以通过检测DHT网络中的数据包就可以获得其他客户端发来的“磁力链接”，通过这些磁力链接下载相应的种子文件分析获取种子文件的文件资源名，这就完成了整个过程。
我用自己的笔记本（2g内存，i3cup）运行了一晚上（30个线程，6小时吧，我的破笔记本呼呼叫把我吵的），大概能检测到30000个“磁力链接”。转换成BT种子文件有10000多个。做一些数据分析我已经满足我自己的使用了。代码的原始版本是用了我github上的dhtfck的代码，这个是一个大神搞的收索全世界的peer用的代码。我是在这个代码上改的。现在这个改好的代码也分享给大家使用，目前能想到的是它可以作为数据挖掘资源搜索的渠道。还有我的python写的很烂，改的地方也是随手就改，没考虑代码的效率什么的。如果大家真想看点漂亮的东西还是得看dhtfck，这个很赏心悦目。
网上已经有关于搞DHT网络资源搜索的，大家可以参照wiki看看。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。

利用DHT网络原理制作bt采集蜘蛛相关推荐

利用DHT网络原理制作bt采集
P2P系统的应用越来越广泛,在文件共享.流媒体服务.即时通讯交流.计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster.eMule.BitTorrent等早已 ...
DHT网络原理制作bt采集蜘蛛，开源版
dhtcrawler最早的版本有很多问题,修复过的最大的一个问题是关于erlang定时器的,在DHT实现中,需要对每个节点每个peer做超时处理,在erlang中的做法直接是针对每个节点注册了一个定时 ...
利用DHT网络原理制作
我最开始在选用数据库时,为了不使用第三方库,打算使用erlang自带的mnesia.但是因为涉及到字符串匹配搜索,mnesia的查询语句在我看来太不友好,在经过一些资料查阅后就直接放弃了. 然后我打算 ...
利用DHT网络，爬取bt种子。
DHT网络爬虫传统的Bittorrent服务传统的BT服务是由两部份组成的,tracker服务和p2p服务,通过前者用户可以知道谁拥有资源,后者是通过前者向拥有资源的用户发起下载. Tracker ...
P2P中DHT网络原理
2019独角兽企业重金招聘Python工程师标准>>> DHT网络爬虫基于DHT网络构建了一个P2P资源搜索引擎.这个搜索引擎不但可以用于构建DHT网络中活跃的资源索引(活跃的资源意 ...
结构化P2P网络——DHT网络原理
P2P系统的应用越来越广泛,在文件共享.流媒体服务.即时通讯交流.计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster.eMule.BitTorrent等早已 ...
DHT技术，IPFS,BT是个啥
1.DHT技术即分布式哈希表技术,是一种分布式存储方法.这种网络不需要中心节点服务器,而是每个客户端负责一个小范围的路由,并负责存储一小部分数据, 从而实现整个DHT网络的寻址和存储.和中心节点服务器 ...
[C#搜片神器] 之P2P中DHT网络爬虫原理
继续接着上一篇写:使用C#实现DHT磁力搜索的BT种子后端管理程序+数据库设计(开源)[搜片神器] 昨天由于开源的时候没有注意运行环境,直接没有考虑下载BT种子文件时生成子文件夹,可能导致有的朋友运行 ...
基于DHT网络的最强BT资源搜索引擎engiy.com
现如今,基DHT网络爬虫的磁力搜索,BT搜索资源已经很多了,但大多是挂马,弹窗垃圾站居多. 只有engiy.com是真正意义上的无广告.并且是实时索引(好像索引用的是elasticsearch).而且 ...
python之bt种子，dht网络共享热门资源
最近研究了dht网络,使用python写了个爬虫程序,另外用php做了个搜索网站,今天又把sphinx加上了,这样就是一个简单的bt种子搜索引擎了哈,网址:http://bt.dianfenxiang ...

利用DHT网络原理制作bt采集蜘蛛

利用DHT网络原理制作bt采集蜘蛛相关推荐

最新文章

热门文章