AntColony 磁力搜索BT引擎的核心

介绍

AntColony（Github）是findit磁力搜索引擎的核心。用来在DHT网络中，收集活跃资源的infohash，下载并解析资源的种子文件，存入数据库等。AntColony是若干功能的合集，也可以单独运行其中的部分功能，所以起“蚁群”这个名字也是很贴切的（没错，我就是爱动物世界）。主要分一下几块：

worker：爬虫，收集资源infohash，可以同时启动多个进程的worker，提高效率
male：根据收集来的infohash去下载种子文件
female：将种子文件录入数据库
queen：简单的入口，启动pm2运行worker，male和female

目前启动5个worker使用3000-3004的端口，2个male和1个female。

使用Mongodb储存数据，这没什么好说的；使用pm2维护和监控node进程，也没太多要说的，重点说下Redis。Redis里暂存的数据大概是这样的：

bucket：比较大的一个K桶
infohash：就是已经收集到的infohashs（worker收集来的，male会用来下载种子）
remoteNodes：worker新认识的节点，会依次“拜访”的，目前只保存最新的10w个（一方面我的VPS内存小，另一方面真没必要记录太多）
sysInfo：记录一些统计信息，例如发出多少次请求，累积收集多少infohashs，目前已经发出15亿次Request，这个频率是可控的，worker 太疯狂的话，VPS扛不住。

安装&运行方法

详细的使用方法请查看部署文档
其他内容查看 http://keenwon.com/1436.html

磁力搜索站点演示

http://www.cili123.me/

磁力搜索网站汇总每日更新

https://www.cnblogs.com/cilisousuo/p/12099547.html

AntColony 磁力搜索BT引擎的核心相关推荐

使用C#实现DHT磁力搜索的BT种子后端管理程序+数据库设计（开源）
直接上程序界面,了解整体工作流程是什么样子的,求服务器进行挂机测试,需要固定IP,空间大概需要10G左右(主要是BT种子占用空间过大),最好有SQLSERVER来做为存储数据库,目前采用的是ACCES ...
解密Elasticsearch技术，腾讯开源的万亿级分布式搜索分析引擎
「免费学习 60+ 节公开课:投票页面,点击讲师头像」作者 | johngqjiang,腾讯 TEG 云架构平台部研发工程师来源 | 腾讯技术工程(ID:Tencent_TEG) [导读]Elas ...
10 分钟快速入门海量数据搜索分析引擎 Elasticearch
作者:jeremyshi,腾讯 TEG 后台开发工程师 1. 背景随着移动互联网.物联网.云计算等信息技术蓬勃发展,数据量呈爆炸式增长.如今我们可以轻易得从海量数据里找到想要的信息,其中离不开搜索引 ...
BT-2の蓝牙技术原理のBT协议の蓝牙核心协议の无线射频和基带
蓝牙技术原理のBT协议の蓝牙核心协议の无线射频和基带 0. 脑图 1. 蓝牙射频 1.1 射频信道 1.2 射频规范 2. 链路控制器和基带 2.1 物理链路 2.2 分组 2.3 蓝牙编址 2.4 ...
磁力搜索第二版-dhtcrawler2
dhtcrawler最早的版本有很多问题,修复过的最大的一个问题是关于erlang定时器的,在DHT实现中,需要对每个节点每个peer做超时处理,在erlang中的做法直接是针对每个节点注册了一个定时 ...
应大数据时代而写了个磁力搜索的网页- WWW.MOVIH.COM 磁力
应大数据时代而写了个磁力搜索的网页- 索马里搜索磁力 http://www.,movih.com/ BT磁力示例网站:WWW.MOVIH.COM 采用分布式架构: JAVA系统:JBOSS7+EJB3 ...
Folx Pro 5 最好用的Mac磁力链接BT种子下载工具
除了迅雷,还有哪个支持磁力链接下载?Mac电脑如何下载磁力链接?经常有小伙伴问老宅.今天,老宅给大家推荐Folx Pro For Mac,Mac系统超好用的磁力下载工具. Folx是一款功能强大且易于 ...
理解Lucene索引与搜索过程中的核心类
理解索引过程中的核心类执行简单索引的时候需要用的类有: IndexWriter.Directory.Analyzer.Document.Field 1.IndexWriter IndexWriter ...
谷歌推出数据集搜索专用引擎Dataset Search
谷歌推出数据集搜索专用引擎Dataset Search 9 月 5 日,谷歌发布了一个帮助研究者查找在线数据的免费搜索引擎 Dataset Search.谷歌表示,该引擎面向「科学家.数据记者.数据极 ...
Cerebro 插件之电影磁力搜索神器
Cerebro 插件之电影磁力搜索神器 Cerebro plugin to search torrent of movies 什么?看个片儿还要打开网页慢慢找?! 这周在学 Node.js, 看了 @ ...

AntColony 磁力搜索BT引擎的核心

介绍

安装&运行方法

磁力搜索站点演示

磁力搜索网站汇总每日更新

AntColony 磁力搜索BT引擎的核心相关推荐

最新文章

热门文章