nodejs 实现 磁力链接资源搜索 BT磁力链接爬虫
项目简介
- 前端站点 项目效果预览 http://findcl.com
- 使用 nodejs 实现磁力链接爬虫 磁力链接解析成 torrent种子信息，保存到数据库，利用 Elasticsearch 实现中文检索。koa2 搭建磁力链接搜索引擎
- 源码地址 https://github.com/ssstk/findcl
- 后端脚本 磁力链接获取 磁力链接解析 入库 Mongodb 定时同步 Elasticsearch
- 源码地址 https://github.com/ssstk/mang...
- 此项目仅用学习交流技术使用 不做商业用途。
上线
- 2018-06-01 网站正式上线。暂时想不到什么名字 各位大大可以推荐下哦。域名是 http://findcl.com ，
- 两台 VPS （都是某些云做活动买的 配置低）
- 第一台部署了 FindCl 站点本身（ koa2、nginx ）和单个节点的 Elasticsearch
- 第二台部署了磁力链接爬虫 hashinfo 解析 入库 Mongodb
- Mongodb 数据库在套路云（目前有 300W 数据库，每日新收录 3W+的数据）
项目依赖
- Mongodb
- mongoose
- Elasticsearch
- nginx
- koa2
- vue
- DHT BT 资源爬虫 磁力链接解析 manget2torrent
- crontab 定时执行 Mongodb 与 Elasticsearch 的数据同步
- ...
存在的问题
manget2torrent
- 依赖的 dhtspider 爬虫 长时间使用一个端口的时，由于 P2P 网络的特性，越来越多的节点来访问 会导致带宽跑满（其主要是活动买的云主机 1M 的），如果活力全开不做闲置 大概稳定在 10M 左右。解决方案就是 每次采集 5000 条不重复的磁力 hashindo 就暂停爬虫，取解析获取信息。等小于 1000 条时候，再随机端口开启服务。
- 解析磁力链接缓慢且成功率很低， 失败的大概在 3 成左右且需要好几秒
其他
有其他问题请新建issue交流。
nodejs 实现 磁力链接资源搜索 BT磁力链接爬虫相关推荐
- android 磁力解析,关于手机端磁力下载，看这篇教程就够了
Hello~大家好,这里是刘小七的技术站,我是刘小七.不定期给大家带来最IN.最新趣的科技资讯与软件应用. 关注我,一起挖掘科技宝藏,让你见识不一样的技术流世界. 磁力下载 & 资源搜索 一直 ...
- 亲测，2023年私藏的免费好用的磁力网盘资源搜索网站，找资源不用愁-加强版
原文示例链接:https://blog.csdn.net/ooclu/article/details/131221496 面对现在网上电影.电视.小说.图片.软件等资源纷纷收费之后,目前找资源确实越来 ...
- 亲测，2023年私藏的免费好用的磁力网盘资源搜索网站，找资源不用愁
面对现在网上电影.电视.小说.图片.软件等资源纷纷收费之后,目前找资源确实越来越困难,对于我们收入仅够温饱的白Piao党来说,资源肯定就是免费的香.分享下我常用的资源搜索网站,排名不分先后.大家记得收 ...
- 亲测，2022年私藏的免费好用的磁力网盘资源搜索网站，找资源不用愁
面对现在网上电影.电视.小说.图片.软件等资源纷纷收费之后,目前找资源确实越来越困难,对于我们收入仅够温饱的白Piao党来说,资源肯定就是免费的香.分享下我常用的资源搜索网站,排名不分先后.大家记得收 ...
- Linux端的qbittorrent目录,qBittorrent v4.3.0.10便携增强版-BT/磁力下载软件
qBittorrent v4.3.0.10便携增强版-BT/磁力下载软件 书法字体2020.11.02qBittorrent qBittorrent是一款免费开源的BitTorrent客户端.磁力链接 ...
- 油猴脚本第一家，网页网盘链接实时判断+资源搜索网站导航，资源重度患者的福利...
现在网络上找资源,资源都是存在百度网盘的,大家都知道,百度网盘链接失效的非常之多.遇到网盘链接我们都要一个一个点进去查看链接是否失效,这样操作费时又累人.这时这个油猴脚本就可以帮忙了.实时判断网页中百 ...
- Tribler for Mac(BT资源搜索下载器)
Tribler for Mac是一款可以在苹果电脑MAC OS平台上使用的帮助用户编辑文档的Mac BT搜索软件,Tribler for Mac它不仅能够帮助你快速进行资源搜索,而且能进行分类搜索.关 ...
- 可以边下边看的BT资源搜索下载工具：Tribler免费版
为大家带来一款免费的BT资源搜索下载工具,Tribler for Mac可以通过分类搜索.关键词搜索或者按文件格式搜索网络上的BT资源,支持快速下载,而且Tribler Mac版还可以在完全下载之前播 ...
- Java打印输出:bt磁力天堂
Java打印输出数据println和print打印输出数据,System.out.println("bt磁力天堂最佳磁力搜索引擎"); System.out.println(&qu ...
- 油猴脚本第一家，网页网盘链接实时判断+资源搜索网站导航，资源重度患者的福利... 1
现在网络上找资源,资源都是存在百度网盘的,大家都知道,百度网盘链接失效的非常之多.遇到网盘链接我们都要一个一个点进去查看链接是否失效,这样操作费时又累人.这时这个油猴脚本就可以帮忙了.实时判断网页中百 ...
最新文章
- 8.Map集合（HashMapTreeMap）
- c语言动态链表creat函数,用create建立动态链表
- python面试常见问题-Python面试常见的8个问题及答案总结
- Latex: 设置 threeparttable footnote 行宽度
- 命令passwd报错因inode节点处理记录
- 补充一点地理知识（以洲来划分各个国家（240个））
- “中华姓氏文化归心工程”在京启动
- tigerVNC的简单使用教程（CentOS 自带VNC包的远程桌面连接）
- 简单hbase java,Hbase 简单java API 操作
- TensorFlow基础1——神经网络tutorial
- c++ win32 获取串口高低电平_串口和USB的区别，几种常见的串口协议
- 王佩丰 Excel 24节课 学习笔记
- AI数学基础（1）--- 马尔可夫不等式
- veeam备份oracle数据库,实战veeam BR 10备份Oracle RAC 19c PDB容器数据库
- C语言分号总是报错,问什么C程序里总是提示缺少分号;,而明明有分号？
- Oracle 19c 新特性：ANY_VALUE 函数和 LISTAGG 的增强
- rrpp协议如何修改_04-RRPP命令
- 字符串实质，sizeof strlen
- sql server编程之 T-SQL函数
- 重庆实时路况（基于百度MAP API）