使用 ES 和 DHT 协议爬虫快速打造热门资源下载搜索引擎

ES 即 Elasticsearch，是基于 Apache Lucence 的全文搜索引擎。ES 是纯 Java 开发的，并在 Apache 许可条款下自由发布，是当前流行的企业级搜索引擎。ES 的可靠性高，搜索性能好，易于分布式扩展，它提供了 HTTP RestFull 接口方便访问和管理数据。ES 与 Kibana、LogStash 、filebeat 等软件构成 ELK 技术栈，提供了更加丰富的解决方案。

在本 Chat 中，笔者以构建一个 BT 资源下载数据库为例子，详细介绍 ES 打造企业搜索引擎的基本思路和步骤。本内容全部基于开源代码，只要有一个具有公网 IP 的 VPS，使用很少的代码和设置，就可以打造自己的资源下载引擎。如果你是一个前端工程师，则很容易将它封装成一个非常 Fancy 的资源搜索引擎。

主要内容包括：

ES 主要概念介绍
ES 的安装和配置
ES 索引建立修改和删除
ES 查询语法应用
Kibana 和 ES 的配合
如何将日志数据持续写入 ES
DHT 协议简介
DHT 爬虫的实现应用
DHT 爬取文件 info 日志
文件 info 的入库
文件搜索
ES 系统数据的压缩和备份

适合人群：无需太多基础，对爬虫、日志、搜索应用有兴趣的技术人员。

阅读全文: http://gitbook.cn/gitchat/activity/5e0c96df83ce5b667f840da3

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ， GitChat 专享技术内容哦。

使用 ES 和 DHT 协议爬虫快速打造热门资源下载搜索引擎相关推荐

python实现bt下载器_使用Python编写基于DHT协议的BT资源爬虫
关于DHT协议 DHT协议作为BT协议的一个辅助,是非常好玩的.它主要是为了在BT正式下载时得到种子或者BT资源.传统的网络,需要一台中央服务器存放种子或者BT资源,不仅浪费服务器资源,还容易出现单点 ...
Python分布式爬虫打造搜索引擎完整版-基于Scrapy、Redis、elasticsearch和django打造一个完整的搜索引擎网站
Python分布式爬虫打造搜索引擎基于Scrapy.Redis.elasticsearch和django打造一个完整的搜索引擎网站 https://github.com/mtianyan/Artic ...
[C#搜片神器] 之P2P中DHT网络爬虫原理
继续接着上一篇写:使用C#实现DHT磁力搜索的BT种子后端管理程序+数据库设计(开源)[搜片神器] 昨天由于开源的时候没有注意运行环境,直接没有考虑下载BT种子文件时生成子文件夹,可能导致有的朋友运行 ...
DHT网络爬虫的实现
DHT协议原理以及一些重点分析: 要做DHT的爬虫,首先得透彻理解DHT,这样才能知道在什么地方究竟该应用什么算法去解决问题.关于DHT协议的细节以及重要的参考文章,请参考文末1 DHT协议作为BT协 ...
使用go的ssh包快速打造一个本地命令行ssh客户端
2019独角兽企业重金招聘Python工程师标准>>> 热身运动? 在开始之前,先来个热身运动.虽然标题党写着快速打造一个ssh客户端,但是和跑步一样,在运动前还是需要先热身一下,不 ...
c语言dht网络爬虫,用Node.js实现一个DHT网络爬虫，一步一步完成一个BT搜索引擎（一）...
传统的Bittorrent服务传统的BT服务是由两部份组成的,tracker服务和p2p服务,通过前者用户可以知道谁拥有资源,后者是通过前者向拥有资源的用户发起下载. Trackerless 目前在 ...
python DHT网络爬虫
DHT是什么 DHT全称叫分布式哈希表(Distributed Hash Table),是一种分布式存储方法.在不需要服务器的情况下,每个客户端负责一个小范围的路由,并负责存储一小部分数据,从而实现整 ...
【JAVA】从0开始写DHT/磁力爬虫 01 序章
前段时间空闲时间比较多,又迫于想看的美剧找不到合适的资源,于是萌生了为何不自己实现一个DHT爬虫来获取磁力/种子资源搭建一个属于自己的文件索引库呢? 说做就做,要想做磁力爬虫就要先了解一下什么是DHT ...
利用爬虫快速获取企业招聘信息
基于JSoup的HTML解析(以58同城为例) House.java package com.newer.spider;public class House {String room;String d ...

使用 ES 和 DHT 协议爬虫快速打造热门资源下载搜索引擎

使用 ES 和 DHT 协议爬虫快速打造热门资源下载搜索引擎相关推荐

最新文章

热门文章