elasticsearch搜索引擎搭建
课程作业的简单记录。
环境说明:
- 操作系统:windows 10
- Jdk:java 11
- Elasticsearch 7.16.0
- 谷歌浏览器:97.0.4692.71(正式版本) (64 位)
一、目标:
1、淘宝抓取商品信息
2、利用抓取的信息搭建搜索引擎
二、设计方案
1、爬虫:如下,提取淘宝网页中的商品文本信息:包括商品标题['title'],价格['price'],付款人数['nums'],店铺名称['name'],店铺地址['address'],保存到csv文件中
2、本地搭建实验环境,安装ES,ElasticSearch-head插件,grunt,node环境。
参考链接:
Elasticsearch安装教程_smile in spring的博客-CSDN博客_elasticsearch安装教程
windows环境下elasticsearch安装教程(超详细) - hualess - 博客园
Elasticsearch对应jdk版本
启动ES,在浏览器输入:http://localhost:9200,
启动head插件:进入head文件夹下,执行grunt server
- 浏览器访问 http://localhost:9100
3、基于python实现Elasticsearch的索引建立和数据上传
参考:基于python的Elasticsearch索引的建立和数据的上传 - zxNoral - 博客园
Python 操作 ElasticSearch - shaomine - 博客园
python 爬虫 上传elasticSearch (包括日期) - 刘莹小西瓜 - 博客园
三、完整代码及数据
已上传网盘
elasticsearch搜索引擎搭建相关推荐
- ElasticSearch搜索引擎详解-持续更新中
ElasticSearch搜索引擎详解 1. ElasticSearch概述 1.1 elasticsearch是什么 1.2 全文搜索引擎 1.3 elasticsearch and solr 1. ...
- 第三百六十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)基本的索引和文档CRUD操作、增、删、改、查...
第三百六十二节,Python分布式爬虫打造搜索引擎Scrapy精讲-elasticsearch(搜索引擎)基本的索引和文档CRUD操作.增.删.改.查 elasticsearch(搜索引擎)基本的索引 ...
- ElasticSearch搜索引擎: 内存分析与设置
在 Elasticsearch 的运行过程中,如何合理分配与设置内存是一件十分重要的事情,否则十分容易出现各种问题. 一.Elasticsearch为什么吃内存: 我们先看下 ES 服务器的总体内存消 ...
- ElasticSearch搜索引擎常见面试题总结
一.ElasticSearch基础: 1.什么是Elasticsearch: Elasticsearch 是基于 Lucene 的 Restful 的分布式实时全文搜索引擎,每个字段都被索引并可被搜索 ...
- Elasticsearch环境搭建和介绍(Windows)
一.Elasticsearch介绍和安装 1.1 介绍 Elastic Elastic官网:https://www.elastic.co/cn/ Elastic有一条完整的产品线:Elasticse ...
- 第三百六十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本概念...
第三百六十节,Python分布式爬虫打造搜索引擎Scrapy精讲-elasticsearch(搜索引擎)的基本概念 elasticsearch的基本概念 1.集群:一个或者多个节点组织在一起 2.节点 ...
- 最新版本elasticsearch本地搭建入门篇
最新版本elasticsearch本地搭建入门篇 项目介绍 最近工作用到elasticsearch,主要是用于网站搜索,和应用搜索. 工欲善其事,必先利其器. 自己开始关注elasticsearch, ...
- day06 Elasticsearch搜索引擎2
day06 Elasticsearch搜索引擎2 1.DSL查询文档 1.1.DSL查询分类 Elasticsearch提供了基于JSON的DSL(Domain Specific Language)来 ...
- Elasticsearch搜索引擎(一)——基础使用
Elasticsearch搜索引擎 关键词是中文的建议使用,英文和数字不要,模糊就行 如果普通数据库查询,无法解决如下问题 如果表记录上千万上亿了这个性能问题,另外一个如果有一个本文字段要在里面模糊配 ...
- day07 Elasticsearch搜索引擎3
day07 Elasticsearch搜索引擎3 1.数据聚合 聚合(aggregations)可以让我们极其方便的实现对文档数据的统计.分析.运算.例如: 什么品牌的手机最受欢迎? 这些手机的平均价 ...
最新文章
- Linux多线程与同步
- 关于自动驾驶, Mobileye 的 14 个最新观点
- python爬取小说章节信息用pygame进行数据显示_爬虫不过如此(python的Re 、Requests、BeautifulSoup 详细篇)...
- Android简单封装类似JQuery异步请求
- android上层应用apk到G-sensor driver的大致流程
- Mac电脑上怎么添加密码提示?操作教程来啦!
- Mysql 单表、连表 in 子查询条件拼接
- Spring Cloud微服务分布式云架构源码结构
- python金融网课_Python金融数据分析
- 《企业IT架构转型之道》读书笔记
- 易飞ERP PLM集成 解决方案
- 没想到 Python 中竟然还藏着这些稀奇古怪的东西...
- 多线程开发之AsyncTask
- Oracle的sqlnet.ora文件配置
- GSR2501国产2.4G PA替代RFX2401C,AT2401C,RT201
- 【老九学堂】【C语言】CodeBlocks安装文档
- 《运营之光》-- 学习笔记(三)
- DMPR-PS论文简读
- python dataframe取行列_dataframe取元素方法总结
- 记报错 error: jump to case label [-fpermissive] 局部变量的作用域问题