python使用elasticsearch维护数据_使用Python对ElasticSearch获取数据及操作
#!/usr/bin/env python#-*- coding: utf-8 -*-
"""@Time : 2018/7/4
@Author : LiuXueWen
@Site :
@File : ElasticSearchOperation.py
@Software: PyCharm
@Description: 对elasticsearch数据的操作,包括获取数据,发送数据"""
importelasticsearchimportjsonimportUtil_Ini_Operationclasselasticsearch_data():def __init__(self,hosts,username,password,maxsize,is_ssl):#初始化ini操作脚本,获取配置文件
try:#判断请求方式是否ssl加密
if is_ssl == "true":#获取证书地址
cert_pem = Util_Ini_Operation.get_ini("config.ini").get_key_value("certs","certs")
es_ssl=elasticsearch.Elasticsearch(#地址
hosts=hosts,#用户名密码
http_auth=(username,password),#开启ssl
use_ssl=True,#确认有加密证书
verify_certs=True,#对应的加密证书地址
client_cert=cert_pem
)
self.es=es_sslelif is_ssl == "false":#创建普通类型的ES客户端
es_ordinary = elasticsearch.Elasticsearch(hosts, http_auth=(username, password), maxsize=int(maxsize))
self.es=es_ordinaryexceptException as e:print(e)defquery_data(self,keywords_list,date):
gte= "now-"+str(date)
query_data={#查询语句
"query": {"bool": {"must": [
{"query_string": {"query": keywords_list,"analyze_wildcard": True
}
},
{"range": {"@timestamp": {"gte": gte,"lte": "now","format": "epoch_millis"}
}
}
],"must_not": []
}
}
}returnquery_data#从es获取数据
defget_datas_by_query(self,index_name,keywords,param,date):''':param index_name: 索引名称
:param keywords: 关键字词,数组
:param param: 需要数据条件,例如_source
:param date: 过去时间范围,字符串格式,例如过去30分钟内数据,"30m"
:return: all_datas 返回查询到的所有数据(已经过param过滤)'''all_datas=[]#遍历所有的查询条件
for keywords_list inkeywords:#DSL语句
query_data =self.query_data(keywords_list,date)
res=self.es.search(
index=index_name,
body=query_data
)for hit in res['hits']['hits']:#获取指定的内容
response =hit[param]#添加所有数据到数据集中
all_datas.append(response)#返回所有数据内容
returnall_datas#当索引不存在创建索引
defcreate_index(self,index_name):''':param index_name: 索引名称
:return:如果创建成功返回创建结果信息,试过已经存在创建新的index失败返回index的名称'''
#获取索引的映射
#index_mapping = IndexMapping.index_mapping
## 判断索引是否存在
#if self.es.indices.exists(index=index_name) is not True:
## 创建索引
#res = self.es.indices.create(index=index_name,body=index_mapping)
## 返回结果
#return res
#else:
## 返回索引名称
#return index_name
pass
#插入指定的单条数据内容
definsert_single_data(self,index_name,doc_type,data):''':param index_name: 索引名称
:param doc_type: 文档类型
:param data: 需要插入的数据内容
:return: 执行结果'''res= self.es.index(index=index_name,doc_type=doc_type,body=data)returnres#向ES中新增数据,批量插入
definsert_datas(self,index_name):''':desc 通过读取指定的文件内容获取需要插入的数据集
:param index_name: 索引名称
:return: 插入成功的数据条数'''insert_datas=[]#判断插入数据的索引是否存在
self.createIndex(index_name=index_name)#获取插入数据的文件地址
data_file_path = self.ini.get_key_value("datafile","datafilepath")#获取需要插入的数据集
with open(data_file_path,"r+") as data_file:#获取文件所有数据
data_lines =data_file.readlines()for data_line indata_lines:#string to json
data_line =json.loads(data_line)
insert_datas.append(data_line)#批量处理
res = self.es.bulk(index=index_name,body=insert_datas,raise_on_error=True)returnres#从ES中在指定的索引中删除指定数据(根据id判断)
defdelete_data_by_id(self,index_name,doc_type,id):''':param index_name: 索引名称
:param index_type: 文档类型
:param id: 唯一标识id
:return: 删除结果信息'''res= self.es.delete(index=index_name,doc_type=doc_type,id=id)returnres#根据条件删除数据
defdelete_data_by_query(self,index_name,doc_type,param,gt_time,lt_time):''':param index_name:索引名称,为空查询所有索引
:param doc_type:文档类型,为空查询所有文档类型
:param param:过滤条件值
:param gt_time:时间范围,大于该时间
:param lt_time:时间范围,小于该时间
:return:执行条件删除后的结果信息'''
#DSL语句
query_data ={#查询语句
"query": {"bool": {"must": [
{"query_string": {"query": param,"analyze_wildcard": True
}
},
{"range": {"@timestamp": {"gte": gt_time,"lte": lt_time,"format": "epoch_millis"}
}
}
],"must_not": []
}
}
}
res= self.es.delete_by_query(index=index_name,doc_type=doc_type,body=query_data,_source=True)returnres#指定index中删除指定时间段内的全部数据
defdelete_all_datas(self,index_name,doc_type,gt_time,lt_time):''':param index_name:索引名称,为空查询所有索引
:param doc_type:文档类型,为空查询所有文档类型
:param gt_time:时间范围,大于该时间
:param lt_time:时间范围,小于该时间
:return:执行条件删除后的结果信息'''
#DSL语句
query_data ={#查询语句
"query": {"bool": {"must": [
{"match_all": {}
},
{"range": {"@timestamp": {"gte": gt_time,"lte": lt_time,"format": "epoch_millis"}
}
}
],"must_not": []
}
}
}
res= self.es.delete_by_query(index=index_name, doc_type=doc_type, body=query_data, _source=True)returnres#修改ES中指定的数据
defupdate_data_by_id(self,index_name,doc_type,id,data):''':param index_name: 索引名称
:param doc_type: 文档类型,为空表示所有类型
:param id: 文档唯一标识编号
:param data: 更新的数据
:return: 更新结果信息'''res= self.es.update(index=index_name,doc_type=doc_type,id=id,body=data)return res
python使用elasticsearch维护数据_使用Python对ElasticSearch获取数据及操作相关推荐
- java爬取网页数据_利用Python做数据分析—对前程无忧数据类岗位进行分析
引言 随着时代的发展,我国在各行各业都需要大量的人才引进,处于近几年最热门的行业也称"最火行业":大数据.数据分析.数据挖掘.机器学习.人工智能,这五门行业各有不同又互有穿插.近几 ...
- python怎么粘贴字进去_通过python粘贴到输入字段上
我很难找到一个合适的解决方案将我的输入粘贴到输入字段中.我正在使用库Xdo. 我在做什么? Python文件正在后台运行.在 程序从智能卡获取数据.在 返回的数据为数字/英语和泰语.在 然后在浏览器中 ...
- Java_Hive自定义函数_UDF函数清洗数据_清洗出全国的省份数据
Java_Hive_UDF函数清洗数据_清洗出全国的省份数据 最近用Hadoop搞数据清洗,需要根据原始的地区数据清洗出对应的省份数据,当然我这里主要清洗的是内陆地区的数据,原始数据中不包含港澳台地区 ...
- Pandas处理dataframe的文本数据列:使用str属性获取数据列的字符串方法类、split函数基于指定分隔符拆分数据列的内容为列表、使用len计算每个列表的长度
Pandas处理dataframe的文本数据列:使用str属性获取数据列的字符串方法类.split函数基于指定分隔符拆分数据列的内容为列表.使用len计算每个列表的长度 目录
- python登录网站后爬取数据_用 Python 登录主流网站,我们的数据爬取少不了它
不论是自然语言处理还是计算机视觉,做机器学习算法总会存在数据不足的情况,而这个时候就需要我们用爬虫获取一些额外数据.这个项目介绍了如何用 Python 登录各大网站,并用简单的爬虫获取一些有用数据,目 ...
- 爬虫goodreads数据_使用Python从Goodreads数据中预测好书
爬虫goodreads数据 Photo of old books by Ed Robertson on Unsplash 埃德·罗伯森 ( Ed Robertson)的旧书照片,内容为Unsplash ...
- python文本结构化处理_在Python中标记非结构化文本数据
python文本结构化处理 Labelled data has been a crucial demand for supervised machine learning leading to a n ...
- 利用python从网页查找数据_利用Python模拟淘宝的搜索过程并对数据进行可视化分析...
数据挖掘入门与实战 公众号: datadw 本文讲述如何利用Python模拟淘宝的搜索过程并对搜索结果进行初步的数据可视化分析. 搜索过程的模拟:淘宝的搜索页面有两种形式, 一种形式是, 2019/2 ...
- python葡萄酒数据_用python进行葡萄酒质量预测
python葡萄酒数据 Warning: This is long article for those who seek only machine learning code, please just ...
最新文章
- OpenAI透露GPT-4动向:文本与视觉融合,人类反馈+强化学习解决安全问题 | AI日报...
- 【控制】影响系统响应的因素
- python基础 dict和set
- c#中ReadLine,Read,ReadKey的区别
- C++全局变量的声明和定义
- 北京大学生物信息学学习(7)NGS 分析
- 最近,华为应用市场上线了一个服务
- 树的存储_ 双亲表示法 及 双亲孩子表示法
- 手机号码归属地全库生成
- PHP网站接入QQ互联实现QQ登录获取用户信息功能,超级简单,三个文件就搞定,无需费力地去了解官方提供的一大堆Demo文件
- 几款软件界面模型设计工具
- Matter(CHIP) 目录和平台相关的文件
- Kettle对非结构化数据进行分类
- 黑客的专用通道以及入侵方法
- iOS开发脚踏实地学习day02-图片查看器和TOM猫
- ubuntu进程管理方法(转)
- ffmpeg读取rtsp并保存到mp4文件
- 第一性原理 《禅与计算机程序设计艺术》 / 陈光剑
- 反汇编---汇编基础学习
- 一般人学python要多久,新手学python需要多久
热门文章
- wxWidgets:wxTextOutputStream类用法
- boost::adaptors::copied相关的测试程序
- boost::proto::protect相关的测试程序
- boost::mp11::mp_apply_q相关用法的测试程序
- boost::hana::negate用法的测试程序
- boost::geometry::assign用法的测试程序
- boost::array用法的测试程序
- allocator_difference_type的实例
- ITK:二进制图像的莫拉尔距离图
- ITK:创建一个图像区域