python es 数据库_Python将json文件写入ES数据库的方法

1、安装Elasticsearch数据库

PS：在此之前需首先安装Java SE环境

下载elasticsearch-6.5.2版本，进入/elasticsearch-6.5.2/bin目录，双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则说明安装成功

安装head插件，便于查看管理(还可以用kibana)

再下载elasticsearch-head-master包解压到/elasticsearch-6.5.2/下(链接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg

提取码: 1rpp

修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下：

进入elasticsearch-head-master目录下执行npm install -g grunt-cli，再执行npm install安装依赖

在elasticsearch-head-master目录下找到Gruntfile.js文件修改服务器监听地址如下：

执行grunt server命令启动head服务

2、将json文件写入ES数据库(py脚本如下)

# -*- coding: UTF-8 -*-

from itertools import islice

import json , sys

from elasticsearch import Elasticsearch , helpers

import threading

_index = 'indextest' #修改为索引名

_type = 'string' #修改为类型名

es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器

reload(sys)

sys.setdefaultencoding('utf-8')

es = Elasticsearch(es_url)

es.indices.create(index=_index, ignore=400)

chunk_len = 10

num = 0

def bulk_es(chunk_data):

bulks=[]

try:

for i in xrange(chunk_len):

bulks.append({

"_index": _index,

"_type": _type,

"_source": chunk_data[i]

})

helpers.bulk(es, bulks)

except:

pass

with open(sys.argv[1]) as f:

while True:

lines = list(islice(f, chunk_len))

num =num +chunk_len

sys.stdout.write('\r' + 'num:'+'%d' % num)

sys.stdout.flush()

bulk_es(lines)

if not lines:

print "\n"

print "task has finished"

break

总结

以上所述是小编给大家介绍的Python将json文件写入ES数据库的方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

python es 数据库_Python将json文件写入ES数据库的方法相关推荐

python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...
本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...
python向json文件写入中文信息
''' 功能:python向json文件写入中文信息: 创建json数据. ''' import jsonorder_info={'订单需求信息': {'订单任务编号':'','观测目标名称':'', ...
利用shell脚本将json文件导入es
现要将保存在一个目录下所有后缀名为json文件导入es集群,每个json文件中都按回车行分隔的json数据,下面是利用shell脚本完成此功能的代码. 在运行脚本之前,先创建索引. [root@nod ...
如何在Python中优雅地处理JSON文件
1. 引言在本文中,我们将学习如何使用Python读取.解析和编写JSON文件. 我们将讨论如何最好地处理简单的JSON文件以及嵌套的JSON文件,当然我们也将讨论如何访问Json文件数据中的特定值 ...
【记录1】300G Json文件入库ES
前提刚进公司就给我整个Json文件解析入库ES的任务,丢了个网站给我(https://opendata.rapid7.com/sonar.fdns_v2/,有兴趣的可以下载一个玩玩),要我下载一个最 ...
python读取oracle数据转换成json文件_python 读取网页json数据库中
数据挖掘敲门砖--Python爬虫入门 Python爬虫.jpg WHAT 数据挖掘是一门综合的技术,随着Ai的兴起,在国内的需求日渐增大. 数据挖掘的职业方向通常有三个,顺便概要地提一下所需的技能( ...
python json解析_python读取json文件并解析
原博文 2018-07-09 18:35 − # -*- coding: utf-8 -*- import os import json import sys reload(sys) sys.setd ...
python json文件_python读写json文件的简单实现
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式.它基于ECMAScript的一个子集. JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族 ...
python存储和读取数据时出现错误_python读取json文件存sql及codecs读取大文件问题...
preface: 最近帮师兄处理json文件,需要读到数据库里面,以备其后续从数据库读取数据.数据是关于yelp网站里面的: https://github.com/Yelp/dataset-examp ...

python es 数据库_Python将json文件写入ES数据库的方法

python es 数据库_Python将json文件写入ES数据库的方法相关推荐

最新文章

热门文章