利用shell脚本将json文件导入es

现要将保存在一个目录下所有后缀名为json文件导入es集群，每个json文件中都按回车行分隔的json数据，下面是利用shell脚本完成此功能的代码。

在运行脚本之前，先创建索引。

[root@node168 lead-es]# curl -H 'Content-Type: application/json' -X PUT "es集群入口ip:9200/索引名"

shell脚本代码：

[root@node168 lead-es]# cat 107-lead-es.sh
#!/bin/bash
  currentpath="json文件路径"
  find $currentpath -name *.json>./jsonfilelist.txt
for jsonfilename in `cat ./jsonfilelist.txt`
do
  cat $jsonfilename|while read jsonstring
do
    curlcommand="curl -H 'Content-Type: application/json' -X POST \"es集群入口ip:9200/索引名/cdata\" -d "

curlexec=${curlcommand}\'${jsonstring}\'

eval ${curlexec}
done
done

运行脚本 sh ./107-lead-es.sh

为检查数据是否成功写入，还需用到以下几个命令

[root@node168 lead-es]# curl -H 'Content-Type: application/json' -X PUT "es集群入口ip:9200/索引名"

删除索引
[root@node168 lead-es]# curl -H 'Content-Type: application/json' -X DELETE "es集群入口ip:9200/索引名"
{"acknowledged":true}

获取当前索引
[root@node168 lead-es]# curl -H 'Content-Type: application/json' -X GET "es集群入口ip:9200/_cat/indices?v"

查看索引
[root@node168 lead-es]# curl -H 'Content-Type: application/json' -X GET "es集群入口ip:9200/索引名/_settings"
统计文档数
[root@node168 lead-es]# curl -XGET http://es集群入口ip:9200/_cat/count/索引名?v

利用shell脚本将json文件导入es相关推荐

mysql shell可视化_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中利用shell脚本将文本数据导入到mysql中需求1:处理文本中的数据,将文本中的数据插入到mys ...
西门子触摸屏脚本程序_西门子触摸屏利用VBScript脚本创建csv文件
功能描述:利用VBScript脚本创建csv/txt文件有时需要将PLC或运动控制器Simotion中的数据写到SD卡或U盘上.一种实现方法是,如果使用的是精致面板(comfort panel),可 ...
linux 循环显示所有的sh.*文件.,利用shell脚本遍历文件夹内所有的文件并作整理统计的方法...
环境: Ubuntu下采用shell脚本实现案例简述:文件夹内有许多子文件夹,这里需要自动读取所有的文件,包括他们的地址和文件名.通过观察文件名的规律,按照一定的规则裁剪出文件名的某一部分,该部分为 ...
linux遍历目录删除指定文件,利用shell脚本遍历文件夹内所有的文件并作整理统计的方法-linux删除文件夹...
本篇文章扣丁学堂Linux培训小编给读者们分享一下利用shell脚本遍历文件夹内所有的文件并作整理统计的方法,文章具有很好的参考价值,感兴趣的小伙伴就随小编来了解一下吧. 环境: Ubuntu下采用s ...
shell脚本上传文件到ftp服务器,shell脚本实现FTP自动上传文件
-----多个文件----- #!/bin/bash ftp -n< open 172.20.10.242 user logftp logftp binary cd /data/ftp/pcid ...
利用 shell 脚本进行android 马甲包制作
最近公司需要进行马甲包的制作,一开始想拉分支来解决,发现这样的做法不是很好,如果是多个马甲包呢?需要拉N个分支,一旦源代码动了,马甲包代码也要跟着动,而且还会产生很多冲突,多个地方需要操作起来,费时费 ...
linux shell ddos木马,利用Shell 脚本解决DDOS攻击问题
思路:主要利用 awk ,if结构,sort,uniq #!/bin/bash FilePath="access.log" awk '{print $1}' $FilePath | ...
python es 数据库_Python将json文件写入ES数据库的方法
1.安装Elasticsearch数据库 PS:在此之前需首先安装Java SE环境下载elasticsearch-6.5.2版本,进入/elasticsearch-6.5.2/bin目录,双击执行 ...
linux中利用shell脚本条件执行linux命令
linux中利用shell脚本条件执行命令在linux环境中,我们总会有一些命令需要经常用,例如经常跳转到某些目录下或者执行某些命令,输入一连串的命令是很烦的,此时我们可以预先写一些脚本然后根据我们 ...

利用shell脚本将json文件导入es

利用shell脚本将json文件导入es相关推荐

最新文章

热门文章