DB目录总大小:2468MB

所有buckets的meta信息在.bucketManifest文件里:

id,path,"raw_size","event_count","host_count","source_count","sourcetype_count","size_on_disk",modtime,"frozen_in_cluster","origin_site","tsidx_minified","journal_size"
"main~0~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481515116_1480695302_0",18823156,110730,1,9,4,13713408,1481524286,0,"",0,3134751
"main~1~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481537316_1481532688_1",2310579,21809,1,2,4,258048,1481537634,0,"",0,16228
"main~2~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481547598_1481539988_2",159000000,1500000,1,1,1,14442496,1481548381,0,"",0,1087536
"main~3~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481617470_1481613403_3",116995120,251105,1,1,1,81010688,1481619151,0,"",0,48120454
"main~4~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481623046_1481619179_4",229333894,502002,1,1,1,126242816,1481630588,0,"",0,92507094
"main~5~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481632042_1481631975_5",931797403,501000,1,1,1,457887744,1481679128,0,"",0,344072139
"main~6~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481679220_1481679167_6",814813719,250000,1,1,1,388202496,1481709892,0,"",0,295944721
"main~7~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481714661_1481713606_7",3259545592,1000000,1,1,1,1505009664,1482572307,0,"",0,1183963998

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm *|sort -n
1 CreationTime
1 db_1481537316_1481532688_1
1 GlobalMetaData
14 db_1481515116_1480695302_0
14 db_1481547598_1481539988_2
78 db_1481617470_1481613403_3
121 db_1481623046_1481619179_4
371 db_1481679220_1481679167_6
437 db_1481632042_1481631975_5
1436 db_1481714661_1481713606_7

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */rawdata/*.gz | sort -n
1 db_1481537316_1481532688_1/rawdata/journal.gz
2 db_1481547598_1481539988_2/rawdata/journal.gz
3 db_1481515116_1480695302_0/rawdata/journal.gz
46 db_1481617470_1481613403_3/rawdata/journal.gz
89 db_1481623046_1481619179_4/rawdata/journal.gz
283 db_1481679220_1481679167_6/rawdata/journal.gz
329 db_1481632042_1481631975_5/rawdata/journal.gz
1131 db_1481714661_1481713606_7/rawdata/journal.gz

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */*.tsidx
8 db_1481515116_1480695302_0/1481365442-1480695302-4858607897345416099.tsidx
1 db_1481515116_1480695302_0/1481515116-1481414314-4858898005396109713.tsidx
1 db_1481537316_1481532688_1/1481537316-1481532688-4860330036580586334.tsidx
12 db_1481547598_1481539988_2/1481546898-1481539988-4861034339343340051.tsidx
2 db_1481547598_1481539988_2/1481547534-1481546898-4860978970915735908.tsidx
1 db_1481547598_1481539988_2/1481547598-1481547534-4861034307055557201.tsidx
26 db_1481617470_1481613403_3/1481617470-1481613403-4865563935922009229.tsidx
3 db_1481617470_1481613403_3/1481617470-1481617458-4865672332245509206.tsidx
32 db_1481623046_1481619179_4/1481619389-1481619179-4865689731273799190.tsidx
1 db_1481623046_1481619179_4/1481623046-1481621223-4866421882884289834.tsidx
88 db_1481632042_1481631975_5/1481632034-1481631975-4866516891972181121.tsidx
17 db_1481632042_1481631975_5/1481632042-1481632011-4866518975138178595.tsidx
74 db_1481679220_1481679167_6/1481679215-1481679167-4869608890403912436.tsidx
11 db_1481679220_1481679167_6/1481679220-1481679210-4871619145803575804.tsidx
1 db_1481679220_1481679167_6/1481679220-1481679220-4871619114239737472.tsidx
291 db_1481714661_1481713606_7/1481714656-1481713606-4928138373543453009.tsidx
10 db_1481714661_1481713606_7/1481714661-1481714639-4928137267800912859.tsidx

发现其索引文件占用很小约总大小的1/4 而数据文件占用了3/4

再测试了下:

而通过看rawdata数据文件可知,它是直接将日志数据append到一个文件 对该文件采用gz压缩方式来降低存储空间

测试说明:splunk6.5版本,数据使用500次批量插入,每批数据都不同,大小500条,每条数据50个字段,对应的字符串使用长度为1-10个单词随机生成!

转载于:https://www.cnblogs.com/bonelee/p/6381746.html

slplunk原始数据和索引数据大小比较相关推荐

  1. 查看mysql数据库 数据量大小和索引数据大小以及行数的方法

    查看mysql数据库 数据量大小和索引数据大小以及行数的方法 查看一个数据中所有表的相关信息: (1)可以在命令下使用show table status \G命令查看: (2)如果想知道MySQL数据 ...

  2. Elasticsearch了解多少,说说你们公司es的集群架构,索引数据大小,分片有多少,以及一些调优手段 。

    比如:ES集群架构13个节点,索引根据通道不同共20+索引,根据日期,每日递增20+,索引:10分片,每日递增1亿+数据,每个通道每天索引大小控制:150GB之内. 仅索引层面调优手段: 1.1.设计 ...

  3. oracle 如何预估将要创建的索引的大小

    一.1  oracle 如何预估将要创建的索引的大小 oracle 提供了2种可以预估将要创建的索引大小的办法: ①  利用包 Dbms_space.create_index_cost 直接得到 ②  ...

  4. mysql查询表的数据大小

    mysql查询表的数据大小 在需要备份数据库里面的数据时,我们需要知道数据库占用了多少磁盘大小,可以通过一些sql语句查询到整个数据库的容量,也可以单独查看表所占容量. 1.要查询表所占的容量,就是把 ...

  5. oracle索引大小暴增_oracle 如何预估将要创建的索引的大小

    一.1oracle 如何预估将要创建的索引的大小 oracle 提供了2种可以预估将要创建的索引大小的办法: ①  利用包 Dbms_space.create_index_cost 直接得到 ②  利 ...

  6. 安装es怎么在后台运行_ES备份索引数据到阿里云OSS

    ES的快照备份当前是存放在NAS下,考虑成本问题现在打算把快照备份到阿里云OSS下. https://github.com/aliyun/elasticsearch-repository-oss,此插 ...

  7. [转] MySQL 查询表数据大小的总结

    一:关于mysql表数据大小 我们知道mysql存储数据文件一般使用表空间存储 当mysql使用innodb存储引擎的时候,mysql使用表存储数据分为共享表空间和独享表空间两种方式 ·共享表空间:I ...

  8. 关于MySQL 查询表数据大小的总结

    关于MySQL 查询表数据大小的总结 一:关于mysql表数据大小 我们知道mysql存储数据文件一般使用表空间存储 当mysql使用innodb存储引擎的时候, mysql使用表存储数据分为共享表空 ...

  9. mysql查询20-30的数据_20. mysql查询表的数据大小

    在需要备份数据库里面的数据时,我们需要知道数据库占用了多少磁盘大小,可以通过一些sql语句查询到整个数据库的容量,也可以单独查看表所占容量. 1.要查询表所占的容量,就是把表的数据和索引加起来就可以了 ...

最新文章

  1. thinkphp 调用php文件上传,ThinkPHP实现带验证码的文件上传功能实例
  2. 新增磁盘并把新磁盘虚拟化成逻辑卷,把文件系统/home挂载到这个新逻辑卷
  3. Twitch如何实现转码比FFmpeg性能提升65%?(下)
  4. java和python哪个先学c_C 和 Python语言先学哪个好?
  5. Android学习笔记(四九):通过Content Provider访问数据
  6. cmd杀死MySQL进程命令
  7. php数组操作,内容相同,键值不同,互换
  8. 微信如何实现自动跳转到用其他浏览器打开指定页面下载APP 1
  9. 构建根文件系统之启动第一个程序(韦大仙)
  10. paip.python错误解决5
  11. 华为笔记本电脑安装 Linux 操作系统之Manjaro(手把手教学)
  12. 土地利用分类数据类型和下载
  13. 骑马与砍杀2从原神抓取武器模型到导入进游戏使用
  14. 设计测试用例之 一个系统,多个摄像头,抓拍车牌,识别车牌,上传网上,网上展示
  15. 智能化里面计算机网络设计思路,智能化设计思路.doc
  16. 微信html5图片裁切,微信小程序图片裁剪工具we-cropper
  17. 教你判断一个APP页面是原生的还是H5页面
  18. 计算机如何显示e盘文档,我把电脑E盘里文件隐藏了,怎么弄可以显示出来!
  19. 美团2016招聘笔试:奇数位丢弃
  20. 订阅号服务器消息推送数量,如何解决微信公众号一个月只能发4次消息的问题...

热门文章

  1. datename mysql_sql DATENAME 用法
  2. linux 瘦客户机系统,2X ThinClientOS基于Linux的瘦客户端系统 | MOS86
  3. laravel+vue.js的学习以及为什么浏览器中要有井号“#”
  4. 【原理+实战+视频+源码】手撸SpringBoot缓存系统
  5. python【蓝桥杯vip练习题库】ADV-92求最大公约数(递归)
  6. Unet实现图像分割(三)
  7. BroadCastReceiver简介
  8. dirwatcher java_commonIO
  9. datatable更新到mysql_SQL通过Datatable更新数据库表内容
  10. mysql 5.5.安装包_Mysql的详细安装教程!亲测可用!!!