小内存处理1G或10G大小的log文件

主要原理：大文件分割成小文件。split 分割文件命令

为了保证文件的完整性，要按行分割
wc -l test.log #查看总共多少行
可知81910500行，分割成10M左右，81910500/102.4 约800000 行一个文件
# 按行行数文件名后缀数字后缀4位前缀
split -l 800000 test.log -d -a 4 test_

查看小文件即可
less test_0001
cat -n test_0001 | grep 查找内容

补充内容：
1、快速生成1G大log文件
首先我有约100k的小文件s.log，循环 10500次生成大约1G文件test.log。
shell脚本内容如下：

touch test.logfor((i=0;i<10500;i++))
docat s.log >> test.logecho "www.djlcx.cn" >>test.log
done

2、split的使用
-b 按文件大小分割
split -b 1M file #默认后缀是字母 xaa xab xac ...
split -b 10k file -d -a 3 #3位数字后缀 x000 x001 x002 ...
split -b 10k file -d -a 3 split_ #指定前缀

3、合并文件
cat test_* >t.log

小内存处理1G或10G大小的log文件相关推荐

文件上传时快速生成1G、10G大小的空文件
文章目录前言 1.Linux系统 2.windows系统前言本文是由于公司测试人员测试文件上传时, 问我该如何创建指定大小的大文件比如1G.10G等大小的文件本文讲述了linux系统.win ...
程序给UI美术上的必修课：内存占用, DrawCall和包大小的处理
一个手游的图形技术关键性指标是: 内存占用, DrawCall和包大小. 这三个参数是训练有素的程序和UI美术都需要关注的重要问题. 接下来我们来讲解下UI美术怎么对待这三个问题. 内存占用手机的内 ...
python 保存文件吃内存_python检测空间储存剩余大小和指定文件夹内存占用的实例...
1.检测指定路径下所有文件所占用内存 import os def check_memory(path, style='M'): i = 0 for dirpath, dirname, filename ...
小内存堆管理算法详细解析
1.小内存堆管理算法介绍本文所介绍的内存堆管理是RT Thread操作系统中的小内存管理算法,参考mem.c源文件.这个程序适用于小内存的CPU,比如像STM32F这样的只有几十-几百KB内存的处理 ...
cdr文件太大怎么转成小内存 CDR文件太大打不开怎么办
使用cdr软件制作图形时,常常会将其制作成矢量图形.虽然矢量图形有着不失真.可任意放大等优点,但常会导致cdr文件过大.那么,cdr文件太大怎么转成小内存,CDR文件太大打不开怎么办?本文将会针对以上 ...
android8强制将app移到sd卡,小内存手机 APP强制转移至SD卡教程
虽然近两年手机的机身内存越做越大,但是身边总还是有些朋友在使用几年前的手机.而面对如今海量的丰富应用,早年的手机中内置的存储空间已经开始捉襟见肘.虽说对于这类机型系统通常都提供了将APP转移至外置内存 ...
国外android内存清理工具,小内存手机有救了，这款清理神器，瞬间多出几个G的内存...
原标题:小内存手机有救了,这款清理神器,瞬间多出几个G的内存今日分享:手机内存清理工具适用系统:安卓随着手机的内存越来越大,大家对于垃圾文件清理越来越不感冒,但这样好吗?这样不好,不仅让手机内存 ...
一步一步学linux操作系统: 21 内存管理_小内存分配与页面换出
slub 分配器工作原理相关函数与结构体进程创建的do_fork中会调用copy_process函数,这个函数会调用 dup_task_struct 函数 \linux-4.13.16\kerne ...
连浏览器都卷，64g小内存手机配不上夸克的光环了
说实话,夸克真的好用啊,除了占内存没啥毛病.之前手机上也是用的夸克浏览器,用着用着发现它的体积越来越大了,我那64g小内存手机配不上夸克的光环了.于是,只能默默地卸掉了夸克,安装上其他内存小的浏览器, ...

小内存处理1G或10G大小的log文件

小内存处理1G或10G大小的log文件相关推荐

最新文章

热门文章