java调用七鱼返回文件_网易七鱼 Android 高性能日志写入方案
本文来自网易云社区
作者:网易七鱼 Android 开发团队
前言
网易七鱼作为一款企业级智能客服系统,对于系统稳定性要求很高,不过难保用户在使用中不会出现问题,而 Android SDK 安装在用户的手机上,同时由于 Android 碎片化的问题,对于 Android SDK 的问题排查就显得尤为困难,因此记录下用户的操作日志就显得极为重要。
声明:网易七鱼仅记录操作日志,用于还原问题,不会记录用户的隐私信息。
初始方案
一开始,网易七鱼记录日志的方式是直接通过写文件,当有一条日志要写入的时候,首先,打开文件,然后写入日志,最后关闭文件。这样做的问题就在于频繁的IO操作,影响程序的性能,而且七鱼为了保证消息的及时性,还维护了一个后台进程,当其中一个进程进行日志写入时,另一个就会被锁在门外等着,问题就愈发严重。使用这种方案虽然当前看上去对程序的影响不大,但是随着日志量的增加,更多的IO操作,一定会造成性能瓶颈。
下面我们来分析下直接写入文件的流程:
用户发起 write 操作
操作系统查找页缓存
a.若未命中,则产生缺页异常,然后创建页缓存,将用户传入的内容写入页缓存
b.若命中,则直接将用户传入的内容写入页缓存
用户 write 调用完成
页被修改后成为脏页,操作系统有两种机制将脏页写回磁盘
a.用户手动调用 fsync()
b.由 pdflush 进程定时将脏页写回磁盘
可以看出,数据从程序写入到磁盘的过程中,其实牵涉到两次数据拷贝:一次是用户空间内存拷贝到内核空间的缓存,一次是回写时内核空间的缓存到硬盘的拷贝。当发生回写时也涉及到了内核空间和用户空间频繁切换。
而且相对于机械硬盘,SSD 存储还有一个“写入放大”的问题。这个问题主要和 SSD 存储的物理结构有关。当 SSD 被全部写过一遍之后,再写入的数据是不可以直接更新,只可以通过覆盖重写,在覆盖之前需要先擦除数据。但写入的最小单位是 Page,擦除的最小单位是 Block,而 Block 远大于 Page,所以在写入新数据时就需要先把 Block 上的数据读出来和要写入的数据合并在一起,再把 Block 擦除,最后把读出来的数据重新写入到存储上,这样导致实际写入的数据可能远远大于最开始需要写入的数据。
没想到简单的写文件竟然涉及了这么多操作,只是对于应用层透明而已。
既然每写一次文件会执行这么多次操作,那么我们能不能将日志缓存起来,当达到一定的数量后再一次性的写入磁盘中呢?
这样确实能够大量减少 IO 次数,但是却会引发另一个更严重的问题——丢日志
把日志缓存在内存中,当程序发生 Crash 或进程被杀后就无法保证日志的完整性,而且由于七鱼存在多进程,也无法保证多进程下日志的顺序。
一个完善的日志方案,需要满足
高效,不能影响系统性能,不能因为引入了日志模块而造成应用卡顿
保证日志的完整性,如果不能保证日志完整,那么日志收集就没有意义了
对于多进程应用,要保证最终看到的日志顺序的准确性
高性能方案
既然无法减少写入次数,那么我们能不能在写文件的过程中去优化呢?
答案是可以的,使用 mmap
mmap是一种内存映射文件的方法,即将一个文件或者其它对象映射到进程的地址空间,实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系,函数原型如下
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
mmap操作提供了一种机制,让用户程序直接访问设备内存,这种机制,相比较在用户空间和内核空间互相拷贝数据,效率更高。在要求高性能的应用中比较常用。
同时 mmap 能够保证日志的完整性,mmap 的回写时机:
内存不足
进程退出
调用 msync 或者 munmap
不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)
当映射一个文件后,程序就会在 native 内存中申请一块相同大小的空间,因此建议每次映射一小段内容,如 64k,写满后再重新映射文件后面的内容。
日志写入性能和完整性的问题解决了,那么如何保证多进程下日志的顺序呢?
由于 mmap 是采用共享内存的方式写入数据,如果两个进程同时映射一个文件,那么一定会造成日志覆盖的问题。
既然不能直接保证顺序,那我们只能退而求其次,两个进程分别映射不同的文件,每天合并一次,合并时对日志进行排序。
继续优化
根据上述方案,设计 jni 接口,打包 so,引入 SDK,看似没什么问题了,但是作为一款 SDK,总觉得包含 so 不太友好,在一定程度上会增加接入的难度。
那么能不能不用 so 呢?
其实 Java 中已经提供了内存映射的实现——MappedByteBuffer
MappedByteBuffer 位于 Java NIO 包下,用于将文件内容映射到缓冲区,使用的即是 mmap 技术。通过 FileChannel 的 map 方法可以创建缓冲区
MappedByteBuffer raf = new RandomAccessFile(file, "rw");MappedByteBuffer buffer = raf.getChannel().map(FileChannel.MapMode.READ_WRITE, position, size);
为了测试 MappedByteBuffer 的效率,我们把 64byte 的数据分别写入内存、MappedByteBuffer 和磁盘文件 50 万次,并统计耗时
方法耗时内存384ms
MappedByteBuffer700ms
磁盘文件16805ms
可以看出 MappedByteBuffer 虽然不及写入内存的性能,但是相比较写入磁盘文件,已经有了质的提升。
总结
本文主要分析了直接写文件记录日志方式存在的问题,并引申出高性能文件写入方案 mmap,兼顾了写入性能和完整性,并通过补偿方案确保多进程下日志的顺序。最后发现了内存映射在 Java 层的实现,避免了引入 so。
网易云免费体验馆,0成本体验20+款云产品!
更多网易研发、产品、运营经验分享请访问网易云社区。
java调用七鱼返回文件_网易七鱼 Android 高性能日志写入方案相关推荐
- java调用帆软cpt文件_报表开发导出各种格式文件的API
文件输出的多样性,准确性和稳定性对于我们常用的报表软件来说很重要.报表的输入是指从报表的模板文件(XML格式的)创建WorkBook对象,输出则指将报表保存为各种格式文件,比如Pdf.Excel.Wo ...
- java调用帆软cpt文件_报表中心FineReport中java如何直接调用报表打印
完整代码: package com.fr.io; import java.io.File; import java.util.HashMap; import com.fr.base.FRContext ...
- java调用项目中的文件_详解eclipse项目中.classpath文件的使用
1 前言 在使用eclipse或者myeclipse进行java项目开发的时候,每个project(工程)下面都会有一个.classpath文件,那么这个文件究竟有什么作用? 2 作用 .classp ...
- android app.build文件_网易友品 Android 客户端组件化演进
原文作者:简书 - 四单老师 项目背景 主站业务经历了长期的迭代维护,业务的增长同时带来每个版本业务量繁重,迭代周期很快.同时团队也在不断的扩张,对应拆分了组内不同的业务线对接不同业务线的需求,最初的 ...
- Java调用存储过程(返回:简单类型VARCHAR、自定义对象STRUCT、列表数组VARRAY)
ORACLE 存储过程 练习七 数组专题 写在前面的废话 由于工作需要经常用到 ORACLE存储过程 其中数组是不可避免的一组成元素.那么让我们来体会一下 ORACLE存储过程的数组到低是如何使用的. ...
- java调用wkhtmltopdf生成pdf文件,美观,省事
最近项目需要导出企业风险报告,文件格式为pdf,于是搜了一大批文章都是什么Jasper Report,iText ,flying sauser ,都尝试了一遍,感觉不是我想要的效果, 需要自己调整好多 ...
- java并发读取相同的文件_高效读取大文件,再也不用担心 OOM 了!
最近阿粉接到一个需求,需要从文件读取数据,然后经过业务处理之后存储到数据库中.这个需求,说实话不是很难,阿粉很快完成了第一个版本. 内存读取 第一个版本,阿粉采用内存读取的方式,所有的数据首先读读取到 ...
- java防止用户越权访问文件_针对功能权限(url访问)如何避免越权访问
uva 11324 Problem B: The Largest Clique Given a directed graph G, consider the following transformat ...
- java防止上传恶意文件_从补丁分析到在野利用:揭秘CVE20201464 Windows文件签名验证绕过漏洞疑云...
背景 2020年8月12日,微软发布了8月份的漏洞风险通告.通告中一个显示已被公开披露和在野利用的漏洞进入了我们的视野.该漏洞编号为CVE-2020-1464,其被描述为Windows验证文件数字签名 ...
最新文章
- git bash的安装与配置
- 一些常用UI控件汇总
- linux如何查看所有的用户(user)、用户组(group)、密码(password/passwd)
- LOJ116 有源汇有上下界最大流(上下界网络流)
- Mac远程控制软件哪款好用?Remote Desktop manager for mac「专业」
- 浅析 Linux 初始化 init 系统,第 3 部分: Systemd
- 互联网思维借鉴的两个核心
- 递归算法—输入字母逆序输出汉诺塔递归算法
- 最新原生nodejs调试器的使用大全详解
- 步步高告诉你如何获客增长:4种数字化驱动案例
- 【信息系统项目管理师】第一章 信息系统综合知识(考点汇总篇)
- 计算机录屏幕和声音的软件是什么,电脑录屏软件带声音哪个好用 电脑录屏软件带声音软件...
- matlab lte rsrp,为什么选择 FieldFox 手持式分析仪?- 更宽带宽,更高精度
- 按搜索量排名前100位访问量最高的网站(截至2020年)
- 无限城app为什么服务器繁忙,无限城决战中上弦鬼为何一点忙都帮不上?无惨:全是混子...
- 18966 两两配对差值最小
- vue使用高德地图为信息窗体再添加点击事件
- 微信三级分销系统介绍
- j2ee常用工作流比较(shart、osworkflow、jbpm)
- 精品英文字体:20款免费的的圣诞节艺术字体
热门文章
- 华为鸿蒙系统超级终端,华为再发新版鸿蒙OS系统!新增超级终端功能:可媲美iOS系统...
- kindle运行linux命令,Kindle4: 编译并运行官方linux kernel – v2.6.31
- Android加密 看雪,Android加密与解密入门两题
- 零基础JavaScript-DOM入门(第一天)(第二天)
- 我的世界java版如何装mod_我的世界MOD怎么安装 MOD安装简易教程
- IOS苹果手机背景音乐不能自动播放问题
- html text decoration,更好利用text-decoration属性
- 数据结构学习之二叉树(理论篇)
- 脱离文档流的方法CSS浮动产生的负面影响及解决办法
- 如何使用FME在Revit中导出IFC