搜索重复代码_通过MappedByteBuffer搜索大文件

此应用程序对于在不适合BufferedReader、files.readAllLines（）、files.lines（）和Scanner的大文件中进行搜索非常有用。

我们将在这里讨论的解决方案基于Java NIO.2、MappedByteBuffer和FileChannel。此解决方案从给定文件上的文件通道打开内存映射字节缓冲区（mapped byte buffer）。我们遍历获取的字节缓冲区并查找与搜索字符串的匹配项（此字符串转换为字节byte[]，然后逐字节进行搜索）。

对于相对较小的文件，将整个文件加载到内存中会更快（如果RAM允许的话）。对于大型/大型文件，以块（例如，5 MB的块）的形式加载和处理文件会更快。加载块后，必须计算搜索字符串的出现次数。我们存储结果并将其传递给下一个数据块。我们重复这个直到整个文件被遍历。

让我们来看看这个实现的核心代码（查看与本书捆绑在一起的源代码以获得完整的代码）：

这个解决方案非常快速，因为文件直接从操作系统的内存中读取，而不必加载到JVM中。操作在本机级别（称为操作系统级别）进行。注意，此实现仅适用于UTF-8字符集，但也可以适用于其他字符集。

完整的应用程序在GitHub上可用。

如果您喜欢这篇文章，那么我相信您一定会喜欢Java编码问题的第6章。本章专门讨论Java中的文件/文件夹操作。

这么多大牛的代码，如果您希望换一个工作，如果您希望换一个工作环境，来来来：

搜索重复代码_通过MappedByteBuffer搜索大文件相关推荐

【重构】代码的坏味道总结 Bad Smell (一) (重复代码 | 过长函数 | 过大的类 | 过长参数列 | 发散式变化 | 霰弹式修改)
膜拜下 Martin Fowler 大神 , 开始学习圣经重构-改善既有代码设计 . 代码的坏味道就意味着需要重构, 对代码的坏味道了然于心是重构的比要前提; . 作者 : 万境绝尘转载请注明出 ...
搜索重复代码_LeetCode专题——详解搜索算法中的搜索策略和剪枝
今天是LeetCode专题第20篇文章,今天讨论的是数字组合问题. 描述给定一个int类型的候选集,和一个int类型的target,要求返回所有的数字组合,使得组合内所有数字的和刚好等于target ...
vsc 搜索特定代码_特定问题的通用解决方案：何时编写代码以及何时编写代码...
vsc 搜索特定代码 by Rina Artstain 通过丽娜·阿斯特斯坦特定问题的通用解决方案:何时编写代码以及何时编写代码 (Generic solutions to specific pro ...
京东搜索框html,京东添加搜索框代码模块点击搜索按钮失效提示您访问的页面失联啦的处理方法...
京东店铺装修搜索框模块时搜索框按钮点击无效无法搜索.不少美工在京东店铺装修过程中自定义设计安装的搜索框加好链接后点击搜索框按钮提示抱歉!您访问的页面失联啦-是怎么回事?是加的搜索框地址不对吗?那么要怎 ...
c++编写手机小游戏代码_经典小游戏大集合(C++ 源码)
[实例简介] 五子棋贪吃蛇俄罗斯方块黑白棋连连看推箱子扫雷等7个小游戏 C++源码 VC6.0 下编译运行. [实例截图] [核心代码] 经典小游戏大集合(C源码) └── 经典小游戏大集 ...
java 大文件处理_用Java处理大文件
java 大文件处理我最近不得不处理一组包含历史逐笔交易的外汇市场数据的文件,并很快意识到使用传统的InputStream都无法将它们读取到内存中,因为每个文件的大小都超过4 GB. Emacs甚 ...
大文件分片上传前端框架_无插件实现大文件分片上传，断点续传
文件上传.gif 1. 简介: 本篇文章基于实际项目的开发,将介绍项目中关于大文件分片上传.文件验证.断点续传.手动重试上传等需求的使用场景及实现: 2. 项目需求在一个音视频的添加中,既要有音视频 ...
python读文件代码-简单了解Python读取大文件代码实例
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下通常对于大文件读取及处理,不可能直接加载到内 ...
怎么用python读取大文件_使用Python读取大文件的方法
背景准备试一试:f =开放(\u201C\/道路\/ \/文件\u201D,\u201Cr\u201D)打印()最后:如果f:()调用读()将读取所有文件的内容,如果文件有10 g,记忆会破灭,所以, ...

搜索重复代码_通过MappedByteBuffer搜索大文件

搜索重复代码_通过MappedByteBuffer搜索大文件相关推荐

最新文章

热门文章