lua 文件读写处理（操作敏感词库）

最近需要给游戏做一个敏感词新系统，我采用的方法是比较常用的DFA（确定有穷状态机）算

法，先不讲算法，而这种算法的实现需要一个相应的敏感词库。

我拿到了词库后发现词库中大概有8000+个词，其中包括很多重复的，还有很多有着头包含关

系的词；

　　什么是头包含词呢？看如下例子：

　　我们知道在DFA算法读取敏感词后如果存在这种情况：

　　词1: "ab" 词2: "abc"

　　在读取之后“ ab “这个敏感词就会不复存在而被abc覆盖掉，而我们游戏需要对敏感词进行的

操作不是以其他字符（如 * *）代替句子中的敏感词而是如果判断出句子中含有敏感词，则无法发

出。所以，如果 “ab” 已经是敏感词了，“abc”就没有必要出现在敏感词库中了所以我需要将敏感

词库中的

　　1. 相同的词只留下一个

　　2. 删除头包含其他敏感词的敏感词

　　但是现有的敏感词库中有8000+ 个词我不可能一个个去找，所以我就想到了利用现有的lua io

文件库对原先的敏感词库进行处理这样可以节省太多的时间代码如下

local function getNewWord()local wordsDataInput  = {}local wordsDataOutput = {}-- 读取文件-- 以只读方式打开文件local file_input = io.open("sensitive_words_input.txt", "r")-- 设置默认输入文件为 test.luaio.input(file_input)-- 逐行读取文件local string_l = file_input:read("*l") while(string_l ~= nil)dotable.insert(wordsDataInput, string_l)string_l = file_input:read("*l") endio.close(file_input)-- 写入文件-- 以只写方式打开文件local file_output = io.open("sensitive_words.txt", "a")-- 设置默认输出文件为io.output(file_output)-- 对数据进行处理-- 如果有头包含local function ifIsHeadInTable(str)for i = 1, #wordsDataInput dolocal startIndex, endIndex = string.find(wordsDataInput[i], str)if startIndex ~= nil and endIndex ~= nil then-- 如果find到头索引为1,尾索引不为字符串长度则可以认定为是头包含关系if startIndex == 1 and endIndex ~= string.len(wordsDataInput[i]) thenwordsDataInput[i] = "\n"endendend    end -- 是否已经有相同的local function isHasSameInTable(str)if not wordsDataOutput or not next(wordsDataOutput) then return false endfor key, value in ipairs(wordsDataOutput) doif value == str thenreturn trueendendreturn falseend-- 先剔除头包含for key, value in pairs(wordsDataInput) doifIsHeadInTable(value)end-- 再剔除相同的for key, value in ipairs(wordsDataInput) doif not isHasSameInTable(value) thentable.insert(wordsDataOutput, value)endendfor index, word in pairs(wordsDataOutput) doio.write(word.."\n")endio.close(file_output)
end

　　操作后的文件少了整整4000个词，差不多35kb，这样加载词库需要的空间和时间都大大减少。但是要注意的是lua对文件的操作都是以UTF-8编码来的，如果是其他编码的文件就不能用了。

转载于:https://www.cnblogs.com/kpxy/p/11256560.html

lua 文件读写处理（操作敏感词库）相关推荐

Android U盘文件读写复制操作
Android U盘文件读写复制操作应用开发起因一.U盘的拔插监听及读取U盘设备二.读取文件列表 1.U盘文件列表读取 2.Storage文件列表读取三.通过文件列表进入文件,进行文本文件的读 ...
网站发帖敏感字java_网站敏感词过滤的实现（附敏感词库）
现在基本上所有的网站都需要设置敏感词过滤,z似乎已经成了一个网站的标配,如果你的网站没有,或者你没有做相应的处理,那么小心相关部门请你喝茶哦. 最近在调研Java web网站的敏感词过滤的实现,网上找 ...
Matlab的各种数据读取、文件读写等操作汇总
Matlab的各种数据读取.文件读写等操作汇总 MATLAB提供了多种方式从磁盘读入文件或将数据输入到工作空间,即读取数据,又叫导入数据:将工作空间的变量存储到磁盘文件中称为存写数据,又叫导出数据.至 ...
python怎么保存文件代码_Python文件读写保存操作的实现代码
本篇文章给大家带来的内容是关于Python文件读写保存操作的实现代码 ,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 记录下第一次使用Python读写文件的过程,虽然很简单,第一次实 ...
C++11 文件读写(vs2019 安装配置boost库)
一.VS2019 安装配置boost库 1.库下载 boost v1.75下载: Boost Downloads boost v1.70下载:Version 1.70.0 本文使用boost v1.7 ...
敏感词库 php,敏感词过滤的php类库
简介: class Logic_BlackWord { const APP_FORUM = 1; const APP_BLOG = 2; const APP_VOTE = 3; public fu ...
python读取写入文件_Python文件读写保存操作
记录下第一次使用Python读写文件的过程,虽然很简单,第一次实现其实也有些注意的事项. 单个文件的读操作: 我们先假设一个需求如下: 读取一个test.txt文件删除指定字符之前的文本需求明白之 ...
python存文件代码_Python文件读写保存操作的示例代码
记录下第一次使用Python读写文件的过程,虽然很简单,第一次实现其实也有些注意的事项. 单个文件的读操作: 我们先假设一个需求如下: 读取一个test.txt文件删除指定字符之前的文本需求明白之 ...
php返回当前字符串把所有敏感词变红,PHP 实现敏感词 / 停止词过滤（附敏感词库）...
敏感词.文字过滤是一个网站必不可少的功能,如何设计一个好的.高效的过滤算法是非常有必要的.在实现敏感词过滤的算法中,我们必须要减少运算,而 DFA 在 DFA 算法中几乎没有什么计算,有的只是状态的转 ...
文件读写io操作范例
系统io读写,copy int main(int argc, char **argv) { if(argc != 3) { printf("Usage: %s <src> ...

lua 文件读写处理（操作敏感词库）

lua 文件读写处理（操作敏感词库）相关推荐

最新文章

热门文章