shell脚本单词去重多个文件

例如要求如下：

有多个txt文件，每个文件内有多行单词
中间为英文的”,”，或者中文的”，”逗号作为分隔符。

world,世界
set，设置
good,好，商品
....

将这些文件汇总去除重复的单词，并输出到一个新的文件内
要求可以不区分大小写

实现

#! /bin/bash
#------------------------------------------------------------------------------
# Filename:    filterWords.sh
# Usage:       ./filterWords.sh ~/test/
# Version:     1.0
# Date:        2018-04-04
# Author:      vincent
# Email:       N/A
# Description: 此脚本用于过滤多个文件的重复单词，保留唯一的单词，并输出结果到新的文件
#              忽略大小写，如果单词重复，随机保留释义
#              支持格式：
#                  set,设置        #英文标点
#                  set，设置       #中文标点
#                  set,设置，集合   #支持多个“,”，但是默认第一分隔符前面为单词
#                  SeT,设置        #支持不许分大小写
# Notes:       N/A
#-------------------------------------------------------------------------------declare folderPath=$1
declare currentTime=$(date +%F"-"%H"-"%M"-"%S)
declare outputPath="${currentTime}_words.txt"
declare wordsCounts=0outputMsg()
{if [ $1 -ne 0 ]thenecho $2exit 1fi
}# 检验路径是否为空
if [ -z $folderPath ]
thenfolderPath="."
else# 检验路径是否存在if [ ! -d $folderPath ]thenecho "${folderPath} is not existed !"exit 1fi
fifileList=$(find $folderPath -type f -name "*.txt")
outputMsg $? "Find txt file failed!"
if [[ -z $fileList ]]
thenecho "No txt files are found."exit 1
fi# 支持英文的“,”或者中文的“，”分隔符,忽略大小写
# 这里在复制代码的时候，注意格式，最好自己缩短为一行，否则很容易出错
# 设置两种分隔符
awk -F'[,|，]' 'BEGIN{key="";}{key=tolower($1);words[key]=$0}END{for(i in words) print words[i]}' $fileList > $outputPath
outputMsg $? "Filter words failed!"wordsCounts=$(wc -l $outputPath)
echo "Words counts: "
echo $wordsCounts

shell脚本单词去重多个文件相关推荐

crontab里shell脚本将top信息写入文件
crontab里shell脚本将top信息写入文件: 注: 1.top -n 1代表执行1次退出(默认top是不退出的),-d 1代表每1秒执行1次 2.crontab里需加/bin/bash # c ...
linux配置定时删除日志文件,Linux使用shell脚本定时删除历史日志文件
Linux使用shell脚本定时删除历史日志文件,文件,小时,时间,目录,脚本 Linux使用shell脚本定时删除历史日志文件易采站长站,站长之家为您整理了Linux使用shell脚本定时删除历史 ...
linux shell脚本自动批量解压文件
单个文件解压很简单,批量不确定目录的压缩包呢?解压到原路径?解压后删除原压缩包?本脚本可一键解决以上所有问题 linux shell脚本自动批量解压文件脚本免费下载地址: 传送门https://do ...
linux shell 获取表,bash - 如何获取shell脚本中目录中的文件列表？
bash - 如何获取shell脚本中目录中的文件列表? 我试图使用shell脚本获取目录的内容. 我的脚本是: for entry in `ls $search_dir`; do echo $ent ...
分享一个有趣的shell脚本--单词及字母去重排序案例
概述今天主要分享一个用shell脚本来实现单词及字母去重排序案例,下面一起来看下吧~ 需求 1.按单词出现频率降序排序! 2.按字母出现频率降序排序! 相关文本: the squid project ...
shell脚本删除linux中的文件
❤️强烈推荐人工智能学习网站❤️ 在linux下的开发中,经常可能遇到磁盘满的情况,前面介绍了du命令.但有些情况下,这还不够.有些后台抓包的进程一直在跑,随时都要防止磁盘满,于是我们写一个shell ...
Linux Shell脚本去掉几类常见文件中的注释
Linux操作系统中去掉各类文件中的注释这个功能比较常用,通常用在查看一个较长的文件,又不想看注释的情况.通常这些文件包括C语言编写的*.c.*.h文件.cpp文件.*.xml文件.*.sh shel ...
Shell脚本攻略04-玩转文件描述符及重定向
概述文件描述符是与文件输入.输出相关联的整数.它们用来跟踪已打开的文件. 最常见的文件描述符是stdin. stdout和stderr. 我们甚至可以将某个文件描述符的内容重定向到另一个文件描述符中 ...
shell脚本实践：自动清理文件，以时间方式形成路径的图片或者是Excel、pdf等文件
目录 1.背景: 2.shell脚本开发需求: 3.shell脚本开发过程: 4.shell脚本开发结果: 5.shell脚本开发结果验证总结: 1.背景: 在日常运维中遇到一个业务系统,系统中有一 ...

shell脚本单词去重多个文件

shell脚本单词去重多个文件

实现

shell脚本单词去重多个文件相关推荐

最新文章

热门文章