如何从一个大规模的文本中筛选出符合条件的记录

现在是大数据时代。尤其是互联网企业，任何一个人都有可能拿到一份庞大的数据。不管你是否具有数据处理的能力，你都要面对它。

面对突如其来的一份庞大的数据，该怎样来对付它呢？这时候用SqlCel正是一个非常好的选择。

为了直观地介绍SqlCel的数据处理功能。我们设定一个具体的场景。比如你发现本公司的视频类APP当天播放卡顿率明显升高，于是你请求数据部门提取相关明细数据。你怀疑是新上的版本异常，于是你要从明细数据中提取最新的APP版本号作进一步的分析。

你获取的是一个1000万行的csv文本，怎样从这个文本中提取最新版本号的所有记录？这就是今天的考题。

对于一个专业的数据处理人员可能会对这个问题不屑一顾。因为只需要把数据导入数据库并写一个sql语句就可以查询出来。然而，对于多数运营人员，他是没有数据库的，更不会使用数据库。

而用SqlCel问题就会变得非常简单。本文提供三种用SqlCel实现这个功能的方法。

用SqlCel处理文本（csv/txt格式的文件）首先需要连接到文本所在的文件夹。如下：

方法一、用“选取记录”功能。如下：

点击“生成”按钮即可将 VersionCode = ‘V3.8.2’ 的记录筛选到一个名为"V382.csv"的新表中。如下：

方法二：用“拆分文件”
拆分文件可逐行过滤文本筛选出符合条件的记录，并可同时输出对立文件（不符合过滤条件的文件）

方法三、使用SQL语句

SqlCel可向文本提交SQL语句。SqlCel不仅可以提交SELECT语句，还可以提交CREATE语句。SQL语句如下：

CREATE TABLE V382.csv AS SELECT * FROM bofang200720.csv WHERE VersionCode='V3.8.2'

通过这个SQL语句可以选取符合条件的记录并存储在一个新的表“V382.csv”中

csv/txt文本的CREATE语句是SqlCel比较创新的一个写法，可通过SELECT选取记录并输出到一个新的文本中。

如何从一个大规模的文本中筛选出符合条件的记录相关推荐

java 根据条件从list中筛选出符合条件的集合_Java8 Stream：2万字20个实例，玩转集合的筛选、归约、分组、聚合
点波关注不迷路,一键三连好运连连! 先贴上几个案例,水平高超的同学可以挑战一下: 从员工集合中筛选出salary大于8000的员工,并放置到新的集合里. 统计员工的最高薪资.平均薪资.薪资之和. 将员 ...
利用Lambda表达式从实体集合中筛选出符合条件的实体集合
前言已知存在两张表:表A和表B,表A中有一个字段存储的是表B的部分Id集合,以字符串的形式存储,如图1-1所示: 图1-1 表A中的字段现在我获取到了表A中这个字段的值和表B中所有数据的实体集合, ...
Dataframe中筛选出满足条件的行
[小白从小学Python.C.Java] [Python-计算机等级考试二级] [Python-数据分析] Dataframe中筛选出满足条件的行选择题关于以下代码说法错误的是? import ...
用stream流来遍历处理list，筛选出符合条件的list，并对其中某些值求和
用过就记录一下,筛选符合条件的,并计算某个元素的和.用stream流来遍历处理list,筛选出符合条件的list,并对其中某些值求和代码如下 List<OctvBoardCheckEquip& ...
R语言 | 利用tushare下载中小板所有股票数据并筛选出符合条件的股票
作者的tushare ID:456548 作者在股市进行比较短线的投资,开发了一些高效的指标作为买卖的参考,于是需要k线.市值.换手率等数据进行研究,同花顺等软件上面大多数据不能导出,所以找到了tus ...
Java中List集合过滤出符合条件的List元素集合
在项目开发的过程中,我们经常会对List集合进行按条件的过滤,筛选出我们想要的结果或者是符合项目需求的数据.比如:我们有一批学生对象,每个学生都有自己的年龄属性,但是我们想要筛选出这一批学生中年龄为2 ...
js从一个数组中筛选出另一个数组中存在的值
js从一个数组中筛选出另一个数组中存在的值这里从arr中筛选arr1中存在的值,arr2为筛选结果数组 let arr=["1","2","3&qu ...
python统计英文文章中单词出现的次数并排序_python,_关于统计某一个单词在文本中出现的次数，python - phpStudy...
关于统计某一个单词在文本中出现的次数人生苦短,我用Python.用了不会,来到segment. 我是一个python 初学者,想要实现一个"模块",可以让用户输入某个单词 ...
【网络安全】如何使用PacketSifter从pcap中筛选出有用的信息
关于PacketSifter PacketSifter这款工具旨在帮助广大研究/分析人员从捕捉到的数据包文件(pcap)中筛选出其中有价值或值得分析的流量数据.PacketSifter可以接受一个pc ...

如何从一个大规模的文本中筛选出符合条件的记录

如何从一个大规模的文本中筛选出符合条件的记录相关推荐

最新文章

热门文章