背景

最近在工作中，遇到一些匹配，需要使用正则表达式，发现自己在这一块知识有所欠缺，故总结一下；

一、正则的通配符简介

1、正则表达式的符号及意义

符号	含义	实列
/	做为转意，即通常在"/"后面的字符不按原来意义解释	如" * “匹配它前面元字符0次或多次，/a/将匹配a,aa,aaa，加了”/"后，/a/ /将只匹配"a* "
^	匹配一个输入或一行的开头	/^a/匹配"an A"，而不匹配"An a"
$	匹配一个输入或一行的结尾	/a$/匹配"An a"，而不匹配"an A"
*	匹配前面元字符0次或多次	/ba*/将匹配b,ba,baa,baaa
+	匹配前面元字符1次或多次	/ba+/将匹配ba,baa,baaa
?	匹配前面元字符0次或1次	/ba?/将匹配b,ba
(x)	匹配x保存x在名为$1…$9的变量中
x竖y	匹配x或y
{n}	精确匹配n次
{n,}	匹配n次以上
{n,m}	匹配n-m次
[xyz]	字符集(character set)，匹配这个集合中的任一一个字符(或元字符)
[^xyz]	不匹配这个集合中的任何一个字符
/d	匹配一个字数字符	//d/ = /[0-9]/
/D	匹配一个非字数字符	//D/ = /[^0-9]/
/s	匹配一个空白字符，包括/n,/r,/f,/t,/v等
/S	匹配一个非空白字符，等于/[^/n/f/r/t/v]/
/w	匹配一个可以组成单词的字符(alphanumeric，这是我的意译，含数字)，包括下划线，如[/w]匹配"$5.98"中的5，等于[a-zA-Z0-9]
/W	匹配一个不可以组成单词的字符，如[/W]匹配"$5.98"中的 $，等于[^a-zA-Z0-9]

备注：
‘( )’ 标记一个子表达式的开始和结束位置。
‘[]’ 标记一个中括号表达式。
/num 匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。

2、字符簇：

[[:alpha:]] 任何字母。
[[:digit:]] 任何数字。
[[:alnum:]] 任何字母和数字。
[[:space:]] 任何白字符。
[[:upper:]] 任何大写字母。
[[:lower:]] 任何小写字母。
[[:punct:]] 任何标点符号。
[[:xdigit:]] 任何16进制的数字，相当于[0-9a-fA-F]

3、各种操作符的运算优先级：

转义符>圆括号和方括号>限定符>位置和顺序
具体如下：
/ 转义符
(), ( ?: ), (?=), [] 圆括号和方括号
*, +, ?, {n}, {n,}, {n,m} 限定符
^, $, anymetacharacter 位置和顺序
正则表达式的符号及意义

二、regexp函数

语法: A REGEXP B
操作类型: strings
描述: 功能与RLIKE相同

hive> select id,name,birthday,tea_list from stu_info where birthday regexp '\\d{8}';
id  name    birthday    tea_list
01  zhangsan    20000308    东邪|西毒|南帝|北丐
02  lisi    20040418    东邪|西毒|南帝
03  wangwu  20011008    西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where tea_list regexp '东邪|北丐';
id  name    birthday    tea_list
01  zhangsan    20000308    东邪|西毒|南帝|北丐
02  lisi    20040418    东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\d{8}';
id  name    birthday    tea_list
05  tianqi  1994-10-01  西毒|南帝

补充：like （模糊匹配）与rlike的区别
示例：

hive>select id,name,birthday,tea_list from stu_info where tea_list like '%东邪%';
id  name    birthday    tea_list
01  zhangsan    20000308    东邪|西毒|南帝|北丐
02  lisi    20040418    东邪|西毒|南帝
hive> select id,name,birthday,tea_list from stu_info where birthday not rlike '\\d{8}';
id  name    birthday    tea_list
05  tianqi  1994-10-01  西毒|南帝

首先需要明确的是like的内容不是正则，而是通配符。
而rlike的内容可以是正则，正则的写法与java一样。需要转义，例如’\m’需要使用’\m’
1，%：表示任意0个或多个字符。可匹配任意类型和长度的字符，有些情况下若是中文，请使用两个百分号（%%）表示

SELECT name FROM stu_info WHERE name LIKE '%三%';

2，_：表示任意单个字符。匹配单个任意字符，它常用来限制表达式的字符长度语句；

SELECT name FROM stu_info WHERE name LIKE '_三_';
SELECT name FROM stu_info WHERE name LIKE '三_';

3，[ ]：表示括号内所列字符中的一个（类似正则表达式）。指定一个字符、字符串或范围，要求所匹配对象为它们中的任一个。

SELECT name FROM stu_info WHERE name LIKE '[张李王]三';

4，[ ^ ] ：表示不在括号所列之内的单个字符。其取值和 [] 相同，但它要求所匹配对象为指定字符以外的任一个字符。

SELECT name FROM stu_info WHERE name LIKE '[^张李王]三';

三、regexp_extract函数

语法: regexp_extract(string subject, string pattern, int index)
返回值: string
说明：将字符串subject按照pattern正则表达式的规则拆分，返回index指定的字符
idx是返回结果取表达式的哪一部分默认值为1。
0表示把整个正则表达式对应的结果全部返回
1表示返回正则表达式中第一个() 对应的结果以此类推。

hive> select regexp_extract('IloveYou','I(.*?)(You)',1) from test1 limit 1;
love
hive> select regexp_extract('IloveYou','I(.*?)(You)',2) from test1 limit 1;
You
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',1) from test1 limit 1;
I
hive> select regexp_extract('IloveYou','(I)(.*?)(You)',0) from test1 limit 1;
IloveYou
hive>select  regexp_extract(create_time,'[0-9]{3}[1-9]-(0[1-9]|1[012])-[0-9]{2}',0) from time_table_1;
2021-08-14
2021-08-15
2021-08-16

四、regexp_replace函数

语法: regexp_replace(string A, string B, string C)
返回值: string
说明：将字符串A中的符合java正则表达式B的部分替换为C。注意，在有些情况下要使用转义字符,类似oracle中的regexp_replace函数。

hive> select regexp_replace("IloveYou","You","") from test1 limit 1;
Ilove
hive> select regexp_replace("IloveYou","You","lili") from test1 limit 1;
Ilovelili
hive>select date_format (regexp_replace('2017/05/21','/','-'),'yyyy-MM-dd') data_dt;
2017-05-21

参考：https://blog.csdn.net/bitcarmanlee/article/details/51106726

大数据之Hive:正则表达式相关推荐

大数据之Hive入门
1 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计.Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供 ...
大数据第三季--Hive（day3)-徐培成-专题视频课程
大数据第三季--Hive(day3)-1425人已学习课程介绍大数据第三季--Hive(day3) 课程收益大数据第三季--Hive(day3) 讲师介绍徐培成 ...
大数据数据仓库 Hive (三)
大数据技术之Hive 一 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据 ...
大数据之hive 阿善看到
第1章 Hive基本概念 1.1 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计工具. Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张 ...
大数据：Hive和Hbase的区别于优势
1. 前言最近在研究大数据相关知识,Hive和Hbase是之前本科的时候调研过的两个数据仓库.现在特把这两个数据仓库拿来总结以下,这两个数据仓库各自由各自的特点,可以应用与不同的应用场景.对于大数据 ...
大数据技术-hive窗口函数详解
有不少同学一听这个标题,hive窗口函数是什么鬼?没听说过还有窗口函数这个东西啊,其实它的用处可大了,下面听小千慢慢道来. hive窗口函数窗口函数指定了函数工作的数据窗口大小(当前行的上下多少行) ...
查询hive表_大数据中Hive与HBase的区别与联系
二者区别 Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能. Hive本身不存储和计算数据,它完全依赖于HDFS和MapRe ...
大数据之Hive教程
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据.它架构在Hadoop之上,总归为大数据,并使得查询和分析方便.并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务 ...
Hive大数据-Hive的安装与启动---大数据之Hive工作笔记0005
然后我们再去看这个hive的安装,其实正确的学习路径应该是,首先去看一下hadoop,因为大数据中,很多知识都是基于hadoop的,然后再去看hive,然后再去看hbase,spark,flink ...

大数据之Hive:正则表达式

目录

背景