大数据开发之Hive篇12-Hive正则表达式

一、大数据开发之Hive篇12-Hive正则表达式

Hive支持的正则表达式包括regexp、regexp_extract、regexp_replace，主要用于解决HQL开发过程中的问题。Hive正则表达式虽不如关系型数据库那么强大，但在数据处理中仍能发挥重要作用。下面将具体介绍Hive的正则表达式使用。

正则表达式的使用分为三个部分：字符集合、字符簇和regexp_replace函数。

\w：匹配任意单词字符，包括A-Z、a-z、0-9和下划线

\s：匹配任意空白字符，包括制表符、换行符、回车符、换页符和垂直制表符

使用A REGEXP B等同于使用RLIKE，用于匹配字符串。

该函数用于替换字符串中与正则表达式匹配的子字符串。使用方法为regexp_replace(INITIAL_STRING,"模式","替换实例")，例如regexp_replace("foobar"，"oo|ar"，"")返回'fb'。

截取字符串中汉字部分：代码未提供，使用regexp_replace匹配汉字

截取字符串中数字部分：代码未提供，使用regexp_replace匹配数字

截取字符串中字母部分：代码未提供，使用regexp_replace匹配字母

截取字符串中的大小写字母和数字：代码未提供，使用regexp_replace匹配大小写字母和数字

该函数用于提取使用正则表达式模式匹配到的字符串，例如regexp_extract('foothebar'，'foo(.*?)(bar)'， 2)返回'bar'。注意在使用预定义字符类时，'\s'作为第二个参数时匹配字母s，'\s'必须匹配空格。

代码未提供，使用regexp_extract提取json数据中的特定部分

cwiki.apache.org/confluence...

二、Hive正则表达式

参考维基百科、 Hadoop Hive概念学习系列之hive的正则表达式初步（六）和 Hive正则匹配函数

之前没有在意过正则表达式，但是工作组不可避免的遇到了，感觉也比较重要，就花点时间理解一下。

正则表达式的目的：对字符串str进行解析，用正则表达式(pattern)进行匹配，并得到我们想要的符合模板pattern的字符串。

一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列匹配某个句法规则的字符串。例如：Handel、Händel和Haendel这三个字符串，都可以由H(a|ä|ae)ndel这个模式来描述。

同一个正则表达式可以匹配多个字符串。

例如，goo+gle可以匹配google、gooogle、goooogle等

0*42可以匹配42、042、0042、00042等。

反过来说，对于google、gooogle、goooogle我们都可以用正则表达式“goo+gle”匹配得到。而google、gooogle、goooogle就算我们想要的符合模板pattern的字符串。

举两个经常用到的：regexp_extract与 regexp_replace

regexp_extract(str, regexp[, idx])字符串正则表达式解析函数。

extracts a group that matches regexp

其中还有几个符号与idx需要注意的地方。

小括号()标记一个子表达式的开始与结束的位置。

**1表示返回正则表达式中第一个()对应的结果**。

2表示返回正则表达式中第二个()对应的结果

0表示把整个正则表达式对应的结果全部返回

此时，第一个（）中对应结果是love，所以返回“love”。

因为idx是0，所以返回整个正则表达式匹配的结果。

语法: regexp_replace(string A, string B, string C)

说明：将字符串A中的符合Java正则表达式B的部分替换为C。

注意，在有些情况下要使用转义字符,类似 Oracle中的regexp_replace函数。

三、SQL专题(三十)-hive regexp 正则表达式

1、正则表达式在Hive中的高级应用包括分组与捕获。在Hive中使用正则表达式时，需要特别注意转义字符的使用，其格式为两个反斜杠`\`。例如，真正的Hive正则提取函数为`regexp_extract`，其语法为`regexp_extract(string subject, string pattern, int index)`。此函数用于从指定字符串中根据正则表达式规则提取特定部分，返回指定索引（从1开始计）的字符串。如果未指定索引，则默认返回匹配的全部结果。提取的组数与索引值对应，如索引2对应第二个匹配组。

2、Hive的`split`函数使用正则表达式进行字符串分割。若分隔符是括号`()`，则需用两个反斜杠`\\`转义，如`split('12321(12312)','\\(')`。此函数的语法为`split(string str, string pat)`，使用正则表达式`pat`作为分隔符将字符串`str`进行分割。

3、在处理包含多个数字的正则表达式时，需注意正则表达式的懒惰模式。特别是在两个捕获组之间的`.*?`模式时，如果不加懒惰模式标记`?`，`.*`可能会启用贪婪模式，导致中间的捕获组内容被覆盖。因此，正确使用正则表达式的分组与捕获功能，对理解与解决Hive中的正则表达式问题至关重要。