Python正则表达式指南

今天学习了Python中有关正则表达式的知识。关于正则表达式的语法，不作过多解释，网上有许多学习的资料。这里主要介绍python中常用的正则表达式处理函数。

方法/属性	作用
match()	决定 RE 是否在字符串刚开始的位置匹配
search()	扫描字符串，找到这个 RE 匹配的位置
findall()	找到 RE 匹配的所有子串，并把它们作为一个列表返回
finditer()	找到 RE 匹配的所有子串，并把它们作为一个迭代器返回

match() 函数只检查 RE 是否在字符串开始处匹配，而 search() 则是扫描整个字符串。

match() 只报告一次成功的匹配，它将从 0 处开始；如果匹配不是从 0 开始的，match() 将不会报告它。

search() 将扫描整个字符串，并报告它找到的第一个匹配。

match()、seerch（）、finditer（）如果匹配成功则返回一个Match Object对象，该对象有以下属性、方法：

方法/属性	作用
group()	返回被 RE 匹配的字符串
start()	返回匹配开始的位置
end()	返回匹配结束的位置
span()	返回一个元组包含匹配 (开始,结束) 的位置

group() 返回re整体匹配的字符串，可以一次输入多个组号，对应组号匹配的字符串。

1. group（）返回re整体匹配的字符串，

2. group (n,m) 返回组号为n，m所匹配的字符串，如果组号不存在，则返回indexError异常

#!python
>>> p = re.compile('(a(b)c)d')
>>> m = p.match('abcd')
>>> m.group(0)
'abcd'
>>> m.group(1)
'abc'
>>> m.group(2)
'b'

groups() 方法返回一个包含正则表达式中所有小组字符串的元组，从 1 到 所含的小组号，通常groups（）不需要参数，返回一个元组，元组中的元就是正则表达式中定义的组。

#!python
>>> p = re.compile('(a(b)c)d')
>>> m = p.match('abcd')
>>> m.groups()
('abc', 'b')

使用索引取得相应的组内容，例如：m.groups()[0]

p2=re.compile(r'''(\d)+\w''',re.X)
>>> p2.match('123a b12123c').group()   # re正则表达式 '(\d)+\w匹配的字符串
'123a'>>> p2.match('123a b12123c').group(0)
'123a'>>> p2.match('123a b12123c').group(1)  #返回正则表达式中第一个小组即（\d）所匹配的字符串
'3'>>> p2.match('123a b12 123c').groups()
('3',)

re.match ，从字符串开头匹配，返回一个Match Object，或None

　　re.match 尝试从字符串的开始匹配一个模式，如：下面的例子匹配第一个单词。

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
m = re.match(r"(\w+)\s", text)
if m:
print m.group(0), '\n', m.group(1)
else:
print 'not match'

re.match的函数原型为：re.match(pattern, string, flags)

第一个参数是正则表达式，这里为"(\w+)\s"，如果匹配成功，则返回一个Match，否则返回一个None；

第二个参数表示要匹配的字符串；

第三个参数是标致位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

方法/属性	作用
group()	返回被 RE 匹配的字符串
start()	返回匹配开始的位置
end()	返回匹配结束的位置
span()	返回一个元组包含匹配 (开始,结束) 的位置

re.search  在字符串内查找匹配，找到第一个匹配，返回Match Object，或None

　　re.search函数会在字符串内查找模式匹配,直到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
m = re.search(r'\shan(ds)ome\s', text)
if m:
print m.group(0), m.group(1)
else:
print 'not search'  

re.search的函数原型为： re.search(pattern, string, flags)

每个参数的含意与re.match一样。

re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

re.sub   替换所有的匹配项，返回一个替换后的字符串，如果匹配失败，返回原字符串

　　re.sub用于替换字符串中的匹配项。下面一个例子将字符串中的空格 ' ' 替换成 '-' :

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
print re.sub(r'\s+', '-', text) 

re.sub的函数原型为：re.sub(pattern, repl, string, count)

其中第二个函数是替换后的字符串；本例中为'-'

第四个参数指替换个数。默认为0，表示每个匹配项都替换。

re.sub还允许使用函数对匹配项的替换进行复杂的处理。如：re.sub(r'\s', lambda m: '[' + m.group(0) + ']', text, 0)；将字符串中的空格' '替换为'[ ]'。

sub() 方法提供一个替换值，可以是字符串或一个函数，和一个要被处理的字符串

当使用模块级的 re.sub() 函数时，模式作为第一个参数。模式也许是一个字符串或一个 `RegexObject`；如果你需要指定正则表达式标志，你必须要么使用 `RegexObject` 做第一个参数，或用使用模式内嵌修正器，如 sub("(?i)b+", "x", "bbbb BBBB") returns 'x x'。

import re

def hexrepl( match ):
     "Return the hex string for a decimal number"
     value = int( match.group() )
     return hex(value)

p = re.compile(r'\d+')

print p.sub(hexrepl, 'Call 65490 for printing, 49152 for user code.')
#Call 0xffd2 for printing, 0xc000 for user code.

import re

text = "JGood is a handsome boy, he is cool, clever, and so on..."

print re.sub(r'\s+', '-', text)
#JGood-is-a-handsome-boy,-he-is-cool,-clever,-and-so-on...

print re.sub(r'\s', lambda m: '[' + m.group(0) + ']', text)
#JGood[ ]is[ ]a[ ]handsome[ ]boy,[ ]he[ ]is[ ]cool,[ ]clever,[ ]and[ ]so[ ]on...

print re.sub(r'a', lambda m: '[' + m.group(0) + ']', text) #在a的两边加[ ]，也可以用string.replace()

#JGood is [a] h[a]ndsome boy, he is cool, clever, [a]nd so on...

subn ( )  与 sub( ) 相同，但返回新的字符串和替换次数

print re.subn('i','I','Paris in the the spring')  # ('ParIs In the the sprIng', 3)

空匹配只有在它们没有紧挨着前一个匹配时才会被替换掉。

#!python

>>> p = re.compile('x*')

>>> p.sub('-', 'abxd')

'-a-b-d-'

re.split     以列表形式返回分割的字符串

　　可以使用re.split来分割字符串，如：re.split(r'\s+', text)；将字符串按空格分割成一个单词列表。

split(string [, maxsplit = 0])

你可以通过设置 maxsplit 值来限制分片数。当 maxsplit 非零时，最多只能有 maxsplit 个分片，字符串的其余部分被做为列表的最后部分返回。在下面的例子中，定界符可以是非数字字母字符的任意序列。

#!python

>>> p = re.compile(r'\W+')

>>> p.split('This is a test, short and sweet, of split().')

['This', 'is', 'a', 'test', 'short', 'and', 'sweet', 'of', 'split', '']

>>> p.split('This is a test, short and sweet, of split().', 3)

['This', 'is', 'a', 'test, short and sweet, of split().']

有时，你不仅对定界符之间的文本感兴趣，也需要知道定界符是什么。定界符可以是非数字字母字符的任意序列 ，如果捕获括号在 RE中使用，那么它们（定界符）的值也会当作列表的一部分返回。比较下面的调用：

re.split("([ab])","carbs")  #   ['c', 'a', 'r', 'b', 's']     定界符是a或b，结果返回界定符a、b。

re.split("([ab]#)", "carbs")  #  ['carbs']   定界符是a#或b#，结果 ['carbs'] 

#!python

>>> p = re.compile(r'\W+')

>>> p2 = re.compile(r'(\W+)')

>>> p.split('This... is a test.')

['This', 'is', 'a', 'test', '']

>>> p2.split('This... is a test.')

['This', '... ', 'is', ' ', 'a', ' ', 'test', '.', '']

re.findall  以列表形式返回所有匹配的字符串

　　re.findall可以获取字符串中所有匹配的字符串。如：re.findall(r'\w*oo\w*', text)；获取字符串中，包含'oo'的所有单词。

         (pattern) 匹配 pattern并获取这一匹配

import re
text = "JGood is a  handsome boy,he is handsome and cool,clever,and so on ...."
print re.findall(r'\w*oo\w*',text) #结果：['JGood', 'cool']
print re.findall(r'(\w)*oo(\w)*',text) # ()表示子表达式 结果：[('G', 'd'), ('c', 'l')]

在 Python 2.2中，也可以用 finditer() 方法。

#!python
>>> iterator = p.finditer('12 drummers drumming, 11 ... 10 ...')
>>> iterator
<callable-iterator object at 0x401833ac>
>>> for match in iterator:
...     print match.group() , match.span()
...
12 (0, 2)
11 (22, 24)
10 (29, 31)

re.compile

　　可以把正则表达式编译成一个正则表达式对象。可以把那些经常使用的正则表达式编译成正则表达式对象，这样可以提高一定的效率。下面是一个正则表达式对象的一个例子：

import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
regex = re.compile(r'\w*oo\w*')
print regex.findall(text)   #查找所有包含'oo'的单词
print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来。

python 贪婪和非贪婪、多行匹配正则表达式小结

　　先看一个例子，然后在详细介绍。有一个这样的文件1.txt,我要把每个AAA到CCC之间的字段都匹配出来，下面是代码和注释。

#!/usr/local/bin/python
#coding:GBK
import re
fopen=open(r'/tmp/1.txt','r')
f=fopen.read().strip()print "输出1.txt文件内容"
print f
print "---------------------------------------"print "贪婪匹配,re.S('.'匹配字符,包括换行符)"
print re.findall(r"AAA(.*)CCC",f,re.S)
print "---------------------------------------"print "非贪婪匹配,re.S('.'匹配字符,包括换行符)"
list=re.findall(r"AAA(.*?)CCC",f,re.S)
print list
print "---------------------------------------"print "re.M匹配多行,这里把换行符匹配掉"
for i in list:print re.findall(r"(\d+)",i,re.M)
print "---------------------------------------"print "把匹配出来的字段放到一个数组"
array=[]
for lst in list:re_list=re.findall(r"(\d+)",lst,re.M)for i in re_list:array.append(i)
for i in array:print i输出的结果：
输出1.txt文件内容
AAA
123
314
5246
CCC
AAA
32422
CCC
---------------------------------------
贪婪匹配
['\n123\n314\n5246\nCCC\nAAA\n32422\n']
---------------------------------------
非贪婪匹配,re.S('.'匹配字符,包括换行符)
['\n123\n314\n5246\n', '\n32422\n']
---------------------------------------
re.M匹配多行,这里把换行符匹配掉
['123', '314', '5246']
['32422']
---------------------------------------
把匹配出来的字段放到一个数组
123
314
5246
32422

python贪婪和非贪婪

　　正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪则相反，总是尝试匹配尽可能少的字符。在"*","?","+","{m,n}"后面加上？，使贪婪变成非贪婪。

>>> s="This is a number 234-235-22-423"
>>> r=re.match(".+(\d+-\d+-\d+-\d+)",s)
>>> r.group(1)
'4-235-22-423'
>>> r=re.match(".+?(\d+-\d+-\d+-\d+)",s)
>>> r.group(1)
'234-235-22-423'
>>>

　　正则表达式模式中使用到通配字，那它在从左到右的顺序求值时，会尽量“抓取”满足匹配最长字符串，在我们上面的例子里面，“.+”会从字符 串的启始处抓取满足模式的最长字符，其中包括我们想得到的第一个整型字段的中的大部分，“\d+”只需一位字符就可以匹配，所以它匹配了数字“4”，而“.+”则匹配了从字符串起始到这个第一位数字4之前的所有字符。

　　解决方式：非贪婪操作符“？”，这个操作符可以用在"*","+","?"的后面，要求正则匹配的越少越好。

　　下面这个例子仔细体会下

>>> re.match(r"aa(\d+)","aa2343ddd").group(1)
'2343'
>>> re.match(r"aa(\d+?)","aa2343ddd").group(1)
'2'
>>> re.match(r"aa(\d+)ddd","aa2343ddd").group(1)
'2343'
>>> re.match(r"aa(\d+?)ddd","aa2343ddd").group(1)
'2343'
>>>

python的多行匹配

r=re.complile(pattern,re.M)

re.M(re.MULTILINE):多行模式，改变'^'和'$'的行为,即^$标志将会匹配每一行。

>>> re.findall(r"^a(\d+)b","a213b\na2345b\na234b")
['213']
>>> re.findall(r"^a(\d+)b","a213b\na2345b\na234b",re.M)
['213', '2345', '234']
>>> re.findall(r"a(\d+)b","a213b\na2345b\na234b")  #如果没有^标志,无需re.M
['213', '2345', '234']

tips:”^”匹配字符串的开始，在MULTILINE模式下，也匹配换行符之后。

re.S(re.DOTALL):点任意匹配模式

元字符“.”在默认模式下，匹配除换行符外的所有字符。在DOTALL模式下，匹配所有字符，包括换行符。

>>> re.findall(r".","\n",re.S)
['\n']