独角兽企业重金招聘Python工程师标准>>>
Python正则表达式指南
今天学习了Python中有关正则表达式的知识。关于正则表达式的语法，不作过多解释，网上有许多学习的资料。这里主要介绍python中常用的正则表达式处理函数。
match() 函数只检查 RE 是否在字符串开始处匹配，而 search() 则是扫描整个字符串。
match() 只报告一次成功的匹配，它将从 0 处开始；如果匹配不是从 0 开始的，match() 将不会报告它。
search() 将扫描整个字符串，并报告它找到的第一个匹配。
match()、seerch（）、finditer（）如果匹配成功则返回一个Match Object对象，该对象有以下属性、方法：
group()返回re整体匹配的字符串，可以一次输入多个组号，对应组号匹配的字符串。
1. group（）返回re整体匹配的字符串，
2. group (n,m) 返回组号为n，m所匹配的字符串，如果组号不存在，则返回indexError异常
#!python>>> p = pile('(a(b)c)d')>>> m = p.match('abcd')>>> m.group(0)'abcd'>>> m.group(1)'abc'>>> m.group(2)'b'
groups()方法返回一个包含正则表达式中所有小组字符串的元组，从 1 到 所含的小组号，通常groups（）不需要参数，返回一个元组，元组中的元就是正则表达式中定义的组。
#!python>>> p = pile('(a(b)c)d')>>> m = p.match('abcd')>>> m.groups()('abc', 'b')
使用索引取得相应的组内容，例如：m.groups()[0]
p2=pile(r'''(\d)+\w''',re.X)>>> p2.match('123a b12123c').group() # re正则表达式 '(\d)+\w匹配的字符串'123a'>>> p2.match('123a b12123c').group(0)'123a'>>> p2.match('123a b12123c').group(1) #返回正则表达式中第一个小组即（\d）所匹配的字符串'3'>>> p2.match('123a b12 123c').groups()('3',)
re.match ，从字符串开头匹配，返回一个Match Object，或None
re.match 尝试从字符串的开始匹配一个模式，如：下面的例子匹配第一个单词。
import retext = "JGood is a handsome boy, he is cool, clever, and so on..."m = re.match(r"(\w+)\s", text)if m:print m.group(0), '\n', m.group(1)else:print 'not match'
re.match的函数原型为：re.match(pattern, string, flags)
第一个参数是正则表达式，这里为"(\w+)\s"，如果匹配成功，则返回一个Match，否则返回一个None；
第二个参数表示要匹配的字符串；
第三个参数是标致位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。
re.search在字符串内查找匹配，找到第一个匹配，返回Match Object，或None
re.search函数会在字符串内查找模式匹配,直到找到第一个匹配然后返回，如果字符串没有匹配，则返回None。
import retext = "JGood is a handsome boy, he is cool, clever, and so on..."m = re.search(r'\shan(ds)ome\s', text)if m:print m.group(0), m.group(1)else:print 'not search'
re.search的函数原型为： re.search(pattern, string, flags)
每个参数的含意与re.match一样。
re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。
re.sub替换所有的匹配项，返回一个替换后的字符串，如果匹配失败，返回原字符串
re.sub用于替换字符串中的匹配项。下面一个例子将字符串中的空格 ' ' 替换成 '-' :
import retext = "JGood is a handsome boy, he is cool, clever, and so on..."print re.sub(r'\s+', '-', text)
re.sub的函数原型为：re.sub(pattern, repl, string, count)
其中第二个函数是替换后的字符串；本例中为'-'
第四个参数指替换个数。默认为0，表示每个匹配项都替换。
re.sub还允许使用函数对匹配项的替换进行复杂的处理。如：re.sub(r'\s', lambda m: '[' + m.group(0) + ']', text, 0)；将字符串中的空格' '替换为'[ ]'。
sub() 方法提供一个替换值，可以是字符串或一个函数，和一个要被处理的字符串
当使用模块级的 re.sub() 函数时，模式作为第一个参数。模式也许是一个字符串或一个 `RegexObject`；如果你需要指定正则表达式标志，你必须要么使用 `RegexObject` 做第一个参数，或用使用模式内嵌修正器，如 sub("(?i)b+", "x", "bbbb BBBB") returns 'x x'。
import re
def hexrepl( match ):
"Return the hex string for a decimal number"
value = int( match.group() )
return hex(value)
p = pile(r'\d+')
print p.sub(hexrepl, 'Call 65490 for printing, 49152 for user code.')
#Call 0xffd2 for printing, 0xc000 for user code.
import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
print re.sub(r'\s+', '-', text)
#JGood-is-a-handsome-boy,-he-is-cool,-clever,-and-so-on...
print re.sub(r'\s', lambda m: '[' + m.group(0) + ']', text)
#JGood[ ]is[ ]a[ ]handsome[ ]boy,[ ]he[ ]is[ ]cool,[ ]clever,[ ]and[ ]so[ ]on...
print re.sub(r'a', lambda m: '[' + m.group(0) + ']', text) #在a的两边加[ ]，也可以用string.replace()
#JGood is [a] h[a]ndsome boy, he is cool, clever, [a]nd so on...
subn ( ) 与 sub( ) 相同，但返回新的字符串和替换次数
print re.subn('i','I','Paris in the thespring') # ('ParIs In the the sprIng', 3)
空匹配只有在它们没有紧挨着前一个匹配时才会被替换掉。
#!python
>>> p = pile('x*')
>>> p.sub('-', 'abxd')
'-a-b-d-'
re.split 以列表形式返回分割的字符串
可以使用re.split来分割字符串，如：re.split(r'\s+', text)；将字符串按空格分割成一个单词列表。
split(string [, maxsplit = 0])
你可以通过设置 maxsplit 值来限制分片数。当 maxsplit 非零时，最多只能有 maxsplit 个分片，字符串的其余部分被做为列表的最后部分返回。在下面的例子中，定界符可以是非数字字母字符的任意序列。
#!python
>>> p = pile(r'\W+')
>>> p.split('This is a test, short and sweet, of split().')
['This', 'is', 'a', 'test', 'short', 'and', 'sweet', 'of', 'split', '']
>>> p.split('This is a test, short and sweet, of split().', 3)
['This', 'is', 'a', 'test, short and sweet, of split().']
有时，你不仅对定界符之间的文本感兴趣，也需要知道定界符是什么。定界符可以是非数字字母字符的任意序列 ，如果捕获括号在RE中使用，那么它们（定界符）的值也会当作列表的一部分返回。比较下面的调用：
re.split("([ab])","carbs") # ['c', 'a', 'r', 'b', 's']定界符是a或b，结果返回界定符a、b。
re.split("([ab]#)", "carbs") # ['carbs']定界符是a#或b#，结果 ['carbs']
#!python
>>> p = pile(r'\W+')
>>> p2 = pile(r'(\W+)')
>>> p.split('This... is a test.')
['This', 'is', 'a', 'test', '']
>>> p2.split('This... is a test.')
['This', '... ', 'is', ' ', 'a', ' ', 'test', '.', '']
re.findall 以列表形式返回所有匹配的字符串
re.findall可以获取字符串中所有匹配的字符串。如：re.findall(r'\w*oo\w*', text)；获取字符串中，包含'oo'的所有单词。
(pattern)匹配pattern并获取这一匹配
import retext = "JGood is a handsome boy,he is handsome and cool,clever,and so on ...."print re.findall(r'\w*oo\w*',text) #结果：['JGood', 'cool']print re.findall(r'(\w)*oo(\w)*',text) # ()表示子表达式 结果：[('G', 'd'), ('c', 'l')]
在 Python 2.2中，也可以用finditer()方法。
#!python>>> iterator = p.finditer('12 drummers drumming, 11 ... 10 ...')>>> iterator<callable-iterator object at 0x401833ac>>>> for match in iterator:...print match.group() , match.span()...12 (0, 2)11 (22, 24)10 (29, 31)
pile
可以把正则表达式编译成一个正则表达式对象。可以把那些经常使用的正则表达式编译成正则表达式对象，这样可以提高一定的效率。下面是一个正则表达式对象的一个例子：
import retext = "JGood is a handsome boy, he is cool, clever, and so on..."regex = pile(r'\w*oo\w*')print regex.findall(text) #查找所有包含'oo'的单词print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来。
python贪婪和非贪婪、多行匹配正则表达式小结
先看一个例子，然后在详细介绍。有一个这样的文件1.txt,我要把每个AAA到CCC之间的字段都匹配出来，下面是代码和注释。
#!/usr/local/bin/python#coding:GBKimportrefopen=open(r'/tmp/1.txt','r')f=fopen.read().strip()print "输出1.txt文件内容"print fprint "---------------------------------------"print "贪婪匹配,re.S('.'匹配字符,包括换行符)"printre.findall(r"AAA(.*)CCC",f,re.S)print "---------------------------------------"print "非贪婪匹配,re.S('.'匹配字符,包括换行符)"list=re.findall(r"AAA(.*?)CCC",f,re.S)print listprint "---------------------------------------"print "re.M匹配多行,这里把换行符匹配掉"for i in list:printre.findall(r"(\d+)",i,re.M)print "---------------------------------------"print "把匹配出来的字段放到一个数组"array=[]for lst in list:re_list=re.findall(r"(\d+)",lst,re.M)for i inre_list:array.append(i)for i in array:print i输出的结果：输出1.txt文件内容AAA1233145246CCCAAA32422CCC---------------------------------------贪婪匹配['\n123\n314\n5246\nCCC\nAAA\n32422\n']---------------------------------------非贪婪匹配,re.S('.'匹配字符,包括换行符)['\n123\n314\n5246\n', '\n32422\n']---------------------------------------re.M匹配多行,这里把换行符匹配掉['123', '314', '5246']['32422']---------------------------------------把匹配出来的字段放到一个数组123314524632422
python贪婪和非贪婪
正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非贪婪），总是尝试匹配尽可能多的字符；非贪婪则相反，总是尝试匹配尽可能少的字符。在"*","?","+","{m,n}"后面加上？，使贪婪变成非贪婪。
>>> s="This is a number 234-235-22-423">>> r=re.match(".+(\d+-\d+-\d+-\d+)",s)>>> r.group(1)'4-235-22-423'>>> r=re.match(".+?(\d+-\d+-\d+-\d+)",s)>>> r.group(1)'234-235-22-423'>>>
正则表达式模式中使用到通配字，那它在从左到右的顺序求值时，会尽量“抓取”满足匹配最长字符串，在我们上面的例子里面，“.+”会从字符 串的启始处抓取满足模式的最长字符，其中包括我们想得到的第一个整型字段的中的大部分，“\d+”只需一位字符就可以匹配，所以它匹配了数字“4”，而“.+”则匹配了从字符串起始到这个第一位数字4之前的所有字符。
解决方式：非贪婪操作符“？”，这个操作符可以用在"*","+","?"的后面，要求正则匹配的越少越好。
下面这个例子仔细体会下
>>>re.match(r"aa(\d+)","aa2343ddd").group(1)'2343'>>>re.match(r"aa(\d+?)","aa2343ddd").group(1)'2'>>>re.match(r"aa(\d+)ddd","aa2343ddd").group(1) '2343'>>>re.match(r"aa(\d+?)ddd","aa2343ddd").group(1)'2343'>>>
python的多行匹配
r=re.complile(pattern,re.M)
re.M(re.MULTILINE):多行模式，改变'^'和'$'的行为,即^$标志将会匹配每一行。
>>>re.findall(r"^a(\d+)b","a213b\na2345b\na234b") ['213']>>>re.findall(r"^a(\d+)b","a213b\na2345b\na234b",re.M)['213', '2345', '234']>>>re.findall(r"a(\d+)b","a213b\na2345b\na234b") #如果没有^标志,无需re.M['213', '2345', '234']
tips:”^”匹配字符串的开始，在MULTILINE模式下，也匹配换行符之后。
re.S(re.DOTALL):点任意匹配模式
元字符“.”在默认模式下，匹配除换行符外的所有字符。在DOTALL模式下，匹配所有字符，包括换行符。
>>>re.findall(r".","\n",re.S)['\n']
