1.正則基本符號(hào)

1.1.什么是正則表達(dá)式

正則表達(dá)式就是字符匹配的工具;是由正則符號(hào)和普通字符組成，來(lái)匹配不同規(guī)律的字符串

1.2.Python對(duì)正則表達(dá)式的支持

python中提供了一個(gè)re模塊，用來(lái)支持正則表達(dá)式

fullmatch(正則表達(dá)式, 字符串) - 用正則表達(dá)式去完全匹配字符串，如果匹配成功返回匹配結(jié)果，失敗返回None
python中的正則表達(dá)式的寫法：將正則內(nèi)容寫在字符串中，一般這個(gè)字符串的最前面會(huì)r/R

import re

# 1  普通字符
"""
普通字符在正則表達(dá)式中，代表字符本身
"""
# 匹配一個(gè)字符串，第一個(gè)字符是'a',第二個(gè)字符是'b',第三個(gè)字符也是最后一個(gè)字符是'c'
re_str = r'abc'
result = re.fullmatch(re_str, 'abc')
print(result)

# 2 .(匹配任意字符)
"""
在正則表達(dá)式中，.出現(xiàn)的位置，可以匹配一個(gè)任意字符
注意：一個(gè).只能匹配一個(gè)字符
"""
# 匹配一個(gè)長(zhǎng)度上3的字符串，并且第一個(gè)字符是'a',最后一個(gè)字符是'c',中間是任意字符
re_str = r'a.c'
result = re.fullmatch(re_str, 'a#c')
print(result)

# 3 \w(匹配字母數(shù)字或者下劃線)
"""
在正則表達(dá)式中，\w出現(xiàn)的位置，可以匹配一個(gè)任意的字母、數(shù)字或者下劃線(其實(shí)也可以匹配Unicode編碼中除了ASCII碼剩下的部分)

注意：
一個(gè)\w只能匹配一個(gè)字符
中文也能匹配
"""
# 匹配一個(gè)長(zhǎng)度是5的字符串，并且字符串的前兩位是數(shù)字、字母和下劃線，后面是三個(gè)任意字符
re_str = r'\w\w...'
result = re.fullmatch(re_str, '_好kll')
print(result)

# 4 \s(匹配空白字符)
"""
空白字符包括：空格、制表符和換行符(空格,\t,\r,\n)
"""
# 匹配一個(gè)長(zhǎng)度是4的字符串，并且字符串前兩位是字母數(shù)字或者下劃線(中文),中間一個(gè)空白，再一個(gè)字母數(shù)字或者下劃線(中文)
re_str = r'\w\w\s\w'
result = re.fullmatch(re_str, 'hj\t8')
print(result)

# 5 \d(匹配數(shù)字字符)
# 匹配一個(gè)長(zhǎng)度是5的字符串，字符串的前三位是數(shù)字字符，后兩位是任意字符
re_str = '\d\d\d..'
result = re.fullmatch(re_str, '082de')
print(result)


# 6 \b(檢測(cè)單詞邊界)
"""
注意：檢測(cè)\b出現(xiàn)的位置是否是單詞邊界，不會(huì)對(duì)字符進(jìn)行匹配。
     當(dāng)正則表達(dá)式中出現(xiàn)了\b，匹配的時(shí)候去掉\b，匹配成功后再看\b出現(xiàn)的位置是否是單詞邊界

單詞邊界：字符串開(kāi)頭、字符串結(jié)尾、標(biāo)點(diǎn)符號(hào)、空白符號(hào)等（只要能夠?qū)卧~區(qū)分開(kāi)的符號(hào)都屬于單詞邊界）
"""
# 匹配字符串'hello,world', 并且要求w前面是單詞邊界, h前面也是單詞邊界
re_str = r'\bhello,\bworld'
result = re.fullmatch(re_str, 'hello,world')
print(result)

# 7 ^(檢測(cè)字符串開(kāi)頭)
"""
在match和fullmatch中沒(méi)有意義, search、findall等中有意義
"""
# 匹配一個(gè)字符串前面三個(gè)字符是'The'，后面兩個(gè)任意字符
re_str = r'^The..'
result = re.fullmatch(re_str, 'The2;')    #
print(result)

# 8 $(檢測(cè)字符串結(jié)尾)
"""
在match和fullmatch中沒(méi)有意義, search、findall等中有意義
"""
# 匹配一個(gè)字符串，只有三位，分別是'The',并且e后面是字符串結(jié)尾
re_str = r'The'
result = re.fullmatch(re_str, 'The')
print(result)


# 9 \大寫字母
"""
'\大寫字母'對(duì)應(yīng)的功能是'\小寫字母'功能取反
 
\W - 匹配非數(shù)字字母下劃線
\D - 匹配非數(shù)字字符
\S - 匹配非空白字符
\B - 檢測(cè)非單詞邊界
"""
# 匹配一個(gè)字符串，第一個(gè)字符是數(shù)字、第二個(gè)是非數(shù)字,第三個(gè)是空白，第四個(gè)是數(shù)字字母下劃線，最后一個(gè)是a;
# 并且要求a前面不是單詞邊界
re_str = r'\d\D\s\w\Ba'
result = re.fullmatch(re_str, '9H\t_a')
print(result)


# 10 [字符集](匹配中括號(hào)出現(xiàn)的任意一個(gè)字符)
"""
1.[普通字符集] - 匹配中括號(hào)出現(xiàn)的任意一個(gè)字符
例如：[abc] - 匹配一個(gè)字符是a或者b或者c

注意：a.一個(gè)中括號(hào)只能匹配一個(gè)字符
     b.正則中有特殊功能的單個(gè)符號(hào)在[]都表示符號(hào)本身 例如：.  $  ^ + * ？ |等
     c.匹配字符的組合符號(hào)，在中括號(hào)中保持原來(lái)的功能, 例如: \w  \d \s  \W  \D \S
"""
# 匹配一個(gè)長(zhǎng)度是2的字符串，第一個(gè)字符是數(shù)字，第二個(gè)字符是b或者c或者=或者數(shù)字
re_str = r'\d[bc=\d]'
result = re.fullmatch(re_str, '24')
print(result)

"""
2.[字符1-字符2] - 表示字符1到字符2（注意：要求字符1的編碼值要小于字符2）
[a-z]  - 表示匹配所有小寫字母
[A-Z]  - 表示匹配所有大寫字母
[a-zA-Z] - 匹配所有的字母
[1-7] - 匹配數(shù)字字符1到7
[\u4e00-\u9fa5] - 匹配所有的中文

[字符1字符2-] - 這兒的-表示減號(hào)本身
"""
# 匹配一個(gè)長(zhǎng)度是3的字符串,第一個(gè)字符是數(shù)字字符1到7中的一個(gè)，
# 第二個(gè)字符是'a'，'b','c','-'中的一個(gè),第三個(gè)字符是小寫字母
re_str = r'[1-7][abc-][a-z]'
result = re.fullmatch(re_str, '6-z')
print(result)

# 11 [^字符集] - 匹配不在字符集中的任意一個(gè)字符
"""
[^abc] - 匹配除了'a','b','c'以外的其他任意一個(gè)字符
[^\d] - 匹配除了數(shù)字字符以外的其他任意一個(gè)字符 
[^a-z] - 匹配除了小寫字母以外的其他任意一個(gè)字符 

[abc^] - 匹配'a','b','c'或者'^'中的任意一個(gè)字符
"""
re_str = r'[^a-z]'
result = re.fullmatch(re_str, '是')
print(result)

2.正則控制匹配次數(shù)

import re

# 1 *(匹配0次或者多次)
"""
a* - a出現(xiàn)0次或者多次, '','a','aa', 'aaa'...都可以匹配
\d* - 任意數(shù)字出現(xiàn)0次或者多次， '','1','12', '3772'...都可以匹配
[abc]* - a，b或者c出現(xiàn)0次或者多次
[A-F]* - A到F中任意字符出現(xiàn)0次或者多次

注意：在[]外面的*的前面需要一個(gè)字符或者一個(gè)匹配字符的符號(hào)
"""
print(re.fullmatch(r'a*b', 'aaaaaaaaaab'))
print(re.fullmatch(r'[abc]*', 'aabc'))

# 2 +(匹配1次或者多次)
"""
a+ - a至少出現(xiàn)一次
\d+ - 數(shù)字至少出現(xiàn)一次
"""
print(re.fullmatch(r'a+b', 'ab'))

# 3 ?(匹配0次或者1次)
"""
a? - a出現(xiàn)0次或者1次, '', 'a'可以匹配
"""
# 寫一個(gè)正則表達(dá)式匹配一個(gè)整數(shù)（正整數(shù)和負(fù)整數(shù)都可以），例如：123， 10， +100， -1234，
re_str = r'[-+]?[1-9]\d*'
print(re.fullmatch(re_str, '-12'))

# 4 {}
"""
{N} - 匹配N次,  例如： a{3}，匹配三個(gè)'a'
{M,N} - 匹配M到N次,   例如： a{3, 5}，匹配三個(gè)'a' 或者4個(gè)'a'或者5個(gè)'a'
{,N} - 最多匹配N次(0~N)   例如：a{,3}，'','a', 'aa', 'aaa' 
{M,} - 至少匹配M次   例如：a{3,} , 'aaa', 'aaaa', 'aaaaa'...
"""
print(re.fullmatch(r'a{3,}', 'aaa'))

# 練習(xí)：輸入密碼，要求檢查密碼輸入是否合格(密碼由字母和數(shù)字組成，數(shù)字不開(kāi)頭，6-12位)。給出提示
password = input('密碼:')
re_str = r'[a-zA-Z][\da-zA-Z]{5,11}'
result = re.fullmatch(re_str, password)
if result:
    print('輸入成功！')
else:
    print('輸入有誤！')

3.分支,捕獲和分組

3.1 分支

條件1 | 條件2 - 匹配條件1或者條件2
\d{2}|[a-z] - 匹配兩個(gè)數(shù)字字符或者一個(gè)小寫字母
a\d{2}|\w{2} - 匹配一個(gè)a后面兩個(gè)數(shù)字，或者兩個(gè)數(shù)字字母下劃線

注意：正則中的分之也會(huì)出現(xiàn)短路，當(dāng)條件1可以匹配，就不會(huì)再使用條件2進(jìn)行匹配

mport re
print(re.fullmatch(r'\d{2}|[a-z]', 'z'))
print(re.fullmatch(r'a\d{2}|\w{2}', 'sh'))

# 練習(xí)：寫一個(gè)正則表達(dá)式，匹配所有的數(shù)字,包括正的、負(fù)的，整數(shù)，小數(shù)，0
# 例如：100, +100, -100, 12.5, -12.5, 0, 0.23, 0.012
"""
12, 12.34 : [+-]?[1-9]\d*[.]?\d*
0.123 : [+-]?0[.]\d+
0 : 0
"""
re_str = r'[-+]?[1-9]\d*[.]?\d*|[+-]?0[.]\d+|0'
print(re.fullmatch(re_str, '-0.02'))

3.2 () - 捕獲和分組

a.

# 匹配一個(gè)字符串，前三位是'abc',后三位是三個(gè)數(shù)字或者三個(gè)大寫字母
re_str1 = r'abc\d{3}|abc[A-Z]{3}'
re_str2 = r'abc(\d{3}|[A-Z]{3})'
print(re.fullmatch(re_str2, 'abc123'))

# 匹配一個(gè)字符串，以'數(shù)字小寫字母'的形式出現(xiàn)3次
re_str = r'(\d[a-z]){3}'
print(re.fullmatch(re_str, '2s3f4h'))

b.捕獲

通過(guò)正則獲取符合條件的子串的時(shí)候，可以在正則表達(dá)式中加括號(hào)，匹配后只獲取括號(hào)里面匹配到的內(nèi)容

re.findall(正則表達(dá)式，字符串) - 在字符串中去獲取符合正則表達(dá)式條件的所有的子串,返回一個(gè)列表

str1 = 'ahsa783+sdh*92dfjhjj78jhsda67jk'
print(re.findall(r'a(\d+)', str1))  # ['783', '67']

c.重復(fù)匹配

帶多個(gè)分組的正則表達(dá)式中可以分組的后面通過(guò)添加'\數(shù)字'來(lái)重復(fù)前面第幾個(gè)分組中匹配到的內(nèi)容

說(shuō)明：\數(shù)字 - 這兒的數(shù)字代表前面第幾個(gè)分組; \1代表第一個(gè)分組 \2代表第二個(gè)分組

re_str = r'(\d{3})([a-z]{2})a\1{2}-\2'
print(re.fullmatch(re_str, '123efa123123-ef'))

3.3.貪婪

匹配次數(shù)后加?就是貪婪匹配：*?, +?, ??, {M,N}?, {M,}? 表示盡可能少的重復(fù)

 re_str = 'a.+?b'
str1 = 'xxxahdjbnnkbsssammmbkkk'
print(re.findall(re_str, str1))

with open('content.txt', encoding='utf-8') as f:
    text = f.read()
    re_str = '"name":(.+?),'
    all_names = re.findall(re_str, text)
    print(all_names)

3.4.轉(zhuǎn)義符號(hào)

在正則表達(dá)式中可以在有特殊意義或者特殊功能的符號(hào)前加\來(lái)取消其特殊功能
\w - 代表兩個(gè)字符，分別是''和w
+ - 代表+字符
* - 代表*字符
? - 代表?字符
[], (), {}表示字符的時(shí)候，前面也要加\

注意：在中括號(hào)中, \必須加\表示\本身，^{在最前面加\表示}本身， -在兩個(gè)字符之間加\表示-本身

re_str = r'\\w-\d{3}'
print(re.fullmatch(re_str, '\w-232'))

re_str = r'a\+\(\d{2}\)'
print(re.fullmatch(re_str, 'a+(23)'))

re_str = r'[\^a1\-9]'
print(re.fullmatch(re_str, '3'))

re_str = r'(\d{2}([a-z]{3}))\1\2'
print(re.fullmatch(re_str, '12abc12abcabc'))

4. re模塊

4.1.compile(了解)

compile(正則表達(dá)式) - 將正則表達(dá)式轉(zhuǎn)換成正則表達(dá)式對(duì)象
轉(zhuǎn)換成對(duì)象后可以通過(guò)對(duì)象調(diào)用對(duì)象方法

import re
re_str = '\d{3}'
re_obj = re.compile(re_str)

# 調(diào)用模塊中的函數(shù)
print(re.fullmatch(re_str, '234'))
# 調(diào)用對(duì)象方法
print(re_obj.fullmatch('234'))

4.2.match和fullmatch

a. fullmatch(正則表達(dá)式, 字符串) - 完全匹配，從字符串開(kāi)頭匹配到字符串結(jié)束
b. match(正則表達(dá)式, 字符串) - 不完全匹配，只匹配字符串開(kāi)頭

匹配成功返回匹配對(duì)象，匹配失敗返回None

re_str = r'\d([A-Z]{2})'
result1 = re.fullmatch(re_str, '2HK')
print(result1)

result2 = re.match(re_str, '8KLsjdddd==')
print(result2)

4.2匹配對(duì)象

1.span - 匹配到的內(nèi)容的范圍，(開(kāi)始下標(biāo), 結(jié)束下標(biāo)), 結(jié)束下標(biāo)取不到
匹配對(duì)象.span() - 獲取整個(gè)正則表達(dá)式匹配到的范圍
匹配對(duì)象.span(n) - 獲取正則表達(dá)式中第n個(gè)分組匹配到的范圍(前提是有分組)

print(result2.span())
print(result2.span(1))

2.start和end - 獲取匹配結(jié)果的開(kāi)始下標(biāo)和結(jié)束下標(biāo)
匹配對(duì)象.start()/匹配對(duì)象.end() - 獲取整個(gè)正則表達(dá)式匹配到的開(kāi)始下標(biāo)/結(jié)束下標(biāo)
匹配對(duì)象.start(n)/匹配對(duì)象.end(n) - 獲取正則表達(dá)式中第n個(gè)分組匹配到的開(kāi)始/結(jié)束下標(biāo)

print(result2.start(), result2.end())
print(result2.start(1), result2.end(1))

3.group - 獲取匹配到的內(nèi)容
匹配對(duì)象.group() - 獲取整個(gè)正則表達(dá)式匹配到的內(nèi)容
匹配對(duì)象.group(n) - 獲取正則表達(dá)式中第n個(gè)分組匹配到的內(nèi)容

print(result2.group())
print(result2.group(1))

4.. string - 獲取用來(lái)匹配的原字符串
匹配對(duì)象.string

print(result2.string)

4.3.search

search(正則表達(dá)式, 字符串) - 匹配字符串中第一個(gè)滿足正則表達(dá)式的子串，如果匹配成功返回匹配對(duì)象否則返回None

str1 = 'abc123hks362shjjk990kll'
result = re.search(r'\d{3}[a-z]{2}', str1)
print(result)

4.4.split

split(正則表達(dá)式, 字符串) - 在字符串中按照滿足正則表達(dá)式條件的子串對(duì)字符串進(jìn)行切割, 返回一個(gè)列表

str1 = 'ab+c7hdjd8jss-sk9sjj78s9kk*k'
result = re.split(r'\d+|[+*-]+', str1)
print(result)

4.5.sub

sub(正則表達(dá)式, 新子串, 字符串) - 用新子串替換字符串中滿足正則表達(dá)式的子串，返回一個(gè)替換后的字符串

str1 = '你丫是傻    叉嗎? 我操你大爺?shù)? F u c k you.'
result = re.sub(r'[丫操艸]|F\s*u\s*c\s*k|傻\s*叉', '*', str1)
print(result)

4.6.findall

findall(正則表達(dá)式, 字符串) - 在字符串中獲取滿足正則表達(dá)式的所有的字符，返回一個(gè)列表，列表元素是字符串

注意：如果這個(gè)正則表達(dá)式中有一個(gè)分組，結(jié)果是列表中只那個(gè)分組匹配到的結(jié)果
如果這個(gè)正則表達(dá)式中分組的個(gè)數(shù)大于1，結(jié)果是一個(gè)列表，列表中的元素是元祖，元祖中是每個(gè)分組匹配到的內(nèi)容

str1 = 'haja37jjkd89sdhs909nnna238==='
result = re.findall(r'[a-zA-Z]{2,}(\d+)([a-z]+?)', str1)
print(result)

4.7.finditer

finditer(正則表達(dá)式, 字符串) - 獲取字符串中滿足正則表達(dá)式的內(nèi)容，返回的是一個(gè)迭代器，迭代器中的元素是匹配對(duì)象

result = re.finditer(r'[a-zA-Z]{2,}(\d+)([a-z]+?)', str1)
print(result)
print(next(result))
print(next(result))


# 思考：寫一個(gè)自己finditer
def yt_finditer(pattern, string):
    re1 = re.search(pattern, string)
    while re1:
        yield re1
        string = string[re1.end():]
        re1 = re.search(pattern, string)


print('============')
result = yt_finditer(r'[a-zA-Z]{2,}(\d+)([a-z]+?)', str1)
print(next(result))
print(next(result))