亚洲色综合网,久久婷婷人人澡

什么是正則表達式：

通俗理解：按照一定的規(guī)則，從某個字符串中匹配出想要的數(shù)據(jù)。這個規(guī)則就是正則表達式。
標準答案：https://baike.baidu.com/item/正則表達式/1700215?fr=aladdin

特殊字符：

^ $ . * ? + {2} {2,} {2,5} |
[] [^] [a-zA-Z]
/s /S /w /W /d /D

正則表達式常用匹配規(guī)則：

匹配某個字符串使用 match 函數(shù)，輸出匹配到的字符使用 group() 函數(shù) ：

text = 'hello'
ret = re.match('he',text)
print(ret.group())

>> he

以上便可以在hello中，匹配出he。

^（脫字號）：代表以什么開始（不在中括號）或者取反（在中括號）

text = "hello"
# 匹配開頭是h的字符
ret = re.match('^h',text)
# 匹配不是e的字符
ret_two = re.match('[^e]+',text)
print(ret.group())
print(ret_two .group())

>>

如果是在中括號中，那么代表的是取反操作.

$：表示以...結(jié)束：

# 匹配163.com的郵箱
text = "xxx@163.com"
ret = re.search('\w+@163\.com$',text)
print(ret.group())

>> xxx@163.com

|：匹配多個表達式或者字符串：

text = "hello|world"
ret = re.search('hello',text)
print(ret.group())

>> hello

點（.）匹配任意的字符：

text = "ab"
ret = re.match('.',text)
print(ret.group())

>> a

但是點（.）不能匹配不到換行符。示例代碼如下：

text = "ab"
ret = re.match('.',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

\d匹配任意的數(shù)字：

text = "123"
ret = re.match('\d',text)
print(ret.group())

>> 1

\D匹配任意的非數(shù)字：

text = "a"
ret = re.match('\D',text)
print(ret.group())

>> a

而如果text是等于一個數(shù)字，那么就匹配不成功了。示例代碼如下：

text = "1"
ret = re.match('\D',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

text = "\t"
ret = re.match('\s',text)
print(ret.group())

>> 空白

\w匹配的是`a-z`和`A-Z`以及數(shù)字和下劃線：

text = "_"
ret = re.match('\w',text)
print(ret.group())

>> _

而如果要匹配一個其他的字符，那么就匹配不到。示例代碼如下：

text = "+"
ret = re.match('\w',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute

\W匹配的是和\w相反的：

text = "+"
ret = re.match('\W',text)
print(ret.group())

>> +

而如果你的text是一個下劃線或者英文字符，那么就匹配不到了。示例代碼如下：

text = "_"
ret = re.match('\W',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute

[]組合的方式，只要滿足中括號中的某一項都算匹配成功：

text = "0731-88888888"
ret = re.match('[\d\-]+',text)
print(ret.group())

>> 0731-88888888

之前講到的幾種匹配規(guī)則，其實可以使用中括號的形式來進行替代：

\d：[0-9]
\D：[^0-9]
\w：[0-9a-zA-Z_]
\W：[^0-9a-zA-Z_]

匹配多個字符：

*：可以匹配0或者任意多個字符。示例代碼如下：
```
 text = "0731"
 ret = re.match('\d*',text)
 print(ret.group())

 >> 0731
```
以上因為匹配的要求是\d，那么就要求是數(shù)字，后面跟了一個星號，就可以匹配到0731這四個字符。
+：可以匹配1個或者多個字符。最少一個。示例代碼如下：
```
 text = "abc"
 ret = re.match('\w+',text)
 print(ret.group())

 >> abc
```
因為匹配的是\w，那么就要求是英文字符，后面跟了一個加號，意味著最少要有一個滿足\w的字符才能夠匹配到。如果text是一個空白字符或者是一個不滿足\w的字符，那么就會報錯。示例代碼如下：
```
 text = ""
 ret = re.match('\w+',text)
 print(ret.group())

 >> AttributeError: 'NoneType' object has no attribute
```
?：匹配的字符可以出現(xiàn)一次或者不出現(xiàn)（0或者1）。示例代碼如下：
```
 text = "123"
 ret = re.match('\d?',text)
 print(ret.group())

 >> 1
```

{m}：匹配m個字符。示例代碼如下：

 text = "123"
 ret = re.match('\d{2}',text)
 print(ret.group())

 >> 12

{m,n}：匹配m-n個字符。在這中間的字符都可以匹配到。示例代碼如下：
```
 text = "123"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())

 >> 12
```
如果text只有一個字符，那么也可以匹配出來。示例代碼如下：
```
 text = "1"
 ret = re.match('\d{1,2}',text)
 prit(ret.group())

 >> 1
```

小案例：

驗證手機號碼：手機號碼的規(guī)則是以1開頭，第二位可以是34587，后面那9位就可以隨意了。示例代碼如下：
```
 text = "18570631587"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())

 >> 18570631587
```
而如果是個不滿足條件的手機號碼。那么就匹配不到了。示例代碼如下：
```
 text = "1857063158"
 ret = re.match('1[34587]\d{9}',text)
 print(ret.group())

 >> AttributeError: 'NoneType' object has no attribute
```
驗證郵箱：郵箱的規(guī)則是郵箱名稱是用數(shù)字、數(shù)字、下劃線組成的，然后是@符號，后面就是域名了(使用\進行轉(zhuǎn)義)。示例代碼如下：
```
 text = "hynever@163.com"
 ret = re.match('\w+@[a-z0-9]+\.[a-z]+',text)
 print(ret.group())
```
驗證URL：URL的規(guī)則是前面是http或者https或者是ftp然后再加上一個冒號，再加上一個斜杠，再后面就是可以出現(xiàn)任意非空白字符了。示例代碼如下：
```
 text = "http://www.baidu.com/"
 ret = re.match('(http|https|ftp)://[^\s]+',text)
 print(ret.group())
```
驗證身份證：身份證的規(guī)則是，總共有18位，前面17位都是數(shù)字，后面一位可以是數(shù)字，也可以是小寫的x，也可以是大寫的X。示例代碼如下：
```
 text = '45080219960402123X'
 ret = re.match('\d{17}[\dxX]|\d{14}[\dxX]',text)
 print(ret.group())
```

貪婪模式和非貪婪模式：

貪婪模式：正則表達式會匹配盡量多的字符。默認是貪婪模式。
非貪婪模式：正則表達式會盡量少的匹配字符。
示例代碼如下：

text = "0123456"
ret = re.match('\d+',text)
print(ret.group())
# 因為默認采用貪婪模式，所以會輸出0123456

>> 0123456

可以改成非貪婪模式，那么就只會匹配到0。示例代碼如下：

text = "0123456"
ret = re.match('\d+?',text)
print(ret.group())

案例：匹配`0-100`之間的數(shù)字：

text = '99'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())

>> 99

而如果text=101，那么就會拋出一個異常。示例代碼如下：

text = '101'
ret = re.match('[1-9]?\d$|100$',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

轉(zhuǎn)義字符和原生字符串：

在正則表達式中，有些字符是有特殊意義的字符。因此如果想要匹配這些字符，那么就必須使用反斜杠進行轉(zhuǎn)義。比如$代表的是以...結(jié)尾，如果想要匹配$，那么就必須使用\$。示例代碼如下：

text = "apple price is \$99,orange paice is $88"
ret = re.search('\$(\d+)',text)
print(ret.group())

>> $99

原生字符串：
在正則表達式中，\是專門用來做轉(zhuǎn)義的。在Python中\也是用來做轉(zhuǎn)義的。因此如果想要在普通的字符串中匹配出\，那么要給出四個\。示例代碼如下：

text = "apple \c"
ret = re.search('\\\\c',text)

print(ret.group())

因此要使用原生字符串就可以解決這個問題：

text = "apple \c"
ret = re.search(r'\\c',text)
print(ret.group())

re模塊中常用函數(shù)：

match：

從開始的位置進行匹配。如果開始的位置沒有匹配到。就直接失敗了。示例代碼如下：

text = 'hello'
ret = re.match('h',text)
print(ret.group())

>> h

如果第一個字母不是h，那么就會失敗。示例代碼如下：

text = 'ahello'
ret = re.match('h',text)
print(ret.group())

>> AttributeError: 'NoneType' object has no attribute 'group'

如果想要匹配換行的數(shù)據(jù)，那么就要傳入一個flag=re.DOTALL，就可以匹配換行符了。示例代碼如下：

text = "abc\nabc"
ret = re.match('abc.*abc',text,re.DOTALL)
print(ret.group())

search：

在字符串中找滿足條件的字符。如果找到，就返回。說白了，就是只會找到第一個滿足條件的。

text = 'apple price $99 orange price $88'
ret = re.search('\d+',text)
print(ret.group())

>> 99

分組：

在正則表達式中，可以對過濾到的字符串進行分組。分組使用圓括號的方式。

group：和group(0)是等價的，返回的是整個滿足條件的字符串。
groups：返回的是里面的子組。索引從1開始。
group(1)：返回的是第一個子組，可以傳入多個。
示例代碼如下：

text = "apple price is $99,orange price is $10"
ret = re.search(r".*(\$\d+).*(\$\d+)",text)
print(ret.group())
print(ret.group(0))
print(ret.group(1))
print(ret.group(2))
print(ret.groups())

>>
apple price is $99,orange price is $10
apple price is $99,orange price is $10
$99
$10
('$99', '$10')

findall：

找出所有滿足條件的，返回的是一個列表。

text = 'apple price $99 orange price $88'
ret = re.findall('\d+',text)
print(ret)

>> ['99', '88']

sub：

用來替換字符串。將匹配到的字符串替換為其他字符串。

text = 'apple price $99 orange price $88'
ret = re.sub('\d+','0',text)
print(ret)

>> apple price $0 orange price $0

sub函數(shù)的案例，獲取拉勾網(wǎng)中的數(shù)據(jù)：

html = """
<div>
<p>基本要求：</p>
<p>1、精通HTML5、CSS3、 JavaScript等Web前端開發(fā)技術(shù)，對html5頁面適配充分了解，熟悉不同瀏覽器間的差異，熟練寫出兼容各種瀏覽器的代碼；</p>
<p>2、熟悉運用常見JS開發(fā)框架，如JQuery、vue、angular，能快速高效實現(xiàn)各種交互效果；</p>
<p>3、熟悉編寫能夠自動適應(yīng)HTML5界面，能讓網(wǎng)頁格式自動適應(yīng)各款各大小的手機；</p>
<p>4、利用HTML5相關(guān)技術(shù)開發(fā)移動平臺、PC終端的前端頁面，實現(xiàn)HTML5模板化；</p>
<p>5、熟悉手機端和PC端web實現(xiàn)的差異，有移動平臺web前端開發(fā)經(jīng)驗，了解移動互聯(lián)網(wǎng)產(chǎn)品和行業(yè)，有在Android,iOS等平臺下HTML5+CSS+JavaScript（或移動JS框架）開發(fā)經(jīng)驗者優(yōu)先考慮；6、良好的溝通能力和團隊協(xié)作精神，對移動互聯(lián)網(wǎng)行業(yè)有濃厚興趣，有較強的研究能力和學(xué)習(xí)能力；</p>
<p>7、能夠承擔(dān)公司前端培訓(xùn)工作，對公司各業(yè)務(wù)線的前端（HTML5\CSS3）工作進行支撐和指導(dǎo)。</p>
<p><br></p>
<p>崗位職責(zé)：</p>
<p>1、利用html5及相關(guān)技術(shù)開發(fā)移動平臺、微信、APP等前端頁面，各類交互的實現(xiàn)；</p>
<p>2、持續(xù)的優(yōu)化前端體驗和頁面響應(yīng)速度，并保證兼容性和執(zhí)行效率；</p>
<p>3、根據(jù)產(chǎn)品需求，分析并給出最優(yōu)的頁面前端結(jié)構(gòu)解決方案；</p>
<p>4、協(xié)助后臺及客戶端開發(fā)人員完成功能開發(fā)和調(diào)試；</p>
<p>5、移動端主流瀏覽器的適配、移動端界面自適應(yīng)研發(fā)。</p>
</div>
"""

ret = re.sub('</?[a-zA-Z0-9]+>',"",html)
print(ret)

split：

使用正則表達式來分割字符串。

text = "hello world ni hao"
ret = re.split('\W',text)
print(ret)
>> ["hello","world","ni","hao"]

compile：

對于一些經(jīng)常要用到的正則表達式，可以使用compile進行編譯，后期再使用的時候可以直接拿過來用，執(zhí)行效率會更快。而且compile還可以指定flag=re.VERBOSE，在寫正則表達式的時候可以做好注釋。示例代碼如下：

text = "the number is 20.50"
r = re.compile(r"""
                \d+ # 小數(shù)點前面的數(shù)字
                \.? # 小數(shù)點
                \d* # 小數(shù)點后面的數(shù)字
                """,re.VERBOSE)
ret = re.search(r,text)
print(ret.group())

正則表達式實戰(zhàn)抓取古詩文網(wǎng)頁

import requests
import re
import json

# 正則表達式實戰(zhàn)抓取古詩文網(wǎng)頁


def parse_page(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }

    response = requests.get(url, headers=headers)
    text = response.text
    # <div\sclass="cont"> 某個div下面
    # .* 多個任意字符  . 點號不能匹配到 \n 在后面加 re.DOTALL 可以讓 . 點號匹配所有字符
    # 匹配個字符需要非貪婪模式 加 ?
    titles = re.findall(r'<div\sclass="cont">.*?<b>(.*?)</b>',text,re.DOTALL)
    dynasties = re.findall(r'<p\sclass="source">.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    authors = re.findall(r'<p\sclass="source">.*?<a.*?>.*?<a.*?>(.*?)</a>',text,re.DOTALL)
    content_tags = re.findall(r'<div\sclass="contson"\s.*?>(.*?)</div>',text,re.DOTALL)
    contents = []
    for content in content_tags:
        x = re.sub('<.*?>','',content)
        contents.append(x.strip())

    peoms = []
    for value in zip(titles,dynasties,authors,contents):
        title,dynasty,author,content = value
        peom = {
            'title':title,
            'dynasty':dynasty,
            'author':author,
            'content':content
        }
        peoms.append(peom)

    print("="*200)
    print(peoms)
    print("=" * 200)
    # json_peoms = json.dumps(peoms)
    # print(json_peoms.encode('utf-8').decode('utf-8'))


def main():
    # base_url = 'https://www.gushiwen.org/default_{}.aspx'
    # for x in range(1,100):
    #     url = base_url.format(x)
    #     parse_page(url)

    for x in range(1,101):
        url = 'https://www.gushiwen.org/default_%s.aspx' % x
        parse_page(url)


if __name__ == '__main__':
    main()

正則表達式實戰(zhàn)抓取糗事百科網(wǎng)頁

import requests
import re
import json

# 正則表達式實戰(zhàn)抓取糗事百科網(wǎng)頁


def parse_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    }

    response = requests.get(url, headers=headers)
    text = response.text
    # <div\sclass="cont"> 某個div下面
    # .* 多個任意字符  . 點號不能匹配到 \n 在后面加 re.DOTALL 可以讓 . 點號匹配所有字符
    # 匹配個字符需要非貪婪模式 加 ?


    imgs = re.findall(r'<div\sclass="author\sclearfix">.*?<img src="(.*?)".*?>', text, re.DOTALL)
    author_tags = re.findall(r'<div\sclass="author\sclearfix">.*?<h2>(.*?)</h2>', text, re.DOTALL)
    authors = []
    for author in author_tags:
        authors.append(author.strip())

    articleGenders = re.findall(r'div\sclass="author\sclearfix">.*?<div\sclass="articleGender\s.*?">(.*?)</div>', text, re.DOTALL)

    content_tags = re.findall(r'<div\sclass="content">.*?<span>(.*?)</span>',text,re.DOTALL)
    contents = []
    for content in content_tags:
        x = re.sub('<.*?>','',content)
        contents.append(x.strip())

    statsVotes = re.findall(r'<div\sclass="stats">.*?<span\sclass="stats-vote">.*?<i\sclass="number">(.*?)</i>', text, re.DOTALL)
    statsComments = re.findall(r'<div\sclass="stats">.*?<span\sclass="stats-comments">.*?<i\sclass="number">(.*?)</i>', text, re.DOTALL)


    peoms = []
    for value in zip(imgs,authors,articleGenders,contents,statsVotes,statsComments):
        img,author,articleGender,content,statsVote,statsComment = value
        peom = {
            'img':img,
            'author':author,
            'articleGender':int(articleGender),
            'content':content,
            'statsVote':int(statsVote),
            'statsComment':int(statsComment)
        }
        peoms.append(peom)

    print("="*200)
    print(peoms)
    print("=" * 200)
    json_peoms = json.dumps(peoms,ensure_ascii=False)
    with open('qsbk.json', 'w', encoding='utf-8') as fp:
        fp.write(json_peoms)
    print("=" * 200)
    print(json_peoms)
    print("=" * 200)

    # ensure_ascii=False 解碼 Unicode
    # with open('qsbk.json','w',encoding='utf-8') as fp:
        # 轉(zhuǎn)換為文件
        # json.dump(peoms,fp,ensure_ascii=False)

    # 將python對象轉(zhuǎn)換成json字符串
    # json.dump  json.dumps
    # 將json字符串轉(zhuǎn)換成python對象
    # json.load  json.loads


def main():
    # base_url = 'https://www.qiushibaike.com/8hr/page/{}/'
    # for x in range(1,14):
    #     url = base_url.format(x)
    #     parse_page(url)

    for x in range(1,14):
        url = 'https://www.qiushibaike.com/8hr/page/%s/' % x
        parse_page(url)


if __name__ == '__main__':
    main()

上一篇：數(shù)據(jù)解析之BeautifulSoup4解析庫
下一篇：數(shù)據(jù)存儲之json文件處理和csv文件處理

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

數(shù)據(jù)解析之正則表達式和re模塊

數(shù)據(jù)解析之正則表達式和re模塊

什么是正則表達式：

特殊字符：

正則表達式常用匹配規(guī)則：

^（脫字號）：代表以什么開始（不在中括號）或者取反（在中括號）

$：表示以...結(jié)束：

|：匹配多個表達式或者字符串：

點（.）匹配任意的字符：

\d匹配任意的數(shù)字：

\D匹配任意的非數(shù)字：

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

\w匹配的是`a-z`和`A-Z`以及數(shù)字和下劃線：

\W匹配的是和\w相反的：

[]組合的方式，只要滿足中括號中的某一項都算匹配成功：

匹配多個字符：

小案例：

貪婪模式和非貪婪模式：

案例：匹配`0-100`之間的數(shù)字：

轉(zhuǎn)義字符和原生字符串：

re模塊中常用函數(shù)：

match：

search：

分組：

findall：

sub：

split：

compile：

正則表達式實戰(zhàn)抓取古詩文網(wǎng)頁

正則表達式實戰(zhàn)抓取糗事百科網(wǎng)頁

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

數(shù)據(jù)解析之正則表達式和re模塊

什么是正則表達式：

特殊字符：

正則表達式常用匹配規(guī)則：

^（脫字號）：代表以什么開始（不在中括號）或者取反（在中括號）

$：表示以...結(jié)束：

|：匹配多個表達式或者字符串：

點（.）匹配任意的字符：

\d匹配任意的數(shù)字：

\D匹配任意的非數(shù)字：

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

\w匹配的是a-z和A-Z以及數(shù)字和下劃線：

\W匹配的是和\w相反的：

[]組合的方式，只要滿足中括號中的某一項都算匹配成功：

匹配多個字符：

小案例：

貪婪模式和非貪婪模式：

案例：匹配0-100之間的數(shù)字：

轉(zhuǎn)義字符和原生字符串：

re模塊中常用函數(shù)：

match：

search：

分組：

findall：

sub：

split：

compile：

正則表達式實戰(zhàn)抓取古詩文網(wǎng)頁

正則表達式實戰(zhàn)抓取糗事百科網(wǎng)頁

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

\s匹配的是空白字符（包括：\n，\t，\r和空格）：

\w匹配的是`a-z`和`A-Z`以及數(shù)字和下劃線：

[]組合的方式，只要滿足中括號中的某一項都算匹配成功：

案例：匹配`0-100`之間的數(shù)字：