問題描述

問題的起因來自于一段正則替換。為了從一段HTML代碼里面提取出正文，去掉所有的HTML標(biāo)簽和屬性，可以寫一個Python函數(shù)：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text

這段代碼的使用了正則表達式的替換功能re.sub。這個函數(shù)的第一個參數(shù)表示需要被替換的內(nèi)容的正則表達式，由于HTML標(biāo)簽都是使用尖括號包起來的，因此使用<.*?>就可以匹配所有<xxx yyy="zzz">和</xxx>。

第二個參數(shù)表示被匹配到的內(nèi)容將要被替換成什么內(nèi)容。由于我需要提取正文，那么只要把所有HTML標(biāo)簽都替換為空字符串即可。第三個參數(shù)就是需要被替換的文本，在這個例子中是HTML源代碼段。

至于re.S，在4年前的一篇文章中我講到了它的用法：Python正則表達式中的re.S。

現(xiàn)在使用一段HTML代碼來測試一下：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text


source_1 = '''
<div class="content">今天的主角是<a href="xxx">kingname</a>，我們掌聲歡迎！</div>
'''


text = remove_tag(source_1)
print(text)

運行效果如下圖所示，功能完全符合預(yù)期

image

再來測試一下代碼中有換行符的情況：

import re


def remove_tag(html):
    text = re.sub('<.*?>', '', html, re.S)
    return text

source_2 = '''
<div class="content">
    今天的主角是
    <a href="xxx">kingname</a>
    ，我們掌聲歡迎！
</div>
'''
text = remove_tag(source_2)
print(text)

運行效果如下圖所示，完全符合預(yù)期。

image

經(jīng)過測試，在絕大多數(shù)情況下，能夠從的HTML代碼段中提取出正文。但也有例外。

例外情況

有一段HTML代碼段比較長，內(nèi)容如下：

<img></span><span>遇見kingname</span></a ><a  ><span class='url-icon'>< img '></span><span >溫柔</span></a ><a  ><span >#青南#</span></a > <br />就在這里…<br />我的小侯爺呢？？？

運行效果如下圖所示，最后兩個HTML標(biāo)簽替換失敗。

image

一開始我以為是HTML里面的空格或者引號引起的問題，于是我把HTML代碼進行簡化：

<img></span><span>遇見kingname</span></a><a><span><img></span><span>溫柔</span></a><a><span>#青南#</span></a><br/>就在這里…<br/>我的小侯爺呢

問題依然存在，如下圖所示。

image

而且更令人驚訝的是，如果把第一個標(biāo)簽<img>刪了，那么替換結(jié)果里面就少了一個標(biāo)簽，如下圖所示。

image

實際上，不僅僅是刪除第一個標(biāo)簽，前面任意一個標(biāo)簽刪了都可以減少結(jié)果里面的一個標(biāo)簽。如果刪除前面兩個或以上標(biāo)簽，那么結(jié)果就正常了。

答疑解惑

這個看起來很奇怪的問題，根本原因在re.sub的第4個參數(shù)。從函數(shù)原型可以看到：

def sub(pattern, repl, string, count=0, flags=0)

第四個參數(shù)是count表示替換個數(shù)，re.S如果要用，應(yīng)該作為第五個參數(shù)。所以如果把remove_tag函數(shù)做一些修改，那么結(jié)果就正確了:

def remove_tag(html):
    text = re.sub('<.*?>', '', html, flags=re.S)
    return text

那么問題來了，把re.S放在count的位置，為什么代碼沒有報錯？難道re.S是數(shù)字？實際上，如果打印一下就會發(fā)現(xiàn)，re.S確實可以作為數(shù)字：

>>> import re
>>> print(int(re.S))
16

現(xiàn)在回頭數(shù)一數(shù)出問題的HTML代碼，發(fā)現(xiàn)最后多出來的兩個<br>標(biāo)簽，剛剛好是第17和18個標(biāo)簽，而由于count填寫的re.S可以當(dāng)做16來處理，那么Python就會把前16個標(biāo)簽替換為空字符串，從而留下最后兩個。

至此問題的原因搞清楚了。

這個問題沒有被及早發(fā)現(xiàn)，有以下幾個原因：

1. 被替換的HTML代碼是代碼段，大多數(shù)情況下HTML標(biāo)簽不足16個，所以問題被隱藏。
2. re.S是一個對象，但也是數(shù)字，count接收的參數(shù)剛好也是數(shù)字。在很多編程語言里面，常量都會使用數(shù)字，然后用一個有意義的大寫字母來表示。
3. re.S 處理的情況是<div class="123" \n> 而不是<div class="123">\n</div>但測試的代碼段標(biāo)簽都是第二種情況，所以在代碼段里面實際上加不加re.S效果是一樣的。