python3腳本先放上

import requests
import re
from urllib.parse import urljoin
import csv
import chardet

def caiji(url):
    file = open('result.csv', 'w', encoding='utf-8', newline='')
    cw = csv.writer(file)
    cw.writerow(['URL', 'Anchor'])

    resp = requests.get(url)
    encoding = chardet.detect(resp.content)["encoding"]
    # print(encoding)
    resp.encoding = encoding
    link_list = re.findall(r'<a.*?href="(.*?)".*?>(.*?)</a>', resp.text, re.S|re.I)
    for link in link_list:
        a = urljoin(url, link[0]), link[1]
        print(a)
        cw.writerow(a)

    file.close()

if __name__ == '__main__':
    url = ''  # 要采集的URL
    caiji(url) 

稍做解釋

1. 上述腳本結(jié)果存入Excel，其中newline=''不會出現(xiàn)空行。
2. python正則導(dǎo)入模塊import re，URL及其文本匹配<a.*?href="(.*?)".*?>(.*?)</a>。
3. 以下這兩行以便python正確識別網(wǎng)頁編碼，以防亂碼。

encoding = chardet.detect(resp.content)["encoding"]
resp.encoding = encoding

4. urljoin(url, link[0]) Url相對路徑，改為絕對路徑。

對SEO作用

1. 方便查看網(wǎng)頁上有那些超鏈接，以便進一步查看是否是404、301等。
2. 根據(jù)First link counts原則，查看相同Url，第一個Url的anchor是否合適。