BeautifulSoup是Python非常好用的一個庫，可以用它來方便地解析網(wǎng)頁內(nèi)容，獲取我們需要的數(shù)據(jù)，幾乎是Python爬蟲居家旅行必備的庫，這個系列的文章會記錄下用BeautifulSoup獲取簡書數(shù)據(jù)的過程，但不會詳細介紹BeautifulSoup的用法，有需要的同學(xué)可以參見官方文檔。
第一篇介紹怎么用 BeautifulSoup 獲取簡書作者的基本信息，包括文章數(shù)量、粉絲數(shù)量、獲得的喜歡等，先把需要的庫導(dǎo)進來：
import requests
from bs4 import BeautifulSoup
打開你的簡書主頁地址，復(fù)制到url:
url = 'http://www.itdecent.cn/users/65ed1c462691/top_articles'
你會發(fā)現(xiàn)所有用戶主頁的域名都是'http://www.itdecent.cn/users/ + ID 這個ID每個人都不同，接下來我們會用到 requests ，當(dāng)然你也可以直接用 Python 的 urlib 來獲取網(wǎng)頁內(nèi)容，我選擇requests是因為它的語法更簡單，用requests 請求數(shù)據(jù)之前先偽裝成瀏覽器，否則很可能被服務(wù)器拒絕：
header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20100101 Firefox/36.0'}
response = requests.get(url, headers=header)
html = response.text
然后把得到的 html 傳入到 BeautifulSoup 進行解析，這里用了 Python 自帶的 html.parser（建議使用lxml）
soup = BeautifulSoup(html, 'html.parser')
網(wǎng)頁內(nèi)容較多，我貼一部分上來：
<title>Cescfangs - 簡書</title>
<meta content="authenticity_token" name="csrf-param"/>
...
<div class="user-stats">
<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字?jǐn)?shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>
</div>
</div>
粗略一看，發(fā)現(xiàn)我們作者的基本信息（文章數(shù)、收到的喜歡等）都包含在<ul class="clearfix">這個標(biāo)簽內(nèi)，讓我們用 BeautifulSoup 找到這個標(biāo)簽：
author_info = soup.find_all('ul', class_='clearfix')
author_info 的內(nèi)容如下：
[<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字?jǐn)?shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>]
返回的結(jié)果是一個可迭代對象，其實只有一個元素:
info = author_info[0]
現(xiàn)在變成了這樣：
<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字?jǐn)?shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>
我們獲得了一個新的 BeautifulSoup 標(biāo)簽對象，再觀察我們需要的數(shù)字都在這個對象的 b 標(biāo)簽里，再把它們找出來:
numbers = info.find_all('b')
numbers
#[<b>11</b>, <b>104</b>, <b>19</b>, <b>15315</b>, <b>166</b>]
嗯嗯，距離成功很近了，處理一下數(shù)據(jù)，保留我們需要的數(shù)字就夠了:
number_list = [int(item.string) for item in numbers]
number_list 是這樣子的：
[11, 104, 19, 15315, 166]
好像還漏了作者的名字，名字就藏在 title 標(biāo)簽里，這里用了 find，它只返回第一個符合要求的結(jié)果:
name = soup.find('title')
name.string
#'Cescfangs - 簡書'
把不要的后綴去掉：
author_name = name.string[:-5]
author_name
#'Cescfangs'
嘿嘿嘿，寫個簡單的函數(shù)整合一下我們獲得的數(shù)據(jù)：
def author(name, number_list):
author_dict = {}
author_dict['name'] = name
author_dict['following'] = number_list[0]
author_dict['fans'] = number_list[1]
author_dict['articles'] = number_list[2]
author_dict['words'] = number_list[3]
author_dict['likes'] = number_list[4]
return author_dict
試試看：
cesc = author(author_name, number_list)
cesc
'''
{'articles': 19,
'fans': 104,
'following': 11,
'likes': 166,
'name': 'Cescfangs',
'words': 15315}''''
再寫個函數(shù)方便輸出:
def print_author(author_dict):
print(author_dict['name'], '有', author_dict['fans'], '個粉絲，寫了', author_dict['articles'],
'篇文章，碼了', author_dict['words'], '個字，\n收割了', author_dict['likes'],
'顆喜歡， 他悄悄關(guān)注了', author_dict['following'], '人~~~')
print_author(cesc)
#Cescfangs 有 104 個粉絲，寫了 19 篇文章，碼了 15315 個字，
#收割了 166 顆喜歡， 他悄悄關(guān)注了 11 人~~~
本文的源碼（Jupyter Notebook）戳這里。
