運行環(huán)境:python3.5.1 , 庫:bs4
爬取一位大神的簡書文章列表
直接代碼:
# coding=utf-8
from urllib.request import urlopen
from urllib.error import URLError
from bs4 import BeautifulSoup
def getName(url):
try:
html = urlopen(url)
except URLError as e:
print(e)
return None
try:
bsObj = BeautifulSoup(html, "html.parser")
namelist = bsObj.select('h4 > a[target="_blank"]')
except AttributeError as e:
print(e)
return None
for name in namelist:
print(name.string)
for index in range(1, 10):
getName(
"http://www.itdecent.cn/users/c98451170fd6/latest_articles?page=%d" % index)
如果你是使用subl IDE 利用插件直接在subl 中運行的話,可能會在subl控制臺中發(fā)現(xiàn)中文都是亂碼,這個問題我也一直找不到解決辦法。為了得到正確的運行結(jié)果請在終端下用命令進行運行。
運行結(jié)果:
weiwangdeMacBook-Pro:Desktop wangwei$ python findName.py
百詞斬PK詞匯重點整理(2016.6)
簡明Python教程筆記(附代碼)
Python input和raw_input的區(qū)別
Python算法100題--034
linux硬鏈接和軟鏈接
Linux用戶及文件權(quán)限管理
Linux概念和基礎操作
Linux系統(tǒng)介紹
操作系統(tǒng)知識總結(jié)
Linux常用命令
PyCharm教程
Python算法100題--033
Python算法100題--032
時間管理的七句話---阮一峰
請分別列出HTML、JavaScript、CSS、Java、php、python的注釋代碼形式。
TCP/IP常問問題
常見網(wǎng)絡協(xié)議及對應端口號
TCP/UDP區(qū)別
網(wǎng)絡架構(gòu)模型
常見正則表達式
常見網(wǎng)絡操作命令
進制的計算
開源版本討論
Python算法100題--031
臉譜化過去的你
HTML 李炎恢筆記
IP地址分類
Python算法100題--030
...
...
...