1.Requests庫
import requests
獲取Response內(nèi)容：r = requests.get("http://www.baidu.com")
2.BeautifulSoup庫
from bs4 import BeautifulSoup
解析方法：soup = BeautifulSoup(r.text,"lxml")
soup的類型為：<class 'bs4.element.Tag'>
select()方法： soup.select(div.item a h1)
find()方法：soup.find('div',class='item')
find_all()方法：soup.find_all('div',class='item')
獲取文本的兩種方法 : soup.get_text()或soup.text
其中，soup.text是bs4.element.Tag類的屬性，而 soup.get_text()是bs4.element.Tag類的方法。
實例：
import requests
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/subject/6874741/'
r = requests.get(url)
soup = BeautifulSoup(r.text,"lxml")
film_name = soup.select('#content > h1 > span')[0].text
director = soup.select('#info > span:nth-of-type(2) > span.attrs > a')[0].text #此處用copy selector會弄錯,需參考xpath路徑
actors = soup.select('#info > span.actor > span.attrs')[0].text
#actors = soup.select('#info > span.actor > span.attrs')[0].get_text() #等同于上一句
movie_time = soup.select('#info > span:nth-of-type(13)')[0].text #此處用copy selector會弄錯,需參考xpath路徑
print ('電影名:',film_name)
print ('導(dǎo)演:',director)
print ('主演:',actors)
print ('片長:',movie_time)
結(jié)果：
電影名: 無問西東
導(dǎo)演: 李芳芳
主演: 章子怡 / 黃曉明 / 張震 / 王力宏 / 陳楚生 / 鐵政 / 祖鋒 / 米雪 / 王盛德 / 韓童生 / 王鑫 / 鄭錚 / 章澤天 / 黃夢瑩 / 林美秀 / 保羅·菲利普·克拉克 / 胡家華 / 伊娜 / 吳謹(jǐn)言 / 紀(jì)帥 / 王天澤 / 伍麟凱 / 都金翰
片長: 138分鐘
3.Lxml庫
from lxml import etree
解析方法：selector = etree.HTML(r.text)
修正html代碼：result = etree.tostring(selector)
xpath()方法：selector.xpath('div/a/h1/text()')
實例：
import requests
from lxml import etree
url = 'https://movie.douban.com/subject/6874741/'
r = requests.get(url)
#print(r.status_code)
selector = etree.HTML(r.text)
#text()提取標(biāo)簽的文本內(nèi)容
film_name = selector.xpath('//*[@id="content"]/h1/span[1]/text()')
director = selector.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')
actors = selector.xpath('//*[@id="info"]/span[3]/span[2]/a/text()')
movie_time = selector.xpath('//*[@id="info"]/span[13]/text()')
print ('電影名:',film_name)
print ('導(dǎo)演:',director)
print ('主演:',actors)
print ('片長:',movie_time)
結(jié)果同上。
