bs4語(yǔ)法
是什麼？
BeautifulSoup，就是一個(gè)第三方的庫(kù)，使用之前需要安裝
pip install bs4
pip進(jìn)行安裝，默認(rèn)是從國(guó)外安裝，所以需要將pip源設(shè)置為國(guó)內(nèi)源，國(guó)內(nèi)有豆瓣源、阿里源、網(wǎng)易源等等xxx
配置永久國(guó)內(nèi)源：
- 1.windows配置方式：
（1）打開文件資源管理器
--------在地址欄中輸入 %appdata%
（2）手動(dòng)創(chuàng)建一個(gè)文件夾叫做 pip
（3）在pip的文件夾里面新建一個(gè)文件 pip.ini
（4）文件中寫如下內(nèi)容[global] index-url = http://pypi.douban.com/simple [install] trusted-host=pypi.douban.com
- linux配置方式：
（1）cd ~
（2）mkdir .pip
（3）vi ~/.pip/pip.conf
（4）編輯內(nèi)容和windows的內(nèi)容一模一樣
安裝
pip install bs4
pip install lxml
bs4是什麼？
- 它的作用是能夠快速方便簡(jiǎn)單的提取網(wǎng)頁(yè)中指定的內(nèi)容，給我一個(gè)網(wǎng)頁(yè)字符串，然后使用它的接口將網(wǎng)頁(yè)字符串生成一個(gè)對(duì)象，然后通過(guò)這個(gè)對(duì)象的方法來(lái)提取數(shù)據(jù)
lxml是什麼？
- lxml是一個(gè)解析器，也是下面的xpath要用到的庫(kù)，bs4將網(wǎng)頁(yè)字符串生成對(duì)象的時(shí)候需要用到解析器，就用lxml，或者使用官方自帶的解析器 html.parser
bs4語(yǔ)法學(xué)習(xí)
- 通過(guò)本地文件進(jìn)行學(xué)習(xí)，通過(guò)網(wǎng)絡(luò)進(jìn)行寫代碼
（1）根據(jù)標(biāo)簽名進(jìn)行獲取節(jié)點(diǎn)
只能找到第一個(gè)符合要求的節(jié)點(diǎn)
（2）獲取文本內(nèi)容和屬性 - 屬性
soup.a.attrs 返回一字典，里面是所有屬性和值
soup.a['href'] 獲取href屬性
- 文本
soup.a.string
soup.a.text
soup.a.get_text()
【注】當(dāng)標(biāo)簽里面還有標(biāo)簽的時(shí)候，string獲取的為None，其他兩個(gè)獲取純文本內(nèi)容
（3）find方法
soup.find('a')
soup.find('a', class_='xxx')
soup.find('a', title='xxx')
soup.find('a', id='xxx')
soup.find('a', id=re.compile(r'xxx'))
【注】find只能找到符合要求的第一個(gè)標(biāo)簽，他返回的是一個(gè)對(duì)象
（4）find_all
返回一個(gè)列表，列表里面是所有的符合要求的對(duì)象
soup.find_all('a')
soup.find_all('a', class_='wang')
soup.find_all('a', id=re.compile(r'xxx'))
soup.find_all('a', limit=2) 提取出前兩個(gè)符合要求的a
（5）select
選擇，選擇器 css中
常用的選擇器
標(biāo)簽選擇器、id選擇器、類選擇器
層級(jí)選擇器**
div h1 a 后面的是前面的子節(jié)點(diǎn)即可
div > h1 > a 后面的必須是前面的直接子節(jié)點(diǎn)
屬性選擇器
input[name='hehe']
select('選擇器的')
【注】返回的是一個(gè)列表，列表里面都是對(duì)象
【注】find find_all select不僅適用于soup對(duì)象，還適用于其他的子對(duì)象，如果調(diào)用子對(duì)象的select方法，那么就是從這個(gè)子對(duì)象里面去找符合這個(gè)選擇器的標(biāo)簽
from bs4 import BeautifulSoup
# 生成soup對(duì)象
soup = BeautifulSoup(open('soup.html', encoding='utf8'), 'lxml')
print(type(soup))
print(soup.a.attrs)
print(soup.a.attrs['href'])
print(soup.a['href'])
print(soup.a.string)
print(soup.a.text)
print(soup.a.get_text())
print(soup.div.string)
print(soup.div.text)
print(soup.div.get_text())
ret = soup.find('a')
ret = soup.find('a', title='清明')
ret = soup.find('a', class_='dumu')
print(ret)
import re
ret = soup.find('a', id='xiaoge')
ret = soup.find('a', id=re.compile(r'^x'))
print(ret.string)
ret = soup.find_all('a')
print(ret[1].string)
ret = soup.find_all('a', class_='wang')
print(ret)
ret = soup.find_all('a', id=re.compile(r'^x'))
print(ret)
ret = soup.select('a')
ret = soup.select('#muxiong')
print(ret[0]['title'])
ret = soup.select('.wang')
print(ret)
ret = soup.select('div > a')
print(ret)
ret = soup.select('a[title=東坡肉]')
print(ret)
odiv = soup.select('.tang')[0]
ret = odiv.select('a')
print(ret)
滾滾長(zhǎng)江東逝水，浪花淘盡英雄，是非成敗轉(zhuǎn)頭看，青山依舊在，幾度夕陽(yáng)紅
白發(fā)漁樵江渚上，觀看秋月春風(fēng)，一壺濁酒喜相逢，古今多少事，都付笑談中
三國(guó)演義--實(shí)戰(zhàn)
import urllib.request
import urllib.parse
from bs4 import BeautifulSoup
import time
# 給我一個(gè)url，返回一個(gè)請(qǐng)求對(duì)象
def handle_request(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
return urllib.request.Request(url=url, headers=headers)
def parse_first_page(url):
request = handle_request(url)
# 發(fā)送請(qǐng)求，獲取響應(yīng)
content = urllib.request.urlopen(request).read().decode('utf8')
time.sleep(2)
# 使用bs解析內(nèi)容,生成soup對(duì)象
soup = BeautifulSoup(content, 'lxml')
# print(soup)
# 查找所有的章節(jié)鏈接對(duì)象
a_list = soup.select('.book-mulu > ul > li > a')
# print(ret)
# print(len(ret))
# 打開文件
fp = open('三國(guó)演義.txt', 'w', encoding='utf8')
# 遍歷所有的a對(duì)象
for oa in a_list:
# 取出這個(gè)a的內(nèi)容
title = oa.string
# 取出a的href屬性
+ oa['href']
print('正在下載%s......' % title)
# 向href發(fā)送請(qǐng)求，直接獲取到解析之后的內(nèi)容
neirong = get_neirong(href)
print('結(jié)束下載%s' % title)
time.sleep(2)
string = '%s\n%s' % (title, neirong)
# 將string寫入到文件中
fp.write(string)
fp.close()
def get_neirong(href):
# 向href發(fā)送請(qǐng)求，獲取響應(yīng)，解析響應(yīng)，返回內(nèi)容
request = handle_request(href)
content = urllib.request.urlopen(request).read().decode('utf8')
# 生成soup對(duì)象，提取章節(jié)內(nèi)容
soup = BeautifulSoup(content, 'lxml')
# 找包含章節(jié)內(nèi)容的div
odiv = soup.find('div', class_='chapter_content')
neirong = odiv.text
return neirong
def main():
url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
# 解析第一個(gè)頁(yè)面，返回所有的章節(jié)列表
chapter_list = parse_first_page(url)
if __name__ == '__main__':
main()
智聯(lián)招聘--實(shí)戰(zhàn)
import urllib.request
import urllib.parse
import time
from bs4 import BeautifulSoup
class ZhiLianSpider(object):
def __init__(self, jl, kw, start_page, end_page):
# 保存到成員屬性中，這樣在其他的方法中就可以直接使用
self.jl = jl
self.kw = kw
self.start_page = start_page
self.end_page = end_page
self.items = []
def handle_request(self, page):
url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?'
data = {
'jl': self.jl,
'kw': self.kw,
'p': page,
}
query_string = urllib.parse.urlencode(data)
# 拼接url
url += query_string
# print(url)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
return urllib.request.Request(url=url, headers=headers)
def parse_content(self, content):
# 生成soup對(duì)象
soup = BeautifulSoup(content, 'lxml')
# 首先找到所有的table
table_list = soup.find_all('table', class_='newlist')[1:]
# print(table_list)
# print(len(table_list))
# 遍歷所有的table，依次提取每一個(gè)工作的信息
for table in table_list:
# 職位名稱
zwmc = table.select('.zwmc a')[0].text.strip('\xa0')
# 公司名稱
gsmc = table.select('.gsmc a')[0].text
# 職位月薪
zwyx = table.select('.zwyx')[0].text
# 工作地點(diǎn)
gzdd = table.select('.gzdd')[0].text
# print(gzdd)
# exit()
item = {
'職位名稱': zwmc,
'公司名稱': gsmc,
'職位月薪': zwyx,
'工作地點(diǎn)': gzdd,
}
self.items.append(item)
def run(self):
# 搞個(gè)循環(huán)
for page in range(self.start_page, self.end_page + 1):
print('正在爬取第%s頁(yè)......' % page)
# 拼接url的過(guò)程，構(gòu)建請(qǐng)求對(duì)象
request = self.handle_request(page)
content = urllib.request.urlopen(request).read().decode('utf8')
# 給我請(qǐng)求對(duì)象，解析并且提取內(nèi)容
self.parse_content(content)
print('結(jié)束爬取第%s頁(yè)' % page)
time.sleep(2)
# 將所有的工作保存到文件中
string = str(self.items)
with open('work.txt', 'w', encoding='utf8') as fp:
fp.write(string)
def main():
# 輸入工作地點(diǎn)
jl = input('請(qǐng)輸入工作地點(diǎn):')
# 輸入工作關(guān)鍵字
kw = input('請(qǐng)輸入關(guān)鍵字:')
# 輸入起始頁(yè)碼
start_page = int(input('請(qǐng)輸入起始頁(yè)碼:'))
# 輸入結(jié)束頁(yè)碼
end_page = int(input('請(qǐng)輸入結(jié)束頁(yè)碼:'))
zhilian = ZhiLianSpider(jl, kw, start_page, end_page)
zhilian.run()
if __name__ == '__main__':
main()
