- PyQuery簡介 pyquery相當(dāng)于jQuery的python實現(xiàn),可以用于解析HTML網(wǎng)頁等
初始化 有 4 種方法可以進行初始化: 可以通過傳入 字符串、lxml、文件 或者 url 來使用PyQuery。
from pyquery import PyQuery as pq
from lxml import etree
#傳入字符串
d = pq("<html></html>")
#傳入lxml
d = pq(etree.fromstring("<html></html>"))
#傳入url
d = pq(url='http://google.com/')
#傳入文件
d = pq(filename=path_to_html_file)
現(xiàn)在,d 就像 jQuery 中的 $ 一樣了。
- 1、.html()和.text() 獲取相應(yīng)的 HTML 塊或者文本內(nèi)容,
p=pq("<head><title>Hello World!</title></head>")
# 獲取相應(yīng)的 HTML 塊
print (p('head').html())
# 獲取相應(yīng)的文本內(nèi)容
print (p('head').text())
輸出:
'''
<title>hello Word</title>
Hello World!
'''
- 2、(selector):通過選擇器來獲取目標(biāo)內(nèi)容
d = pq(
"<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>"
)
# 獲取 <div> 元素內(nèi)的 HTML 塊
print (d('div').html())
# 獲取 id 為 item-0 的元素內(nèi)的文本內(nèi)容
print (d('#item-0').text())
# 獲取 class 為 item-1 的元素的文本內(nèi)容
print (d('.item-1').text())
'''輸出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
test 1
test 2
'''
- 3、.eq(index):根據(jù)索引號獲取指定元素(index 從 0 開始)
d = pq(
"<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>"
)
# 獲取第二個 p 元素的文本內(nèi)容
print (d('p').eq(1).text())
'''輸出
test 2
- 4、.find():查找嵌套元素
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
# 查找 <div> 內(nèi)的 p 元素
print d('div').find('p')
# 查找 <div> 內(nèi)的 p 元素,輸出第一個 p 元素
print d('div').find('p').eq(0)
'''輸出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
<p id="item-0">test 1</p>
'''
- 5、.filter():根據(jù) class、id 篩選指定元素
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")
# 查找 class 為 item-1 的 p 元素
print d('p').filter('.item-1')
# 查找 id 為 item-0 的 p 元素
print d('p').filter('#item-0')
'''輸出:
<p class="item-1">test 2</p>
<p id="item-0">test 1</p>
- 6.attr():獲取、修改屬性值
d = pq("<div><p id='item-0'>test 1</p><a class='item-1'>test 2</p></div>")
# 獲取 <p> 標(biāo)簽的屬性 id
print(d('p').attr('id'))
# 修改 <a> 標(biāo)簽的 class 屬性為 new
print(d('a').attr('class','new'))
'''輸出:
item-0
<a class="new">test 2</a>
- 7、其他操作:
#添加 class
.addClass(value):
#判斷是否包含指定的 class,返回 True 或 False
.hasClass(value):
#獲取子元素
.children():
#獲取父元素
.parents():
#獲取下一個元素
.next():
#獲取后面全部元素塊
.nextAll():
#獲取所有不匹配該選擇器的元素
.not_(selector):
什么是多任務(wù)?
- 簡單的說,就是操作系統(tǒng)可以同時運行多個任務(wù)
threading.Thread參數(shù)介紹
- target:線程執(zhí)行的函數(shù)
- name:線程名稱
- args:執(zhí)行函數(shù)中需要傳遞的參數(shù),元組類型 另外:注意daemon參數(shù)
- 如果某個子線程的daemon屬性為False,主線程結(jié)束時會檢測該子線程是否結(jié)束,如果該子線程還在運行,則主線程會等待它完成后再退出;
- 如果某個子線程的daemon屬性為True,主線程運行結(jié)束時不對這個子線程進行檢查而直接退出,同時所有daemon值為True的子線程將隨主線程一起結(jié)束,而不論是否運行完成。
- 屬性daemon的值默認為False,如果需要修改,必須在調(diào)用start()方法啟動線程之前進行設(shè)置
主線程與子線程的執(zhí)行順序
#coding=utf-8
import threading
from time import sleep,ctime
def sing():
for i in range(3):
print("正在唱歌...%d"%i)
sleep(1)
def dance():
for i in range(3):
print("正在跳舞...%d"%i)
sleep(1)
if __name__ == '__main__':
print('---開始---:%s'%ctime())
t1 = threading.Thread(target=sing)
t2 = threading.Thread(target=dance)
t1.start()
t2.start()
t1.join()
t2.join()
#sleep(5) # 屏蔽此行代碼,試試看,程序是否會立馬結(jié)束?
print('---結(jié)束---:%s'%ctime())
互斥鎖
- 當(dāng)多個線程幾乎同時修改某一個共享數(shù)據(jù)的時候,需要進行同步控制
- 線程同步能夠保證多個線程安全訪問競爭資源,最簡單的同步機制是引入互斥鎖。
- 互斥鎖為資源引入一個狀態(tài):鎖定/非鎖定
- 某個線程要更改共享數(shù)據(jù)時,先將其鎖定,此時資源的狀態(tài)為“鎖定”,其他線程不能更改;直到該線程釋放資源,將資源的狀態(tài)變成“非鎖定”,其他的線程才能再次鎖定該資源?;コ怄i保證了每次只有一個線程進行寫入操作,從而保證了多線程情況下數(shù)據(jù)的正確性
1.創(chuàng)建鎖
lock = threading.Lock()
2.鎖定
lock.acquire()
2.釋放
lock.release()
鎖的好處
確保了某段關(guān)鍵代碼只能由一個線程從頭到尾完整地執(zhí)行
鎖的壞處:
阻止了多線程并發(fā)執(zhí)行,包含鎖的某段代碼實際上只能以單線程模式執(zhí)行,效率就大大地下降了。
由于可以存在多個鎖,不同的線程持有不同的鎖,并試圖獲取對方持有的鎖時,可能會造成死鎖。
死鎖問題
在線程間共享多個資源的時候,如果兩個線程分別占有一部分資源并且同時等待對方的資源,就會造成死鎖。