PyQuery和多線程

  • PyQuery簡介 pyquery相當(dāng)于jQuery的python實現(xiàn),可以用于解析HTML網(wǎng)頁等
初始化 有 4 種方法可以進行初始化: 可以通過傳入 字符串、lxml、文件 或者 url 來使用PyQuery。
from pyquery import PyQuery as pq
from lxml import etree

#傳入字符串
d = pq("<html></html>")
#傳入lxml
d = pq(etree.fromstring("<html></html>"))
#傳入url
d = pq(url='http://google.com/')
#傳入文件
d = pq(filename=path_to_html_file)
現(xiàn)在,d 就像 jQuery 中的 $ 一樣了。
  • 1、.html()和.text() 獲取相應(yīng)的 HTML 塊或者文本內(nèi)容,
p=pq("<head><title>Hello World!</title></head>")

# 獲取相應(yīng)的 HTML 塊
print (p('head').html())

# 獲取相應(yīng)的文本內(nèi)容
print (p('head').text())

輸出:
'''
<title>hello Word</title>
Hello World!
'''
  • 2、(selector):通過選擇器來獲取目標(biāo)內(nèi)容
d = pq(
"<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>"
)

# 獲取 <div> 元素內(nèi)的 HTML 塊
print (d('div').html())

# 獲取 id 為 item-0 的元素內(nèi)的文本內(nèi)容
print (d('#item-0').text())

# 獲取 class 為 item-1 的元素的文本內(nèi)容
print (d('.item-1').text())

'''輸出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
test 1
test 2
'''
  • 3、.eq(index):根據(jù)索引號獲取指定元素(index 從 0 開始)
d = pq(
"<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>"
)

# 獲取第二個 p 元素的文本內(nèi)容
print (d('p').eq(1).text())

'''輸出
test 2
  • 4、.find():查找嵌套元素
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")

# 查找 <div> 內(nèi)的 p 元素
print d('div').find('p')

# 查找 <div> 內(nèi)的 p 元素,輸出第一個 p 元素
print d('div').find('p').eq(0)

'''輸出:
<p id="item-0">test 1</p><p class="item-1">test 2</p>
<p id="item-0">test 1</p>
'''
  • 5、.filter():根據(jù) class、id 篩選指定元素
d = pq("<div><p id='item-0'>test 1</p><p class='item-1'>test 2</p></div>")

# 查找 class 為 item-1 的 p 元素
print d('p').filter('.item-1')

# 查找 id 為 item-0 的 p 元素
print d('p').filter('#item-0')

'''輸出:
<p class="item-1">test 2</p>
<p id="item-0">test 1</p>
  • 6.attr():獲取、修改屬性值
d = pq("<div><p id='item-0'>test 1</p><a class='item-1'>test 2</p></div>")

# 獲取 <p> 標(biāo)簽的屬性 id
print(d('p').attr('id'))

# 修改 <a> 標(biāo)簽的 class 屬性為 new
print(d('a').attr('class','new'))

'''輸出:
item-0
<a class="new">test 2</a>
  • 7、其他操作:
#添加 class
.addClass(value):
#判斷是否包含指定的 class,返回 True 或 False
.hasClass(value):
#獲取子元素
.children():
#獲取父元素
.parents():
#獲取下一個元素
.next():
#獲取后面全部元素塊
.nextAll():
#獲取所有不匹配該選擇器的元素
.not_(selector):

什么是多任務(wù)?
  • 簡單的說,就是操作系統(tǒng)可以同時運行多個任務(wù)
threading.Thread參數(shù)介紹
  • target:線程執(zhí)行的函數(shù)
  • name:線程名稱
  • args:執(zhí)行函數(shù)中需要傳遞的參數(shù),元組類型 另外:注意daemon參數(shù)
  • 如果某個子線程的daemon屬性為False,主線程結(jié)束時會檢測該子線程是否結(jié)束,如果該子線程還在運行,則主線程會等待它完成后再退出;
  • 如果某個子線程的daemon屬性為True,主線程運行結(jié)束時不對這個子線程進行檢查而直接退出,同時所有daemon值為True的子線程將隨主線程一起結(jié)束,而不論是否運行完成。
  • 屬性daemon的值默認為False,如果需要修改,必須在調(diào)用start()方法啟動線程之前進行設(shè)置

主線程與子線程的執(zhí)行順序

#coding=utf-8
import threading
from time import sleep,ctime

def sing():
for i in range(3):
print("正在唱歌...%d"%i)
sleep(1)

def dance():
for i in range(3):
print("正在跳舞...%d"%i)
sleep(1)

if __name__ == '__main__':
print('---開始---:%s'%ctime())

t1 = threading.Thread(target=sing)
t2 = threading.Thread(target=dance)

t1.start()
t2.start()

t1.join()
t2.join()

#sleep(5) # 屏蔽此行代碼,試試看,程序是否會立馬結(jié)束?
print('---結(jié)束---:%s'%ctime())

互斥鎖

  • 當(dāng)多個線程幾乎同時修改某一個共享數(shù)據(jù)的時候,需要進行同步控制
  • 線程同步能夠保證多個線程安全訪問競爭資源,最簡單的同步機制是引入互斥鎖。
  • 互斥鎖為資源引入一個狀態(tài):鎖定/非鎖定
  • 某個線程要更改共享數(shù)據(jù)時,先將其鎖定,此時資源的狀態(tài)為“鎖定”,其他線程不能更改;直到該線程釋放資源,將資源的狀態(tài)變成“非鎖定”,其他的線程才能再次鎖定該資源?;コ怄i保證了每次只有一個線程進行寫入操作,從而保證了多線程情況下數(shù)據(jù)的正確性
1.創(chuàng)建鎖
lock = threading.Lock()
2.鎖定
lock.acquire()
2.釋放
lock.release()

鎖的好處

確保了某段關(guān)鍵代碼只能由一個線程從頭到尾完整地執(zhí)行

鎖的壞處:

阻止了多線程并發(fā)執(zhí)行,包含鎖的某段代碼實際上只能以單線程模式執(zhí)行,效率就大大地下降了。
由于可以存在多個鎖,不同的線程持有不同的鎖,并試圖獲取對方持有的鎖時,可能會造成死鎖。

死鎖問題

在線程間共享多個資源的時候,如果兩個線程分別占有一部分資源并且同時等待對方的資源,就會造成死鎖。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容