爬蟲07day

什么是pyquery?

是jquery的python的python實現,同樣可以從html文檔中提取數據 ,易用性和解讀行都很好。

find(selector) : 使用css選擇器查找
filter(selector) : 根據id或者class過濾節(jié)點
直接對pyquery對象使用css選擇器查找節(jié)點
.eq(index) : 根據索引獲取指定的節(jié)點(從0開始)
.text(): 獲取節(jié)點的文本
.attr('屬性名') :獲取節(jié)點的屬性

隊列的使用:

在線程中多用隊列作為數據交換的方式,因為隊列是線程安全的,python原聲的lits,dict是非線程安全的,需要跟線程鎖配合使用,所以正式因為隊列是線程安全的,所以在線程中多用隊列作為數據交換的方式

print(que.full()) #判斷隊列是否滿了
print(que.empty()) #判斷隊列是否為空
print(que.qsize()) #獲取大小
put()方法往隊列中存值
maxsize設置隊列存放數據的最大值
lock = threading.Lock() 創(chuàng)建鎖
lock.acquire() 加鎖
lock.release() 解鎖

創(chuàng)建線程

target:線程要執(zhí)行的目標函數
name:給線程起一個名稱
args:傳參數(元組)
kwargs:傳參數(字典)

創(chuàng)建線程鎖:

保護資源,添加了線程鎖之后,同一時刻只能有一個線程在修改資源

?著作權歸作者所有,轉載或內容合作請聯系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容