pyspider使用save傳遞變量過大導致不執(zhí)行的問題。

使用save傳遞參數,如果傳遞的值太大,則會出現不執(zhí)行的情況。

是因為默認pyspider + mysql數據庫使用的是blob類型,blob類型最大64KB,超過了就會報錯:“Data too long for column 'fetch' at row 1”、

解決方案1: 手動把blob字段改成longblob(任務太多的話太麻煩)

解決方案2:改pyspider源代碼, 自動建表的時候。字段創(chuàng)建成longblob。

解決方案3(推薦):不要傳遞太大的參數,因為太大的參數也會占用過多的數據庫空間。建議從爬蟲代碼上去優(yōu)化。

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容