使用save傳遞參數,如果傳遞的值太大,則會出現不執(zhí)行的情況。
是因為默認pyspider + mysql數據庫使用的是blob類型,blob類型最大64KB,超過了就會報錯:“Data too long for column 'fetch' at row 1”、
解決方案1: 手動把blob字段改成longblob(任務太多的話太麻煩)
解決方案2:改pyspider源代碼, 自動建表的時候。字段創(chuàng)建成longblob。
解決方案3(推薦):不要傳遞太大的參數,因為太大的參數也會占用過多的數據庫空間。建議從爬蟲代碼上去優(yōu)化。