IP屬地：福建
-
Linux上使用crontab命令完成定時爬蟲本文主要記錄： 1、crontab的用法。 2、crontab與scrapy的結合。 一、crontab cronta...
-
簡單高效地部署和監(jiān)控分布式爬蟲(一)--Scrapyd最近在使用scrapy時，面臨在多個機器部署的問題，如果手動將代碼拷貝到每一臺機器，并且在命令行啟動scrapy變得很繁瑣。 本次總結...
-
2019-03-19hashlib模塊使用
一、基本概念 Python的hashlib提供了常見的摘要算法，主要提供 如MD5，SHA1, SHA224, SHA256, SHA38...
-
2019-03-18關于http協(xié)議的冪等性問題
首先理解一下冪等性： 冪等 對于同一種行為，如果執(zhí)行不論多少次，最終的結果都是一致相同的，就稱這種行為是冪等的。 非冪等 對于同一種...
-
Hadoop Streaming的使用
Hadoop Streaming是python可以調用于執(zhí)行MapReduce任務的接口，本人在學習使用時踩了很多坑，也折騰了一段時間，本...
-
2019-03-07多線程&多進程(下)在《多線程&多進程(上)》中，記錄了python中的threading模塊常用的類的使用方法，對比了Lock/RLock和conditio...
-
使用Charles抓包安卓模擬器（MuMu）在進行app爬蟲的時候，由于app沒有瀏覽器這種可以直觀看到后臺請求的工具，所以要想獲取該請求，往往是通過一些抓包軟件抓取數據。 Ch...
-
2019-03-01 cmder下使用virtualenv和condaenv今天用到了一個很強大的工具——cmder。 簡潔美觀的界面，便捷的操作，我現在已經看不下去windows的原生cmd了。 使用了cmder之...
-
2019-02-27問題（三）
題目來源：python常見面試題——網絡編程和前端部分 題目: 1. AJAX是什么，如何使用AJAX？ 2. 常見的HTTP狀態(tài)碼...