發(fā)簡信
IP屬地：上海
-
對Python函數(shù)傳參的一些思考
今天看到這樣一個問題: Python 的函數(shù)是怎么傳遞參數(shù)的，有了一些興趣，因為以前都是直接信的一個流傳度較廣的說法 對于不可變對象作為函數(shù)參數(shù)...
-
grafana使用中遇到的一些坑prometheus+grafana的系統(tǒng)監(jiān)控方式用起來很不錯，最近開始使用它來監(jiān)控haipproxy和weibospider。由于網(wǎng)上相關的中...
-
如何將自己的Python包發(fā)布到PyPI
以前寫過一篇類似的文章: 如何打包自己的項目并且發(fā)布到pypi上，不過由于PyPI進行了一些更新，因此舊方法不大適用了。趁端午有時間，想把hai...
-
談談__eq__和__hash__
今天刷一道算法題的時候用到了list_a == list_b的判斷，==和is大家都已經(jīng)是耳熟能詳了，前者是判斷值是否相等，后者是判斷引用是否相...
-
Sentry初體驗最近由于工作需要，接觸了兩類監(jiān)控類產(chǎn)品，一類是對于系統(tǒng)資源，系統(tǒng)狀態(tài)、應用狀態(tài)等信息的監(jiān)控，主要是使用prometheus+grafana，這個...
-
haipproxy高可用核心策略
昨日使用haipproxy作為代理源，對知乎進行了數(shù)據(jù)抓取相關的性能測試，測試效果還不錯，有興趣的可以點擊項目主頁查看測試結(jié)果。但是它仍有繼續(xù)優(yōu)...
-
haipproxy校驗器編寫流程使用過代理IP的同學應該都知道，即使是同一個IP，訪問不同網(wǎng)站，可用性和速度都可能大不相同。因此，根據(jù)實際使用情況編寫特定站點的代理校驗器是非常...
-
Redis性能優(yōu)化tips
讀完了Redis實戰(zhàn)，感覺收獲還是蠻多的。像往常那樣，讀完就想將書束之高閣。這幾天總感覺差點什么，于是又翻了一下這本書，打算記錄書上和自己知道的...
-
高可用分布式代理IP池:架構(gòu)篇歷時大致兩個月，到現(xiàn)在終于完成了高可用分布式代理IP池，目前開源在了Github上。寫這個項目的原因主要有兩點，一是自己平時的部分工作需要和爬蟲...
個人介紹
我的開源項目：
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy