發(fā)簡信
IP屬地：上海
-
對Python函數(shù)傳參的一些思考
今天看到這樣一個(gè)問題: Python 的函數(shù)是怎么傳遞參數(shù)的，有了一些興趣，因?yàn)橐郧岸际侵苯有诺囊粋€(gè)流傳度較廣的說法 對于不可變對象作為函數(shù)參數(shù)...
-
grafana使用中遇到的一些坑prometheus+grafana的系統(tǒng)監(jiān)控方式用起來很不錯(cuò)，最近開始使用它來監(jiān)控haipproxy和weibospider。由于網(wǎng)上相關(guān)的中...
-
如何將自己的Python包發(fā)布到PyPI
以前寫過一篇類似的文章: 如何打包自己的項(xiàng)目并且發(fā)布到pypi上，不過由于PyPI進(jìn)行了一些更新，因此舊方法不大適用了。趁端午有時(shí)間，想把hai...
-
談?wù)刜_eq__和__hash__
今天刷一道算法題的時(shí)候用到了list_a == list_b的判斷，==和is大家都已經(jīng)是耳熟能詳了，前者是判斷值是否相等，后者是判斷引用是否相...
-
Sentry初體驗(yàn)最近由于工作需要，接觸了兩類監(jiān)控類產(chǎn)品，一類是對于系統(tǒng)資源，系統(tǒng)狀態(tài)、應(yīng)用狀態(tài)等信息的監(jiān)控，主要是使用prometheus+grafana，這個(gè)...
-
haipproxy高可用核心策略
昨日使用haipproxy作為代理源，對知乎進(jìn)行了數(shù)據(jù)抓取相關(guān)的性能測試，測試效果還不錯(cuò)，有興趣的可以點(diǎn)擊項(xiàng)目主頁查看測試結(jié)果。但是它仍有繼續(xù)優(yōu)...
-
haipproxy校驗(yàn)器編寫流程使用過代理IP的同學(xué)應(yīng)該都知道，即使是同一個(gè)IP，訪問不同網(wǎng)站，可用性和速度都可能大不相同。因此，根據(jù)實(shí)際使用情況編寫特定站點(diǎn)的代理校驗(yàn)器是非常...
-
Redis性能優(yōu)化tips
讀完了Redis實(shí)戰(zhàn)，感覺收獲還是蠻多的。像往常那樣，讀完就想將書束之高閣。這幾天總感覺差點(diǎn)什么，于是又翻了一下這本書，打算記錄書上和自己知道的...
-
高可用分布式代理IP池:架構(gòu)篇歷時(shí)大致兩個(gè)月，到現(xiàn)在終于完成了高可用分布式代理IP池，目前開源在了Github上。寫這個(gè)項(xiàng)目的原因主要有兩點(diǎn)，一是自己平時(shí)的部分工作需要和爬蟲...
個(gè)人介紹
我的開源項(xiàng)目：
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy