原文請移步我的博客：TCMalloc解密 寫在前面 本文首先簡單介紹TCMalloc及其使用方法，然后解釋TCMalloc替代系統(tǒng)的內(nèi)存分配函數(shù)的原理，然后從宏觀上討論其內(nèi)存...
發(fā)簡信
IP屬地：香港
-
TCMalloc解密 -
最簡單的，各個截圖計算phash，10張圖合并出一個大的hash值作為視頻的hash值，然后算距離；不過如果是想拿來做視頻相似度分析的話，這種效率很差，效果也不好，最多只能找出加了水印的視頻，如果視頻稍微加了個片頭改變了時長，就沒辦法了；
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事。做的圖片站的圖片來源為很多美女圖片站，自然地，會有很多重復(fù)的圖片，而我的目標就是要把重復(fù)的圖片找出來，剔除掉或者是做其他處理。 什么樣的圖片屬于...
-
是指result 中會有重復(fù)嗎？理論上是會有的，但是也沒啥問題吧；如果要不重復(fù)，list換成set就完事了
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事。做的圖片站的圖片來源為很多美女圖片站，自然地，會有很多重復(fù)的圖片，而我的目標就是要把重復(fù)的圖片找出來，剔除掉或者是做其他處理。 什么樣的圖片屬于...
-
如果只是兩兩對比的話，可以考慮下sift，無視旋轉(zhuǎn)之類的變化
較大規(guī)模圖片 使用phash去重
起因 先說下為什么要做這個事。做的圖片站的圖片來源為很多美女圖片站，自然地，會有很多重復(fù)的圖片，而我的目標就是要把重復(fù)的圖片找出來，剔除掉或者是做其他處理。 什么樣的圖片屬于...
-
scons 簡單入門
簡單入門 hello world scons由Sconstruct 作為入口，控制如何進行編譯操作。Sconstruct 本身是一個python文件，故需要遵循python的...
-
布隆過濾器擴容及刪除過期數(shù)據(jù)
我們知道，布隆過濾器是不可變的，但如果布隆過濾器容量確實不夠了，該怎么辦呢？或者如果要每個月都刪除幾個月前的去重數(shù)據(jù)，該如何處理呢？這邊要記錄一種布隆過濾器的巧用，多個布隆過...
-
golang hijack打開方式
簡介Hijack Hijack()可以將HTTP對應(yīng)的TCP連接取出，連接在Hijack()之后，HTTP的相關(guān)操作就會受到影響，調(diào)用方需要負責(zé)去關(guān)閉連接。看一個簡單的例子。...
-
groupcache源碼中幾個有趣的點
簡介 groupcache is a caching and cache-filling library, intended as a replacement for mem...
-
對go中function type的一點思考
function type 可以理解為一組擁有相同參數(shù)類型和結(jié)果類型的方法的集合。我看也有人管他叫接口型函數(shù)。 A function type denotes the set...
-
品讀 werkzeug reloader 實現(xiàn)機制
werkzeug使用reloader可以在文件被改變時自動加載更改過的文件，使用方法也很簡單，run_simple('localhost', 4000, applicatio...
-
TIME_WAIT狀態(tài)存在的意義
什么時候會TIME_WAIT TCP在關(guān)閉的時候有個四次揮手的過程，主動關(guān)閉方在四次揮手的最后一個ACK發(fā)送之后會變成TIME_WAIT狀態(tài)。 主動關(guān)閉方 跟握手不同，揮手可...
-
簡析pyspider
pyspider優(yōu)勢所在 pyspider非常適合那種很小很雜的爬蟲的管理，比如有100個小網(wǎng)站，規(guī)則又各不相同，我要獲取他的一些很簡單的內(nèi)容，如標題，所有的圖片，正文內(nèi)容。...
-
基于asyncio實現(xiàn)的異步協(xié)程爬蟲
前言 以下內(nèi)容是看500 lines or less中 A Web Crawler With asyncio Coroutines這個章節(jié)后做的一些記錄。 一個最簡單的爬蟲 ...
-
kubernetes中部署spark集群
在寫這個的時候，spark版本為2.2.1。 基于kubernetes部署的兩種方式 直接使用kubernetes作為集群管理器(Cluster Manager)，類似與me...
-
優(yōu)雅關(guān)閉以及機器kubernetes pods
優(yōu)雅啟動 很常見的一個場景，一個服務(wù)剛啟動，可能會有一堆東西要加載（比如我這邊需要讀數(shù)據(jù)庫中一堆東西）需要一些時間，而這段時間里，我不希望kubernetes 把請求打到這些...
-
一種神奇的批量創(chuàng)建類的方法--參照namedtuple
namedtuple是一個很神奇的東西，在看kafka-python的時候看到了很多地方用到了這玩意。用法也非常簡單 很方便的創(chuàng)建一個父類為tuple的類，且可以用kv對的方...