Faiss - 高維向量相似度檢索和聚類庫

Facebook 開源的一個(gè)高性能的高維向量相似度檢索和聚類庫。
開源協(xié)議之前采用 BSD + Patents。最新版 v1.5.2 采用 MIT,可以在商業(yè)軟件中使用。
github 上有 6000 多 Stars。

Faiss 主要特性:

  • 支持相似度檢索和聚類;
  • 支持多種索引方式;
  • 支持CPU和GPU計(jì)算;
  • 支持Python和C++調(diào)用;

Faiss 索引類型:

  • Exact Search for L2 #基于L2距離的確定搜索匹配

  • Exact Search for Inner Product #基于內(nèi)積的確定搜索匹配

  • Hierarchical Navigable Small World graph exploration #分層索引

  • Inverted file with exact post-verification #倒排索引

  • Locality-Sensitive Hashing (binary flat index) #本地敏感hash

  • Scalar quantizer (SQ) in flat mode #標(biāo)量量化索引

  • Product quantizer (PQ) in flat mode #笛卡爾乘積索引

  • IVF and scalar quantizer #倒排+標(biāo)量量化索引

  • IVFADC (coarse quantizer+PQ on residuals) #倒排+笛卡爾乘積索引

  • IVFADC+R (same as IVFADC with re-ranking based on codes) #倒排+笛卡爾乘積索引 + 基于編碼器重排

第1個(gè)和第2個(gè)索引方式是屬于精確匹配,其他索引方式都是通過數(shù)據(jù)壓縮的非精確匹配。
雖然壓縮索引方式損失少量檢索精度,但大大減少內(nèi)存占用,從而支持超大規(guī)模數(shù)據(jù)集檢索,比如在單機(jī)上支持10億規(guī)模的高維向量相似度檢索。

Faiss 使用場(chǎng)景:

最常見的人臉比對(duì),指紋比對(duì),基因比對(duì)等。

Faiss 開發(fā)資料:

github: https://github.com/facebookresearch/faiss
tutorial: https://github.com/facebookresearch/faiss/wiki/Getting-started

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容