我們研究了利用人臉圖像中的不確定性來提高人臉聚類質(zhì)量的方法。我們觀察到，在對隱含建模不確定性的概率面部表示進行聚類時，流行的聚類算法不會產(chǎn)生更好質(zhì)量的聚類——這些算法預(yù)測的聚類比 IJB-A 基準(zhǔn)的基本事實多 9.6 倍。我們憑經(jīng)驗分析了這種意外行為的原因，并確定過多的誤報和誤報（在比較面部對時）是導(dǎo)致聚類質(zhì)量差的主要原因?；谶@一見解，我們提出了一種不確定性感知聚類算法 UAC，該算法在聚類過程中明確利用不確定性信息來決定何時一對人臉相似或何時應(yīng)丟棄預(yù)測的聚類。 UAC 考慮（a）人臉對中人臉的不確定性，（b）基于不確定性閾值將人臉對分為不同類別，（c）在聚類期間智能地改變相似度閾值以減少假陰性和假陽性, 和 (d) 丟棄表現(xiàn)出高度不確定性的預(yù)測聚類。幾個流行基準(zhǔn)的廣泛實驗結(jié)果以及與最先進的聚類方法的比較表明，UAC 通過利用人臉圖像中的不確定性產(chǎn)生明顯更好的聚類——預(yù)測的聚類數(shù)量高達地面的 0.18 倍IJB-A 基準(zhǔn)測試的真相。

一、簡介

分析來自監(jiān)控攝像頭的視頻流對于企業(yè)和組織最大限度地提高視頻監(jiān)控系統(tǒng)的投資回報變得至關(guān)重要。例如，配備監(jiān)控攝像頭的購物中心會分析視頻流，以深入了解購物者統(tǒng)計數(shù)據(jù)，從而為客戶提供更好的個性化體驗。表 1 顯示了一些在購物中心場景中有用的洞察示例。通過首先對監(jiān)控視頻中檢測到的人臉進行聚類，可以輕松生成所有這些見解。如圖 1 所示，從監(jiān)控攝像頭中提取人臉并存儲在數(shù)據(jù)庫中。然后對這些面孔進行聚類以確定獨特的人并獲得表 1 所示的客戶洞察力。

監(jiān)控視頻捕捉到的人臉本質(zhì)上是嘈雜的。因此，通過傳統(tǒng)的確定性人臉嵌入模型 [21、4、18、13、24] 學(xué)習(xí)的面部特征可能是模棱兩可的，或者某些面部特征甚至可能不存在于輸入面部中，從而導(dǎo)致噪聲表示。因此，基于這些噪聲表示的聚類算法往往會產(chǎn)生不正確的結(jié)果。

最近，已經(jīng)提出了概率人臉嵌入（PFE [23] 和 DUL [3]），它們將每個人臉圖像表示為潛在空間中的多元高斯分布，以提高人臉識別的準(zhǔn)確性。嘈雜。此外，PFE [23] 提出了一種新的相似度函數(shù)，增加了不確定性信息來計算兩個概率嵌入之間的相似度。使用這樣的嵌入和相似性函數(shù)，人們會期望面部聚類算法在更多信息（如不確定性）可用時產(chǎn)生更好質(zhì)量的聚類。然而，正如我們在第 2 節(jié)中展示的那樣，當(dāng)使用帶有不確定性信息的概率嵌入時，流行的人臉聚類算法不會產(chǎn)生質(zhì)量更好的人臉聚類。

受使用不確定性信息來改進人臉識別 [23] 和主成分分析 [8] 的啟發(fā)，我們研究了利用人臉圖像中的不確定性來改進人臉聚類任務(wù)的方法。在本文中，我們做出以下貢獻：

1. 我們表明，當(dāng)不確定性等附加信息隱含在人臉表示或相似性函數(shù)中時，流行的人臉聚類算法不會產(chǎn)生質(zhì)量更好的聚類。

2. 我們憑經(jīng)驗分析了這種意外行為的原因，并將過多的假陽性和假陰性（在比較面部對時）確定為低質(zhì)量聚類的主要原因。

3. 我們提出了一種新的不確定性感知聚類算法 UAC，它在聚類過程中明確利用不確定性信息來智能地決定何時一對人臉相似或何時丟棄預(yù)測的聚類，因為簇。

4. 我們提出了一種新的集群質(zhì)量指標(biāo)，即純度調(diào)整放大分數(shù) (PAAS)，它在數(shù)據(jù)不確定性較高時更準(zhǔn)確地反映了集群的質(zhì)量。

5. 在幾個流行的基準(zhǔn)上的廣泛實驗結(jié)果，以及與最先進的聚類方法的比較，表明 UAC 通過利用人臉圖像中的不確定性產(chǎn)生了一個數(shù)量級的更好的聚類。

2. 動機

隨著通過使用不確定性感知概率人臉嵌入來提高人臉識別的準(zhǔn)確性，人們會期望聚類任務(wù)有類似的改進。然而，我們發(fā)現(xiàn)當(dāng)數(shù)據(jù)不確定性很高時，這些嵌入無助于提高聚類準(zhǔn)確性。例如，表 2 顯示了流行的聚類算法預(yù)測的聚類數(shù)量，這些算法使用 PFE [23] 在公共基準(zhǔn)（如 LFW [9] 和 IJB-A [10]）中嵌入人臉圖像，其中包括低和低的人臉。高不確定性，分別。 LFW 基準(zhǔn)的預(yù)測聚類數(shù)量非常接近真實情況（人臉圖像的不確定性非常低），而對于 IJB-A，預(yù)測聚類被 DBSCAN 高估了 5.97X、7X 和 9.6X [ 5]、AHC [15] 和 GCN-V [30] 聚類算法。這是有問題的，因為聚類結(jié)果用于計算各種分析查詢，如表 1 所示。

我們還發(fā)現(xiàn)，當(dāng)數(shù)據(jù)不確定性很高時，流行的人臉聚類質(zhì)量指標(biāo)（例如，Pairwise F-Score、BCubed F-score、NMI 等）并不能充分反映聚類的真實質(zhì)量（我們在第 1 節(jié)中提供了詳細結(jié)果） 4.2)。例如，對于 IJB-A 案例，DBSCAN [5] 預(yù)測的集群多 5.97 倍，但流行的質(zhì)量指標(biāo)仍然報告高分：純度 = 0.97，BCubed F-Score = 0.84，Pairwise F-Score = 0.78 和 NMI = 0.94 .因此，我們重新思考如何在數(shù)據(jù)不確定性很高時評估聚類質(zhì)量以對不同的聚類算法進行排名。

三、相關(guān)工作

現(xiàn)有的人臉聚類方法可以大致分為兩類：無監(jiān)督和有監(jiān)督。

無監(jiān)督方法，例如 K-Means [14]、DB-SCAN [5]、Agglomerative Hierarchical Clustering (AHC) [15] 等，使用相似度分數(shù)來查找集群。

除了相似度函數(shù)，K-Means 使用聚類的數(shù)量（即 K），而其他算法使用相似度閾值以及少量其他參數(shù)（例如 minPts、鏈接方法等）。我們不能使用 K-means [14] 算法，因為 K 的值是我們試圖為我們的面部集合估計的值。為了提高相似度分數(shù)，最近，一些工作集中在使用深度學(xué)習(xí)學(xué)習(xí)新的相似度函數(shù)上。例如，林等人。 [11] 提出了一個基于局部鄰域的密度親和力的新函數(shù)；奧托等人。 [16]提出了一個基于共享最近鄰信息的近似排序度量； PAHC [12] 提出了一種相似度函數(shù)，通過評估線性 SVM 邊距來衡量 CNN 特征之間的相似度，并根據(jù)最近鄰信息訓(xùn)練 SVM。在所有無監(jiān)督方法中，DBSCAN 是最流行的基于密度的算法之一。它已在許多實際應(yīng)用中成功使用，并在 2014 年獲得了 SIGKDD 時間測試獎 [22]。阿加瓦爾等人。 [1] 對用于處理噪聲的 DBSCAN 算法的許多變體進行了調(diào)查，這與本文考慮的數(shù)據(jù)不確定性問題非常不同。我們從人臉圖像中估計噪聲，而 DBSCAN 根據(jù)最近鄰居的數(shù)量和可達性信息找到噪聲數(shù)據(jù)點。

最近已經(jīng)提出了一些有監(jiān)督的聚類方法來學(xué)習(xí)聚類模式。例如，圖卷積網(wǎng)絡(luò) (GCN) 從最近鄰圖 [30、6、31、28] 中學(xué)習(xí)集群表示；和 Tapaswi [25] 等人。提出了一種將特征空間分割成大小相等的球的方法。盡管這些監(jiān)督算法在某些數(shù)據(jù)集上取得了不錯的效果，但這些算法需要對超參數(shù)進行調(diào)整以及對每個數(shù)據(jù)集進行重復(fù)訓(xùn)練。此外，我們的評估表明，當(dāng)數(shù)據(jù)不確定性很高時，這些算法效果不佳。

據(jù)我們所知，沒有人臉聚類算法明確考慮不確定性信息。上述大部分工作都使用特征空間中的最近鄰信息。然而，當(dāng)數(shù)據(jù)不確定性很高時，相似性估計會變得不正確，從而產(chǎn)生不正確的最近鄰估計——因此，當(dāng)數(shù)據(jù)不確定性很高時，這些算法可能無效。

4. 不確定性對聚類任務(wù)的影響

在本節(jié)中，我們首先描述如何使用概率嵌入來捕獲不確定性。接下來，我們評估概率嵌入和不確定性感知相似性函數(shù)對聚類任務(wù)的影響。我們的評估表明，當(dāng)數(shù)據(jù)不確定性很高時，這些增強的嵌入不會提高集群的質(zhì)量。最后，我們進一步了解了聚類準(zhǔn)確性差的原因，并提出了我們的關(guān)鍵見解，以有效地考慮聚類過程中的不確定性。

4.1。不確定性估計

概率人臉嵌入在每個輸入人臉圖像的潛在空間中提供分布估計 [23, 3]，而不是確定性點估計 [4, 21, 13, 18, 24, 27, 20]。它將每個面表示為多元高斯分布，N (μ, σ2)。分布的平均值估計最可能的潛在特征值，而分布的跨度或方差表示這些估計的噪聲或不確定性。

在本文中，我們使用 PFE [23] 來生成概率嵌入。給定一個預(yù)訓(xùn)練的人臉識別 (FR) 模型，平均向量 μ 是 FR 模型生成的確定性嵌入。然后，PFE 在 FR 模型中添加一個額外的分支來學(xué)習(xí)方差向量 σ2。額外的分支使用相互似然得分 (MLS) 進行訓(xùn)練。 PFE 分別學(xué)習(xí) σ2，而 DUL [3] 同時學(xué)習(xí) μ 和 σ2。現(xiàn)在，給定人臉的概率嵌入為 μ1, μ2, ..., μD, σ12, σ2, ..., σD2，其中 D 是特征維度，那么估計的不確定性是方差的調(diào)和均值在所有維度上：

例如，考慮兩個流行的面部基準(zhǔn)，

LFW [9] 和 IJB-A [10]。圖 2 顯示了兩個數(shù)據(jù)集的人臉圖像中不確定性的分布。這些數(shù)據(jù)集表現(xiàn)出不同程度的數(shù)據(jù)不確定性。 LFW 數(shù)據(jù)集中人臉圖像的不確定性小于 0.0015。然而，與 LFW 中的人臉相比，IJB-A 中的人臉表現(xiàn)出更高的不確定性。 IJB-A 中存在不確定性大于 0.0030 的面！因此，LFW 中的人臉圖像比 IJB-A 中的人臉圖像具有更少的噪聲。

概率人臉嵌入模型。對于我們的評估，我們使用來自 github [32] 的預(yù)訓(xùn)練 PFE 模型。該模型使用在 MS-Celeb-1M 數(shù)據(jù)集 [7] 上使用 AM-Softmax [26] 訓(xùn)練的 64 層殘差網(wǎng)絡(luò)。確定性嵌入的維度 (μ) 是 512。因此，PFE 嵌入的特征維度 (μ 和 σ2) 是 1024。

4.2.使用 PFE 進行聚類

在本文中，我們使用 DBSCAN [5]、AHC [15]、GCN-V [30] 算法從概率人臉嵌入中聚類潛在特征向量。我們考慮兩種情況。第一種情況“確定性 + 余弦”作為基線，因為它代表了不考慮不確定性信息的人臉嵌入類別 [4, 21, 13, 18, 24, 27, 20]。它僅使用 PFE 嵌入的平均向量 μ。相比之下，第二種情況“概率+ MLS”表示使用不確定性增強人臉表示和相似函數(shù)的人臉嵌入類[23, 3]。它使用 PFE 嵌入的 μ 和 σ2 向量。

4.2.1 相似函數(shù)

我們使用余弦相似度進行確定性嵌入，使用 MLS 進行概率嵌入。

余弦相似度。為了計算余弦相似度，我們不考慮概率表示的方差向量 σ12 , σ2 , ..., σD2 。 1. 一對潛在向量 (xi , xj ) 的余弦相似度得分計算如下：

其中 D 是特征維度，μ(l) 是指 xi 的 μi 的第 l 維。

相互似然評分 (MLS)。 PFE [23] 提出了一種相似度函數(shù)來考慮人臉圖像中的數(shù)據(jù)不確定性。一對潛在向量 (xi , xj ) 的 MLS 計算如下：

其中 μ(l) 指的是 xi 和 i 的 μi 的第 l 個維度，對于 σ2(l) 也是如此。

4.2.2 PFE 聚類評估

我們使用兩個流行的基準(zhǔn)進行評估：

LFW。 The Labeled Faces in the Wild [9] 包含 5,749 個主題的 13,233 張人臉圖像。在 5,749 名受試者中，4,069 人每人只有一張人臉圖像。這些人臉圖像是通過檢索名人和公眾人物的圖像并僅保留那些使用現(xiàn)成的人臉檢測器 Viola-Jones [19] 檢測到人臉的圖像而獲得的。因此，面部姿勢的變化是有限的。

IJB-A。 IARPA Janus Benchmark A (IJB-A) [10] 是野生數(shù)據(jù)集中的公開可用媒體，包含 500 名受試者的 25,813 張人臉圖像。 IJB-A 專為不受約束的場景而設(shè)計，它具有關(guān)鍵特征：(a) 對象的更廣泛的地理變化，(b) 完整的姿勢變化，(c) 來自圖像和視頻的人臉的混合。

表 3 顯示了我們的評估結(jié)果。除了預(yù)測的聚類數(shù)量外，我們還報告了幾個常用指標(biāo)的值，這些指標(biāo)經(jīng)常用于估計聚類的整體質(zhì)量 [17、25、28、30、31]：Purity2 [2]、BCubed F-Score [2]、成對 F 分數(shù) [2] 和歸一化互信息 (NMI) [2]?；疑袌蟾?PAAS 指標(biāo)，我們將在 5.2 節(jié)中解釋。對于所有這些指標(biāo)，接近 1.0 的值表示更好的集群質(zhì)量。

星展掃描。對于“確定性 + 余弦”和“概率性 + MLS”，LFW 的預(yù)測聚類數(shù)量非常接近地面實況 5749。此外，對于這兩種情況，所有集群質(zhì)量指標(biāo)的值幾乎都是 1.0。這個結(jié)果是意料之中的，因為如前所述，LFW 數(shù)據(jù)集中的圖像通常質(zhì)量很好，并且不確定性很低。因此，通過在聚類期間考慮“概率+ MLS”的不確定性，我們沒有看到很大的優(yōu)勢。

相比之下，IJB-A 數(shù)據(jù)集的預(yù)測聚類數(shù)量與 500 個基本事實主題相比要大得多：使用“確定性 + 余弦”的聚類預(yù)測的聚類數(shù)量是基本事實的 3.53 倍，使用“概率 + MLS”將唯一身份的數(shù)量高估了 5.97 倍。此外，與人們預(yù)期的相反，與使用“確定性 + 余弦”的聚類相比，使用不確定性的“概率 + MLS”聚類對聚類的過度預(yù)測為 2.44 倍。同樣令人驚訝的是，使用“概率 + MLS”的聚類在 Purity、BCubed F-Score、Pairwise F-Score 和 NMI 指標(biāo)等流行的聚類質(zhì)量指標(biāo)上得分更高——Pairwise F-Score 幾乎是兩倍高（ 0.7832 與 0.4082）與“確定性 + 余弦”獲得的集群相比。

凝聚層次聚類（AHC）。我們的結(jié)果表明，AHC [15] 顯示出與 DB-SCAN 相似的趨勢。這并不奇怪，因為 AHC 也是一種無監(jiān)督算法。事實上，當(dāng) links.method = single 時，它會產(chǎn)生與 DBSCAN 相同的結(jié)果。在這里，我們設(shè)置linkage.method = average。對于 IJB-A，“概率 + MLS”預(yù)測的集群增加 9.6 倍，而“確定性 + 余弦”預(yù)測的集群增加 7.6 倍?？傮w而言，當(dāng)數(shù)據(jù)不確定性很高時，我們沒有看到使用“概率+ MLS”有任何顯著的好處。

集群質(zhì)量指標(biāo)。我們在表 3 中的結(jié)果表明，像 Purity、BCubed F-score、Pairwise F-score 和 NMI 等廣泛使用的指標(biāo) [2] 在存在不確定性的情況下并不能充分捕捉聚類算法的準(zhǔn)確性。這些指標(biāo)無法懲罰過度集群（生成太多集群）的算法。

4.3.使用 PFE 進行更深入的聚類分析

我們進行了一個對照實驗，以更好地了解在存在不確定性的情況下聚類不準(zhǔn)確的各種來源。我們選擇兩張（不同人的）圖像，并通過引入更多的高斯模糊來系統(tǒng)地增加圖像的不確定性。圖 3 顯示了兩個不同人的兩張圖像及其對應(yīng)的模糊圖像，因為我們逐漸增加了不確定度（即高斯模糊度）。

圖 4 顯示了不確定性對余弦相似度得分和 MLS 的影響。我們考慮三種不同的情況：

1. 真實（好，嘈雜）：我們從原始的、質(zhì)量好的人臉圖像開始，并將其與原始圖像越來越模糊的版本進行比較。由于這對中的兩張人臉圖像屬于同一個人，我們稱這對為真對。增加模糊對“確定性 + 余弦”的影響如圖 4a 中的藍線所示。同樣，增加模糊對“概率 + MLS”的影響如圖 4b 中的藍線所示。

2. 冒名頂替者（嘈雜，嘈雜）：我們從兩個不同人的兩個圖像開始。由于這兩個圖像屬于不同的人，我們稱這對為冒名頂替者對。然后，我們逐漸對這兩個圖像應(yīng)用越來越多的模糊。兩個圖像的模糊程度相同。增加模糊對“確定性 + 余弦”的影響如圖 4a 中的橙色線所示。同樣，增加模糊對“概率 + MLS”的影響如圖 4b 中的橙色線所示。

3. 冒名頂替者（好，嘈雜）：同樣，我們從兩個不同人的兩個圖像開始。兩個原始圖像的質(zhì)量都很好（它們的不確定性非常低）。由于這兩個圖像是不同的人，我們有一個冒名頂替者對。然后，我們逐漸對其中一個圖像應(yīng)用越來越多的模糊（同時讓另一張圖像保持原樣）。增加模糊對“確定性 + 余弦”的影響如圖 4a 中的綠線所示。同樣，增加模糊對“概率 + MLS”的影響如圖 4b 中的綠線所示。

4.3.1 對確定性嵌入的影響

考慮圖 4a 所示的結(jié)果。我們通常在余弦相似度得分上設(shè)置一個閾值，以確定兩張人臉圖像是否屬于同一個人。 0.4 的閾值似乎是一個不錯的選擇，這樣真正的配對就可以正確匹配為同一個人。由于高斯模糊從 0 到 17 不等，我們能夠正確地將原始圖像及其模糊版本分類為同一個人。隨著我們將模糊度增加到 17 以上，模糊圖像中的不確定性增加，我們不再能夠得出原始圖像與其模糊版本匹配的結(jié)論（即，我們有一個假陰性）。這將導(dǎo)致聚類算法將原始圖像及其模糊版本放入不同的簇中，我們最終可能會得到很多不必要的簇。我們將這種情況稱為假陰性問題。

圖 4a 說明了另一個重要問題。假設(shè)余弦相似度得分的閾值為 0.4，當(dāng)高斯模糊增加到超過 20 時，冒名頂替者（嘈雜，嘈雜）類別（橙色曲線）中的許多對將被錯誤地聲明為匹配。這將導(dǎo)致誤報.在這種情況下，兩個不同人的面部圖像將被放置在同一個簇中，并且錯誤地生成的簇要少得多（與地面實況或?qū)嶋H簇數(shù)相比）。我們將這種情況稱為假陽性問題。

4.3.2 對概率嵌入的影響

考慮圖 4b 所示的結(jié)果。同樣，我們通常在 MLS 上設(shè)置一個閾值來確定兩個人臉圖像是否屬于同一個人。 2650 的閾值似乎是一個不錯的選擇，這樣真正的配對（藍線）可以正確匹配為同一個人。由于高斯模糊從 0 到 17 不等，我們能夠正確地將原始圖像及其模糊版本分類為同一個人。隨著我們將模糊度增加到 17 以上，模糊圖像的不確定性增加，我們不再能夠得出原始圖像與其模糊版本匹配的結(jié)論（即，我們有一個假陰性）。這將導(dǎo)致聚類算法將原始圖像及其模糊版本放入不同的簇中，我們最終可能會得到很多不必要的簇。所以，我們有一個假陰性問題。

然而，與圖 4a 中的情況不同，圖 4b 沒有假陽性問題。同樣，假設(shè) MLS 的閾值為 2650，當(dāng)高斯模糊增加到 20 以上時，Imposter(noisy,嘈雜) 類別（橙色曲線）中的許多對將被正確地聲明為不匹配。所以，通過使用不確定性信息，MLS 避免了誤報問題。因此，聚類結(jié)果也不會受到假陽性的污染。

4.4.重要見解

如果人臉圖像的不確定性較低，“確定性 + 余弦”和“概率性 + MLS”都表現(xiàn)良好。然而，隨著不確定性的增加，我們看到這兩種情況的行為出現(xiàn)了分歧。

與基于余弦相似度得分的相似度函數(shù)不同，基于 MLS 的相似度函數(shù)不會遭受由嘈雜的冒名頂替者對引起的誤報。因此，通過利用不確定性信息，MLS 可以令人滿意地解決誤報問題。然而，余弦相似度得分和 MLS 都無法充分解決假陰性問題。在這里，真正的對（其中兩個圖像都屬于同一個人，但其中一個圖像具有很高的不確定性）被遺漏了。

基于上述關(guān)鍵見解，下一節(jié)將介紹一種利用不確定性信息的新聚類算法。

5. 不確定性估計聚類

我們首先提出了一種不確定性感知的聚類算法。接下來，我們提出了一個新的集群質(zhì)量評估指標(biāo)。

5.1。不確定性感知聚類算法

聚類算法依靠相似度分數(shù)來尋找相似的面孔。這些算法隱含地假設(shè)相似度得分是可靠的，只有當(dāng)輸入集主要由高質(zhì)量的人臉組成時才成立（例如，LFW [9] 數(shù)據(jù)集）。但是，只要輸入集包含好人臉和噪聲人臉的混合，相似度得分就會變得不可靠（如圖 4 所示），因此，聚類算法會產(chǎn)生不正確的結(jié)果。

如果除了相似度得分之外，關(guān)于人臉的不確定性信息被明確地提供給聚類算法而不是嵌入到表示或相似度函數(shù)中怎么辦？聚類算法能否利用這些額外信息并改進聚類？我們展示了聚類算法可以使用顯式的不確定性信息來評估相似度分數(shù)的可信度，采取適當(dāng)?shù)拇胧﹣肀苊饧訇栃院图訇幮詥栴}，并提高聚類的質(zhì)量——這是我們的基礎(chǔ)新的聚類算法，UAC。

為了解決假陽性和假陰性問題，我們利用了不確定性信息。我們將人臉對分為四個類別之一，如圖 5 所示。這里，x 軸和 y 軸分別對應(yīng)于 facex 和 facey 的不確定性估計；虛線對應(yīng)于不確定性閾值 ut。我們使用這個閾值將不確定性值分組為 LOW 和 HIGH，具體取決于它們是分別低于還是高于 ut。我們重點關(guān)注以下四種情況：

1. {facex(LOW),facey(LOW)}。在這種情況下，確定性和概率嵌入都提供了準(zhǔn)確的估計（因為數(shù)據(jù)不確定性很低），并且聚類算法正確地聚類了兩張臉。

2. {facex(HIGH),facey(LOW)}。在這種情況下，確定性和概率嵌入都提供了不準(zhǔn)確的估計（因為 facex 的數(shù)據(jù)不確定性很高）。如圖 5 所示，這種情況會導(dǎo)致假陰性（來自同一個人的面孔被錯誤地

由于相似性得分低而被認為是不同的）。 3. {facex(LOW),facey(HIGH)}。這與上述情況類似。

4. {facex(HIGH),facey(HIGH)}。在這種情況下，確定性和概率嵌入都提供了不準(zhǔn)確的估計（由于兩個面的數(shù)據(jù)不確定性很高）。我們觀察到非常高的相似度分數(shù)，無論圖像是同一個人還是兩個不同的人。前一種情況對應(yīng)于真陽性，而第二種情況對應(yīng)于假陽性。

為了處理上述四種情況，我們提出了一種新的、不確定性感知的聚類算法 UAC。它有兩個關(guān)鍵階段：a）通過明確利用不確定性形成集群；b）集群不確定性估計和修剪。

特定案例的相似度閾值：UAC 根據(jù) facex 和 facey 的不確定性來改變相似度閾值。我們假設(shè)基本相似度閾值為 ε（默認值為 0.50）。 UAC 根據(jù)人臉對中兩張人臉的不確定性采取不同的行動：

1. {facex(LOW),facey(LOW)}。相似度閾值保持不變。

2. {facex(HIGH),facey(LOW)}。我們將相似度閾值降低到 ε - ΔH L 。例如，如果 ΔH L = 0.05，則新的相似度閾值為 (0.50 ? 0.05) 或 0.45。通過降低相似度閾值，UAC 可以避免假陰性。

3. {facex(LOW),facey(HIGH)}。這種情況與上述情況類似。

4. {facex(HIGH), facey(HIGH)}。由于缺乏足夠的信息內(nèi)容，很難區(qū)分真陽性和假陽性病例，為了安全起見，當(dāng)兩幅圖像的不確定性水平很高時，我們通過將相似度閾值提高到∞來忽略相似度估計。在上述三種情況下，當(dāng)至少有一張人臉具有 LOW 不確定性時，我們可以在一定程度上信任相似度得分。然而，當(dāng)兩個人臉都具有 H I GH 不確定性時，就沒有合理的基礎(chǔ)來信任相似度得分。

集群的不確定性。在使用特定于案例的閾值形成集群后，UAC 再執(zhí)行一個步驟。它為每個集群分配一個不確定性估計，如下所示：

其中簇 Ci 由 |Ci| 組成（相似的）面孔，以及

不確定性（facem）是facem的不確定性（使用4.1節(jié)中的公式計算）。如果不確定性（Ci）高于 ut 閾值，則 UAC 將 Ci 視為噪聲簇，將其從最終聚類結(jié)果中排除。

算法 1 描述了 UAC 中的關(guān)鍵步驟。為了對 n 個面進行聚類，它創(chuàng)建一個具有 n 個節(jié)點的無向圖 G。最初，G 沒有邊。接下來，當(dāng) UAC 發(fā)現(xiàn)人臉對 (fi , fj ) 的相似度得分相同或高于適當(dāng)?shù)南嗨贫乳撝担ǜ鶕?jù)不確定性而變化face-pair (fi , fj ) 的情況。然后，UAC 找到 G 的連通分量——每個分量對應(yīng)一個簇。最后，UAC 估計每個簇的不確定性并返回具有 LOW 不確定性的簇?？傮w而言，UAC 執(zhí)行O(n2 ) 相似性比較在 G 中添加 E 邊，需要 O(n + E) 操作來找到連接的組件。

5.2.集群質(zhì)量指標(biāo)

已經(jīng)提出了許多著名的指標(biāo)，如純度、BCubed F-score、Pairwise F-score 和 NMI 來評估集群質(zhì)量。我們使用這些指標(biāo)來評估我們集群的質(zhì)量。然而，為了在存在數(shù)據(jù)不確定性的情況下更好地評估集群質(zhì)量，我們引入了一個新的指標(biāo)，即純度調(diào)整放大分數(shù) (PAAS)，其定義如下：

放大。它測量相對于基本事實的過度聚類程度。對于每個人，我們計算與此人相似的面孔被分配到的不同聚類的數(shù)量，然后我們將放大率估計為所有計數(shù)的調(diào)和平均值：

其中counti表示與第i個人對應(yīng)的人臉的不同聚類的數(shù)量，I是總?cè)藬?shù)。一個好的聚類算法應(yīng)該得到接近 1 的放大分數(shù)，而壞的應(yīng)該得到比 1 大得多的分數(shù)。但是，當(dāng)聚類算法將所有面孔分配到一個聚類時，很容易實現(xiàn)最佳放大。

純度。它的計算方法如下[2]：首先，每個集群被分配給最頻繁的地面真實身份；接下來，聚類分配精度估計為正確分配的人臉總數(shù)與人臉總數(shù)之比。純度值介于 0 和 1 之間，一個好的聚類算法應(yīng)該得到接近 1 的分數(shù)。但是，可以通過每個人臉形成一個聚類來獲得完美的純度分數(shù)。

PAAS 是一種復(fù)合度量，它是純度和放大率的比率，它衡量聚類算法的矛盾質(zhì)量。隨機聚類算法很容易在擴增或純度上獲得滿分，但隨機算法很少在兩者上都獲得滿分。 PAAS score 是一個介于 0 和 1 之間的值，可以用來比較不同的聚類算法。

6. UAC 對噪聲數(shù)據(jù)集的評估

IJB-A。表 4 顯示了我們針對 IJB-A 基準(zhǔn)的不確定性感知聚類 (UAC) 算法的評估結(jié)果。隨著我們增加不確定性閾值（ut），預(yù)測聚類的數(shù)量緩慢增加，并且與地面實況相比，聚類的質(zhì)量下降。例如，當(dāng) ΔHL = 0.0 并且我們在“確定性 + 余弦”情況下從 0.0012 變化到 0.0014 時，預(yù)測聚類的數(shù)量從 547 增加到 651。這與表 3 中的結(jié)果形成對比，其中隱含考慮面部表示和相似性函數(shù)的不確定性（“概率+ MLS”案例）導(dǎo)致預(yù)測超過 2700 多個集群。

在 UAC 中，對于一個固定的 ut，隨著我們增加 ΔHL，預(yù)測的集群的數(shù)量逐漸接近地面實況。但是，有一個權(quán)衡。增加 ΔHL 值有助于解決假陰性問題，即為同一個人的面部創(chuàng)建多個聚類。然而，超過某個點，增加 ΔHL 也會產(chǎn)生假陽性問題，即不同人的面孔被包含在一個集群中。因此，這會降低聚類質(zhì)量。因此，ΔHL 有一個最佳點，其中聚類精度最高。

同樣，我們觀察到 ut 的最佳位置。隨著我們增加 ut，假陽性和假陰性問題都變得更加普遍。當(dāng) ut 較高時，較高的 ΔHL 可實現(xiàn)最佳折衷。然而，如果 ut 太高，那么相似度得分變得不可靠，ΔHL 不再有效。

當(dāng)我們?yōu)椤癉eterministic + Cosine”設(shè)置 ut ≤ 0.0013，ΔHL ≤ 0.05 和“Probabilistic + MLS”（以藍色行標(biāo)記）時，ΔHL ≤ 20，我們獲得了最佳結(jié)果。在這個范圍內(nèi)，UAC 預(yù)測的集群比地面實況多 0.02 倍 - 0.18 倍，同時在其他集群質(zhì)量指標(biāo)中獲得非常高的分數(shù)。相比之下，DBSCAN [5]、AHC [15] 和 GCN-V [30] 等不確定性無感知算法預(yù)測的集群多 4.5 倍至 9.6 倍（結(jié)果如表 3 所示）。

表 3 和表 4 中的灰色列顯示了我們的 PAAS 指標(biāo)的得分。與 Purity、BCubed F-score、Pairwise F-score 和 NMI 等流行指標(biāo)相比，當(dāng)聚類算法產(chǎn)生過度聚類時，PAAS 不會報告高分（即，與地面相比，它預(yù)測的聚類過多真相）。與其他指標(biāo)相比，PAAS 對過度聚類的懲罰更多。具體來說，當(dāng)數(shù)據(jù)不確定性很高時（即，像 IJB-A 這樣的數(shù)據(jù)集），PAAS 度量可以幫助選擇更好的聚類算法。例如在表 4 中，基于 PASS 分數(shù)，我們可以對由 ut = 0.0012 和 ΔHL = 0.05 的“確定性 + 余弦”產(chǎn)生的集群進行排名，高于 ut = 0.0013 和 ΔHL = 的“確定性 + 余弦” 0.05，盡管其他指標(biāo)報告兩種設(shè)置的得分非常接近。

YouTube 面孔數(shù)據(jù)庫 (YTF)。我們還報告了 YTF [29] 的實驗結(jié)果。它包含 3,425 個視頻，來自 1594 人的 611,246 張面孔。 YTF 的數(shù)據(jù)不確定性（平均值 = 0.00136）高于 IJB-A（平均值 = 0.00114）。對于 YTF，我們使用“確定性 + 余弦”將 UAC 與 DBSCAN [5] 進行比較。特別是，我們評估了 DBSCAN 的 minPts 參數(shù)（控制所需的最小集群大?。┑挠绊憽Ｎ覀儗⒂嘞蚁嗨贫乳撝翟O(shè)置為 0.80。對于 UAC，我們設(shè)置 ut = 0.0012 并設(shè)置 ΔHL ≤ 0.05。對于 DBSCAN，我們設(shè)置 1 ≤ minP ts ≤ 10。表 5 顯示了我們的評估結(jié)果。對于 DBSCAN，當(dāng)我們增加 minPts 時，預(yù)測聚類的數(shù)量會更接近基本事實。即使 minP ts = 10，UAC 也優(yōu)于 DBSCAN 算法——它預(yù)測的集群（2041）在其他指標(biāo)上得分高 0.28 倍，而 DBSCAN 預(yù)測的集群（3204）幾乎是基本事實（1594）的兩倍。同樣，它表明明確利用不確定性可以提高聚類的質(zhì)量。

一般來說，minPts 很難為未知數(shù)據(jù)集設(shè)置，因為它取決于數(shù)據(jù)分布。特別是，如果數(shù)據(jù)集包含許多小集群，那么不正確的 minP ts 設(shè)置可能會丟棄所有集群。例如，LFW 有 4069 個 ground-truth 簇，每個簇都有一張人臉圖像，minP ts ≥ 2 會簡單地丟棄所有這些。相比之下，UAC 不需要關(guān)于最小集群大小的信息——相反，當(dāng)集群的不確定性估計超過 ut 時，UAC 會丟棄一個集群，這可以在不了解數(shù)據(jù)分布的情況下設(shè)置。

7. 結(jié)論

我們研究了通過利用不確定性信息來提高聚類任務(wù)準(zhǔn)確性的新方法。當(dāng)數(shù)據(jù)不確定性很高時，具有不確定性增強概率嵌入和相似性函數(shù)的流行聚類算法不會自動提高聚類準(zhǔn)確性。然而，通過在聚類期間明確考慮不確定性信息并選擇不同的相似性閾值，我們表明可以顯著提高概率和確定性嵌入的聚類準(zhǔn)確性。