Performance Review

1.pixel accuracy（PA）:只是找到正確分類的像素比廚藝像素總數(shù)

2.mean pixel accuracy（MPA）：是pa的拓展版本，其中以每個類的方式計算正確像素的比率，然后在類的總數(shù)上求平均值。

3.Intersection over Union (IoU) or the Jaccard Index： 是語義細分中最常用的指標之一。它定義為預測的分割圖和 ground truth 之間的交集面積，除以預測的分割圖和地面實況之間的并集面積。

4.Mean-IoU： 是另一種流行的指標，定義為所有類別的平均IoU。 它被廣泛用于報告現(xiàn)代分割算法的性能。

5.Precision / Recall / F1 score： 是報告許多經(jīng)典圖像分割模型準確性的常用指標。 可以為每個類別以及總體級別定義精度和召回率

6.Dice coefficient： 是另一種用于圖像分割的流行指標，可以將其定義為預測圖和真實圖的重疊區(qū)域的兩倍，再除以兩個圖像中像素的總數(shù)。（dice系數(shù)與iou非常相似）

Challenges & Opportunities

1 More Challenging Datasets

已經(jīng)創(chuàng)建了幾個大型圖像數(shù)據(jù)集用于語義分割和實例分割。 但是，仍然需要更具挑戰(zhàn)性的數(shù)據(jù)集以及不同類型圖像的數(shù)據(jù)集。 對于靜止圖像，具有大量對象和重疊對象的數(shù)據(jù)集將非常有價值。 這可以使訓練模型更適合處理密集的對象場景，以及對象之間的較大重疊，這在

真實場景。隨著3D圖像分割的日益普及，尤其是在醫(yī)學圖像分析中，也非常需要大型3D圖像數(shù)據(jù)集。 這些數(shù)據(jù)集比維數(shù)較低的數(shù)據(jù)集更難創(chuàng)建。 現(xiàn)有的可用3D圖像分割數(shù)據(jù)集通常不夠大，有些是合成的，因此更大，更具挑戰(zhàn)性的3D圖像數(shù)據(jù)集可能非常有價值。

2 Interpretable Deep Models

盡管基于DL的模型在具有挑戰(zhàn)性的基準上取得了可喜的性能，但有關這些模型的問題仍然存在。 例如，深度模型究竟要學習什么？ 我們應該如何解釋這些模型學到的特征？ 能在給定的數(shù)據(jù)集上達到一定分割精度的最小神經(jīng)架構是什么？ 盡管可以使用一些技術來可視化這些模型的學習卷積核，但是仍缺乏對這些模型的基本行為/動力學的具體研究。 更好地理解這些模型的理論方面，可以開發(fā)出針對各種細分方案而設計的更好的模型。

3 Weakly-Supervised and Unsupervised Learning

弱監(jiān)督（也就是很少有鏡頭學習）和無監(jiān)督學習正在成為非常活躍的研究領域。這些技術有望對圖像分割特別有價值，因為在許多應用領域，尤其是在醫(yī)學圖像分析中，采集用于分割問題的標記樣本是有問題的 。 轉(zhuǎn)移學習方法是在大量帶標簽的樣本（可能來自公共基準）上訓練通用圖像分割模型，然后在某些特定目標應用程序的幾個樣本上對該模型進行微調(diào)。 自我監(jiān)督學習是另一個有希望的方向，在各個領域都吸引了很多吸引力。 借助自我監(jiān)督學習，可以捕獲圖像中的許多細節(jié)，從而以更少的訓練樣本來訓練分割模型。 基于強化學習的模型也可能是另一個潛在的未來方向，因為它們很少受到圖像分割的關注。

.4 Real-time Models for Various Applications

在許多應用程序中，準確性是最重要的因素；但是，在某些應用程序中，具有可以接近實時或至少接近普通相機幀速率（每秒至少25幀）運行的分割模型也很關鍵 ）。 這對于例如部署在自動駕駛汽車中的計算機視覺系統(tǒng)很有用。 當前的大多數(shù)模型都遠非這個幀速率。 例如，F(xiàn)CN-8大約需要100毫秒來處理低分辨率圖像?；谂蛎浘矸e的模型有助于在某種程度上提高分割模型的速度，但仍有很大的改進空間。

5 Memory Efficient Models

即使在推理階段，許多現(xiàn)代分割模型也需要大量內(nèi)存。 到目前為止，已經(jīng)進行了很多努力來提高這種模型的準確性，但是為了使它們適合特定的設備（例如移動電話），必須簡化網(wǎng)絡。 這可以通過使用更簡單的模型，或者通過使用模型壓縮技術，甚至訓練復雜的模型，然后使用知識提煉技術將其壓縮為模仿復雜模型的較小的，內(nèi)存有效的網(wǎng)絡來完成。

6 3D Point-Cloud Segmentation

許多工作集中在2D圖像分割上，但 處理3D點云分割的工作卻很少 。然而，對點云分割的興趣與日俱增，在3D建模，自動駕駛汽車，機器人技術中具有廣泛的應用 ，建筑模型等。 處理3D無序和非結(jié)構化數(shù)據(jù)（例如點云）帶來了一些挑戰(zhàn)。 例如，尚不清楚在點云上應用CNN和其他經(jīng)典深度學習架構的最佳方法。 基于圖的深度模型可能是探索點云分割的潛在領域，從而實現(xiàn)了這些數(shù)據(jù)的其他工業(yè)應用。