背景
望面部色澤之所以能夠判別疾病，其原理在于面部血脈分布豐富，《靈柩·邪氣臟腑病形》曰“十二經(jīng)脈，三百六十五絡(luò)，其血氣皆上于面而走空竅”；其次，面部皮膚嫩薄，體內(nèi)氣血盛衰變化，最容易通過面部色澤變化顯露出來；此外，患者面部多暴露于外，方便醫(yī)生觀察。面部色澤對于疾病的判斷也具有重要意義，可以用于判斷氣血盛衰、識別病邪性質(zhì)、確定疾病部位、預測疾病轉(zhuǎn)歸。
舌診是通過觀察舌質(zhì)和舌苔的變化，了解機體生理功能和病理情況的偵察方法，在疾病發(fā)展的過程中，舌診的變換往往比較明顯，故舌診在望診中具有舉足輕重的地位?！豆P花醫(yī)鏡·望舌色》云：“舌者心之竅，凡病具現(xiàn)于舌，能辨其色，證其自然”?！夺t(yī)生棒喝》記載：“觀舌本，可驗其陰陽虛實；審苔垢，即知其邪之寒熱淺深也?！睆娬{(diào)通過全面觀察舌質(zhì)、舌苔，便可推測其發(fā)病的性質(zhì)。由于舌與臟腑、經(jīng)絡(luò)、氣血津液關(guān)系十分密切，其變化與體內(nèi)的各種變化同步，所以有人把舌象比作反映內(nèi)臟變化的“鏡子”。臨床實踐證明，凡體質(zhì)稟賦的強弱，正氣的盛衰、病情的深淺、預后的吉兇均能客觀地從舌象上反映出來，為醫(yī)生臨床診斷提供重要的依據(jù)。
將人工智能應(yīng)用于傳統(tǒng)的舌面望診任務(wù)中，已經(jīng)成為當下研究的熱點。李福鳳等將最小偏差法和線性判別式分析相結(jié)合，在多個色彩空間中進行實驗，找到了面部光澤識別的最佳空間和模型，取得了89%的高準確率；陸萍等利用神經(jīng)網(wǎng)絡(luò)分析中醫(yī)面診證素辨證，構(gòu)造了一個高效經(jīng)濟的基于證素辨證的面診神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；沈蘭蓀等利用圖像分析技術(shù)研究中醫(yī)舌診客觀化，提出了舌體區(qū)域分割、裂紋分析、舌苔和舌質(zhì)特征分析等一套算法，并通過臨床證明了其有效性；唐俊安等利用snake模型分割舌象，在RGB色彩空間中通過對“濕熱癥”和“濕寒癥”兩種舌象的檢測和對比，證明了提出算法對其癥的有效性；郝一鳴等通過分析收集糖尿病患者的13個舌診參數(shù)和糖尿病相關(guān)指標GHb，發(fā)現(xiàn)舌色的S值與GHb高度相關(guān)，可為糖尿病中醫(yī)證候臨床診斷提供客觀依據(jù)。
基本原理
通過圖像全方位識別患者的舌、面等多種癥狀，為醫(yī)生提供高可靠的臨床診療參考意見，加快醫(yī)生工作效率，協(xié)助醫(yī)生提升診斷的準確性。
舌面診斷系統(tǒng)共包含三個子系統(tǒng)，分別為面象診斷系統(tǒng)、舌象診斷系統(tǒng)和圖像預處理系統(tǒng)?！?/p>
（1）其中面象診斷系統(tǒng)包含了7個子系統(tǒng)，分別為：眼瞼浮腫識別系統(tǒng)、面部光澤識別系統(tǒng)、川字眉識別系統(tǒng)、雙眼皮識別系統(tǒng)、臉型識別系統(tǒng)、眉毛濃淡識別系統(tǒng)和唇厚薄識別系統(tǒng)。
（2）舌象診斷識別系統(tǒng)包含5個子系統(tǒng)，分別為：苔色識別系統(tǒng)、苔膩識別系統(tǒng)、舌體胖瘦識別系統(tǒng)、裂紋識別系統(tǒng)和齒痕識別系統(tǒng)。
首先，通過目標檢測算法識別人臉和舌頭區(qū)域，獲得人臉區(qū)域和舌頭區(qū)域的外接矩形框；然后，對獲得的人臉區(qū)域和舌頭區(qū)域進行具體部位的提取。系統(tǒng)識別到人臉區(qū)域進行特征點回歸的操作獲得人臉的特征點信息，同時對人臉區(qū)域進行實例分割獲得眉毛、眼睛、鼻子、嘴唇、皮膚、頭發(fā)、耳朵、口、脖子等，系統(tǒng)對識別到的舌體區(qū)域進行舌體分割，獲得沒有背景干擾的舌體，提高舌診的精度，用于后續(xù)的舌診計算機識別；然后，系統(tǒng)根據(jù)提取到的實例圖片和面部特征點等多種信息對舌面特征進行預測；最后，可視化預測結(jié)果。
研究過程中，通過對舌面圖像定位，去噪，采用先進深度學習技術(shù)實現(xiàn)對患者的舌苔，舌質(zhì)，面象等多種特征的精準識別，為醫(yī)生提供可靠的臨床診療意見，提升診斷的效率和準確性。
核心模塊
1、圖像質(zhì)量檢測
根據(jù)舌面圖像的具體情況進行色彩校正，光照還原，模糊檢測，高頻信息濾波等預處理。圖像在拍攝過程中，由于光照、抖動、霧等一系列因素可能使圖像質(zhì)量過差。所以，通過圖像預處理模塊，減少或者去除這些不利因素對圖像質(zhì)量造成的影響。
基于Laplacian高頻信息的模糊圖像檢測：模糊的圖像具有很少的高頻信息和大量的低頻信息。紋理，材質(zhì)等屬于圖像的低頻信息，輪廓，邊緣等屬于圖像的高頻信息。因此通過評估高頻信息能夠簡單有效地反映圖像的模糊程度。Laplacian算子是一種二階微分算子，常被用于提取圖像的高頻信息。Laplacian算子做模糊檢測的具體流程分三步。首先，彩色圖片轉(zhuǎn)換為灰度圖像；其次，對灰度圖像進行4領(lǐng)域的Laplacian算子濾波，提取高頻圖像；最后，計算高頻圖像的標準差σ，當σ小于一定的閾值時，則該圖像模糊，否則該圖像清晰。
基于導向濾波的圖像去噪：去噪算法主要是去除圖片中存在的噪聲，本系統(tǒng)使用的去噪算法有傳統(tǒng)的高斯濾波和導向濾波。導向濾波是一種包邊濾波器，能夠在去噪的同時保留邊緣高頻信息，導向濾波的指導圖片為待濾波圖片的灰度圖。該方法能夠很好的去除霧天圖片的影響。
2、面象特征分析
面象診斷系統(tǒng)包含了7個子系統(tǒng)，分別為：眼瞼浮腫識別系統(tǒng)、面部光澤識別系統(tǒng)、川字眉識別系統(tǒng)、雙眼皮識別系統(tǒng)、臉型識別系統(tǒng)、眉毛濃淡識別系統(tǒng)和唇厚薄識別系統(tǒng)。
人臉關(guān)鍵點檢測是人臉識別和分析領(lǐng)域中的關(guān)鍵一步，它是諸如人臉識別、面部情感分析、三維人臉重建及三維動畫等其它人臉相關(guān)問題的前提和突破口。系統(tǒng)對識別到的人臉區(qū)域進行特征點回歸操作獲得人臉的特征點信息，同時對人臉區(qū)域進行實例分割獲得眉、眼、鼻、唇、發(fā)、耳、口、頸等。由于人臉圖片特征點標注工作需要耗費大量的資源，因此系統(tǒng)采用無監(jiān)督的面部特征點回歸算法，在只有少量標注的情況下，充分考慮未標注圖片的信息，提高算法的回歸精度和識別準確率。
3、舌象特征分析
舌象診斷識別系統(tǒng)包含5個子系統(tǒng)，分別為：苔色識別系統(tǒng)、苔膩識別系統(tǒng)、舌體胖瘦識別系統(tǒng)、裂紋識別系統(tǒng)和齒痕識別系統(tǒng)。
由R-CNN和Fast?RCNN算法發(fā)展而來的Faster?RCNN算法是目前主流的目標檢測算法。Faster?RCNN將特征提取，候選區(qū)域抽取，特征金字塔網(wǎng)絡(luò)，目標框回歸，分類等整合到一個深度網(wǎng)絡(luò)中，相比之前的RCNN類網(wǎng)絡(luò)，很好的平衡了檢測精度和檢測速度，綜合性能提升明顯。本項目Faster?RCNN的特征抽取層采用了更加輕量級的FBNet網(wǎng)絡(luò)，檢測速度有了更進一步提高。訓練數(shù)據(jù)來源于基層醫(yī)生采集的真實舌面數(shù)據(jù)，標注工作由具有中醫(yī)臨床知識的中醫(yī)師進行標注。當高質(zhì)量圖片輸入后，算法會返回圖片中所有的舌面坐標信息。
臨床應(yīng)用
傳統(tǒng)舌面望診的難點：傳統(tǒng)的中醫(yī)舌面望診是通過醫(yī)生觀察患者舌面做出結(jié)論，診斷結(jié)果往往和醫(yī)生的臨床經(jīng)驗，學習經(jīng)歷、斷病時狀態(tài)等因素有關(guān)，具有很強的主觀性。同時傳統(tǒng)舌面望診也易受光線，氣候，地域等外界因素的干擾。針對這些問題，近年來，隨著計算機信息技術(shù)圖像識別的高速發(fā)展，以計算機圖像分析技術(shù)為主要手段，將中醫(yī)舌面診斷客觀化研究與計算機技術(shù)緊密結(jié)合，為中醫(yī)舌面診斷客觀化提供了新的方向。
系統(tǒng)可以通過患者的舌、面圖片，快速預測中醫(yī)舌面特征有：眼瞼浮腫、面部光澤、川字眉、眼皮層數(shù)、臉型、眉毛濃淡、唇厚薄、苔色、苔膩、舌體胖瘦、裂紋和齒痕。幫助醫(yī)師在門診過程中提升效率、準確率。
產(chǎn)品示例
只需三步即可生成中醫(yī)體質(zhì)報告：用戶拍攝自己的舌部、面部照片，上傳后系統(tǒng)立刻檢測，給出分析報告，檢測有效率可以達到90%以上。
在提供體質(zhì)報告的同時，還能夠根據(jù)商家的產(chǎn)品進行個性化定制，支持在用戶的體質(zhì)基礎(chǔ)上推薦相應(yīng)的茶飲產(chǎn)品/保健產(chǎn)品/?？漆t(yī)生等，并關(guān)聯(lián)銷售路徑。這種對應(yīng)關(guān)系建立在專業(yè)的中醫(yī)理論基礎(chǔ)上，通過科學的方法與體質(zhì)相匹配。
現(xiàn)已全面開放API對接，可以方便快捷的集成在網(wǎng)頁、app、小程序等，我們提供專業(yè)的醫(yī)學保障和技術(shù)支持，歡迎各位交流討論學習！
