0、關鍵詞
emotion, classroom videos, visual summarization, visual analytics
1、鏈接
該論文提出的系統EmotionCues來自香港科技大學（The?Hong Kong University of Science and Technology, 簡稱“港科大”（HKUST））?的技術團隊，主要貢獻在UI可視化設計，這也與期刊名稱和主題（Transactions on Visualization and Computer Graphics）相稱。其中的主題內容，專注于教室場景中，通過捕捉與可視化展示學生的表情變化，來輔助教師改進和提升教學。
論文鏈接：https://ieeexplore.ieee.org/abstract/document/8948010
論文主頁：無
論文代碼：無
自制公開思維導圖：https://www.processon.com/mindmap/5e3e2efee4b0a3daae803868
在論文中，來自香港科技大學、哈爾濱工程大學等機構的研究者提出了一種名為EmotionCues的系統。該系統主要關注如何記錄學生面部表情，并據此來分析學生在課堂上的情緒變化、注意力集中程度。作者之一、香港科技大學計算機教授屈華民介紹說，這個系統「為教師提供了一種更快速、更方便去衡量學生在課堂上參與度的方法。」這項研究的初衷是「善意」的：依靠該系統去監(jiān)控學生在課堂上的情緒反饋，判斷學生在什么時候開始感到無聊，什么時候注意力更加集中，以此來提醒老師該如何改善課堂內容、提高授課質量。
2、主要內容概述
※ Abstract
● 指出分析學生表情有助教師和家長快速掌握學生上課專注程度。
●?高清相機的普及為記錄課堂場景創(chuàng)造了機會。但是通過觀察視頻了解表情分布和異常表情非常耗時間。
●?文章提出了EmotionCues視覺分析系統進行表情分析，有3部分：表情概略、個人表情、原視頻路
●?考慮到表情識別算法的一些不精確因素，系統也會展示face size和occlusion，輔助判斷準確度。
●?實驗部分：執(zhí)行了兩種use cases，即end uses和domain experts，來說明提出系統的用途和高效性。
※ Introduction
●?說明表情在教室分析中的意義：研究表明表情可以影響學生學習行為，包括注意力、學習動力、學習策略和自覺性
●?提問如何才能通過錄制的課堂視頻，幫助教師和家長快速了解學生的情緒狀態(tài)
●?指出直接觀看視頻非常耗時，而現有的視頻分析技術不適用于表情分析，并解釋原因，凸顯可視化交互分析系統的重要性
●?回到系統本身，實現可視化分析一節(jié)課中所有學生的表情變化并不容易，引出三大挑戰(zhàn)，不再贅述
●?為了解決上述挑戰(zhàn)，作者設計了EmotionCues系統，系統包括三種視角：the summary view、character view、video view，同時，系統也考慮到了表情識別的不準確性，在交互設計時加入了可能的不穩(wěn)定因素。
●?論文三大貢獻：設計了表情可視化交互系統；加入了模型不穩(wěn)定性；執(zhí)行了兩個真實案例說明實際效果
※ Related Work
●?Emotion Analysis in Learning Scenarios：再次敘述表情分析對掌握學生狀態(tài)的重要性，細節(jié)處有參考文獻。在此之前，有很多方法被用于分析學生學習狀態(tài)下的表情，文章將其分為兩大類：self-report methods和non-self-report methods，論文選擇后者 ，并借助CV技術分析表情。另外，數據可視化更加有助于這一過程，通過文獻舉例說明現有可視化系統的短板和缺陷，為后續(xù)引出提出系統的相應功能做準備。
●?Video Visualization：視頻可視化的初衷是幫助快速了解視頻內容，這一領域已經發(fā)展較為成熟。文章按照是否包含視頻關鍵幀，將這項技術分為兩大類：image-based techniques和abstract techniques，前者是視頻關鍵信息組成的更簡短視頻，后者通常依據時間順序非直接地給出視頻的可視化屬性，例如音頻分析、人物軌跡圖等。論文采用了后者，同時加入了表情識別模型不確定性分析模塊，這是文章主打的一大創(chuàng)新。
●?Temporal Data Visualization：首先引用具體文獻，介紹了一些強關聯的時序數據可視化方法，接著，從中受啟發(fā)挑選了系統將要使用的方法：the aggregation flow和storyline visualization techniques。此系統最終將提供全體學生的表情變化分析，以及每個學生的表情狀態(tài)跟蹤線。
※ Data and Design Requirements
●?Data Description：課堂視頻數據來自合作方幼兒園，采用1K相機錄制，每份時長約10分鐘。為了對比，還會選擇分析大學實驗室的組會討論場景
●?Data Modeling and Processing：上圖為視頻數據處理流程。人臉檢測使用的是MTCNN(SPL2016)，人臉識別使用的是facenet(CVPR2015)，人臉表情識別使用的是ResNet-50，使用的數據集為FER2013。此外，系統還會考慮表情識別算法的不準確性，加入了可能的影響因素，包括人臉尺寸、人臉遮擋程度，遮擋程度的深度檢測算法來自TIV2017中的一篇文章。
●?Design Requirements：經過與4位系統用戶的溝通，搜集整理他們的反饋，得到了以下5點需求：
1）Obtain the emotion status of all the people in a video.??
2）Uncover emotion patterns of an individual in a video.
3）Compare emotion portraits of different people.?
4）Reveal model uncertainty with influencing factors.
5）Provide context for video analysis.
※?System Overview
按照之前的設計規(guī)劃，一共包括三種視角，summary view；character view；video view
※ Visualization Design
●?Design Rationales：EmotionCues系統包括以下三種設計理念：Intuitive encoding and design，Smooth interactions with prompt feedback，Multi-scale visual exploration.
●?Summary View：這是EmotionCues系統的前端界面，每個part所展示的含義，通過簡單閱讀下圖說明，即可了解
●?Character View：該視角觀察每個學生在整堂課中的表情變化，設計方式見上圖中的子圖C
●?Video View：該視角播放原課堂視頻路，用戶可以暫停查看每一幀的檢測結果，并對不準確的結果進行糾查
※ Use Cases
●?Case One: A kindergarten classroom video:?受訪對象是幼兒園教師，具體教室場景如上圖中的子圖D，以及下圖。據教師使用系統之后反映，EmotionCues上手較為方便，能夠在一定程度上監(jiān)測學生的聽課狀態(tài)，并幫助及時了解每個學生的情緒變化。反映的缺點是，表情識別算法的準確率很低。
●?Case Two: Seminar videos:?受訪對象為大學教授，場景是實驗室組會討論現場，如下圖所示。教授覺得系統可以幫助其快速了解組會的討論情況，有較大實用價值，缺點是系統不能直接看到學生的專注度指標。
※?Interviewers and Feedback
通過采訪調查之前提到的4位用戶使用感受，驗證系統的有效性和可用性，并收集意見和建議。
※?Discussion and Limitations
隱私問題需要注意；深度模型的應用性能問題；表情識別的準確性低；可擴展性；通用性
※?Conclusion and Future Work
在重述并肯定了EmotionCues系統的貢獻之后，作者覺得可以加入頭部姿態(tài)估計來輔助情緒判斷，或者換用更好的更準確的表情識別算法。甚至將EmotionCues系統拓展到其他領域，如電影和演講。
3、新穎點
這篇文章發(fā)表于A刊TVCG2020，其實早在2020年春節(jié)期間，我就已經搜集到并拜讀之，向申老師作了匯報（當時老師還健在:-( 如今斯人已逝）。內容是關于教室場景的學生表情分析，整體脈絡和我們當時和當下研究的智慧教室系統十分相似，于是將閱讀筆記整理制作了思維導圖。整體感覺有以下三點 ：
1）智慧教室相關的系統性設計類文章可以被頂級期刊接受，至少TVCG是個好的開始；
2）EmotionCues系統，算法和技術原創(chuàng)性不高，亮點是題材新穎和良好的可視化界面設計；
3）按照文章這種思路，我們的智慧教室項目，即可以分拆成各個子系統出文章，也可以綜合多項指標，主要難點和工作量在寫作構思上。
4、總結
實際上，在匯報完EmotionCues后的一到兩年，尤其是2021年，我先后將我們自己的工作整理成paper投稿UbiComp，卻接連多次碰壁，主要的問題還是學生隱私問題。EmotionCues并未太多強調算法創(chuàng)新，也就沒有制作相關私有數據集的需求，而是直接在教室中使用，尚未太多觸及學生隱私。相比較之下，我們的智慧教室研究，需要制作多個私有數據集，其成文過程總，不可避免地要展示很多直觀性的示例圖，有涉及到真實教室場景。在大規(guī)模應用的設想階段，也讓西方審稿人感覺到了極大的隱私侵犯性，這些中西方文化差異上不可調和的矛盾，讓我們的系統極難被外文主流教育頂會或期刊接收。退一步講，即使我們著重強調技術或系統框架上的創(chuàng)新，也有與我們的技術路線極為相似的CMU的EduSense在現，這又進一步阻礙了我們的工作作為整體系統去投稿的路線。
以這篇EmotionCues系統作為參考，我們完全可以在接下來的研究中，將重心轉向各個指標形成的子系統上，仿照該文的思路，圍繞具體的指標展開詳細的方法描述和設計討論。待以后積少成多，再圖劃綜合性系統，更有勝算。
