基于機(jī)器學(xué)習(xí)的智能運(yùn)維

裴 ?丹1?張圣林2?裴昶華3

1清華大學(xué)? 2南開大學(xué)? ?3阿里巴巴公司

關(guān)鍵詞：機(jī)器學(xué)習(xí) 智能運(yùn)維

當(dāng)代社會(huì)的生產(chǎn)生活，許多方面都依賴于大型、復(fù)雜的軟硬件系統(tǒng)， 包括互聯(lián)網(wǎng)、高性能計(jì)算、電信、金融、電力網(wǎng)絡(luò)、物聯(lián)網(wǎng)、 醫(yī)療網(wǎng)絡(luò)和設(shè)備、航空航天、軍用設(shè)備及網(wǎng)絡(luò)等。這些系統(tǒng)的用戶都期待有好的體驗(yàn)。 因而，這些復(fù)雜系統(tǒng)的部署、運(yùn)行和維護(hù)都需要專業(yè)的運(yùn)維人員，以應(yīng)對各種突發(fā)事件，確保系統(tǒng)安全、可靠地運(yùn)行。由于各類突發(fā)事件會(huì)產(chǎn)生海量數(shù)據(jù)，因此，智能運(yùn)維從本質(zhì)上可以認(rèn)為是一個(gè)大數(shù)據(jù)分析的具體場景。

圖1展示了智能運(yùn)維涉及的范圍。它是人工智能、行業(yè)領(lǐng)域知識(shí)、運(yùn)維場景領(lǐng)域知識(shí)三者相結(jié)合的交叉領(lǐng)域，離不開三者的緊密合作。

圖1 ?智能運(yùn)維涉及的范圍

智能運(yùn)維的歷史

手工運(yùn)維：?早期的運(yùn)維工作大部分是由運(yùn)維人員手工完成的，那時(shí)，運(yùn)維人員又被稱為系統(tǒng)管理員或網(wǎng)管。他們負(fù)責(zé)的工作包括監(jiān)控產(chǎn)品運(yùn)行狀態(tài)和性能指標(biāo)、產(chǎn)品上線、變更服務(wù)等。因此，單個(gè)運(yùn)維人員的工作量，運(yùn)維人員的數(shù)量都是隨著產(chǎn)品的個(gè)數(shù)或者產(chǎn)品服務(wù)的用戶規(guī)模呈線性增長的。此時(shí)的運(yùn)維工作消耗大量的人力資源，但大部分運(yùn)維工作都是低效的重復(fù)。這種手工運(yùn)維的方式必然無法滿足互聯(lián)網(wǎng)產(chǎn)品日新月異的需求和突飛猛進(jìn)的規(guī)模。

自動(dòng)化運(yùn)維：?運(yùn)維人員逐漸發(fā)現(xiàn)，一些常見的重復(fù)性的運(yùn)維工作可以通過自動(dòng)化的腳本來實(shí)現(xiàn)：一部分自動(dòng)化腳本用以監(jiān)控分布式系統(tǒng)，產(chǎn)生大量的日志；另外一部分被用于在人工的監(jiān)督下進(jìn)行自動(dòng)化處理。這些腳本能夠被重復(fù)調(diào)用和自動(dòng)觸發(fā)，并在一定程度上防止人工的誤操作，從而極大地減少人力成本，提高運(yùn)維的效率。這就誕生了自動(dòng)化運(yùn)維。自動(dòng)化運(yùn)維可以認(rèn)為是一種基于行業(yè)領(lǐng)域知識(shí)和運(yùn)維場景領(lǐng)域知識(shí)的專家系統(tǒng)。

運(yùn)維開發(fā)一體化：傳統(tǒng)的運(yùn)維體系將運(yùn)維人員從產(chǎn)品開發(fā)人員中抽離出來，成立單獨(dú)的運(yùn)維部門。這種模式使得不同公司能夠分享自動(dòng)化運(yùn)維的工具和想法，互相借鑒，從而極大地推動(dòng)了運(yùn)維的發(fā)展。然而，這種人為分割的最大問題是產(chǎn)生了兩個(gè)對立的團(tuán)隊(duì)——產(chǎn)品開發(fā)人員和運(yùn)維人員。他們的使命從一開始就截然不同：產(chǎn)品開發(fā)人員的目標(biāo)是盡快地實(shí)現(xiàn)系統(tǒng)的新功能并進(jìn)行部署，從而讓用戶盡快地使用到新版本和新功能。運(yùn)維人員則希望盡可能少地產(chǎn)生異常和故障。但是經(jīng)過統(tǒng)計(jì)發(fā)現(xiàn)，大部分的異?；蚬收隙际怯捎谂渲米兏蜍浖墝?dǎo)致的。因此，運(yùn)維人員本能地排斥產(chǎn)品開發(fā)團(tuán)隊(duì)部署配置變更或軟件升級。他們之間的目標(biāo)沖突降低了系統(tǒng)整體的效率。此外，由于運(yùn)維人員不了解產(chǎn)品的實(shí)現(xiàn)細(xì)節(jié)，因此他們在發(fā)現(xiàn)問題后不能很好地定位故障的根本原因。為了解決這一矛盾，DevOps應(yīng)運(yùn)而生。DevOps最核心的概念是開發(fā)運(yùn)維一體化，即不再硬性地區(qū)分開發(fā)人員和運(yùn)維人員。開發(fā)人員自己在代碼中設(shè)置監(jiān)控點(diǎn)，產(chǎn)生監(jiān)控?cái)?shù)據(jù)。系統(tǒng)部署和運(yùn)行過程中發(fā)生的異常由開發(fā)人員進(jìn)行定位和分析。這種組織方式的優(yōu)勢非常明顯：能夠產(chǎn)生更加有效的監(jiān)控?cái)?shù)據(jù)，方便后期運(yùn)維；同時(shí)，運(yùn)維人員也是開發(fā)人員，出現(xiàn)問題之后能夠快速地找出根因。谷歌的站點(diǎn)可靠性工程(Site Reliability Engineering, SRE)就是DevOps的一種特例。

智能運(yùn)維 （AIOps， Artificial Intelligence for IT Operations）：自動(dòng)化運(yùn)維在手動(dòng)運(yùn)維基礎(chǔ)上大大提高了運(yùn)維的效率，DevOps 有效地提升了研發(fā)和運(yùn)維的配合效率。但是，隨著整個(gè)互聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)規(guī)模的急劇膨脹，以及服務(wù)類型的復(fù)雜多樣，“基于人為指定規(guī)則”的專家系統(tǒng)逐漸變得力不從心。因?yàn)椋詣?dòng)化運(yùn)維的瓶頸在于人腦：必須由一個(gè)長期在一個(gè)行業(yè)從事運(yùn)維的專家手動(dòng)地將重復(fù)出現(xiàn)的、有跡可循的現(xiàn)象總結(jié)出來，形成規(guī)則，才能完成自動(dòng)化運(yùn)維。然而，越來越多的場景表明，簡單的、基于人為制定規(guī)則的方法并不能夠解決大規(guī)模運(yùn)維的問題。

與自動(dòng)化運(yùn)維依賴人工生成規(guī)則不同，智能運(yùn)維強(qiáng)調(diào)由機(jī)器學(xué)習(xí)算法自動(dòng)地從海量運(yùn)維數(shù)據(jù)（包括事件本身以及運(yùn)維人員的人工處理日志）中不斷地學(xué)習(xí)，不斷地提煉并總結(jié)規(guī)則。換句話說， 智能運(yùn)維在自動(dòng)化運(yùn)維的基礎(chǔ)上增加了一個(gè)基于機(jī)器學(xué)習(xí)的大腦，指揮著監(jiān)測系統(tǒng)采集大腦決策所需的數(shù)據(jù)，做出分析、決策并指揮自動(dòng)化腳本去執(zhí)行大腦的決策，從而達(dá)到運(yùn)維系統(tǒng)的整體目標(biāo)（見圖2）。Gartner Report ?預(yù)測AIOps 的全球部署率將從2017年的10%增加到2020年的50%。

圖2 ?智能運(yùn)維與自動(dòng)化運(yùn)維的最大區(qū)別是有一個(gè)基于機(jī)器學(xué)習(xí)的大腦

智能運(yùn)維現(xiàn)狀

關(guān)鍵場景與技術(shù)

圖?3顯示了智能運(yùn)維包含的關(guān)鍵場景和技術(shù) ，涉及大型分布式系統(tǒng)監(jiān)控、分析、決策等。

?圖3 智能運(yùn)維的關(guān)鍵場景和技術(shù)

在針對歷史事件的智能運(yùn)維技術(shù)中，瓶頸分析是指發(fā)現(xiàn)制約互聯(lián)網(wǎng)服務(wù)性能的硬件或軟件瓶頸。熱點(diǎn)分析指的是找到對于某項(xiàng)指標(biāo)（如處理服務(wù)請求規(guī)模、出錯(cuò)日志）顯著大于處于類似屬性空間內(nèi)其他設(shè)施的集群、網(wǎng)絡(luò)設(shè)備、服務(wù)器等設(shè)施。KPI曲線聚類是指對形狀類似的曲線進(jìn)行聚類。KPI曲線關(guān)聯(lián)挖掘針對兩條曲線的變化趨勢進(jìn)行關(guān)聯(lián)關(guān)系挖掘。KPI曲線與報(bào)警之間的關(guān)聯(lián)關(guān)系挖掘是針對一條KPI曲線的變化趨勢與某種異常之間的關(guān)聯(lián)關(guān)系進(jìn)行挖掘。異常事件關(guān)聯(lián)挖掘是指對異常事件之間進(jìn)行關(guān)聯(lián)關(guān)系挖掘。全鏈路模塊調(diào)用鏈分析能夠分析出軟件模塊之間的調(diào)用關(guān)系。故障傳播關(guān)系圖構(gòu)建融合了上述后四種技術(shù)，推斷出異常事件之間的故障傳播關(guān)系，并作為故障根因分析的基礎(chǔ)，解決微服務(wù)時(shí)代KPI異常之間的故障傳播關(guān)系不斷變化而無法通過先驗(yàn)知識(shí)靜態(tài)設(shè)定的問題。通過以上技術(shù)，智能運(yùn)維系統(tǒng)能夠準(zhǔn)確地復(fù)現(xiàn)并診斷歷史事件。

針對當(dāng)前事件，KPI異常檢測是指通過分析KPI曲線，發(fā)現(xiàn)互聯(lián)網(wǎng)服務(wù)的軟硬件中的異常行為，如訪問延遲增大、網(wǎng)絡(luò)設(shè)備故障、訪問用戶急劇減少等。異常定位在KPI被檢測出異常之后被觸發(fā)，在多維屬性空間中快速定位導(dǎo)致異常的屬性組合?？焖僦箵p是指對以往常見故障引發(fā)的異常報(bào)警建立“指紋”系統(tǒng)，用于快速比對新發(fā)生故障時(shí)的指紋，從而判斷故障類型以便快速止損。異常報(bào)警聚合指的是根據(jù)異常報(bào)警的空間和時(shí)間特征，對它們進(jìn)行聚類，并把聚類結(jié)果發(fā)送給運(yùn)維人員，從而減少運(yùn)維人員處理異常報(bào)警的工作負(fù)擔(dān)。故障根因分析是指根據(jù)故障傳播圖快速找到當(dāng)前應(yīng)用服務(wù)KPI異常的根本觸發(fā)原因。故障根因分析系統(tǒng)找出異常事件可能的根因以及故障傳播鏈后，運(yùn)維專家可以對根因分析的結(jié)果進(jìn)行確定和標(biāo)記，從而幫助機(jī)器學(xué)習(xí)方法更好地學(xué)習(xí)領(lǐng)域知識(shí)。這一系統(tǒng)最終達(dá)到的效果是當(dāng)故障發(fā)生時(shí)，系統(tǒng)自動(dòng)準(zhǔn)確地推薦出故障根因，指導(dǎo)運(yùn)維人員去修復(fù)或者系統(tǒng)自動(dòng)采取修復(fù)措施。

關(guān)鍵技術(shù)示例

KPI瓶頸分析

為了保證向千萬級甚至上億級用戶提供可靠、高效的服務(wù)，互聯(lián)網(wǎng)服務(wù)的運(yùn)維人員通常會(huì)使用一些關(guān)鍵性能指標(biāo)來監(jiān)測這些應(yīng)用的服務(wù)性能。比如，一個(gè)應(yīng)用服務(wù)在單位時(shí)間內(nèi)被訪問的次數(shù)(Page Views, PV)，單位時(shí)間交易量，應(yīng)用性能和可靠性等。KPI瓶頸分析的目標(biāo)是在KPI不理想時(shí)分析系統(tǒng)的瓶頸。一般監(jiān)控?cái)?shù)據(jù)中的關(guān)鍵指標(biāo)有很多屬性，這些屬性可能影響到關(guān)鍵指標(biāo)，如圖4所示。

圖4 KPI及影響因素

當(dāng)數(shù)據(jù)規(guī)模較小時(shí)，運(yùn)維人員通過手動(dòng)過濾和選擇，便能夠發(fā)現(xiàn)影響關(guān)鍵性能指標(biāo)的屬性組合。但是，當(dāng)某個(gè)關(guān)鍵指標(biāo)有十幾個(gè)屬性，每個(gè)屬性有幾百億條數(shù)據(jù)時(shí)，如何確定它們的屬性是怎樣影響關(guān)鍵性能指標(biāo)的，是一個(gè)非常有挑戰(zhàn)性的問題。顯然，采用人工的方式去總結(jié)其中的規(guī)律是不可行的。因此，需要借助于機(jī)器學(xué)習(xí)算法來自動(dòng)地挖掘數(shù)據(jù)背后的現(xiàn)象，定位系統(tǒng)的瓶頸。

針對這一問題，學(xué)術(shù)界已經(jīng)提出了層次聚類、決策樹、聚類樹(CLTree)等方法。FOCUS [1]通過對數(shù)據(jù)預(yù)處理，把KPI分為“達(dá)標(biāo)”和“不達(dá)標(biāo)”兩類，從而把KPI瓶頸分析問題轉(zhuǎn)化為在多維屬性空間中的有監(jiān)督二分類問題。由于瓶頸分析問題要求結(jié)果具備可解釋性，因此FOCUS采用了結(jié)果解釋性較好的決策樹算法。該算法較為通用，可以針對符合圖4所示的各類數(shù)據(jù)進(jìn)行瓶頸分析。

KPI 異常檢測

KPI異常檢測是互聯(lián)網(wǎng)服務(wù)智能運(yùn)維的一個(gè)底層核心技術(shù)。大多數(shù)上述智能運(yùn)維的關(guān)鍵技術(shù)都依賴于KPI異常檢測的結(jié)果。

當(dāng) KPI 呈現(xiàn)出異常（如突增、突降、抖動(dòng)）時(shí)，往往意味著與其相關(guān)的應(yīng)用發(fā)生了一些潛在的故障，比如網(wǎng)絡(luò)故障、服務(wù)器故障、配置錯(cuò)誤、缺陷版本上線、網(wǎng)絡(luò)過載、服務(wù)器過載、外部攻擊等。圖?5 展示了某搜索引擎一周內(nèi)的PV數(shù)據(jù)，其中紅圈標(biāo)注的為異常。

圖5 ?KPI異常示例：某搜索引擎PV曲線的異常

因此，為了提供高效、可靠的服務(wù)，必須實(shí)時(shí)監(jiān)測KPI，以便及時(shí)發(fā)現(xiàn)異常。同時(shí)，那些持續(xù)時(shí)間相對較短的KPI抖動(dòng)也必須被準(zhǔn)確檢測出來，以避免未來的經(jīng)濟(jì)損失。

目前，學(xué)術(shù)界和工業(yè)界已經(jīng)提出了一系列KPI異常檢測算法。這些算法可以概括地分成基于窗口的異常檢測算法，例如奇異譜變換(singular spectrum transform)；基于近似性的異常檢測算法；基于預(yù)測的異常檢測算法，例如Holt-Winters方法、時(shí)序分解方法、線性回歸方法、支持向量回歸等；基于隱式馬爾科夫模型的異常檢測算法；基于分段的異常檢測算法；基于機(jī)器學(xué)習(xí)（集成學(xué)習(xí)）的異常檢測算法[2]等類別。

故障預(yù)測

現(xiàn)在，主動(dòng)的異常管理已成為一種提高服務(wù)穩(wěn)定性的有效方法。故障預(yù)測是主動(dòng)異常管理的關(guān)鍵技術(shù)。故障預(yù)測是指在互聯(lián)網(wǎng)服務(wù)運(yùn)行時(shí)，使用多種模型或方法分析服務(wù)當(dāng)前的狀態(tài)，并基于歷史經(jīng)驗(yàn)判斷近期是否會(huì)發(fā)生故障。

圖?6 顯示了故障預(yù)測的定義。在當(dāng)前時(shí)刻，根據(jù)一段時(shí)間內(nèi)的測量數(shù)據(jù)，預(yù)測未來某一時(shí)間區(qū)間是否會(huì)發(fā)生故障。之所以預(yù)測未來某一時(shí)間區(qū)間的故障，是因?yàn)檫\(yùn)維人員需要一段時(shí)間來應(yīng)對即將發(fā)生的故障，例如切換流量、替換設(shè)備等。

圖6 故障預(yù)測定義

目前，學(xué)術(shù)界和工業(yè)界已經(jīng)提出了大量的故障預(yù)測方法。大致可分為幾個(gè)類別：

? 故障蹤跡。其核心思想是從以往故障的發(fā)生特征上推斷即將發(fā)生的故障。發(fā)生特征可以是故障的發(fā)生頻率，也可以是故障的類型。

? 征兆監(jiān)測。通過一些故障對系統(tǒng)的“副作用”來捕獲它們，例如，異常的內(nèi)存利用率、CPU使用率、磁盤I/O、系統(tǒng)中異常的功能調(diào)用等。

? 錯(cuò)誤記錄。錯(cuò)誤事件日志往往是離散的分類數(shù)據(jù)，例如事件ID、組件ID、錯(cuò)誤類型等。

智能運(yùn)維所用到的機(jī)器學(xué)習(xí)算法

在智能運(yùn)維文獻(xiàn)中較為常見的算法包括邏輯回歸、關(guān)聯(lián)關(guān)系挖掘、聚類、決策樹、隨機(jī)森林、支持向量機(jī)、蒙特卡洛樹搜索、隱式馬爾科夫、多示例學(xué)習(xí)、遷移學(xué)習(xí)、卷積神經(jīng)網(wǎng)絡(luò)等。在處理運(yùn)維工單和人機(jī)界面時(shí)，自然語言處理和對話機(jī)器人也被廣泛應(yīng)用。

智能運(yùn)維系統(tǒng)在演進(jìn)的過程中，不斷采用越來越先進(jìn)的機(jī)器學(xué)習(xí)算法。

基于互聯(lián)網(wǎng)的視頻流媒體（如QQ視頻、優(yōu)酷、愛奇藝、Netflix等）已經(jīng)逐漸滲透到人們的日常生活中。在網(wǎng)絡(luò)領(lǐng)域頂級會(huì)議中也涌現(xiàn)了很多學(xué)術(shù)界和工業(yè)界合作的智能運(yùn)維案例，如卡內(nèi)基梅隆大學(xué)的系列工作：SIGCOMM’11論文[3]利用不同數(shù)據(jù)分析及統(tǒng)計(jì)分析方法，靈活使用可視化(visualization)、相關(guān)分析(correlation)、信息熵增益(information gain)等工具，將雜亂無章的數(shù)據(jù)轉(zhuǎn)化為直觀清晰的信息，從而分析出海量數(shù)據(jù)背后的視頻體驗(yàn)不佳的規(guī)律和瓶頸；SIGCOMM’12論文[4]為視頻傳輸設(shè)計(jì)了一個(gè)“大腦”，根據(jù)視頻客戶和網(wǎng)絡(luò)狀況的全局信息，動(dòng)態(tài)地優(yōu)化視頻傳輸；SIGCOMM’13論文[5]通過決策樹模型建立視頻流媒體用戶參與度的預(yù)測模型，指導(dǎo)關(guān)鍵性能指標(biāo)的優(yōu)化策略，最終有效地改善了視頻流媒體用戶的體驗(yàn)質(zhì)量；NSDI’17論文[6]將視頻質(zhì)量的實(shí)時(shí)優(yōu)化問題轉(zhuǎn)化為實(shí)時(shí)多臂老虎機(jī)(multi-armed bandits)問題（一種基礎(chǔ)的強(qiáng)化學(xué)習(xí)方法），并使用上限置信區(qū)間算法(upper confidence bound)有效解決了這一問題。這一系列論文，見證了智能運(yùn)維不斷演進(jìn)之路。

智能運(yùn)維未來展望

多個(gè)行業(yè)領(lǐng)域都表現(xiàn)出對智能運(yùn)維的強(qiáng)烈需求。但是，他們主要在各自行業(yè)內(nèi)尋找解決方案。同時(shí)，受限于所處行業(yè)運(yùn)維團(tuán)隊(duì)的開發(fā)能力，他們往往對所處行業(yè)內(nèi)的運(yùn)維團(tuán)隊(duì)提出相對較低的需求——這些需求一般停留在自動(dòng)化運(yùn)維的階段。如果各行業(yè)領(lǐng)域能夠在深入了解智能運(yùn)維框架中關(guān)鍵技術(shù)的基礎(chǔ)上， 制定合適的智能運(yùn)維目標(biāo)，并投入適當(dāng)?shù)馁Y源，一定能夠有效地推動(dòng)智能運(yùn)維在各自行業(yè)的發(fā)展。同時(shí)，在智能運(yùn)維通用技術(shù)的基礎(chǔ)上，各行業(yè)領(lǐng)域的科研工作者也可以在解決所處行業(yè)智能運(yùn)維的一些特殊問題的同時(shí)，拓寬自身的科研領(lǐng)域。

在基于機(jī)器學(xué)習(xí)的智能運(yùn)維框架下，機(jī)器將成為運(yùn)維人員的高效可靠助手。但是，人的作用仍處于主導(dǎo)地位。在智能運(yùn)維的框架下，運(yùn)維工程師逐漸轉(zhuǎn)型為大數(shù)據(jù)工程師，負(fù)責(zé)搭建大數(shù)據(jù)基礎(chǔ)架構(gòu)，開發(fā)和集成數(shù)據(jù)采集程序和自動(dòng)化執(zhí)行腳本，并高效實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。 同時(shí)，在面對所處行業(yè)的智能運(yùn)維需求時(shí)，智能運(yùn)維工程師可以在整個(gè)智能運(yùn)維框架下跨行業(yè)地尋找關(guān)鍵技術(shù)，從而能夠更好地滿足本行業(yè)的智能運(yùn)維需求，達(dá)到事半功倍的效果。這種從普通工程師到大數(shù)據(jù)工程師（智能運(yùn)維工程師）的職業(yè)技能轉(zhuǎn)型對運(yùn)維工程師是非常具有吸引力的。

智能運(yùn)維的基石是機(jī)器學(xué)習(xí)和人工智能。 相比人工智能在其他領(lǐng)域的應(yīng)用，智能運(yùn)維幾乎完美地?fù)碛幸粋€(gè)有前景的人工智能垂直應(yīng)用領(lǐng)域必備的要素： 實(shí)際應(yīng)用場景、大量數(shù)據(jù)、大量標(biāo)注。智能運(yùn)維幾乎所有的關(guān)鍵技術(shù)都離不開機(jī)器學(xué)習(xí)算法；工業(yè)界不斷產(chǎn)生海量運(yùn)維日志；由于運(yùn)維人員自身就是領(lǐng)域?qū)＜?，其日常的工作就?huì)產(chǎn)生大量的標(biāo)注數(shù)據(jù)。海量的數(shù)據(jù)和標(biāo)注降低了研究機(jī)器學(xué)習(xí)算法的門檻，有益于算法研究快速取得進(jìn)展。因此，智能運(yùn)維可以說是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)尚未開采的“金礦”， 非常值得機(jī)器學(xué)習(xí)領(lǐng)域科研人員的關(guān)注和投入。

作為人工智能的一個(gè)垂直方向，智能運(yùn)維的理論也將取得長足的進(jìn)步。除了互聯(lián)網(wǎng)以外，智能運(yùn)維在高性能計(jì)算、電信、金融、電力網(wǎng)絡(luò)、物聯(lián)網(wǎng)、 醫(yī)療網(wǎng)絡(luò)和設(shè)備、航空航天、軍用設(shè)備及網(wǎng)絡(luò)都有很好的應(yīng)用。

參考文獻(xiàn)

[1]Liu D, Zhao Y, Sui K, et al.?FOCUS: Shedding Light on the High Search Response Time in the Wild[C]//Proceedings of the 35th?Annual IEEE International Conference on Computer Communications. IEEE Press, 2016:1-9.

[2] Liu D, Zhao Y, Xu H, et al.Opprentice: Towards Practical and Automatic Anomaly Detection Through Machine Learning[C]//Proceedings of the 2015 Internet Measurement Conference.New York: ACM Press, 2015:211-224.

[3] Dobrian F, Sekar V, Awan A, et al. Understanding the impact of video quality on user engagement[C]//ACM SIGCOMM Computer Communication Review. ACM, 2011, 41(4): 362-373.

MLA

[4] Liu X, Dobrian F, Milner H, et al. A case for a coordinated internet video control plane[C]//Proceedings of the ACM SIGCOMM 2012 conference on Applications, technologies, architectures, and protocols for computer communication. ACM, 2012: 359-370.

[5] Balachandran A, Sekar V, Akella A, et al. Developing a predictive model of quality of experience for internet video[C]//ACM SIGCOMM Computer Communication Review. ACM, 2013, 43(4): 339-350.

MLA

[6] Jiang J, Sun S, Sekar V, et al. Pytheas: Enabling Data-Driven Quality of Experience Optimization Using Group-Based Exploration-Exploitation[C]//NSDI. 2017: 393-406.