http://www.docin.com/p-2177206264.html
1、智能問題算法原理
任務(wù)機(jī)器人
知識圖譜機(jī)器人
FAQ機(jī)器人
閑聊機(jī)器人
閱讀理解機(jī)器人
1.1 FAQ 機(jī)器人
query -> 糾錯->標(biāo)準(zhǔn)化->文本特征提取->query改寫[同義詞] ->BM25 算法 -> 計算語句和候選句的相似度s(q,q') , 并排序
【相似度計算:冷啟動-深度學(xué)習(xí)匹配-知識圖譜-拒識】
https://blog.csdn.net/qq_42491242/article/details/105286787
https://zhuanlan.zhihu.com/p/84809907
拒識 =即能夠知道自己不能回答用戶的哪些問 題以及何時應(yīng)該轉(zhuǎn)向人工客服.
知識圖譜相似度=基于特定知識的語義相似度量,它依賴于分類中的結(jié)構(gòu)化知識:
例如: 深度、路徑長度 ) 和統(tǒng)計信息內(nèi)容( 語料庫與語義圖譜) 。
冷啟動解決方案
字面匹配 文本相似度(jaccard, cosine)+ xgboost
xgboost 非線性建模,他將K(樹的個數(shù))個樹的結(jié)果進(jìn)行求和,作為最終的預(yù)測值
詞向量 word2vec,glove =Global Vectors for Word Representation
句向量 WMD[無監(jiān)督] ,SIF
SIF
1、以smooth inverse frequency(簡稱SIF)為權(quán)重,對所有詞的word vector加權(quán)平均
例如權(quán)重=a/(a + p(w)),最后從中減掉重要關(guān)鍵詞,得到sentence embedding。
2、對一些不重要的詞語的權(quán)重下降,例如but、just等
結(jié)論 雖然句子中無加權(quán)的平均詞嵌入是簡單的基準(zhǔn)做法,但是Smooth Inverse Frequency是更強(qiáng)有力的選擇
https://zhuanlan.zhihu.com/p/37104535
排序訓(xùn)練模型
排序階段也可以利用排序訓(xùn)練模型,得到知識庫內(nèi)的相似問,構(gòu)造句對訓(xùn)練數(shù)據(jù),訓(xùn)練有監(jiān)督的模型
判斷(query, question)的分?jǐn)?shù),選擇分?jǐn)?shù)最高的問題對應(yīng)的知識點作為機(jī)器人回復(fù)
深度匹配模型DSSM
通過搜索引擎里 Query 和 Title 的海量的點擊曝光日志,用 DNN 把 Query 和 Title 表達(dá)為低緯語義向量,并通過 cosine 距離來計算兩個語義向量的距離,最終訓(xùn)練出語義相似度模型。該模型既可以用來預(yù)測兩個句子的語義相似度,又可以獲得某句子的低緯語義向量表達(dá)。
http://www.itdecent.cn/p/8f19d915b3f8
遷移學(xué)習(xí)
聯(lián)合學(xué)習(xí)
-文本分類:同時進(jìn)行語句匹配和分類
-文本生成:匹配和seq2seq訓(xùn)練
多語料遷移:
-fine-tune
-adversarial loss
預(yù)訓(xùn)練模型
-ELMO , BERT
多輪對話架構(gòu)
對話管理
query->nlu-DST-DPL -NLG ->response
NLU : 意圖識別(規(guī)則或分類)槽位提?。∟ER)
DST-會話狀態(tài)管理(DQN)
DPL- 會話策略學(xué)習(xí),選擇下一步
NLG- 根據(jù)action 返回回復(fù)文本
預(yù)判 客服機(jī)器人多輪對話的意圖預(yù)判功能通常依賴于訪客的接入渠道、著陸頁、訪問軌跡等數(shù)據(jù),機(jī)器人可以通過這些數(shù)據(jù)來預(yù)測客戶想要咨詢的問題
https://blog.csdn.net/stay_foolish12/article/details/90265394
任務(wù)型機(jī)器人
https://www.cnblogs.com/qcloud1001/p/9181900.html
任務(wù)型機(jī)器人指特定條件下提供信息或服務(wù)的機(jī)器人。通常情況下是為了滿足帶有明確目的的用戶,例如查流量,查話費(fèi),訂餐,訂票,咨詢等任務(wù)型場景
理解了用戶意圖之后,通過引導(dǎo)用戶完善任務(wù)要求,完成任務(wù)。
知識圖譜機(jī)器人
處理流程:場景選擇,實體抽取,關(guān)系預(yù)測
問答式

引導(dǎo)式
根據(jù)知識逐步遞進(jìn),一步步進(jìn)行約束定義

閱讀理解機(jī)器人
從文章中抽取答案,閱讀理解建模。

閑聊機(jī)器人
seq2seq, 上下文建模

電話機(jī)器人
ASR, NLP, TTS,MRCP
智能電話管理
人群管理,話術(shù)管理,電話任務(wù)管理,知識庫管理,算法模型管理
外呼統(tǒng)計
任務(wù)監(jiān)控,通話監(jiān)控,意向度篩選,通話詳情,統(tǒng)計分析

智能應(yīng)答

智能問答系統(tǒng)體系結(jié)構(gòu)
功能組件:語義解析,語義匹配,會話意圖識別,答案生成,情感分析
深度遷移學(xué)習(xí),知識圖譜引擎
問答標(biāo)注平臺,模型訓(xùn)練平臺,分布式爬蟲,hadoop 集群

知識庫管理界面
問答管理,相似問題,智能學(xué)習(xí)

訪客界面
回答,引導(dǎo)轉(zhuǎn)人工

客服界面

挑戰(zhàn)
1- 單輪: 深度語義匹配 遷移學(xué)習(xí) 知識圖譜
2- 多輪 對話管理-槽位提取-端到端學(xué)習(xí)-強(qiáng)化學(xué)習(xí)
3- 閱讀理解機(jī)器人-開放域閑聊機(jī)器人
