簡(jiǎn)介
由于2016年,國(guó)內(nèi)軟硬件服務(wù)提供商并沒(méi)有準(zhǔn)備好提供相應(yīng)的智能機(jī)器人服務(wù),所以RIMA1表現(xiàn)糟糕。在RIMA2時(shí)代我們擁有了新的隊(duì)員的加入,有了較多的力量進(jìn)行提升我們的機(jī)器人。
根據(jù)我們內(nèi)部的討論,以及進(jìn)行了Python、rosPython、C#、unityC#、Java、AndroidJava之間的Socket通信實(shí)驗(yàn),發(fā)現(xiàn)Android、Unity、Python、ROS消息機(jī)制之間可以互相通信,以及我們?cè)诹奶鞕C(jī)器人的研究有所突破,所以我們可以使用雙系統(tǒng),Android和Linux混合系統(tǒng)來(lái)處理對(duì)機(jī)器人的控制,對(duì)單片機(jī),語(yǔ)音API服務(wù)、聊天機(jī)器人服務(wù)器進(jìn)行協(xié)調(diào)和協(xié)作。
這樣的系統(tǒng)通過(guò)大的系統(tǒng)框架包含ROS系統(tǒng),來(lái)隔離ROS系統(tǒng),使得ROS系統(tǒng)成為大的系統(tǒng)框架下的子系統(tǒng),可以有效解決Linux在國(guó)內(nèi)的弱勢(shì)和ROS系統(tǒng)的不可靠性,利用了國(guó)內(nèi)Android發(fā)展的有利局面,有利于團(tuán)隊(duì)分工合作和項(xiàng)目拓展提升的方便。
在后來(lái),商業(yè)公司獵豹機(jī)器人在發(fā)布自己的機(jī)器人的時(shí)候,也使用了這種混合系統(tǒng),這也說(shuō)明了這些系統(tǒng)設(shè)計(jì)也并不是很難,我們普通大學(xué)生的能力和這些專(zhuān)家水平在新技術(shù)面前差距不是很大。
系統(tǒng)設(shè)計(jì)
RIMA2機(jī)器人使用Android和Linux混合系統(tǒng)。Android系統(tǒng)部署語(yǔ)音模塊,進(jìn)行語(yǔ)音喚醒,語(yǔ)音識(shí)別以及語(yǔ)音合成服務(wù),Linux系統(tǒng)通過(guò)ROS系統(tǒng)進(jìn)行Slam導(dǎo)航和單片機(jī)系統(tǒng)的控制,unity3d動(dòng)畫(huà)系統(tǒng)作為交互界面放在Android和Linux都可以,我們暫時(shí)放在了Android端,因?yàn)閷?dǎo)師有一個(gè)空閑的Android平板。(吐槽一句我們學(xué)校真窮)


在語(yǔ)音喚醒激活rima智能機(jī)器人后,語(yǔ)音識(shí)別出用戶(hù)輸入后,把識(shí)別出的文本,傳給三層聊天機(jī)器人結(jié)構(gòu)。在任務(wù)型聊天機(jī)器人luis中篩選出語(yǔ)音命令,并派發(fā)給動(dòng)畫(huà)系統(tǒng)和運(yùn)動(dòng)系統(tǒng)。在二層閑聊型聊天機(jī)器人中完成和用戶(hù)的問(wèn)題交互,并通過(guò)語(yǔ)音合成回答用戶(hù)的問(wèn)題。
項(xiàng)目效果


blob:https://www.bilibili.com/be090d2e-e112-4e77-89a5-c780e079df31