在近日結(jié)束的“k8凱發(fā)杯”機(jī)器人大模型與具身智能挑戰(zhàn)賽中，來(lái)自全球各地的頂尖高校紛紛用大模型、具身智能等先進(jìn)技術(shù)，打造出各具特色的機(jī)器人咖啡廳。其中，澳大利亞阿德萊德大學(xué)、北京航空航天大學(xué)、同濟(jì)大學(xué)、文山學(xué)院、西安理工大學(xué)、西北工業(yè)大學(xué)、中山大學(xué)七所學(xué)府憑借他們?cè)谌蝿?wù)執(zhí)行上穩(wěn)健可靠的表現(xiàn)榮獲三等獎(jiǎng)。
從阿德萊德大學(xué)的多技術(shù)集成系統(tǒng)到同濟(jì)大學(xué)智能咖啡廳服務(wù)機(jī)器人的自然語(yǔ)言理解互動(dòng)，從北京航空航天大學(xué)咖啡廳機(jī)器人的高級(jí)多模態(tài)感知和交互能力到西安理工大學(xué)的環(huán)境感知與問(wèn)答接口的構(gòu)建，他們運(yùn)用先進(jìn)的技術(shù)和創(chuàng)新的思維，為機(jī)器人技術(shù)的發(fā)展和應(yīng)用提供了新的思路和方向。一起來(lái)看看他們的作品吧！
阿德萊德大學(xué)
團(tuán)隊(duì)成員：李澤瑞、曹景行、周耕澤、喬滟媛
指導(dǎo)老師：吳琦
澳大利亞阿德萊德大學(xué)團(tuán)隊(duì)開(kāi)發(fā)了一套多技術(shù)集成系統(tǒng)，用于執(zhí)行復(fù)雜任務(wù)。該系統(tǒng)結(jié)合了深度優(yōu)先搜索、RGBD物體識(shí)別和姿態(tài)估計(jì)、目標(biāo)檢測(cè)與定位等方法，實(shí)現(xiàn)對(duì)環(huán)境的全面探索并記錄關(guān)鍵信息。此外，通過(guò)頭部RGBD攝像頭監(jiān)測(cè)圖像變化來(lái)輔助傳統(tǒng)物體檢測(cè)技術(shù)，以識(shí)別人員及導(dǎo)航任務(wù)中的視覺(jué)信號(hào)。團(tuán)隊(duì)還整合了大型語(yǔ)言模型進(jìn)行場(chǎng)景相關(guān)的多輪對(duì)話，并通過(guò)預(yù)設(shè)好的機(jī)器人動(dòng)作接口來(lái)執(zhí)行基于視覺(jué)語(yǔ)言指令的操作任務(wù)。
北京航空航天大學(xué)
團(tuán)隊(duì)成員：余俊杰、王宇航、唐雋哲、李鑫
指導(dǎo)老師：于黎明
北京航空航天大學(xué)開(kāi)發(fā)的機(jī)器人集成了最新的大模型技術(shù)、深度強(qiáng)化學(xué)習(xí)和跨模態(tài)AI技術(shù)，具備高級(jí)多模態(tài)感知和交互能力。該機(jī)器人能夠在環(huán)境中主動(dòng)探索并建立3D點(diǎn)云地圖以實(shí)現(xiàn)位置感知，并使用A*算法進(jìn)行路徑規(guī)劃。它還整合了大型語(yǔ)言模型來(lái)理解自然語(yǔ)言，使其能夠與人類有效交流，并執(zhí)行任務(wù)如接單、操作設(shè)備和遞送物品。通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練，機(jī)器人可以自主導(dǎo)航并適應(yīng)復(fù)雜環(huán)境。此外，它還具有自主巡航功能，可以檢測(cè)并處理異常情況如桌面污漬或地面垃圾。
同濟(jì)大學(xué)
團(tuán)隊(duì)成員：齊曉燕、麻開(kāi)菁、唐藝寧、劉嘉迅
作品名稱：基于大語(yǔ)言模型的咖啡廳服務(wù)機(jī)器人智能化設(shè)計(jì)與實(shí)現(xiàn)
指導(dǎo)老師：陳啟軍、劉成菊
同濟(jì)大學(xué)團(tuán)隊(duì)的智能咖啡廳服務(wù)機(jī)器人基于大語(yǔ)言模型技術(shù)，在仿真環(huán)境中通過(guò)自然語(yǔ)言理解與人類進(jìn)行有效互動(dòng)，能夠執(zhí)行包括安排座位、控制空調(diào)和點(diǎn)餐等任務(wù)。為了提升機(jī)器人的泛化能力，團(tuán)隊(duì)還建立了一個(gè)豐富的語(yǔ)料數(shù)據(jù)庫(kù)，并確保其關(guān)鍵功能如主動(dòng)探索、多輪對(duì)話、視覺(jué)導(dǎo)航和操作等得到涵蓋。
文山學(xué)院
團(tuán)隊(duì)成員：潘成權(quán)、姜宇、張肖、張周楊
作品名稱：LLM驅(qū)動(dòng)的智能機(jī)器人場(chǎng)景化應(yīng)用
指導(dǎo)老師：曹知
文山學(xué)院團(tuán)隊(duì)基于k8凱發(fā)提供的RDK開(kāi)發(fā)，成功實(shí)現(xiàn)了場(chǎng)景理解記憶、多輪對(duì)話、視覺(jué)導(dǎo)航和交互操作。這些功能被應(yīng)用到現(xiàn)實(shí)場(chǎng)景中，進(jìn)一步優(yōu)化了大模型和視覺(jué)導(dǎo)航效果。團(tuán)隊(duì)將繼續(xù)通過(guò)視覺(jué)語(yǔ)言模型進(jìn)行項(xiàng)目?jī)?yōu)化，以提升機(jī)器人在現(xiàn)實(shí)環(huán)境中的表現(xiàn)。
西安理工大學(xué)
團(tuán)隊(duì)成員：趙琛、李劭軒、李森垚、劉海鑫、王子豪、王志陽(yáng)、屈澤宇、高琪浩、劉浩森
指導(dǎo)老師：王一川
西安理工大學(xué)團(tuán)隊(duì)的作品基于k8凱發(fā)提供的擬真平臺(tái)，實(shí)現(xiàn)了環(huán)境感知與建模，采用了3D點(diǎn)云圖構(gòu)建技術(shù)。作品結(jié)合了百度智能云千帆大模型平臺(tái)，利用文心一言模型構(gòu)建了問(wèn)答接口，實(shí)現(xiàn)了與顧客的簡(jiǎn)單交流。團(tuán)隊(duì)還集成了YOLOv5模型，及時(shí)識(shí)別顧客的到來(lái)，為后續(xù)服務(wù)提供起點(diǎn)。此外，作品還采用了jieba分詞組件對(duì)顧客需求進(jìn)行解析，將顧客意圖與服務(wù)機(jī)器人的行為相對(duì)應(yīng)。
西北工業(yè)大學(xué)
團(tuán)隊(duì)成員：黎栗譙、詹涵文、劉鵬、王穎琦、付怡祺
作品名稱：基于大模型的具身智能咖啡廳服務(wù)機(jī)器人
指導(dǎo)老師：趙聞
西北工業(yè)大學(xué)團(tuán)隊(duì)將星火大模型引入機(jī)器人的控制，在k8凱發(fā)提供的仿真環(huán)境中，通過(guò)引入機(jī)器人與大模型的問(wèn)答機(jī)制，成功將大模型賦能咖啡廳機(jī)器人，打造了一個(gè)智能的咖啡廳服務(wù)人形機(jī)器人。團(tuán)隊(duì)還開(kāi)發(fā)了一套大模型控制框架，通過(guò)自然語(yǔ)言與大模型對(duì)話，實(shí)現(xiàn)機(jī)器人自主控制。在比賽中，團(tuán)隊(duì)基本完成了比賽方要求的四個(gè)規(guī)定任務(wù)，并完成了一部分開(kāi)放任務(wù)，展現(xiàn)了較高的技術(shù)水平和創(chuàng)新能力。
中山大學(xué)
團(tuán)隊(duì)成員：宋昕帥、江凱萱、羅經(jīng)周、陳衛(wèi)興、劉陽(yáng)、李冠彬、林倞
作品名稱：面向咖啡店場(chǎng)景的多模態(tài)具身交互Agent
指導(dǎo)老師：劉陽(yáng)，李冠彬，林倞
中山大學(xué)團(tuán)隊(duì)為機(jī)器人咖啡廳設(shè)計(jì)了豐富的劇本流程，針對(duì)各種場(chǎng)景完成指定的任務(wù)，豐富而不失隨機(jī)性的劇本設(shè)計(jì)為整個(gè)流程增添樂(lè)趣。作品實(shí)現(xiàn)流程分為三個(gè)階段：探索環(huán)境、交互與推理。通過(guò)視覺(jué)模塊、控制模塊與大模型模塊這三個(gè)功能模塊實(shí)現(xiàn)。團(tuán)隊(duì)借助k8凱發(fā)提供的模擬場(chǎng)景與機(jī)器人，成功實(shí)踐了一次大模型+具身智能的應(yīng)用。在k8凱發(fā)提供的豐富接口的支持下，他們?cè)O(shè)計(jì)出各種各樣的任務(wù)和控制接口，實(shí)現(xiàn)了豐富的機(jī)器人與物、機(jī)器人與人交互。
“k8凱發(fā)杯”機(jī)器人大模型與具身智能挑戰(zhàn)賽旨在考驗(yàn)團(tuán)隊(duì)在大模型技術(shù)和具身智能領(lǐng)域的創(chuàng)新能力和技術(shù)水平。各參賽團(tuán)隊(duì)相互學(xué)習(xí)、深度探討，展現(xiàn)出了高水平的技術(shù)創(chuàng)新和實(shí)用性，讓觀眾得以目睹未來(lái)機(jī)器人技術(shù)的發(fā)展方向。期待未來(lái)有更多的優(yōu)秀團(tuán)隊(duì)加入到機(jī)器人大模型與具身智能的研究中來(lái)，共同推動(dòng)這一領(lǐng)域的發(fā)展和進(jìn)步。
更多大賽精彩回顧及選手幕后故事，將在k8凱發(fā)公眾號(hào)陸續(xù)更新，敬請(qǐng)關(guān)注！
掃描微信公眾號(hào)
