該系統(tǒng)幫助機器人專注于重要的事情，使用聲音和圖像來猜測人類的目標(biāo)，并快速安全地提供正確的幫助。

使用麻省理工學(xué)院開發(fā)的新型相關(guān)性框架，該機器人可以識別場景中的物體并確定其優(yōu)先級，以無縫、智能和安全的方式自主協(xié)助人類。鳴謝：鳴謝：由研究人員提供

機器人發(fā)現(xiàn)現(xiàn)實世界很難理解。麻省理工學(xué)院制作了一個名為“相關(guān)性”的系統(tǒng)，以幫助機器人專注于重要的事情。它使用聲音和圖像來猜測一個人想要什么并迅速提供幫助。

該團隊用自助早餐對其進行了測試。該機器人使用攝像頭和麥克風(fēng)，通過觀察和傾聽來向人們遞咖啡。它猜對了 90% 的目標(biāo)，96% 的時間選擇了正確的對象，事故減少了 60%。

尋找焦點

該團隊構(gòu)建了一個機器人，其工作方式類似于大腦的 RAS，幫助它專注于重要的事情而忽略其余的事情。首先，機器人使用攝像頭和麥克風(fēng)進行觀察和傾聽，將所見所聞發(fā)送給 AI，后者會找到人、物體、動作和關(guān)鍵詞。其次，它檢查是否有任何重要的事情發(fā)生，例如一個人進入房間。如果它看到一個人，第三步就開始了：機器人弄清楚這個人想要什么，并找到合適的物品來提供幫助，比如挑選杯子和奶精，而不是水果和零食。

幫助程序模式

研究人員通過模擬會議自助早餐的實驗測試了他們的新系統(tǒng)。他們之所以選擇這種設(shè)置，是因為 Breakfast Actions 數(shù)據(jù)集已公開發(fā)布，其中包含顯示常見早餐活動（如煮咖啡、煮煎餅、制作麥片和煎蛋）的視頻和圖像。每個視頻和圖像都標(biāo)有具體的作和總體目標(biāo)，例如 “煮咖啡” 或 “煎蛋”。

利用這個數(shù)據(jù)集，該團隊在其 AI 工具包中訓(xùn)練和測試了不同的算法，以識別人類行為，找出人的目標(biāo)，并確定需要幫助的對象。在他們的實驗中，他們設(shè)置了一個機械臂和夾持器，然后要求機器人在人們接近一張裝滿飲料、小吃和餐具的桌子時協(xié)助他們。當(dāng)周圍沒有人時，機器人的 AI 會在后臺悄悄地工作，對桌子上的物體進行標(biāo)記和分類。但是，當(dāng)檢測到人類時，機器人會立即切換到其相關(guān)性階段，根據(jù) AI 預(yù)測的目標(biāo)快速找到對人類最有幫助的對象。