直线机

科学家开发可提高3D感知能力的模型,实现

发布时间:2024/9/23 14:34:37   
辽宁白癜风医院 http://www.yunweituan.com/m/

借助机器人的本体感觉对足式运动进行研究已有数十年。在以往的研究手段中,研究人员往往采用基于模型的方法开发神经网络控制器。但是,这类方法无法在那些现实世界里没有见过的环境中得到应用。

近年来,为了获得更好的泛化性和鲁棒性,研究者们开始采用无模型强化学习,在模拟中训练控制器,然后将学习到的策略直接转移到真实的机器人上。

那么,如何在无需遥控器操控的条件下,让四足机器人实现在复杂地形上自由流畅地行走呢?

近期,来自美国加州大学圣地亚哥分校和麻省理工学院的研究团队,开发了一个可以提高机器人3D感知能力的模型,能够支配四足机器人在各种困难地形场景下完成自动化行走,比如爬楼梯、踩石头、在树林中走路等。

如视频所示,该四足机器人的额头上装有前置的深度摄像头,该摄像头向下倾斜的角度,可以帮助该机器人前面的两足,根据所看到的前方场景和脚下地形做出正确的行动决策。但其后面的两足必须先记住前面看过的内容,才能确保在经过时踩在正确的位置上。

所以,这中间存在一个重要的问题,即需要一个短期的3D环境记忆体,能够使得机器人的四足都对三维环境有良好的感知和模拟。

为此,该团队构建了一种神经体积记忆(NeuralVolumetricMemory,NVM)架构,可以先借助自监督方法对视频帧中的三维特征进行学习,再用几何变换把这些三维特征投影到同一个空间下面,最后通过模型将所有的特征信息融合在一起,让机器人对它所处的3D环境建立起短期记忆。

其中,需要说明的是,将上述带有特征的全部视觉信息综合在一起,可以帮助四足机器人记住其看到的内容,以及足部之前做过的动作,并利用这些记忆指导它下一步行动。这也表明,NVM能为机器人执行决策提供可靠的3D结构信息,并为足式机器人利用视觉进行观察开辟新的可能性。

年3月,相关论文以《用于视觉运动控制的神经体积记忆》(NeuralVolumetricMemoryforVisualLo

转载请注明:http://www.aideyishus.com/lkjg/6862.html

------分隔线----------------------------