人形机器人需要在训练中不断成长,才能像人一样的活动并完成任务。如同小学生做习题提高自己的学习能力一样,人形机器人也需要数据集这样的“习题册”来提升自己。
12月27日,国家地方共建具身智能机器人创新中心与北京大学计算机学院联合创建的具身智能数据集对外发布。有了这个数据集,像天工这样的具身智能机器人就可在不断的训练中变得更聪明。
伴随着全球人工智能技术飞速进步,具身智能产业迅猛发展,赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一,实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时,能够展现出卓越的性能。
正如人工智能大模型需要海量文本数据来训练一样,想要培养出一个能力全面的机器人,也需要大量优质的训练数据,数据集是具身智能技术发展的重要基石。
“与视觉或语言数据的获取相比,收集机器人训练数据更困难,需要在专门的环境中记录机器人的每个关节动作和末端执行器的信息,这个过程不仅需要昂贵的硬件设备,还需投入大量人力来确保数据质量。” 国地共建具身智能机器人创新中心相关负责人解释,因而业内目前最具通用性的机器人操作策略主要依赖于在有限多样性条件下收集的数据。更加丰富多样的大规模多构型具身智能数据集和Benchmark(基准测试,用来评估和比较不同具身智能操作模型性能的一系列标准化测试和评估标准)是极为稀缺的资源。
为了解决这个难题,国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark——RoboMIND,捕捉机器人面对复杂环境、长程任务时的各种交互和经验,从而促进能够掌握不同操作策略的通用模型的训练。
RoboMIND是行业首个集中化标准采集的大规模、多构型具身智能数据集。据介绍,RoboMIND包含5.5万条机器人轨迹数据,涉及279项不同的任务,涵盖了高达61种不同的物体,覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。
这就能让机器人掌握更充分和全面的“习题册”。比如,RoboMIND数据集的61种不同物品类别,可以让机器人见识更多的“题型”。在厨房场景中,数据集不仅包含了草莓、鸡蛋、香蕉和梨子等常见的食物,也包括了烤箱和面包机等复杂的可调节物体;在家庭场景中,数据集既包括了网球等刚性物体,也包括了玩具等可变形物体;办公和工业场景则包含了电池和齿轮等需要精确控制的小物体。
“多样化的物体种类不仅增加了数据集的复杂性,也有助于训练能够在各种环境下执行操作。”相关负责人解释。
此外,该数据集包含根据真实场景搭建的数字孪生场景,进一步丰富和扩充了此数据集的多样性,同时提升数据采集效率。机器人构型也包含单臂机器人、双臂机器人、人形机器人,以及手臂末端使用夹爪或者灵巧手。
上述负责人说,为了评估数据集的质量,研究团队在主流单任务模仿学习模型上和具身多模态大模型上进行了广泛的评测,发现RoboMIND数据集可以有效提升模仿学习模型在现实场景下任务的成功率,提升机器人操作模型在现实场景的任务执行能力。
随着数据集建设的不断积累,该创新中心将持续迭代RoboMIND,涵盖更多本体、任务、场景和评测方法,提供高质量、标准化、广泛多样的数据基础。
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有