10月21日，北京智源研究院发布原生多模态世界模型Emu3。该模型实现了视频、图像、文本三种模态的统一理解与生成，能够更好地理解、模拟物理世界。
“多模态是通向AGI（通用人工智能）的必由之路，人工智能要想进入物理世界，进入各行各业，必须建设一个‘大一统’的多模态模型。”智源研究院院长王仲远说。
人类与现实世界的互动，通常需要涉及语言、视觉和音频等被业界称为“多模态”的信息。行业现有的多模态大模型多为针对不同任务而训练的专用模型，例如Stable Diffusion用于文生图，Sora用于文生视频，GPT-4V用于图生文。每类模型都有对应的架构和方法，例如对于视频生成，行业普遍参照Sora选择了DiT架构。然而，现有模型的能力多为单一分散的能力组合，而不是原生的统一能力，例如目前Sora还做不到图像和视频的理解。
“打个比方，一个只单一学习很多文本层面知识的大脑，和一个从小就同时接触视觉、文字等各种信号的大脑相比，后者对世界的感知和理解会更加完整。”王仲远说。据悉，为了让“一种任务一个架构”的传统模型具备多模态信息的处理能力，市面上的技术路线大多数是通过桥接的方式进行，例如让一款模型先学习获得较强的文本处理能力，再用类似“打补丁”的方式加入对图像、视频的理解能力。然而，通过这种组合式方法形成多模态能力的模型，一旦让其进入物理世界，模型的可靠性将很难经受住考验。
能不能研发一种模型，从“出生”起就像人类一样，不断接收和学习语言、视觉等各种形态的信号，从而训练出更逼近人脑通用智能的大模型呢？
王仲远介绍，自去年以来，智源研发团队不断探索，他们为文字、图像、视频发明了一种新“语言”，使得过去难以互通的不同模态信息能够在一个统一的空间里进行表达，实现了原生多模态世界模型的重要突破。如今，在图像生成、视觉语言理解、视频生成任务中，Emu3的表现超过了 SDXL 、LLaVA-1.6、OpenSora等全球知名开源模型。未来，这种自出生起就具备多模态认知能力的模型，将有望在机器人大脑、自动驾驶、多模态对话和推理等场景中加速应用，推动人工智能走进物理世界。
