中国版Sora横空出世!视频大模型Vidu发布

中国版Sora横空出世!视频大模型Vidu发布
2024年04月28日 16:02 证券之星官方微博

今年初,文生视频大模型Sora的亮相引发行业高度关注,也在资本市场上掀起浪潮。时隔两个月,清华团队打造了一个中国版的Sora——视频大模型Vidu近日正式发布。

清华团队参与打造,Vidu性能强劲

4月27日,在中关村论坛未来人工智能先锋论坛上,中国首个长时长、高一致性、高动态性视频大模型Vidu正式发布。据悉,Vidu视频大模型是由清华大学与生数科技联合发布的中国首个长时长、高一致性、高动态性视频大模型。这一模型的发布,标志着中国在视频大模型技术领域取得了显著的进展,能够与国际上的先进模型如Sora相媲美。

据介绍,Vidu模型采用了团队原创的Diffusion与Transformer融合的架构U-ViT,支持一键生成长达16秒、分辨率高达1080P的高清视频内容。

性能方面,Vidu不仅能够模拟真实物理世界,生成细节复杂且符合真实物理规律的场景,如合理的光影效果和细腻的人物表情,还拥有丰富的想象力,能够创造出具有深度和复杂性的超现实主义内容。

此外,Vidu能够生成复杂的动态镜头,实现远景、近景、中景、特写等不同镜头的切换,不再局限于简单的固定镜头。特别值得一提的是,Vidu能够理解并生成熊猫、龙等特有的中国元素,展现了对中国传统文化的深刻理解。

同时,Vidu的生成方式是“一步到位”的,文本到视频的转换直接且连续,基于单一模型完全端到端生成,不涉及中间的插帧和其他多步骤的处理,这在技术上是一个重要的创新。

背后公司生数科技受关注

Vidu背后依托的是一家名为生数科技的创业公司,该公司核心成员主要来自清华大学人工智能学院,致力于自主研发世界领先的可控多模态通用大模型。生数科技的CEO唐家渝、首席科学家朱军以及CTO鲍凡,都是在人工智能和扩散模型领域有着深厚研究的专家。

生数科技自成立以来,就备受资本市场的关注,已经完成了三轮融资,融资额达到数亿元人民币。投资方包括启明创投、智谱AI、BV百度风投、锦秋基金等知名投资机构。公司的快速发展和Vidu模型的成功研发,展示了生数科技在多模态大模型领域的深厚积累和创新能力。

在人工智能领域,生数科技采取的是模型层和应用层并行推进的模式,一方面构建底层通用大模型,提供模型服务能力;另一方面,打造针对图像生成、视频生成等场景的垂直应用,服务于游戏制作、影视后期等内容创作场景。

大模型将成未来发展重要一环

大模型技术作为人工智能领域的一个重要分支,其未来的发展前景十分广阔,无疑将成为未来发展的重要一环。随着技术的不断进步,其应用场景将进一步拓展,从视频和图像生成,到游戏制作、影视后期等内容创作,大模型技术将为各行各业带来革命性的变化,在多个领域发挥更加重要的作用。

首先,大模型技术通过其强大的数据处理和学习能力,正成为推动人工智能技术创新的关键因素。它们能够处理和学习海量数据,从而在图像识别、自然语言处理、机器翻译等多个领域实现前所未有的准确性和效率。

其次,大模型正成为多行业应用的推动者。大模型的跨领域应用潜力巨大,可以被应用于医疗健康、金融服务、教育培训、自动驾驶、智能制造等众多行业。通过提供深度分析和预测,大模型能够帮助这些行业提高决策质量,优化服务流程,降低成本,并创造新的商业模式。

此外,大模型技术在提高生产效率、降低运营成本、创造新的就业机会等方面的潜力,将对经济结构产生深远影响,可能会成为推动经济转型和产业升级的关键驱动力。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部