OpenAI前CTO创办的Thinking Machines Lab,在拿到20亿美元种子轮融资近一年后,终于交出了成立以来的第一张产品答卷。这次他们没有跟风堆参数量,反而瞄准了一个所有人都习以为常,却没人从根上解决的问题:人机交互的带宽瓶颈。
我看到这份评测数据的时候第一个反应是:原来我们用了这么久的“回合制AI”,其实才是限制AI效率的真正元凶。把交互做进模型本体,这场变革真的能重构人机协作的效率吗?
AI模型性能对比散点图 :展示多模型智能与交互质量、响应速度对比所有人都知道交互有问题 但没人敢动根上的架构
我们日常和AI协作的时候,其实都遇到过同样的痛点:讲需求讲到一半突然想到要调整方向,结果只能等AI说完再重新打断重说;看到生成结果不对,必须等它输出完才能修改;想要纠正一个发音错误,AI根本没法实时感知你的发音节奏。
本质上,现在绝大多数AI交互都是“邮件式”的:你发一封邮件过去,等对方回一封邮件,再发下一封。这个过程中,双方只能在回合切换的时候交换信息,中间的思考、调整、修正都被彻底屏蔽了。
这就是行业共识里被所有人忽略的隐性成本:为了适配模型的回合制架构,用户必须把自己的连续思考拆成离散的请求,这个拆解过程本身就吃掉了大半协作效率。
之前也有不少厂商做过“实时交互”,但思路都是外挂组件:在模型外面拼一层语音检测、对话轮次判断、语音合成,靠外部模块模拟出实时感。相当于给邮件系统加了个即时聊天的弹窗,本质还是邮件排队。
TML这次直接推翻了这个思路:交互能力不应该是外挂的功能,必须做进模型本身。只有这样,交互能力才能跟着模型智能一起增长,而不是变成扩展能力的瓶颈。
社交媒体截图 :Lilian Weng发布的训练版本与日志相关推文200毫秒微回合 把时间维度正式装进模型架构
TML这套新架构最核心的突破,说起来其实很简单:把所有输入输出都切成200毫秒的“微回合”,让输入和输出在时间上交错进入同一个模型。
过去的逻辑是:用户说完一整段话→模型接收完整信息→模型生成完整回应→下一个回合开始。整个过程输入输出是完全分开的,模型不知道你说话中间的停顿、犹豫,更没法在你说话的时候同步思考。
新逻辑是:不管你说没说完,模型每200毫秒就处理一次新输入,同时生成一次新输出。不管是重叠说话、中途改口、还是视觉画面变化,所有这些动态信息都变成了模型能直接感知的上下文,而不是需要外部模块处理的特殊状态。
交互能力原生进模型的核心,就是把时间维度作为模型的原生输入,而不是事后靠外部模块补的补丁。
为了实现这个设计,TML用了双模型协同的架构:前台的交互模型专门负责持续接收新输入、实时回应追问、维持对话上下文,保证200毫秒就能出一次响应;后台大模型负责异步跑深度推理、工具调用和复杂的智能体工作流,算出来的结果流式回传,前台再找合适的时机插进对话里。
交互模式对比示意图 :对比回合制与微回合实时交互模式差异训练阶段的设计同样反常识:大多数全模态模型都会给音频、图像分别训独立的编码器,再拼到Transformer主干上。TML直接放弃了独立大编码器,音频只用dMel加轻量embedding层,图像切成小块用hMLP编码,所有组件和Transformer从头一起共同训练。
这种无编码器早期融合的设计,从训练阶段就把所有模态的实时互动语境整合在了一起,避免了不同模块之间的信息错位。而200毫秒的高频请求对工程也提出了新要求,TML专门做了流式会话管理,把小块请求追加到GPU显存里的持久序列中,避免反复分配内存的额外开销,相关能力已经开源到SGLang。
交互模型架构图 :展示200ms微回合下模型的输入输出流程数据对比超出预期 专门评测项拉开数量级差距
这次公开的评测数据里,最让人意外的不是参数规模,而是实打实的性能对比。在端到端响应延迟测试中,TML-Interaction-Small把简单转换的延迟做到了0.40秒,对比GPT-realtime-2.0的1.18秒,刚好快了将近三倍,加上测试误差基本就是官方说的四倍提升。
在专门针对时间感知和主动交互的新评测项目里,TML和第二名的差距直接达到了数量级:
- TimeSpeak按指定时间主动开口:TML得分64.7,第二名只有4.3
- CueSpeak在合适语义点主动接话:TML得分81.7,第二名只有2.9
- 视觉计数任务:TML得分35.4,第二名只有1.3
官方博客直接给出结论:目前没有任何已有模型能够有意义地完成这些时间敏感型任务,所有对照模型要么沉默不语,要么给出完全错误的回答。
人机交互序列对比图 :展示人类感知与模型接收的序列差异其实现在行业里有一个被集体掩盖的真相:我们早就有了能生成复杂内容的大模型,但我们的交互方式还停留在“文字对话框”的原始阶段。
很多需要实时协作的场景,比如跟着AI学发音、和AI一起写代码随时调整需求、让AI实时分析你的运动数据,这些场景根本没法用回合制AI做舒服——不是模型能力不够,是交互架构从根上就不支持。
TML这次捅破了这层窗户纸:原来真正的实时交互,不是让用户迁就模型的回合规则,而是让模型适配人的自然交互习惯。你怎么和人说话,就怎么和AI说话,随时插话、随时改需求,模型跟着你的节奏走,而不是反过来。
人机交互系统流程图 :展示用户、交互模型与后台模型的协作流程高估值荒谈一年 原来在下一盘交互范式的大棋
过去一年,外界对TML最多的议论就是“120亿估值0产品”,一群顶级AI专家拿着天价融资,却没人知道他们到底要做什么。这次首个模型发布,之前所有零散的布局突然就连成了线。
要做200毫秒的微回合实时交互,就需要低延迟的推理系统,对应他们之前发布的Tinker训练基础设施;要做前台后台双模型协同,就需要稳定的训练调度和工具链,这也是Tinker能提供的支持;更大规模的实时交互模型,离不开GB300和Vera Rubin的超大算力,这正是他们提前和英伟达、谷歌签下战略合作的原因。
从一开始,TML赌的就不是某个更大的模型,而是下一代人机交互的界面范式。现在所有大模型都在比参数量、比推理能力,但没人聊交互范式升级,这个空白恰恰就是最大的机会。
Tinker训练API宣传图 :展示TinkerToy计算机及API功能介绍这次发布的TML-Interaction-Small还只是第一步,它是276B参数的MoE模型,激活参数12B,更大规模的预训练模型计划在今年晚些时候推出。团队里的斯坦福博士甚至已经开始设想,把整个大模型预训练数据重写成智能体交互轨迹,让模型从诞生开始就学习人类的自然交互方式,而不是从文本对话里逆向提炼。
我们总在说AI要改变生产力,但如果人和AI的协作效率还赶不上人和人面对面交流的十分之一,再强的模型能力也没法完全释放出来。今天TML做的这件事,本质就是给AI打开了一条更宽的协作通道,让人和AI的协作终于能像人和人一样自然。
社交媒体截图 :Zitong Yang发布的加入TML及技术设想推文大模型发展到今天,拼参数、拼智能的赛道已经挤满了选手,但真正敢从交互架构动刀的玩家少之又少。大家都忙着在现有框架里堆料,没人想过换一套框架会不会彻底重构整个游戏规则。
也许再过两年回头看,我们会发现这不是一个新模型的发布,而是人机交互从“回合制”走向“实时制”的第一个拐点。毕竟,真正的AI协作,本来就该是你一言我一语随时插话,说着说着活就干完了,不是吗?
4001102288 欢迎批评指正
All Rights Reserved 新浪公司 版权所有