微软掏空Inflection,对GPT-5和OpenAI先留一手 | 笔记

微软掏空Inflection,对GPT-5和OpenAI先留一手 | 笔记
2024年03月23日 23:40 未尽研究

最近微软对Infleciton的动作,把两位联合创始人和公司大部分员工招至麾下,再与Infleciton签署一项模型使用授权协议。微软为此支付的6.5亿美元,用来补偿Infleciton其他主要投资人。Inflection去年6月估值达到了40 亿美元,微软是最大的股东,领投了13亿美元。

纳德拉这一招,在硅谷被称为Aquihire (英文并购与招聘的合成词——编者)的基础之上,又有创新。

让人想起了在去年底OpenAI的董事会政变期间,纳德拉一度想干的事情 :把被董事会解职的CEO奥特曼和总裁布洛克曼,以及签名请愿的约700名OpenAI员工中的很多技术骨干,以OpenAI同样的开价,招到微软,为他们成立一个独立的AI实验室。

微软也会为Inflection的团队成立一个独立的业务部门:Microsoft AI,由Inflection的联合创始人和CEO苏莱曼(Mustafa Suleyman )担任CEO。将整合Copilot, Edge和Bing,这是微软承载GPT-4应用的主要产品。

这个团队加入微软,是为了推动微软建立对外统一的个人AI体验。

如果你用过Inflection的对话应用Pi,其聊天功能中所体现的“情商”,是一大特点。Inflection称之为第一款个人AI产品。它的使命正是为每个人提供个人智能 。

Inflection最近才推出2.5版本,它将托管在微软的Azure云上,并且开放API。与OpenAI与微软的授权协议不同的是,Infletion还可以与其也的云厂商合作。

那剩下的Inflection呢?还有一名共同创始人霍夫曼( Reid Hoffman),并且新招了一名科技老将但并没有较强AI背景的怀特 (Sean White)担任CEO。霍夫曼还是微软的董事会成员,也是Inflection的投资者。

实际上,今年以来SOTA大模型已经形成了GPT-4、Gemini、Claude三足鼎立之势,其他闭源大模型已经前景暗淡,要么等待被收购,要么向特色应用领域发展。Inflection就是这样的处境。

微软挟OpenAI快速加持其主要产品,但除了云服务和股价取得收益,微软的核心产品,并没有撼动谷歌。尽管谷歌也有自己的问题,但谷歌在面C端部署AI的领域,依然对微软保持着显著的优势。

大模型如果不能走向个人AI,将无法实现规模化。微软在想尽一切办法创造个人AI体验,将Windows操作系统与Copilot深度集成,把GPT-4嵌入到微软的浏览器和搜索上,但在市场份额上几乎没有任何起色。微软还把Copilot装入自产的笔记本电脑Surface。所有这些产品组成的Copilot,有一种拼凑感,并没有建立起一体化的个人AI体验。

生成式AI大模型主导了用户体验,也激发起用户的期待。微软需要真正成功做出过一流大模型和AI产品的领军者加入其团队,而不仅仅是获得OpenAI的独家技术授权,才有可能将其技术与产品的整合尽快推进下去。Inflection的联合创始人苏莱曼和西蒙尼扬(Karén Simonyan),系出DeepMind。苏莱曼曾经是DeepMind的联合创始人和首席产品官,而西蒙尼扬曾领导了AlphaZero的开发团队,并且担任Inflection的CTO。

从长远来看,走向个人AI,以及更加广泛的应用领域,微软与OpenAI之间竞争的一面将会凸显。

微软总共投资了三家大模型公司,闭源的OpenAI、Inflection和开源的Mistral。对于前两者,微软采取了实际控制的方式。正如纳德拉在OpenAI董事会政变期间所说、后来又在马斯克的诉状中所强调的那样

“我们拥有(OpenAI)所有知识产权和所有能力。如果OpenAI明天消失了,老实说,我不希望我们的任何客户为此担心,因为我们拥有继续创新的所有权利。这不仅仅是为了服务这个产品, 我们之间合作所做的事情,我们自己都可以去做。我们拥有人员,我们拥有计算能力,我们拥有数据,我们拥有一切。”

微软与OpenAI之间的这种合作关系,至少有两个方面正在引发监管层和市场的关注,第一个是反垄断当局的关注,第二个是对于微软这种把投资再用于其云计算的使用,从而导致其云计算业务增长、股价上涨的操作方式的合理性的关注。所以微软这次对Inflection采联了“招聘”和“技术授权”的方式。

微软也需要多留几手,万一OpneAI靠不住了呢?OpenAI非营利架构的一面,始终是个潜在的是非点。最近Claude3的推出,在许多方面已经超过了GPT-4,证明OpenAI的护城河也并不是那么深。如果大家都说OpenAI之所以领先,是因为有那么多的算力和数据,那这不正是微软提供的吗?

最近亚马逊的AWS强势推Claude3,谷歌除了推出Gemini大模型足以与GPT-4抗衡之外,还推出了开源模型Gemma,最近又传出与苹果正在密谋把Gemini设置为苹果设备上的默认模型,就像谷歌搜索那样,这将为谷歌大模型迅速获得一个面对20亿设备和10亿用户的入口。也许让微软更加感到不安的是,苹果也在与OpenAI接触。

夏季的GPT-5

最近传出GPT-5可能在夏季推出,将是GPT-4的10倍,20万亿参数,似乎与呼应了老黄祭出的算力“核弹”B200,号称构建的集群能训练出参数27万亿的模型。

扩展法则依然有效,但其性价比可能已经不是最好。在老黄与Transformer 八子在GTC活动上的对话中,他们承认依然牢记“苦涩的教训”,但都提到了Transformer架构的不合理性,例如用大算力去做非常简单的推理,以及迫切需要用更少的数据进行更准确的推理。我们在去年底的预测中认为GPT-5单纯的“扩展法则”的边际效益会下降。如果说会有明显的提升的话,一定还需要围绕GPU和大模型的配套技术得到发展。

例如对GPU更好的利用,需要解决存储墙的问题。准确性的提升,可能更重要的是依靠其他手段,而不仅仅是更多的参数,甚至也不一定是更多的数据。例如智能体(Agent)的作用,以及把模型小型化并向边缘扩展,用本地的数据进行训练、微调和检索,帮助形成更加准确的推理,这就需要更好的相应的工具,以及RAG (增强检索生成)等技术。

在数据发生的地方进行推理是最有效的,这就需要层层的工具把大模型下沉到应用场景中去,边缘和终端那里去。

今年大模型更大规模的应用,已经比更大规模的大模型更重要。而应用不能再仅仅指望大模型的智能“涌现”了,只有更多基础设施和工具组件的配套,才能把现有大模型的推理和规划能力发挥出来,把外部的应用和知识调动起来。

吴恩达认为:

今年AI代理工作流将推动巨大的AI进步——可能甚至超过下一代基础模型的进步。这是一个重要趋势,我敦促所有在AI领域工作的人关注它。

如今,我们大多数情况下都是在零样本模式下使用大型语言模型(LLM),让模型一次性地逐个生成最终输出,而不对其工作进行修订。这就像要求某人一气呵成地撰写一篇文章,从头到尾打字,不允许回退,却期望获得高质量的结果。尽管这很难,大型语言模型在这项任务上表现得惊人地好!

然而,有了代理工作流,我们可以要求LLM多次迭代处理一个文档。例如,它可能会采取如下一系列步骤:

  • 规划大纲。

  • 决定是否需要进行网络搜索来收集更多信息。

  • 编写初稿。

  • 仔细阅读初稿,找出不合理的论点或多余的信息。

  • 根据发现的弱点修改草稿。

  • 等等。

这种迭代过程对于大多数人类写作者来说是编写好文本的关键。对AI而言,这样的迭代工作流产生的结果比一次性写作要好得多。

Devin的亮眼演示最近在社交媒体上引起了很多关注。我的团队一直在密切关注编写代码的AI的演变。我们分析了多个研究团队的结果,重点关注算法在广泛使用的HumanEval编码基准测试中的表现。你可以在下面的图表中看到我们的发现。

GPT-3.5(零样本)的正确率是48.1%。GPT-4(零样本)表现更好,达到67.0%。然而,从GPT-3.5到GPT-4的改进与引入迭代代理工作流的改进相比相形见绌。实际上,嵌入在一个代理循环中,GPT-3.5的正确率可达到95.1%。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部