马斯克的大模型Grok，即将推出最新进化版——Grok1.5。
而这距离Grok 1 开源仅仅才过去 10 天。
美东时间周五，马斯克宣布，xAI公司最新的Grok-1.5将于下周在他的社交媒体平台X上推出。
他表示，Grok 2 应该在所有指标上都超过当前的 AI，现在正在训练中。
此前一天，xAI宣布Grok-1.5将在未来几天内提供给X上的早期测试人员和现有的Grok用户。
据介绍，Grok-1.5 推理能力大升级，支持128k上下文长度。
其中最显著的改进之一是推理性能大幅提升。它在编码和数学相关任务中的能力全面超越Grok-1、Mistral Large、Claude2。
在测试中，Grok-1.5在数学基准上取得50.6%的得分，在GSM8K基准上获得了90%，这两个数学基准涵盖了从小学到高中的各种竞赛问题。
从数据来看，Grok-1.5在GSM8K上提升到90，MATH上上升到50.6%。
在评估代码生成和解决问题能力的HumanEval基准测试中，Grok-1.5获得了74.1%的高分，超过了Claude 2的70%、Claude 3 Sonnet的73%、Gemini Pro 1.5的71.9%以及GPT-4的67%。
Grok-1.5 的另一个新功能是，能够在其上下文窗口内处理多达 128K token的长上下文。
这使得 Grok 的内存容量增加到以前上下文长度的 16 倍，使其能够利用更长的文档中的信息。
此外，新模型还可以处理更长、更复杂的提示，同时在其上下文窗口扩展时仍保持其指令跟随能力。
在NIAH评估中，Grok-1.5 展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果。
xAI 表示，Grok-1.5 构建在基于 JAX、Rust和 Kubernetes 的自定义分布式训练框架之上。该训练堆栈允许开发团队能够以最小的精力，构建想法原型并大规模训练新架构。
为挑战OpenAI的ChatGPT，马斯克于去年创立了xAI，并在去年底推出第一版聊天机器人Grok1。
本月早些时候，马斯克在起诉OpenAIde 几天后，宣布xAI将开源Grok。
xAI 表示，开源版大模型Grok-1是一个拥有 3140 亿个参数混合专家模型，远超OpenAI GPT-3.5的1750亿。
这也是，目前参数量最大的开源大语言模型。
值得一提的是，距离Grok-1开源不到半个月的时间，马斯克又火速放出进化版Grok-1.5。
这搞大模型的速度，马斯克也是出奇的快啊。
眼下，AI大模型竞赛逐渐白热化，大家伙儿眼看着都“杀红了眼”。
