把大模型“装”进小盒子深圳创新“AI+”路径|算法_新浪财经

“深目”AI模盒。

云天励飞董事长兼CEO陈宁博士发布新品。

■ 深圳特区报记者闻坤文/图

覆盖城市治理场景超过90%、算法精度超过90%，使用成本降低90%……3月28日，云天励飞举办AI大模型产品发布会，正式发布“深目”AI模盒，解决大模型在场景落地最后一公里的问题，帮助更多中小企业客户轻松使用大模型。

目前，以云天励飞为代表的深圳企业积极投身于技术研发与应用落地，推动AI从方案化向产品化迈进，助力深圳抢占全球AI产业高地。

千元级成本即可拥有专属大模型

从ChatGPT到Sora，从文生图像到文生视频，大模型发展日新月异，也给各行各业带来颠覆性变革。

专家表示，未来3年，全球80%的企业都将使用大模型。但是，要训练专属大模型，不仅需要大算力、大数据，还需要大量顶尖人才。大模型一次训练成本在千万级，主流的训推一体机价格普遍在百万元，绝大多数企业都无法承担这样高昂的成本。

云天励飞董事长兼CEO陈宁博士表示：“为了能够让大模型‘平民化’，成为人人都可用的产品，云天励飞推出了‘深目’AI模盒。”

据了解，这款千元级的产品，用单手就能托起，搭载了云天励飞的自研大模型边缘训推芯片DeepEdge10 Max以及自研多模态大模型“云天天书”，具备算法边缘侧在线学习能力，可实现城市治理等领域算法场景覆盖超过90%、算法精度超过90%，使用成本降低90%，让人人都能够根据自身场景需求，利用大模型能力，训练出可实战应用的算法，让大模型唾手可得。

陈宁说，比如人脸识别、车牌识别的头部算法已经比较完善，但还有大量低频的场景和算法（长尾算法）制约AI在各场景真正落地，对一些AI公司来说，每个小模型的长尾算法成本高、周期长，投入产出比不匹配，从而形成AI商业落地的痛点和难点。我们希望在未来一两年，从技术和产品端根本性解决AI落地“最后一公里”的问题。

面对长尾算法，千元级别的AI模盒能否比得上市面上主流的百万级别训推一体机？

“它们解决的是不完全一样的问题。”陈宁回答说，训推一体机更多解决的是公有云AIGC服务或者大企业和政府的私有化部署，但在边缘、长尾的场景需要这样的能力没有产品，云天励飞此次推出的AI模盒全新产品填补了空白。

技术攻关把大模型变“小”

去年开始，云天励飞基于自研的多模态大模型，经过集中技术攻关，通过大模型算法和神经网络处理器AI芯片技术交叉融合“压缩”出一款全新产品。

陈宁介绍，“深目”AI模盒的算力基础来源于自研14nm Chiplet大模型训推芯片DeepEdge10 Max。该芯片采用自主可控的国产工艺，内含国产RISC-V核，支持大模型训练推理部署，已适配并可承载10亿级SAM、百亿级Llama2等大模型运算，可广泛应用于AIoT边缘视频、移动机器人等场景。

“深目”AI模盒的大模型能力，来源于云天励飞自主研发的多模态大模型“云天天书”。云天天书大模型包含语言大模型、多模态大模型等不同系列，在C-Eval、CMMLU等权威测试中多次获得第一，并于去年正式通过中央网信办备案。

以云天天书大模型为底座，云天励飞与合作伙伴完成预训练场景算法，再将预训练算法提供给广大中小企业用户，中小企业客户可根据自身场景需求，在边缘端完成算法微调。由于大模型具备泛化和学习的能力，客户部署算法后，大模型还能够不断根据现实应用场景情况，在线学习、优化算法，不断提升算法精度。

陈宁表示，“深目”AI模盒不仅仅是“压缩”了大模型和芯片能力的一款全新产品，更是把云天励飞大模型通过算法芯片化能力平台“硬件化”的一次重要尝试。把复杂的技术通过简单的产品提供给用户，让用户可以零学习成本，快速训练出自己需要的算法。

千余种算法秒速训练

“深目”AI模盒背后蕴藏了复杂的技术，但对于用户而言，他们只需要关心产品到底怎么用、好不好用。发布现场，云天励飞副总裁罗忆用实际场景演示了“深目”AI模盒是如何在数据少、无数据等极端情况下，快速完成算法训练。

店外经营是城市管理中最常见的问题之一，“深目”AI模盒只需少量样本，即可通过视频精确识别出店外经营的行为。罗忆介绍，当用户需要训练识别算法时，可以直接使用平台现成的算法对目标进行识别。用户只需要对识别结果标记“正确”和“误报”，算法精度就能通过自学习快速提升。通过这样的过程，算法精度通过1次训练就能得到显著提升，经过1周迭代后算法精度可超过90％。目前能够提供覆盖14个大类、100+个小类、千余种算法。

天灾人祸等极端场景识别训练的数据几乎空白，面对这样“无数据”的情况，又该如何训练算法？罗忆以加油站场景的吸烟识别为例，这类行为的数据极难获取，而平台能够利用大模型能力，以加油站为背景，生成在该环境抽烟行为的人物，并将数据用于算法训练中，填补训练数据的空白。使用AI合成数据来训练算法，还能够规避隐私安全等问题。

“利用大模型泛化能力，对识别对象标准不统一带来的算法训练难题也能很好解决。”罗忆说，大型购物中心一般没有统一的结算中心，也难以评估营销活动对实际消费转化的效果。而顾客是否提购物袋，是大型商场判断顾客是否消费的重要标准之一。但是，各品牌购物袋的大小、颜色均不统一，且难以与顾客的背包区分，算法难以精准识别。“深目”AI模盒借助场景自适应能力，能够实现“千店千袋”的识别，从而有效评估顾客的实际消费。

积极培育大模型领头羊

随着AI大模型在各行各业的广泛应用，行业竞争也日益激烈，国内一线城市争相布局，希望在本土率先培育出大模型领头羊企业。

去年，深圳发布《深圳市加快推动人工智能高质量发展高水平应用行动方案（2023—2024年）》，这是深圳首个提到大模型的政策，提出聚焦通用大模型等领域，重点支持打造基于国内外芯片和算法的开源通用大模型；支持重点企业持续研发和迭代商用通用大模型；鼓励大模型企业联合生态伙伴加强大模型插件及相关软硬件研发，推动大模型与现有的操作系统、软件、智能硬件打通、互嵌。

“应用场景是人工智能发展的重要支撑，深圳明确提出开展全域全时应用示范。”陈宁说，深圳鼓励各区在公共服务和城市治理领域先行先试，成为积极拥抱大模型的一个城市，让大家提及人工智能就想到深圳，一来深圳就能体验到人工智能的服务。

目前，华为发布盘古大模型3.0，腾讯发布“混元”大模型，鹏城实验室、IDEA、云天励飞、思谋等分别发布“鹏城·脑海”“姜子牙”“天书”“IndustryGPT”等模型，在全国“百模大战”中技术实力位居前列，群力打造通用大模型技术优势。

陈宁表示，我们期望“深目”系列产品能够赋能更广阔的碎片化场景，真正实现AI技术的普惠，让千行百业都能受益于其强大功能。

为了共同探索更多大模型低成本、高效率落地应用路径，云天励飞与鹏城实验室、之江实验室、上海交通大学城市治理研究院、哈工大深圳研究生院、中国科学院深圳先进技术研究院、中国电子、华为、深圳移动、深圳电信、深圳联通、华润数科、神州数码、中国铁塔深圳分公司、有人物联网、云赛智联等单位在发布会上共同成立“深目2.0”生态联盟，共同探索更多大模型落地应用路径。