榨干GPU剩余价值,京东云vGPU池化方案推动大模型降本

榨干GPU剩余价值,京东云vGPU池化方案推动大模型降本
2024年03月29日 15:20 金融界网站

本文源自:金融界资讯

“新质生产力”、“全国一体化算力体系”成为两会后产业界热议的话题。3月28日,京东云城市大会落子深圳,全景展示了携手大湾区、助力国家算力枢纽节点建设的“京东云力量”。

智能化之战某种意义上是算力之战,而单纯硬件的比拼,难以将模型效用最大化。打造软硬件一体化协同的AI能力,最大化发挥算力硬件价值,从而实现算法、算力与平台的打通,才是智能化发展的关键。会上,京东云发布智算云全栈解决方案,以阿尔法智能算力模块、云海分布式存储、言犀AI开发计算平台等为支撑,面向云化运营支持和产业融合。

与此同时,大会发布了京东云全栈国产化解决方案,以产品+工具+服务,助推产业从单纯国产化替代,走向全面国产化升级。

会上,京东云还与韶实集团,深圳国家高技术产业创新中心、中国联通深圳分公司等签署合作协议,全面支持粤港澳大湾区统一算力调度及数字产业发展。

软硬协同,打好智算“组合拳”

云计算是AI应用落地的重要基础。京东云认为,打造软硬协同的AI能力,实现算法、算力与平台的打通,是大模型发展的关键因素。

如何让GPU资源充分发挥价值,是大模型应用过程中亟待解决的问题。京东云云舰推出的vGPU池化方案,在原有混合多云CPU+GPU异构算力池化能力基础上,针对大模型场景,支持训练+微调+推理混合部署,进一步增加了针对AI应用所需的调度管理能力,GPU利用率最高提升70%。

算力利用率提升后,只有高性能的软件与之匹配,才能让大模型在产业端落地。大模型训练呈现海量小文件的特点,文件数量可达百亿级。传统存储性能不足,就会导致GPU算力闲置。作为金融行业探索大模型的先锋,中国建设银行从去年起就启动了大模型应用的开发和训练。在实际应用中,发现京东云云海的高性能分布式存储,可以完美匹配上大模型训练的高速数据存取,大幅提升训练效率,降低算力成本。

为了应对大模型训练资源稀缺,以及缺乏专业开发人员等问题,京东云将京东大模型能力开放出来,推出言犀AI开发计算平台。平台提供一站式模型训练推理能力,让大模型的能力轻松触达每一位开发者,实现产业领域的“智能涌现”。

作为全球首家实现L3级别自动驾驶的智能重卡企业,嬴彻科技自动驾驶涉及到大量的AI训练作业。京东云为其提供高性能AI算力,使用高性能存储系统,满足AI训练对数据高速共享的需求。同时,通过在公有云上部署AI开发平台,京东云为其提供包含数据准备、开发、训练、部署在内的AI开发全链路服务,让嬴彻科技更专注于自身业务发展。

真替真用,精准发力“技术降本”

智能化浪潮为国产化升级提供了新契机。由于海外对我国高端芯片的技术封锁,国产化GPU迫在眉睫。京东云认为,要在实践中建立自主研发和产业发展相辅相成的正循环,国产化不仅要真替真用,更要创造真价值。国产化不是简单的静态替代,而应该借助云原生等先进技术,在国产化建设的过程中,实现IT系统的改造升级。

京东云通过大规模产业实践,在生产场景中优化适配能力,以软件能力反哺硬件,国产化整体性能实现大幅度提升,甚至在部分场景超过原有非国产化的运行效果。目前,京东集团已有多个业务实现用1:1的资源对非国产化芯片的替换。

同时,源于对技术极致降本的底气,京东云在会上正式发布“春风计划”,在产品、价格、服务三个方面持续升级;同时设立“10亿比价金”——京东云全系核心产品开启全网比价,对标主流云厂商价格,在其最低实际成交单价基础上再低10%,买贵就赔。

此外,京东云还重磅发布了生态伙伴池和生态权益资源池,和合作伙伴携手推动千行百业的数智化进程。面向未来,京东云将持续依托领先的云计算技术和完整的平台服务能力,为大湾区提供安全、专业、稳定、便捷的数智化服务,加速数字经济与实体产业融合。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部