本文源自:金融界
金融界2024年12月24日消息，国家知识产权局信息显示，上海天数智芯半导体有限公司申请一项名为“基于大语言模型的推理方法、装置、电子设备及存储介质”的专利，公开号 CN 119168054 A，申请日期为2024年7月。
专利摘要显示，本申请提供一种基于大语言模型的推理方法、装置、电子设备及存储介质。该方法包括：将接收到的推理请求发送给云端，以使云端基于第一模型生成推理请求对应的键值缓存，并对键值缓存进行量化获得第一量化后的键值缓存；接收云端返回的第一量化后的键值缓存，基于第一量化后的键值缓存和第二模型生成推理请求对应的候选 token 序列；向云端发送候选 token 序列，以使云端利用键值缓存和第一模型对候选 token 序列进行验证，获得推理结果。本申请实施例通过在云端部署参数量大的模型，在移动终端部署参数量小的模型，在移动终端接收到推理请求后，与云端协同处理，最终给出推理结果，提高了推理的准确性。
