本文源自:金融界
金融界2024年12月2日消息，国家知识产权局信息显示，派欧云计算（上海）有限公司申请一项名为“一种基于级联和推测解码策略的大语言模型推理优化方法”的专利，公开号CN 119047579 A，申请日期为2024年8月。
专利摘要显示，本发明涉及语言模型推理技术领域，公开了一种基于级联和推测解码策略的大语言模型推理优化方法，包括：S1：将用户的提示词输入给小语言模型家族，使用级联策略快速生成若干草稿文本令牌；S2：将当前的文本序列输入到大预言模型，使用推测解码策略进行验证，截断掉被拒绝的文本token并生成大语言模型自己的一个文本输出token；S3：循环步骤S1和步骤S2直到所述大预言模型生成了表示生成任务结束的标签。本发明引入了级联策略和推测解码策略，并结合这两种策略的优势，设计了一种新的推测级联技术，以提高推理速度和效率。级联策略通过级别不同、参数大小不同的多个语言模型组合，推测解码策略则通过提前推断并生成部分结果来减少等待时间。
