本文源自:金融界
金融界2024年10月18日消息，国家知识产权局信息显示，厦门蝉羽网络科技有限公司申请一项名为“动态搜索低秩适应的大模型微调方法、装置、设备及介质”的专利，公开号CN 118780155 A，申请日期为2024年6月。
专利摘要显示，本发明提供了动态搜索低秩适应的大模型微调方法、装置、设备及介质，包括当需要对所述大模型进行微调时，获取训练数据集，基于训练数据集对大模型进行多次迭代训练处理，在每一次迭代训练过程中：随机从预设范围[rmin,rmax]中选取一个数据作为本次迭代的矩阵秩r，根据所述矩阵秩r对原始低秩矩阵A和原始低秩矩阵B进行切片处理，生成第一子低秩矩阵和第二子低秩矩阵；将所述第一子低秩矩阵与所述第二子低秩矩阵进行矩阵运算，得到维度为m×n的高阶权重矩阵W；根据所述高阶权重矩阵W得到改进的大模型，并采用训练数据集对所述改进的大模型进行训练，从而实现对大模型的微调。本发明可以避免为LoRA选择最佳秩的昂贵的搜索过程。
