本文源自:金融界
金融界2024年11月28日消息，国家知识产权局信息显示，平安科技（深圳）有限公司申请一项名为“一种图片违规检测方法、装置、系统及介质”的专利，公开号CN 119027956 A，申请日期为2024年8月。
专利摘要显示，本发明公开了一种图片违规检测方法、装置、系统及介质，方法包括：获取待检测的文档图片，提取文档图片中的文字信息与布局信息后输入到已训练的多模态大模型中，通过其中的预训练编码器对文档图片、文字信息和布局信息进行特征提取，得到多模态特征，预训练编码器通过不同级别的布局感知预训练任务训练得到；响应于违规检测指令，通过多模态大模型中的大语言模型对多模态特征和违规检测指令进行链式布局策略的内容提取获得文档图片中指定布局区域的内容；对指定布局区域的内容进行违规检测，输出相应的违规检测结果。通过多模态特征令多模态大模型在文档图片中定位相关区域，集中提取内容进行违规检测，提高对文档图片进行违规检测的准确性。
