本文源自:金融界
金融界2024年12月4日消息，国家知识产权局信息显示，度小满科技(北京)有限公司申请一项名为“大数据引擎系统、基于Shuffle过程的数据处理方法及电子设备”的专利，公开号CN 119066032 A，申请日期为2024年7月。
专利摘要显示，本申请提供了一种大数据引擎系统、基于Shuffle过程的数据处理方法及电子设备，其中，该大数据引擎系统至少包括：客户端、Shuffle处理服务模块、Shuffle数据存储服务模块、Shuffle元数据管理服务模块。选用本申请实施例，由于将各原本需要按照自身键值分散存储至不同数据分片的第一预处理数据，根据键值所属键值范围合并存储至较少的数据分片中，可在后续大数据计算引擎需要获取第一预处理数据时，实现从较少的数据分片中即可获取目标第一预处理数据，有效降低Shuffle阶段对磁盘的频繁访问，节约Shuffle阶段跨目标存储节点获取数据的时间，降低Shuffle阶段占用的IO，降低Shuffle阶段占用的资源开销，节约数据获取时间，可有助于提高并保障大数据计算引擎的数据分析效率。
