玳数科技申请一种Hive表转换为数据湖表的方法及装置专利,解决现有技术中用户转表时Hive表易受损的问题

玳数科技申请一种Hive表转换为数据湖表的方法及装置专利,解决现有技术中用户转表时Hive表易受损的问题
2024年11月27日 19:36 金融界网站

本文源自:金融界

金融界2024年11月27日消息,国家知识产权局信息显示,杭州玳数科技有限公司申请一项名为“一种Hive表转换为数据湖表的方法及装置”的专利,公开号 CN 119025584 A,申请日期为2024年8月。

专利摘要显示,本申请公开了一种Hive表转换为数据表湖表的方法及装置,涉及大数据处理技术领域,解决了现有技术中用户在将Hive表转为湖表的过程中因为异常导致原来的Hive表受损的问题,该方法包括:创建用于被Spark SQL调用的存储过程;利用所述存储过程将源Hive表转换为目标Paimon表;通过Spark读取源Hive表的数据;利用Paimon将读取到的源Hive表的数据写入目标Paimon表,该方法在转表之后源Hive表仍然存在,且在转表失败之后,源Hive表的元数据和底层文件也不会被破坏,并且支持将一个数据库下的Hive表转换为其他数据库下的Paimon表的转表操作。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部