,据国家知识产权局公告,太极计算机股份有限公司申请一项名为“一种基于异构技术的数据存储及处理方法“,公开号CN117251414A,申请日期为2023年11月。

专利摘要显示,本发明提供了一种基于异构技术的数据存储及处理方法,涉及数据存储技术领域,包括:将以同步工具、分布采集工具以及Kafka消息队列构成数据采集模块采集到的目标数据写入数据湖Hudi后再利用Flink、Spark组件进行离线计算处理;将离线处理结果传输至数据仓库生成离线数据报表;利用计算引擎Flink读取并对Kafka消息队列中的数据以及Mysql同步数据实时计算;使用Apache Druid作为数据查询引擎,以供用户查询离线数据、实时数据处理结果。通过采用多数据模式的存储、Flink流批一体数仓计算架构以及Hudi异构技术栈完成所有离线和实时业务统计,有效解决开发成本够高的问题以及提高了数据处理效率;通过使用Apache Druid作为数据查询引擎实现更高效的数据查询以及分析,而改善数据查询效率。
本文源自:金融界
作者:情报员
声明:本网转发此文,旨在为读者提供更多资讯信息,所渉内容不构成投资、建议消费。文章内容如有疑问,请与有关方核实,文章观点非本网站观点,仅供读者参考。
指尖办政务“长三角交政通”服务登陆交通银行APP
“你知道附近哪里有充电桩吗?”“您在我们手机银行APP上就可以查...
“电子竞技指导员”赋能电竞服务业创造就业新角色
5月21日,2023年英雄联盟季中冠军赛总决赛,上千万电竞粉丝关...
这是一个蹦跶着讲和听的故事会丨21读书汇·亲子悦
5月27日下午,在六一国际儿童节即将来临之际,“21读书汇·亲子...
重磅!兆驰晶显与诺瓦星云签署战略合作协议!
2023年5月29日,全球Mini/MicroLED显示新标杆企...
精检细修确保暑运安全
为确保雷雨天气及繁忙暑运铁路行车安全,电气化局运管公司上海维管处...
科技点亮童年安全相伴成长弘扬传统文化
长期以来,中国移动通信集团江苏有限公司宿迁分公司积极践行央企责任...