"面对海量复杂的数据,数据源适配、跨网、实时性、数据防丢失、数据漏数等方面仍存在问题。
数据集成关键技术面临的主要难题有:
(1)数据的异构性:各业务系统提供的数据多源异构,传统的数据集成平台难以匹配复杂的数据集成场景需求。
(2)大数据平台需要汇聚不同网络中的数据,做到跨网传输。
(3)缺少断点续传机制,数据传输的过程中因故障中断,无法实现断点续传,导致数据丢失。
(4)传统的数据入仓架构,离线调度数据实时性不高。无法满足对实时性高的业务。
在数据汇集传输过程中,缺乏统一监控管理工具,问题定位难,定位周期长,运维成本高。
全部评论