200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > 大数据共享交换平台的功能需求

大数据共享交换平台的功能需求

时间:2019-09-12 03:15:09

相关推荐

大数据共享交换平台的功能需求

大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间、云环境下应用系统之间等数据交换共享任务,可满足各种大型应用、各种复杂的网络环境下的业务需求,尤其适用于跨部门、跨地域、跨层级的数据交换共享应用。

数据交换共享平台

传统大数据平台的一些常见问题:

1.数据孤岛问题

传统方式建设企业系统时,不同部门或团队通常会构建独立的数据库,导致的问题有:同一份数据存在于多个业务系统内且内容不一致,缺少统一的数据标准、数据管理流程及可靠的管理工具,出现质量问题时往往无法有效追溯并修正。

2.烟囱开发问题

“烟囱”式架构是传统企业系统开发的弊病,不同团队独立建设、独立开发服务和应用,带来安全、运维、升级、部署等通用功能的重复开发和投入问题,这种开发的低复用率带来了巨大资源的浪费,难以形成技术合力,也不利于团队间的研发管控和质量提升。

3.技术门槛问题

大数据和AI的应用与运维十分昂贵,无论是对于平台建设、团队建设还是业务探索而言都会带来不小的开销。将数据服务化、资产化、在线化,以方便客户、技术开发人员和数据科学家使用,降低技术门槛是当务之急。

数据交换共享平台功能需求

1、统一的资源目录管理:

支持统一的元数据管理,包括元数据的模型设计、模型审核、模型实施、模型验证,以及模型版本管理、关系管理等;

支持资源的检索与定位,便于服务的重用与维护;

2、全面灵活的数据采集:

采用调度中心+决策中心相结合的分布式数据采集处理架构,支持多样化的采集策略和多种抽取、汇总方式;

支持可视化任务编排、配置、规则定义及发布;

针对结构化资源和非结构化资源,以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理;

3、集中式数据质量管控

支持数据质量核查规则配置与管理,在数据采集清洗过程中完成数据质量核查与告警;

支持对数据质量告警的监控和数据质量问题的可视化呈现;

提供知识库管理和查询,支持数据血统分析和影响分析;

4、安全便捷的数据交换共享服务

支持以数据服务的形式封装数据,提供统一的数据开发共享能力;

数据服务封装和开发,支持WebService协议、FTP协议和数据库等各类接口;

支持服务发布、订阅及审核管理,同时支持对服务调用情况进行监控,以确保平台采集管理的数据正常实现交换共享;

大数据平台让数据的运用更灵活,让数据共享交换变得随时随地、按需和便捷,充分调度计算设施、存储设备、应用程序等资源,满足用户多元化、复杂的需求,降低了开发、管理的难度。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。