盈析数据开发平台是一个集数据采集、存储、处理、以及对外提供标准数据服务的综合性平台。通过数据开发过程的规范化和标准化,提高数据开发效率和数据的稳定输出。功能包括数据集成、数据建模、离线开发、实时开发、数据服务。
五大核心模块:
1.数据集成:
丰富的数据源类型,支持NOSQL、JDBC、API、MQ、FTP数据快速接入ODS或指定业务数据库。
2.数据建模:
丰富的建模方式,数据分层分类构建标准化数仓,促进数据有序管理,释放数据价值。
3.离线开发:
数据同步、数据转换、任务调度与监控的全链路解决方案,可视化拖拉拽实现数据清洗,数据转换,简单易用。
4.实时开发:
低延迟、高可用,高吞吐的分布式流数据实时处理,实现数据的高效流转与计算。
5.数据服务
高可用的API,标准化数据的对外输出,安全认证、API调用监控,提高数据开放与共享效率。
产品特性:
1.一站式开发体验:
支持数据接入,数据同步与转换、离线开发、实时开发以及数据服务API。
2.多项目多版本管理:
支持多租户管理,项目隔离,支持flink多版本管理。
3.海量异构数据同步:
支持多种异构数据源之间进行海量的数据同步,可视化完成数据同步任务配置,简单快捷。
4.产品间功能打通:
数据开发产品,与数据分析产品,数据治理产品无缝打通,比如数据建模的表,可直接进入数据分析平台,可直接关联数据质量和标准。
产品架构:
批流一体:
集批处理和实时流处理于一体的数据处理平台。底层采用flink,实现对大量数据的批处理和实时流处理,以满足各种数据处理需求。
离线任务支持sql数据同步,API数据同步,静态数据(excel,csv,txt)解析,JSON数据解析,python脚本,shell节点,循环节点,分支判断节点,预警等功能。
实时任务支持使用Flink作为连接器的执行引擎,支持多版本运行。
数据服务:
支持配置数据源,SQL创建API,支持参数,通过API的授权,限流,确保数据服务的性能、可靠性和安全性。支持数据推送,同步或异步调用离线任务。