数据交换平台(奕云DTS)
落地的智慧校园领域微服务容器平台,生产级的容器云服务,
助力高校打造数据交换管理平台,实现“互联网+”持续创新。
核心特点
-
微服务架构
基于容器技术、微服务架构开发的数据交换服务平台,实现了可构建面向服务的、松耦合的、灵活拆分的全WEB化ETL架构的数据交换平台,无感知横向和纵向的性能平稳扩展。
-
异构数据
支持主流的关系型数据库及非结构化等多种异构数据的直接处理,支持结构和半结构化数据处理,支持异构数据库的数据交换整合任务,支持标识位、时间戳、全量比对等增量模式,以及对物理表和视图的交换、多表整合。
-
内存运算
将数据增量比较计算从数据库迁移到平台服务器内存进行计算,通过哈希计算技术提升计算速度。
-
负载均衡
内置负载均衡及任务队列机制,确保流程高并发避免流程引擎宕机,同时加入调度引擎宕机自动恢复功能。
-
安全
抽取源数据库只需查询权限,载入目标数据库只需增、删、改权限,减少源数据库建表、建存储过程、建触发器、调度权限,减少目标数据库建表权限。
-
可视化监控
具备便捷可视化的流程监控、日志管理以及数据记录级监控。
主要功能
-
数据源管理
提供便捷的数据源管理列表,支持导入导出复制数据源,支持Oracle、MySQL、sqlserver、postgresql、mongodb等多种数据库。
-
数据模型
可扩展数据模型的类型,在模型中绑定模型插件即可定义一个新的数据模型类型。
-
数据流程
内置多组件功能,支持异构数据的直接处理、支持多表整合、支持物理表和视图的增量对比以及时间戳增量读取。
-
数据规则
自定义规则,平台内置数据校验规则、数据转换规则、数据计算等多种规则,可在流程配置中调用规则实现数据的加工。
-
模型插件
扩展数据模型的类型,可在模型中绑定模型插件即可定义一个新的数据模型类型。
-
调度策略
自定义调度策略,用户可方便地根据定时表达式设置多种不同的调度时间,指定流程定时进行调度的规则。
-
系统监控
查看已运行结束或正在运行的流程状态,可查看流程调度时间、增量读取日记、流程调试日记和集群服务器,并具有可视化大屏监控、查看服务器资源使用情况等功能。
应用案例
-
采用联奕数据交换DTS平台,实现数据治理的数据复杂处理、多表关联、多数据整合以及数据异构处理,配置大量的流程,实现多个系统的集成。
-
采用联奕数据交换DTS平台,为数字校园项目的集成提供支撑,为数据抽取与推送提供便捷的方法以及多功能处理。
-
采用联奕数据交换DTS平台,保障各业务系统的正常运行,并实现数据的同步推送,满足数据需求。