科学的数据质量评估框架
EDQAF(DataQualityAssessmentFramework)是数据质量评估框架,这个框架包含一系列联机数据质量测量过程(称为元规则),这些元规则从五个方面,即完备性、及时性、有效性、一致性和完整性评价数据质量。元规则是EDQAF的核心,决定了数据质量规则的类型复杂度。 目前系统内置34条元规则,通过这些元规则的组合可以检测成千上万种数据质量问题。
一键快速评估
当不熟悉检测数据情况时,可通过快速评估工具快速掌握数据情况。尤其检测外来第三方库,通过评估数据情况更好配置适合的规则。
· 支持一键评估多种类型字段、内置多种评估指标
支持对多种类型的字段进行评估,针对“字符类、数字类、日期类”不同类型字段评估项有所不同。
· 评估结果为设置质量规则提供参考
根据评估指标对单个数据项的数据质量进行评估,加入评估队列得到评估结果,评估结果将作为业务规则设置的参考项。
质量检测规则可视化配置
规则定义无需编写sql或代码,通过可视化界面进行配置,使业务人员也能定义规则,大大降低技术门槛。
· 系统自动推荐匹配的质量规则
根据字段在执行标准、元数据中配置的约束条件,对表中符合推荐规则但未配置相应业务规则的字段进行推荐,方便管理员对业务规则初始化和进行查漏补缺。
· 规则模板快速自动生成
选择的表存在字段满足任一快速生成规则模板的条件时,系统自动生成规则Excel模板,仅需简单处理后导入生成数据质量检测规则,大大提高简单规则的配置效率。
丰富全面的质量报告
· 通过质量规则检测生成数据质量报告
· 结合机器学习自动生成智能数据质量报告
支持多种常用数据库
支持检测多种常用数据库,如Mysql、Oracle、MongoDB等。
同时支持连接多类国产数据库,如达梦、人大金仓等。
管理员可以根据实际质量检测需要,灵活配置数据源。支持自动检测数据库的连接可用性,支持第三方业务系统数据库立即同步或周期性同步元数据。
系统健壮性