数据集成etl工具,数据质量,功能说明

昊合数据集成etl工具通过执行多种数据剖析规则，对目标表（或一段SQL语句）进行数据质量探查，从而得到其数据质量情况。目前支持以下几种数据剖析类型，

分别是：值匹配检查、重复值检查、正则表达式匹配、参照完整性检查、数字值分析、字符值分析、日期值分析、布尔值分析、值分布分析。

数据剖析完成后可以查看其剖析报告，了解数据包括异常数据的分布情况，并可以点击钻透至明细记录进行进一步的深入分析。数据剖析任务

可以加入到作业流程中，以支持日常的增量数据探查，任务执行完后每个剖析规则均会返回剖析结果变量，可根据变量的值进行预警操作。

1.) 设定剖析规则

在任务管理中选择新建数据剖析任务，进入任务编辑页面，剖析对象页签中填写源连接和源表，也可在源表查询语句中输入一段SQL，可以对

数据进行转换、过滤、获取增量等操作，语句支持嵌入变量。在剖析规则页签中添加多个剖析规则，选择要剖析的字段以及剖析类型，右侧的

编辑按钮可进入高级设置页面。剖析任务在执行成功后，会产生一组剖析结果变量，主要是统计的异常值行数，可以在成功条件页签中判断变

量的值，从而进行后续的处理工作。

2.)运行数据剖析

和其它任务一样，数据剖析任务可以添加到作业流程中，可以串行或并行执行，剖析完成的行数将实时显示在日志的插入列中，执行成功后，

可以点击执行信息栏中的剖析结果打开剖析报告页面。

3.)查看剖析报告

点击日志中的剖析结果超链接，将弹出剖析报告页面，可查看所有规则的概要信息以及各规则的明细分析结果。

点击左侧规则列表，查看各规则的详细分析数据，比如查看值匹配分析：

点击红色箭头可以进一步查看明细数据，如点击其空值行数，将显示空值行数的明细数据：