如何监控配置表数据质量,如何使用数据质量-天下标王

数据质量入门

数据质量帮助您及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,阻断脏数据向下游蔓延。避免任务产出问题数据,影响正常使用和业务决策。本文示例配置表数据质量监控规则,保障产出的表数据符合预期,为您介绍数据质量的基本使用。

前提条件

根据数据开发:开发者文档创建result_table节点,及节点产出的result_table表。

说明

本文均以result_table表来演示数据质量的功能,实际执行时,也可基于您使用的表执行相关操作。

背景信息

数据质量支持以表为维度,为某个表配置质量规则;或以规则模板为维度,批量为多个表配置某个质量规则。本文仅以配置单表的质量规则示例。

进入数据质量

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击左上角的图标图标,选择全部产品 > 数据治理 > 数据质量

操作流程

  1. 步骤一:配置分区表达式

    通过分区表达式匹配数据质量规则需校验的目标表的分区。

  2. 步骤二:创建质量规则

    根据业务需求,创建校验表数据的质量规则。

  3. 步骤三:试跑质量规则

    运行创建的规则,测试验证规则的正确性。

  4. 步骤四:质量规则关联调度节点

    通过关联调度节点,定义质量规则触发的方式及时间。当调度节点执行后,将会触发该节点关联的数据质量校验规则自动运行。

  5. 步骤五:订阅质量规则

    订阅数据质量规则,订阅后,您会第一时间收到校验结果的异常报警并快速处理。

步骤一:配置分区表达式

数据质量通过分区表达式来确定需要进行质量校验的表分区。您需要找到目标表,并为其配置所需分区表达式。

  1. 进入数据质量。

  2. 查找目标表并进入表规则配置页面。

    1. 在左侧导航栏单击规则管理 > 按表配置

    2. 通过引擎、表名称等信息筛选,找到目标表。

    3. 单击目标表操作列的配置监控规则

    本文示例进入result_table表的监控规则配置页面,步骤如下图。进入配置监控规则

  3. 配置分区表达式。

    通常,为保障周期调度产出的表数据符合预期,建议该分区表达式的取值与当天周期调度产出的表分区一致。

    说明

    单表可多次执行添加操作,配置多个分区表达式,校验多个分区数据。

    1. 在表规则配置页面,单击添加图标。

    2. 添加分区对话框输入分区表达式,单击计算

      您可查看分区表达式的计算结果是否符合预期,若不符合则请及时修正。

    3. 单击确认,成功添加分区。

    本文示例配置下图的分区表达式,校验result_table表当天执行产出的分区数据是否符合预期。配置分区表达式

步骤二:创建质量规则

确定校验的表分区后,需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则,也可自定义规则。DataWorks支持自定义规则强弱,控制规则产生的影响,当数据质量校验不符合预期时,用于决定是否自动拦截问题任务、阻断脏数据向下游蔓延。规则创建后默认为强规则,您可根据实际情况进行修改。

  • 强规则:红色异常报警并阻塞下游任务节点,橙色异常报警但不阻塞下游任务节点。

  • 弱规则:红色异常报警但不阻塞下游任务节点,橙色异常不报警也不阻塞下游任务节点。

  1. 单击创建规则

  2. 创建数据质量校验规则。

    创建规则对话框,您可选择创建模板规则或自定义规则:

    • 模板规则:基于常用场景,提供了多种内置模板规则,您可直接使用。详情请参见配置规则:按表(单表)

    • 自定义规则:如果模板规则不能满足您对分区表达式中数据质量的监控需求,您可通过创建自定义规则来满足个性化监控需求,详情请参见配置规则:按表(单表)

  3. 单击批量添加,完成规则的创建。

    创建的规则默认为强规则,您可根据需要修改规则的强弱。修改规则强弱。

本文示例,基于模板规则为result_table表快速创建表行数大于0的强校验规则。创建规则

步骤三:试跑质量规则

为确保质量规则的配置符合预期,您可在规则创建完成后,试跑该规则。试跑时,将根据您选择的调度时间、分区表达式、配置的质量校验规则,确认当前试跑的分区是否符合预期。

  1. 在规则列表页面单击试跑

  2. 配置试跑分区调度时间,单击试跑

  3. 试跑结束后,单击下方链接,查看试跑结果。

本文示例,试跑表级规则_2022824日 11:00:58规则并查看试跑结果。您可根据试跑结果处理异常问题。试跑规则

步骤四:质量规则关联调度节点

数据质量可通过关联调度节点触发执行质量校验规则,即当调度节点调度执行时,其关联的质量规则便会自动执行。

  1. 在规则列表页面单击关联调度

  2. 添加需要关联的任务节点。

    添加节点后,该节点运行时便会触发执行当前表质量校验规则。通常,建议表的质量校验规则关联产出该表数据的调度节点。

本文示例关联产出result_table表数据的result_table调度节点。关联调度节点

步骤五:订阅质量规则

数据质量为您提供监控报警功能,通过订阅某表数据质量校验规则,第一时间接收质量校验异常结果并快速处理,保障数据安全、稳定、按时产出。

  1. 在规则列表页面单击订阅管理

  2. 配置报警消息的接收信息。

    DataWorks支持您使用短信、邮件等多种方式接收质量校验异常的报警信息。

本文示例配置通过邮件方式接收报警消息。订阅报警消息

后续步骤

当产出目标表数据的任务启动执行时,则会触发其关联的数据质量规则校验。您可在实例详情页查看实例状态,并单击运行日志中的DQC,查看数据质量校验过程。查看周期实例,详情请参见查看周期实例。

本文示例查看result_table的质量报警结果。质量报警结果

    相关内容推荐

    线尚网络网站优化有哪些核心技巧网站优化在哪里学新乡获嘉网站优化排名福州靠谱网站关键词优化唐山有实力的网站优化哪家专业网站手机版优化好的网站优化公司有哪些密山网站关键字优化迁安网站优化哪家专业山东一个网站如何进行优化惠州网站首页关键词优化费用浦东新区百度网站优化耀州区网站seo优化排名闵行区企业网站优化优化网站方法好口碑易速达网站如何优化能访问快孝感网站优化方法电商网站前端性能优化重庆网站seo排名优化阳江企业网站关键词优化教程青岛网站优化seo宁波汕头网站优化萝岗seo网站优化推广技巧长春网站推广优化企业网站建立优化铁岭网站优化包括什么网站怎么优化手机笋岗付费网站优化石碣家具网站优化都有什么服务网站搜索引擎优化平台怎么做好新网站的优化舟山网站优化真的有用吗德阳营销型网站建设优化贵阳推荐网站优化怎么优化房地产网站网站文章如何优化绍兴网站优化公司哪家好保定专业网站优化哪家公司好兴义网站优化推广公司广安网站优化怎么收费北京网站建设优化学校杨浦区网站优化平台南宁网站页面优化商丘企业网站优化排名价格天河网站优化比较好凤岗东莞网站推广优化报价云浮专业网站优化是什么肇庆网站优化代理商网站优化外包哪家公司靠谱网站搭建优化价格濮阳优惠网站优化公司价格东营企业网站搜索优化教程淄博优化网站费用永泰县企业网站优化城厢区网站seo优化排名网站优化推广哪个公司可以做网站排名怎么优化哪家正规外部优化网站链接作用阿图什企业网站优化要多久梅州网站关键词排名优化技巧新竹网站优化阳江网站优化公司的行业须知贵州公司网站排名优化揭阳网站排名优化外包优化公司网站须臾易 速达惠州企业网站关键词优化报价茂名排名网站优化价格长安商业网站优化搜索推广网站性能如何优化网站优化当中怎么加入h标签宁德网站首页优化公司黄石产品网站优化公司排名贵州芜湖网站优化亳州网站排名优化哪家质量好龙口全网营销网站优化公司优化网站哪些好延吉网站优化公司衢州龙游县知名百度网站优化品牌网站目标关键词优化价格优惠高埗网站seo优化商业计划书的优化的网站宁波优化网站关键词平台网站资讯优化天津网站优化怎么做宁波环保网站优化搜狗网站优化价格网站优化后台训练揭阳seo网站优化技巧网站优化 培训丰都县网站seo优化排名开县网站优化软件武功网站优化长安搜索网站优化产品推广哈尔滨网站搜索优化排名费用德州提供网站优化哪家便宜二七区营销网站搭建优化黄浦区百度网站优化定制网站优化主要内容包括哪些实力强的电商网站优化哪家便宜东坑东莞网站优化外包公司网站优化去哪江苏服务专业的企业网站优化付费网站优化费用如何提升网站收录的优化方法优化网站推广哪家可靠权重高的网站如何优化恩施手机网站优化曲阜优化型网站石景山外贸网站推广优化湖北网站优化公司排名网站建设网站开发排名优化公司胜芳网站优化公司常用指南模板网站适合优化济宁网站关键词优化公司武汉整站网站优化平台江苏专业网站排名优化公司台州网站建设优化制作公司壹起航网站优化任务有哪些新乡靠谱网站优化首选安徽网站优化推广费用北京靠谱的餐饮行业网站优化网站快速优化很好火26星至网站搜索排名优化立联火3星黑龙江服务好的网站优化公司嘉兴网站改版优化卫辉网站自然优化巴中企业网站优化河南卫浴行业网站优化推广渠道优化网站被降权了怎么办天津标准网站优化价格对比靠谱的电商网站优化欢迎咨询网站结构页面布局代码标签优化移动网站优化价格小金口网站优化哪家优惠公司如何做网站优化代托管效果好南通网站优化价格佛山网站自然优化清远网站优化托管业务湖北外包网站优化要多少钱游戏优化大师网站多少简单网站建设优化诊断南通市网站关键词优化厂家韶关网站优化托管怎么收费网站权重优化标准邯郸网站优化推广特点博客类网站优化孝南区网站做优化报价宿迁市网站关键词优化厂家图书馆网站SEO优化方案功能强大的网站seo优化什么网站可以优化外链静安区公司官方网站优化方案定制南沙网站搜索优化深圳信息类网站优化网站德庆网站优化公司网站攻击对网站优化的危害增城公司网站优化推广教程商丘网站优化推广哪家价格便宜聊城济南网站优化公司哪家技术好九龙坡网站优化建设武汉网站优化技术安宁网站优化优惠无为网站关键词优化费用网站优化 网站建设公司日照优化网站效果出名的网站品牌优化价格广州价格低的电商网站优化雅安企业网站优化荆州外包网站优化要多少钱沧浪网站优化推广多少钱连城网站优化网站seo优化参考文献郑州实力网站优化公司地址怎么实习网站优化武汉新站网站优化东营优化网站排名宜昌品牌网站优化怎么做宜昌本地网站优化公司排名乐陵网站优化报价亳州网站关键词排名优化费用优化网站建设唯独金手指22如何做外贸网站优化推广江津网站排名优化泰州市优化网站推广要多少钱仙桃外包网站优化公司夏邑个性化网站优化哪家好杭州网站优化哪家价钱合理优化网站图片能带水印吗网站快速优化只选i火28星武汉市网站优化方案恩施网站优化建议坪山网站排名优化哪家强金融网站优化报告江门网站优化的方法和技巧秦皇岛网站推广优化价格庐江网站排名优化多少钱奉贤区公司网站优化平台茂名网站关键词优化报价响水网站搜索优化方案北京网站优化关键词排名

    合作伙伴

    天下标王

    龙岗网络公司
    深圳网站优化
    龙岗网站建设
    坪山网站建设
    百度标王推广
    天下网标王
    SEO优化按天计费
    SEO按天计费系统