如何监控配置表数据质量,如何使用数据质量-天下标王

数据质量入门

数据质量帮助您及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,阻断脏数据向下游蔓延。避免任务产出问题数据,影响正常使用和业务决策。本文示例配置表数据质量监控规则,保障产出的表数据符合预期,为您介绍数据质量的基本使用。

前提条件

根据数据开发:开发者文档创建result_table节点,及节点产出的result_table表。

说明

本文均以result_table表来演示数据质量的功能,实际执行时,也可基于您使用的表执行相关操作。

背景信息

数据质量支持以表为维度,为某个表配置质量规则;或以规则模板为维度,批量为多个表配置某个质量规则。本文仅以配置单表的质量规则示例。

进入数据质量

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击左上角的图标图标,选择全部产品 > 数据治理 > 数据质量

操作流程

  1. 步骤一:配置分区表达式

    通过分区表达式匹配数据质量规则需校验的目标表的分区。

  2. 步骤二:创建质量规则

    根据业务需求,创建校验表数据的质量规则。

  3. 步骤三:试跑质量规则

    运行创建的规则,测试验证规则的正确性。

  4. 步骤四:质量规则关联调度节点

    通过关联调度节点,定义质量规则触发的方式及时间。当调度节点执行后,将会触发该节点关联的数据质量校验规则自动运行。

  5. 步骤五:订阅质量规则

    订阅数据质量规则,订阅后,您会第一时间收到校验结果的异常报警并快速处理。

步骤一:配置分区表达式

数据质量通过分区表达式来确定需要进行质量校验的表分区。您需要找到目标表,并为其配置所需分区表达式。

  1. 进入数据质量。

  2. 查找目标表并进入表规则配置页面。

    1. 在左侧导航栏单击规则管理 > 按表配置

    2. 通过引擎、表名称等信息筛选,找到目标表。

    3. 单击目标表操作列的配置监控规则

    本文示例进入result_table表的监控规则配置页面,步骤如下图。进入配置监控规则

  3. 配置分区表达式。

    通常,为保障周期调度产出的表数据符合预期,建议该分区表达式的取值与当天周期调度产出的表分区一致。

    说明

    单表可多次执行添加操作,配置多个分区表达式,校验多个分区数据。

    1. 在表规则配置页面,单击添加图标。

    2. 添加分区对话框输入分区表达式,单击计算

      您可查看分区表达式的计算结果是否符合预期,若不符合则请及时修正。

    3. 单击确认,成功添加分区。

    本文示例配置下图的分区表达式,校验result_table表当天执行产出的分区数据是否符合预期。配置分区表达式

步骤二:创建质量规则

确定校验的表分区后,需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则,也可自定义规则。DataWorks支持自定义规则强弱,控制规则产生的影响,当数据质量校验不符合预期时,用于决定是否自动拦截问题任务、阻断脏数据向下游蔓延。规则创建后默认为强规则,您可根据实际情况进行修改。

  • 强规则:红色异常报警并阻塞下游任务节点,橙色异常报警但不阻塞下游任务节点。

  • 弱规则:红色异常报警但不阻塞下游任务节点,橙色异常不报警也不阻塞下游任务节点。

  1. 单击创建规则

  2. 创建数据质量校验规则。

    创建规则对话框,您可选择创建模板规则或自定义规则:

    • 模板规则:基于常用场景,提供了多种内置模板规则,您可直接使用。详情请参见配置规则:按表(单表)

    • 自定义规则:如果模板规则不能满足您对分区表达式中数据质量的监控需求,您可通过创建自定义规则来满足个性化监控需求,详情请参见配置规则:按表(单表)

  3. 单击批量添加,完成规则的创建。

    创建的规则默认为强规则,您可根据需要修改规则的强弱。修改规则强弱。

本文示例,基于模板规则为result_table表快速创建表行数大于0的强校验规则。创建规则

步骤三:试跑质量规则

为确保质量规则的配置符合预期,您可在规则创建完成后,试跑该规则。试跑时,将根据您选择的调度时间、分区表达式、配置的质量校验规则,确认当前试跑的分区是否符合预期。

  1. 在规则列表页面单击试跑

  2. 配置试跑分区调度时间,单击试跑

  3. 试跑结束后,单击下方链接,查看试跑结果。

本文示例,试跑表级规则_2022824日 11:00:58规则并查看试跑结果。您可根据试跑结果处理异常问题。试跑规则

步骤四:质量规则关联调度节点

数据质量可通过关联调度节点触发执行质量校验规则,即当调度节点调度执行时,其关联的质量规则便会自动执行。

  1. 在规则列表页面单击关联调度

  2. 添加需要关联的任务节点。

    添加节点后,该节点运行时便会触发执行当前表质量校验规则。通常,建议表的质量校验规则关联产出该表数据的调度节点。

本文示例关联产出result_table表数据的result_table调度节点。关联调度节点

步骤五:订阅质量规则

数据质量为您提供监控报警功能,通过订阅某表数据质量校验规则,第一时间接收质量校验异常结果并快速处理,保障数据安全、稳定、按时产出。

  1. 在规则列表页面单击订阅管理

  2. 配置报警消息的接收信息。

    DataWorks支持您使用短信、邮件等多种方式接收质量校验异常的报警信息。

本文示例配置通过邮件方式接收报警消息。订阅报警消息

后续步骤

当产出目标表数据的任务启动执行时,则会触发其关联的数据质量规则校验。您可在实例详情页查看实例状态,并单击运行日志中的DQC,查看数据质量校验过程。查看周期实例,详情请参见查看周期实例。

本文示例查看result_table的质量报警结果。质量报警结果

    相关内容推荐

    宁波网站seo加盟百度seo 官方认证seo有培训班吗seo优化方法哪家专业引流沈阳综合抖音seo优化报价行情西藏seo推广哪家强深圳专业的百度seo广州seo网站推广优化岳阳seo优化哪家服务好SEO技术支持 冯耀宗seo数据优化怎么做seo优化栏目内容seo公司推荐关键词推广seo竞价实操排名seo学吧seo排名 知乎seo中关键词有什么好处温岭市seo宝坻区常规seo服务成本宁波seo关键词优化案例东丽区seo网络优化公司广西seo关键词如何优化武汉seo技术哪个最好用惠州网络seo优化排名福州晋安关键词seo优化东莞seo关键词优化排名桐城seo优化哪家价格实惠沈阳电商抖音seo优化报价东营seo服务公司专业seo谷歌优化seo怎么做全向zjkwlgs淄博seo网络优化互联网seo优化质量郑州seo网络推广技术青岛seo关键词优化包年后台seo漳州seo排名百度seo推广是啥意思百度竞价推广技巧seo教程北京关键词seo排名seo设计界面简阳seo优化关键词排名武汉软文seo推广江西seo优化师阜南县seo关键词优化济南全网seo推广怎么做梅州seo优化效果广州长沙seo优化哪家靠谱合肥网络推广公司seo优化seo虚拟资源项目洪江seo外包平台魔贝seo流量课程百度云盘免费秒收录霸屏seo 关键词山东百度推广seo台州seo网络推广咨询热线百度seo是什么怎么做百度seo关键词优化渠道石家庄霸屏seo推广方案猫耳seo诊断报告淮北seo优化费用多少苏州seo快排工具宁德拼多多seo鬼叔seo娄底seo优化流程江西核心关键词seo收费江苏seo快排哪家好鼓楼区seo是什么西安seo网站优化规划广州市seo推广价格多少网络推广怎么做seo顾问惠州前端seo优化亳州seo网络推广效果好的公司seo部seo优化快速排名收录代做花都区市场seo优化哪个好武汉seo推广排名seo营销怎么运营seo公司江苏seo优化专业服务朔州seo抖音搜索排名娄烦正规seo优化海口seo方式劲松seo优化seo文章写手徐州seo外包收费知乎网seo分析报告案例罗源有效的seo公司天津做搜狗seo怎么做一个简单的seo 引流湖北二类电商seo推广公司排名平台网站怎么做seo性价比高的seo优化代理渠道嘉善智能化seo推广报价seo营销软件代理平台关键词吴川seo关键词排名优化江苏快速seo关键词优化学习荆门本地seo推广多少钱em标签对seo的评价秒收录怎么做霸屏seo 运营seo关键词快速排哪家好启东seo网络优化哪家专业保定脉动seo哪里有seo推广公司核电厂seo系统辽宁推广抖音seo优化哪家好打击seo快排seo与sem的目的是什么盐城seo网络推广代理沈阳运营抖音seo优化价格大全荔湾区百度seo优化公司影响排名的几个因素seo黄石品牌seo推广哪里好沈阳常规抖音seo优化要多少钱铜山区seo优化哪家服务好如何进行seo 推广延平区企业seo哪家好seo长尾关键词拓展舟山抖音搜索seo优化排名驰骋网sEO疫情期间善用seo忻州seo网络推广如何快速入门seo 分类荔湾区正规seo优化什么价格襄阳品牌seo推广哪家好什么是seo和sem白云区市场seo优化哪个好seo定位的关键词广元seo网络推广公司电话浦城公司seo服务费seo网站关键词优化方法汇总从化区市场seo优化哪个好项目seo优化优势江苏seo网络推广平台seo整体优化教程seo顾问高明seo优化代理商辽宁创新抖音seo优化口碑推荐四川seo优化培训荔湾区百度seo优化报价哈尔滨seo关键词衡水小慧seo博客霸屏推广seo公司产品SEO评分广东网络seo优化价格多少天津创新seo优化厂家报价南阳官网seo优化推广seo需要自己写文章吗延庆区辅助seo服务诚信经营二级目录 seo商品seo优化标题贾汪区专业seo怎么做辽中优化seoseo与sem的展示效果seo课程学费连州百度seo北京房山关键词seo公司seo零基础入门视频教程关键词新乡封丘seo优化推广黄浦区seo网络推广多少钱小作坊seo大鹏seo优化定制广西seo推广推荐公司洪江seo外包平台汤阴县seo哪家做得快白山公司seo优化报价贵阳seo网站推广是什么抖音seo最新消息毕节抖音搜索排名seo怎么做怀宁seo优化电话咨询沈阳seo引擎优化服务seo_lia031221宜昌包年seo推广鞍山网络seo价格黑龙江seo关键词哪家好seo公司怎么操作semseo在网上培训哪里好优化平谷区电子seo服务诚信经营seo舆情优化公司云南百度seo优化推广公司山西什么是seo网络推广靠谱苏州seo优化平台网站seo外包团队深圳seo优化营销手段关键词优化SEO公司梅州seo优化如何百色盐城seo优化价格辛集seo关键词排名优化哪家好荆州seo优化软件批发商贾汪区专业seo怎么做秦皇岛seo搜索优化多少钱余姚seo网络营销seo外部引流荆州seo排名分析江津知名seo优化一站式服务商汕头市页面seo优化代理怎么招聘seo广州谷歌seo服务哪家值得推荐邯郸百度seo推广方法有哪些江油关键词排名seo优化秒收录霸屏seo 营销新乡seo建设工作室seo国际搜索引擎

    合作伙伴

    天下标王

    龙岗网络公司
    深圳网站优化
    龙岗网站建设
    坪山网站建设
    百度标王推广
    天下网标王
    SEO优化按天计费
    SEO按天计费系统