如何监控配置表数据质量,如何使用数据质量-天下标王

数据质量入门

数据质量帮助您及时感知源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,阻断脏数据向下游蔓延。避免任务产出问题数据,影响正常使用和业务决策。本文示例配置表数据质量监控规则,保障产出的表数据符合预期,为您介绍数据质量的基本使用。

前提条件

根据数据开发:开发者文档创建result_table节点,及节点产出的result_table表。

说明

本文均以result_table表来演示数据质量的功能,实际执行时,也可基于您使用的表执行相关操作。

背景信息

数据质量支持以表为维度,为某个表配置质量规则;或以规则模板为维度,批量为多个表配置某个质量规则。本文仅以配置单表的质量规则示例。

进入数据质量

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据建模与开发 > 数据开发,在下拉框中选择对应工作空间后单击进入数据开发

  2. 单击左上角的图标图标,选择全部产品 > 数据治理 > 数据质量

操作流程

  1. 步骤一:配置分区表达式

    通过分区表达式匹配数据质量规则需校验的目标表的分区。

  2. 步骤二:创建质量规则

    根据业务需求,创建校验表数据的质量规则。

  3. 步骤三:试跑质量规则

    运行创建的规则,测试验证规则的正确性。

  4. 步骤四:质量规则关联调度节点

    通过关联调度节点,定义质量规则触发的方式及时间。当调度节点执行后,将会触发该节点关联的数据质量校验规则自动运行。

  5. 步骤五:订阅质量规则

    订阅数据质量规则,订阅后,您会第一时间收到校验结果的异常报警并快速处理。

步骤一:配置分区表达式

数据质量通过分区表达式来确定需要进行质量校验的表分区。您需要找到目标表,并为其配置所需分区表达式。

  1. 进入数据质量。

  2. 查找目标表并进入表规则配置页面。

    1. 在左侧导航栏单击规则管理 > 按表配置

    2. 通过引擎、表名称等信息筛选,找到目标表。

    3. 单击目标表操作列的配置监控规则

    本文示例进入result_table表的监控规则配置页面,步骤如下图。进入配置监控规则

  3. 配置分区表达式。

    通常,为保障周期调度产出的表数据符合预期,建议该分区表达式的取值与当天周期调度产出的表分区一致。

    说明

    单表可多次执行添加操作,配置多个分区表达式,校验多个分区数据。

    1. 在表规则配置页面,单击添加图标。

    2. 添加分区对话框输入分区表达式,单击计算

      您可查看分区表达式的计算结果是否符合预期,若不符合则请及时修正。

    3. 单击确认,成功添加分区。

    本文示例配置下图的分区表达式,校验result_table表当天执行产出的分区数据是否符合预期。配置分区表达式

步骤二:创建质量规则

确定校验的表分区后,需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则,也可自定义规则。DataWorks支持自定义规则强弱,控制规则产生的影响,当数据质量校验不符合预期时,用于决定是否自动拦截问题任务、阻断脏数据向下游蔓延。规则创建后默认为强规则,您可根据实际情况进行修改。

  • 强规则:红色异常报警并阻塞下游任务节点,橙色异常报警但不阻塞下游任务节点。

  • 弱规则:红色异常报警但不阻塞下游任务节点,橙色异常不报警也不阻塞下游任务节点。

  1. 单击创建规则

  2. 创建数据质量校验规则。

    创建规则对话框,您可选择创建模板规则或自定义规则:

    • 模板规则:基于常用场景,提供了多种内置模板规则,您可直接使用。详情请参见配置规则:按表(单表)

    • 自定义规则:如果模板规则不能满足您对分区表达式中数据质量的监控需求,您可通过创建自定义规则来满足个性化监控需求,详情请参见配置规则:按表(单表)

  3. 单击批量添加,完成规则的创建。

    创建的规则默认为强规则,您可根据需要修改规则的强弱。修改规则强弱。

本文示例,基于模板规则为result_table表快速创建表行数大于0的强校验规则。创建规则

步骤三:试跑质量规则

为确保质量规则的配置符合预期,您可在规则创建完成后,试跑该规则。试跑时,将根据您选择的调度时间、分区表达式、配置的质量校验规则,确认当前试跑的分区是否符合预期。

  1. 在规则列表页面单击试跑

  2. 配置试跑分区调度时间,单击试跑

  3. 试跑结束后,单击下方链接,查看试跑结果。

本文示例,试跑表级规则_2022824日 11:00:58规则并查看试跑结果。您可根据试跑结果处理异常问题。试跑规则

步骤四:质量规则关联调度节点

数据质量可通过关联调度节点触发执行质量校验规则,即当调度节点调度执行时,其关联的质量规则便会自动执行。

  1. 在规则列表页面单击关联调度

  2. 添加需要关联的任务节点。

    添加节点后,该节点运行时便会触发执行当前表质量校验规则。通常,建议表的质量校验规则关联产出该表数据的调度节点。

本文示例关联产出result_table表数据的result_table调度节点。关联调度节点

步骤五:订阅质量规则

数据质量为您提供监控报警功能,通过订阅某表数据质量校验规则,第一时间接收质量校验异常结果并快速处理,保障数据安全、稳定、按时产出。

  1. 在规则列表页面单击订阅管理

  2. 配置报警消息的接收信息。

    DataWorks支持您使用短信、邮件等多种方式接收质量校验异常的报警信息。

本文示例配置通过邮件方式接收报警消息。订阅报警消息

后续步骤

当产出目标表数据的任务启动执行时,则会触发其关联的数据质量规则校验。您可在实例详情页查看实例状态,并单击运行日志中的DQC,查看数据质量校验过程。查看周期实例,详情请参见查看周期实例。

本文示例查看result_table的质量报警结果。质量报警结果

    相关内容推荐

    福州网络seo排名从化区市场seo优化哪家好seo查询工具模板源码湖北省seo关键词优化哪家好张家港seo优化多少钱黑帽seo○找逆冬站外SEO的目的中小企业seo教程电商独立站如何发表seo文章营销单页可以做seo么seo优化效果怎么排名广州seo快速投放费用张家界搜狗seo优化服务商红河seo优化贵州seo万词霸屏技术惠州seo建站优化哪家好成都seo优化课程招商加盟seo行业规模seo工作发外链seo霸屏广告软件seo排名优化seo立联盟3星集美seo招商网站seo关键词优化费用seo厂商电话seo培训价格低万词霸屏公司seo顾问珠海seo网站推广纸业seo案例肇庆seo关键词排名优化江西seo优化内容江干区seo推广方案广元seo优化电话丝瓜seo1301视频海南区网站seo优化排名如何克服seo景德镇seo选哪家seo快速排名的帖子在线刷seovideos欧美seoseo文章的关键词选取乐乐seo北京seo网络如何推广黄山seo整站优化哪里比较好安阳百度seo关键词排名优化a6站长seo教学seo技术基础知识广州互联网广告佳选乐云seoseo从业者选择什么职业好https对seo的影响百战百胜seo网站排名有名 乐云seoseo技术培训来选宙斯站长大连seo排名扣费seo入门攻略做seo销售公司如何找客户博客seo优化的技巧㩳eoseo赚钱卢松松武侯区seo网络推广营销南阳网站seo服务企业seo网站带后台专业性seo优化怎么样seo公司忄刘贺稳速度快seo title被篡改seo站长工具测试排名企业seo影响苏州seo网络推广价格行情泰州市seo关键词优化多少钱以利seo怎么成为一个seo工程师SEO算钱舟山谷歌网站seo壹起航seo优化怎么解决普宁seo推广价格站长工具seo 外推开州区seo优化学习方式www.seo772.com洪梅seo优化哪家好四川seo优化品牌福州seo实用技巧白帽seo的定义怎么seo毫首选金手指二一白帽seo黑帽seo35岁it男能做seo吗佛山SEO网创始人之一镇雄seo代理淘宝女装seo标题优化搜狗快排和seo重庆seo哪家值得信赖石家庄霸屏seo推广费用多少seo怎样运营知识点百度手机网站seo排名点seo优化推广首选公司seo县城湖南企业seo优化共同合作萍乡seo技术南京专业seo服务电话seo如何设置logo权限网络seo专员seo刷排顶火22星来selenium seohtml实现简单的seo福田区seo哪家好seo公司厦门seo黑帽后就必须还域名吗郑州百度seo代理什么叫seo优化怎么做到seo关键词分析视频温州seo顾问公司南昌做seoseo搜索引擎是怎么用seo怎么做全会zjkwlgs南坪专业seo怎么样宁波seo温州公司电话杨凌seo优化推广seo综合查询湖南岚鸿外推seo优化和预约哪个好seo抓取多少字符吃鸡里面seo是什么服务器贵港SEO招聘南昌seo营销服务什么是Seo判断云速捷口碑百度快手seo怎么做武汉专业seoseo新手职位分类广州市关键词seo优化品牌附子seo资源下载独立ip做seo的优势淄博百度公司seoseo兼职在哪里优化济源官网seo关键词排名系统seo 书推荐涂料网站seo优化托管seo的博客广告安徽seo优化方案都匀seo快速排名宜昌便宜的seo推广哪家好seo软件哪个好快讯易速达北京seo排名方法和平区好的seo推广哪家强北京seo线上推广系统云浮seo优化平台seo网站频道短视频入口seo 广告古交关键词seoseo 次导航黄石品牌seo推广沧州青县seo关键词优化舟山seo推广推荐公司江夏seo优化报价seo平台哪个好9火$星优化seo的简历怎么写范文织梦关于seo的官网黄南网站seo优化舟山seo公司首选13火星薛城seo业务培训响水seo优化哪个好荆门发帖seo推广公司排名SEO查询征信记录语雀有seo吗邯郸百度快照seo优化要多少钱承德seo公司便捷火星下拉seo自学网视频教程信息流优化杭州网络seo推广seo内容优化目的防城港seo公司首荐3火星店铺seo优化引流免费微商推广平台seo顾问seo外链有必要吗宁乡长沙seo优化费用seo sns安顺seo公司就选22火星seo顺时网络学院开课seo优化免费软件seo公司seo设置多少页少儿培训seo优化引流北京网站seo优化排名公司seo优化找云优如何快速学习seo 百度推广九龙坡seo关键词优化公司沈阳关键词seo公司百度快排费用专业乐云seovue对seo长乐网络seo哪个好seo网站遴选火星推荐哪类客户需要官网SEO盐城seo推广价格如何零基础seo要怎么开始学关键词seo快排优化免费咨询福建省提升seo关键词排名模式盐都区seo优化数据中心t-buooh seo2seo技术示信上海百首网络陕西seo推广技巧代理家装行业seo优化案例推广seo疑问长尾词seo原创文章步骤企业seo优化一站式服务网站seo是前端还是后端

    合作伙伴

    天下标王

    龙岗网络公司
    深圳网站优化
    龙岗网站建设
    坪山网站建设
    百度标王推广
    天下网标王
    SEO优化按天计费
    SEO按天计费系统