生活生产服务其它etl商业智能cognos数据质量

请问,实际应用场景中,如何来验证数据量众多的数据质量?

都通过哪些环节来把控,确保数据质量?能否具体讲讲,什么方面的设计,或者流程,以及小细节是为了质量而存在的?显示全部

都通过哪些环节来把控,确保数据质量?能否具体讲讲,什么方面的设计,或者流程,以及小细节是为了质量而存在的?

收起
参与13

查看其它 3 个回答cuicuitiger的回答

cuicuitigercuicuitiger软件架构设计师龙江银行股份有限公司

ETL阶段进行数据验证,有专门的验证工具也可以自己写DQ脚本,验证逻辑可以是针对数据条数,金额等,具体就要看你最后要分析的数据,数据质量问题可能是ETL数据处理时候的问题也可能是数据源的问题。

银行 · 2016-10-28
浏览1173
  • DQ脚本是什么,还有我这边用的kettle跟 存储过程写的etl过程,如果中间加入自动校验功能的话有木有什么思路或者设计方式提点一下?
    2016-10-28

回答者

cuicuitiger
软件架构设计师龙江银行股份有限公司
擅长领域: 大数据服务器前置系统

cuicuitiger 最近回答过的问题

回答状态

  • 发布时间:2016-10-28
  • 关注会员:3 人
  • 回答浏览:1173
  • X社区推广