不错的互助交流活动,支持,支持!
这个问题很大。我理解实时数据仓库更加贴近线上业务场景,是根据业务场景和需求不断迭代的产物,在互联网企业中实时的数据处理和加工的诉求和实现更多方式更普遍。...
我们曾经做过一个风控类的项目,大概在几十毫秒完成指标计算,并将指标反馈给实时决策引擎。思路有两个。一是业务系统将交易报文下发给实时指标加工模块进行处理,指标加工模块完成指标计算后同步返回加工结果;另一个是上游...
我也提了一个类似的问题,考虑到目前业务系统现状,很难配合进行实时数据采集的改造,很多场景是采用网络旁路或者OGG等方式进行数据采集,对于数据的业务状态和数据丢失无法完全保证。我自己的想法是应该结合应用场景,有些场...
数据治理大概是数据使用和建设中比较有共性的痛点,传统数仓也少见能很好的解决这个问题,虽然工具建设不少但数据治理的效果并不理想。我们在大数据建设上做了一些尝试,将数据治理的要求内嵌到数据开发的过程中,通过开发工...
实时数仓的数据粒度应该要跟技术实现有关,我理解有起码有两类实现方式,一类存储指标等汇总数据,另一类是存储清洗后原始数据:1.一类是基于根据实时采集的数据,在历史存储的指标基础上行加工新的指标值。这种实现方式是没有...
如果做了有类似HADR之类的备库的话,可以考虑直接采HADR库。
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024 talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30