Hadoop各存储组件,如hdfs、hbase、hive如何做备份以及异地容灾?

背景:虽然分布式存储引擎一定程度上降低了单点故障所带来的可用性降低,但是,为了确保数据的正确性,尤其是因为逻辑错误导致的问题,也是需要做定时的备份,异地容灾等高标准的高可用性方案。现状:仅仅HBASE有做hbase replication当作异地机房容灾。Hive有备份的方案(Hdfs snapshot...显示全部

背景:虽然分布式存储引擎一定程度上降低了单点故障所带来的可用性降低,但是,为了确保数据的正确性,尤其是因为逻辑错误导致的问题,也是需要做定时的备份,异地容灾等高标准的高可用性方案。
现状:仅仅HBASE有做hbase replication当作异地机房容灾。Hive有备份的方案(Hdfs snapshot+元数据mysql dump),但无异地机房容灾方案。HDFS无备份、异地容灾方案(HDFS未单独作为存储引擎,都是作为HBASE和HIVE的底层)。
问题:是否有较为成熟的针对整个hadoop集群来做备份、异地容灾的方案?如何实现?

收起
参与3

返回rockcat的回答

rockcatrockcat解决方案架构师Cloudwise

目前好像只有靠公有云的存储服务来实现异地容灾。

IT咨询服务 · 2020-09-21
浏览2107

回答者

rockcat
解决方案架构师Cloudwise
擅长领域: 大数据系统运维数据库

rockcat 最近回答过的问题

回答状态

  • 发布时间:2020-09-21
  • 关注会员:2 人
  • 回答浏览:2107
  • X社区推广