对于大型的IDC机房,到底是使用hdfs好,还是使用ceph好?

目前,公司里用分布式存储使用hdfs和ceph的较多,对于大型的IDC机房,到底是使用hdfs好,还是使用ceph好?显示全部

目前,公司里用分布式存储使用hdfs和ceph的较多,对于大型的IDC机房,到底是使用hdfs好,还是使用ceph好?

收起
参与17

查看其它 1 个回答zhuqibs的回答

zhuqibszhuqibs软件开发工程师Adidas

(1)Ceph是去中心化的分布式存储,确实有无限扩容的能力,但需要良好的初始规划,扩容过程也并不完美。
(2)hdfs是中心化的分布式存储,只要master节点的能力够,理论上扩展节点是没有上线的。

对于大型IDC机房, 经常会进行扩容,而坏磁盘是司空见惯的现象,一旦坏磁盘,ceph就暴露出问题了,对于1000台规模的集群一天坏个2-3块盘很正常。crushmap经常变动,对Ceph内部不稳定,影响真的很大。随之而来,可能是整体IO的下降(磁盘IO被反复的rebalance占满),甚至是某些数据暂时不可用。
所以,如果规模较大的集群,还是hdfs更为稳妥。

互联网服务 · 2020-04-15
浏览1637

回答者

zhuqibs
软件开发工程师Adidas
擅长领域: 云计算服务器存储

zhuqibs 最近回答过的问题

回答状态

  • 发布时间:2020-04-15
  • 关注会员:3 人
  • 回答浏览:1637
  • X社区推广