数据仓库系统。
数据库:GreenPlum
负载特点:OLAP大批量连续读写,IO繁忙率较高(账单日在90%以上),IO读写比约4:1
服务器配置:DELL四路服务器 + DELL MD1220直连DAS + Redhat5 + GreenPlum集群
需求痛点:存储容量剧增,对非结构化数据支持不好;IO繁忙率高,频繁出现坏盘;计算资源不足(CPU、内存、IO),目前硬件层面升级已经比较难,类似这样的话是不是只有大规模替换硬件这一种途径啊?
楼主所说的GreenPlum,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加,拥有非常良好的可扩展性
出现上述的问题,关键就是硬件配置的问题,
DAS直连这种架构除了扩展性有问题外,服务器与存储之间的带宽也受端口的速率决定,也就是说你的服务器和DAS存储之间的端口应该就是以千兆计算的吧,这很大程度上决定了你的响应时间和频率,另外正是因为你的DAS,阵列中的磁盘使用效率太频繁,导致大量坏盘出现
所以建议楼主在跟换硬件配置的基础上,要重新优化Host-Array之间的架构
收起根据目前的业务描述,原系统硬件架构存在问题。存储直连,i/o性能不是很好。存储坏盘可能设备硬盘老化或是数据频繁写入固定几个raid磁盘组造成的,可以查下存储逻辑磁盘在系统里的使用情况。
对于非结构化数据存储,解决空间不足最好的方案是更换成分布式存储系统,可以根据数据量的增加横向扩展。存储协议不要之间和SAN,建议采用NAS
首先,硬件更新像是必然的,不知道具体配置怎样。为什么需要配置直连的MD1220。我们的经验是类似服务器的配置单节点硬盘也不能过多。会形成瓶颈。
其次,新的硬件配置网络要上万兆。千兆的话起码要多端口捆绑。
再次,greenplum这类数据库优势是结构化数据的并行处理。但成本也不低。我们的经验是另建一个Hadoop平台,将低频访问的或者非结构化的数据放到Hadoop平台中去处理。