数据仓库系统的性能痛点如何解决

数据仓库系统。

数据库:GreenPlum

负载特点:OLAP大批量连续读写,IO繁忙率较高(账单日在90%以上),IO读写比约4:1

服务器配置:DELL四路服务器 + DELL MD1220直连DAS + Redhat5 + GreenPlum集群

需求痛点:存储容量剧增,对非结构化数据支持不好;IO繁忙率高,频繁出现坏盘;计算资源不足(CPU、内存、IO),目前硬件层面升级已经比较难,类似这样的话是不是只有大规模替换硬件这一种途径啊?

参与18
  • 频繁坏盘,比较正常,看raid规划,还有数据压力
    2016-03-15

5同行回答

sxtycxxsxtycxx 解决方案经理人工智能(计算机视觉)
    楼主所说的GreenPlum,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加,拥有非常良好的可扩展性   出现上述的问题,关键就是硬件配置的问题,   DAS直连这种架构除了扩展性有问题外,服务器与...显示全部

    楼主所说的GreenPlum,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加,拥有非常良好的可扩展性

   出现上述的问题,关键就是硬件配置的问题,

   DAS直连这种架构除了扩展性有问题外,服务器与存储之间的带宽也受端口的速率决定,也就是说你的服务器和DAS存储之间的端口应该就是以千兆计算的吧,这很大程度上决定了你的响应时间和频率,另外正是因为你的DAS,阵列中的磁盘使用效率太频繁,导致大量坏盘出现

    所以建议楼主在跟换硬件配置的基础上,要重新优化Host-Array之间的架构

收起
互联网服务 · 2016-03-15
浏览2434
s6dongs6dongit技术咨询顾问东软集团
根据目前的业务描述,原系统硬件架构存在问题。存储直连,i/o性能不是很好。存储坏盘可能设备硬盘老化或是数据频繁写入固定几个raid磁盘组造成的,可以查下存储逻辑磁盘在系统里的使用情况。对于非结构化数据存储,解决空间不足最好的方案是更换成分布式存储系统,可以根据数据量...显示全部

根据目前的业务描述,原系统硬件架构存在问题。存储直连,i/o性能不是很好。存储坏盘可能设备硬盘老化或是数据频繁写入固定几个raid磁盘组造成的,可以查下存储逻辑磁盘在系统里的使用情况。

对于非结构化数据存储,解决空间不足最好的方案是更换成分布式存储系统,可以根据数据量的增加横向扩展。存储协议不要之间和SAN,建议采用NAS

收起
互联网服务 · 2016-03-15
浏览2062
irvinyun1irvinyun1技术总监东方证券
首先,硬件更新像是必然的,不知道具体配置怎样。为什么需要配置直连的MD1220。我们的经验是类似服务器的配置单节点硬盘也不能过多。会形成瓶颈。其次,新的硬件配置网络要上万兆。千兆的话起码要多端口捆绑。再次,greenplum这类数据库优势是结构化数据的并行处理。但成本也不...显示全部

首先,硬件更新像是必然的,不知道具体配置怎样。为什么需要配置直连的MD1220。我们的经验是类似服务器的配置单节点硬盘也不能过多。会形成瓶颈。

其次,新的硬件配置网络要上万兆。千兆的话起码要多端口捆绑。

再次,greenplum这类数据库优势是结构化数据的并行处理。但成本也不低。我们的经验是另建一个Hadoop平台,将低频访问的或者非结构化的数据放到Hadoop平台中去处理。

收起
证券 · 2016-03-15
浏览2015
gxgodgxgod系统运维工程师天网软件股份有限公司
1、首先DELL MD1220直连DAS存储使用时间长2、可以新采购存储系统替换当前老旧存储3、建议采用如IBM XIV原理的存储作为业务系统,高并发、或利用闪存储系统显示全部

1、首先DELL MD1220直连DAS存储使用时间长

2、可以新采购存储系统替换当前老旧存储

3、建议采用如IBM XIV原理的存储作为业务系统,高并发、或利用闪存储系统

收起
系统集成 · 2016-03-15
浏览2094
LINE2008LINE2008系统工程师北京北鹰吉成科技有限公司
业务都有生命周期的,建议业务与数据库分离,或是扩容硬件试试。显示全部

业务都有生命周期的,建议业务与数据库分离,或是扩容硬件试试。

收起
互联网服务 · 2016-03-15
浏览2030

提问者

michael1983
技术总监某证券
擅长领域: 服务器云计算存储

问题来自

问题状态

  • 发布时间:2016-02-26
  • 关注会员:6 人
  • 问题浏览:7968
  • 最近回答:2016-03-15
  • X社区推广