中国金融业的云存储整合刻不容缓

字数 7980阅读 4322评论 0赞 0

1.1 金融业在存储上遇到的挑战	2
1.2 传统模式迁移到云存储的急迫性	5
1.3 云存储整合的解决方案 	9
1.3.1 云存储整合的实际价值	12
1.3.2 云存储整合的适用场景：	13
1.3.3 云存储整合的注意事项：	14
1.3.4 云存储技术的展望	17

中国金融业的云存储整合刻不容缓
1.1  金融业在存储上遇到的挑战
   当前IT技术与应用需求已经驶入了飞速发展的快车道，大数据、云计算、物联网、移动互联。。。新技术硕果累累，深刻的改变了人类的生活，每时每刻都有海量的数据产生。同时，企业也深刻的认识到数据的价值，产生了海量的数据存储，数据检索，数据分析计算需求，存储技术发展速度越来越难以满足数据的增长和人们对新应用的需求。
 
   金融行业本身数据的飞速增长引发的大数据时代的来临，也因实施云计算、虚拟化带来的存储IO需求成数十倍、百倍的集中和增长。 一方面谷歌、亚马逊等互联网公司采用分布式存储云来应对，另一方面主流存储公司商也开始寻找各种能像当年磁盘淘汰磁带一样的突破性技术。   
同时，行业本身的变革也需要突破性的技术来构建基础IT环境，以支持业务的迅猛发展。以证券行业为为例，2014年底启动的天量行情，催生了全市场2.5万亿交易量，券商证券交易系统的处理能力要求比以往提升了3～5倍以上，对作为基础技术硬件支撑的存储系统也提出了严峻的挑战，具有更大的并发能力、更高的吞吐量、更低的响应时延的需求。

此外，由于历史原因，大的金融业集团的采购权曾长期在各个分公司，而且金融业中小企业的整合一直在进行，使得大部分企业的存储由于原先独立采购、实施、运维，几乎所有的存储公司商和各个层级甚至各个时代的存储产品都有。
     基于以上原因，我们可以看到，金融业的数据分布有着天然分散的特征，但随着金融业对业务应用、电子商务、多媒体、电子邮件和特别是数据挖掘等系统不断的增加，数据也正在成为这些企业最重要的财富之一。对于数据的存放及管理任何一家企业都不会掉以轻心，数据一旦丢失，企业失去的将不仅是眼前的财富，更可能是未来的发展机会，所以，企业对存储设备的高要求越来越多和强烈。
并且，随着业务发展，金融业企业一方面充分利用已有的各种存储设备，另一方面也不断增加适合自身应用的新存储设备，所有的这些存储设备由于以上原因往往来自不同公司家或采用不同型号，而这些异构存储会为企业带来了以下挑战：
如何建立一个统一标准的存储架构，该架构可兼容新存储设备以及利旧老的存储设备，在满足企业数据管理需求的同时降低存储的总体拥有成本；
如何统一存储资源，做到各种存储设备的资源共享，减少存储资源浪费的同时避免众多“SAN信息孤岛”；
如何降低对存储品牌的依赖性，避免由于历史等原因只能选择单一存储品牌；
如何提高存储设备的使用效率，可近乎无限的扩展存储容量以满足企业数据不断增加的需求；
如何在人手有限或打算降低运营成本的情况下管理日益增加的存储设备及容量；
如何保证存储层的可靠性，做到跨存储设备的数据保护，增加企业业务连续性保障；
以上挑战影响了金融业企业存储系统的整体使用情况，带来了数据和设备管理的各种问题。

1.2传统模式迁移到云存储的急迫性
   
     在业界，大量异构存储的整合工作也叫“虚拟存储(Storage Virtualization)”或“云存储”，是指把多个存储介质模块(如不同的磁盘阵列、硬盘等)通过一定的手段集中管理起来，所有的存储模块在一个存储池中得到统一管理，其目的是集中存储资源，更好管理存储为企业提供资源。
根据网络存储工业协会（简称SNIA）给出的定义，存储虚拟是抽象、封装多台磁盘阵列或网络、主机、应用资源的内部功能和复杂度，实现网络、主机、应用与数据存储的无关的管理。存储虚拟化目标是让复杂存储使用简单化、标准化，为主机层、应用层提供一个简单的、一致性的界面。存储虚拟化实现主要集中在存储物理数据块的抽象、封装，让数据库或文件系统实现透明的访问物理数据块。
   随着服务器虚拟化技术在全球范围的日益普及，云存储/存储虚拟化也逐渐为人们所熟悉和接受，许多企业用户都认识到采用这项技术能够为他们带来更多便利和可观的商业效益，这是因为它们目前在数据存储和管理环节面临的许多问题，以及他们IT系统在未来发展中可能产生的许多需求，都需要通过云存储技术来解决和满足。
迫切需求一：云计算的加速落地
      近年来，在IT基础设施虚拟化风潮的推动下，云计算(Cloud computing) 这一新理念正受到业界热烈追捧，并被奉为高效IT架构的未来模式。这种灵活、高效的模式能够在企业真正需要的时间和场所为他们提供强大的IT处理和应用能力，最大限度避免生产能力过剩、冗余及各种不必要的成本。
     借助于一个池化的计算资源，企业各个部门可分享彼此的计算能力，全面降低数据中心的冗余，提高IT基础设备的利用率。
    许多金融业企业都已意识到了这一新模式的优点，并且纷纷付诸行动。他们首先对服务器进行了优化整合和标准化，在该阶段完成后，他们又开始进入第二阶段，即建立一个动态的、可调整的存储架构，也就是建立一个存储池以提供各种应用工具和应用指导。
    尽管在第一阶段， 大家关注的焦点主要是集中在服务器的虚拟化上，但实际上，服务器的虚拟化或者池化，其动态、弹性、灵活、快速部署等优势的体现很多来自于一个共享的、高性能、超大容量的存储池，及网络的虚拟化也是不可或缺，对于原先分散在各个本地存储的IO需求，伴随着服务器池化的众多系统的集中，爆发出前所未有的强劲需求。
 迫切需求二：存储管理失控情况凸显
     云存储技术不但能满足企业发展公用计算模式的需要，它还可以解决许多企业面临的越来越明显的存储失控问题。
      大多数金融业企业的IT部门通常都只局限于对存储设备进行优化，因为他们缺乏对于企业所拥有的所有设备的整体大局观。而今，这些企业都已意识到，他们需要将数据存放在最可靠、最合适的介质上，在保证高效的同时减少存储的高额成本。同时，服务器虚拟化后，对集中存储的要求和存储的性能高要求也使得SAN存储系统近年来在金融业企业得到广泛应用。可事实上，这种做法往往导致了许多存储“孤岛”的产生，因为各个部门都在建立各自的SAN系统以便在必要时增加存储容量。业界公布的一份调查报告显示：在接受调查的企业IT部门负责人中，近一半人承认他们在采购时都是根据各部门的要求，而非基于企业整体考虑需求。这种基于项目或部门的采购所造成的结果自然就是设备的低利用率，因为各企业的采购预通过更高效地利用存储资源，虚拟化存储技术将帮助企业简化存储管理，提高存储设备利用率，实现数据的安全和高效利用，大大降低相关的人力和成本支出。
     由于金融业信息系统管理天然的分散特点，许多企业及其IT部门经常面临的都是一个混乱、无计划、难以管理控制及低利用率的环境，对于他们来说，要想改善这一局面，采用云存储技术是势在必行的。
迫切需求三：信息生命周期管理的需要
    除有助于企业对存储资源进行高效管理、控制及利用外，云存储技术的迅猛发展还有其外部因素——信息生命周期管理（ILM ）。这块目前市场上最抢手的大蛋糕正吸引着无数人的目光，而离开了云存储，ILM 根本就无从谈起。
    金融业在不断扩展或者整合、搬迁，分布式系统数量的爆炸性增长，使得存储管理越来越困难且开销更高。而对孤立、非集成的存储资源进行本地管理，就需要熟悉各种管理用户接口，这样，存储管理员需要不断学习。而同时，为了满足呈指数增长的数据要求，产品和平台又在不断增加。 对未来的计划永远跟不上变化。硬件开销在不断降低而人员的花费在不断升高，这些都导致了管理费用超出控制之外。
     另外，几乎所有的金融业企业都慢慢意识到存储的稳定性和可靠性需求不仅仅是一个系统的事，随着高层级ERP特别是BI的实施，即使等层级一个系统的暂时存储数据的问题也会波及到更高层级数据的准确性，因此开始向服务提供商提出这样的要求——在发生突发性灾难的情况下也要保各个数据系统的运作。更何况生产业务繁忙时，某个核心生产信息系统一个1-2小时的故障严重时会波及全公司的生产供应链的中断，损失有可能会超过整个信息化系统的投资。此外当服务器集中后，存储的故障波及的将不仅仅是一个信息系统，将十倍甚至百倍于原有的系统数量。
     通过更高效地利用存储资源，它将大大减少用户的人力和费用，在此基础上如果再采用能够在不同存储层之间传输、应用数据的ILM 技术的话，所产生的效率将更加显著。
    云存储技术最大的优点就是将存储资源置于软件层面，而将诸如安装、配置、监视、管理等物理层面的工作全部交给训练有素、经验丰富的一小组管理人员，这种做法无疑将大大简化业务运作、存储管理，从而降低综合管理成本。
     最近几年业界对磁盘存储整合的研究也证实了这一点， 物理上合并的存储设备能成倍提高存储管理的效率，通常管理整合存储设备的整个花费，将远远低于在好几个地方管理不同的存储系统，并且，在存储整合环境下生产效率会大大提高。公共存储管理使得能利用公共的技术人员、磁盘和磁带资源，按同一道程序对所有的集中化数据进行管理。
        基于以上三大因素，金融业企业特别是完成了部分服务器器虚拟化项目的企业，已充分意识到存储整合的必要性和迫切性，近年这样的存储整合需求也越来越多，势头强劲。
1.3
云存储整合的解决方案

在云计算视图中，存储是不可或缺的组成部分。根据存储在整个云计算环境中所起的作用大小，扮演角色的重要程度的不同，我们把以提供计算资源为主，通常为企业客户提供服务，存储自身不具备独立提供云管理服务，但因其具备对云计算有更佳的支持能力，而称之为云就绪存储，简称云存储; 而对那些主要提供存储资源服务为主，通常面向大众服务，自身具备较强的云管理能力，基本可独立提供云服务的存储系统，称为存储云。
云存储的核心云存储技术其实远在5年前或者更早，VERITAS公司、IBM公司和Vmware公司各自在自己领域都推出了自己云存储技术的产品，现在这些产品逐渐也具备了云存储的特征。
1.基于主机或服务器的存储虚拟化。该方案主要依赖安装在服务器上的存储管理软件，实现存储物理卷虚拟化，形成虚拟逻辑卷，提供给文件系统或数据库访问。由于存储管理软件是运行在服务器上，会占用服务器CPU 资源。但是，因为不需要任何附加硬件配置，其最容易实现，投入成本最低，也可提供图形接口，方便SAN 和虚拟化存储管理。代表产品为传统的VERITAS的VFS,以及IBM的GPFS实现卷管理和文件系统级的虚拟化,还有目前非常热的IBM 的PowerVM,Vmware的VMFS的存储管理功能也可以划分此类。在国内，电信、移动通信运营商的系统使用这种传统的存储虚拟化的广度和深度尤为突出。

2.基于存储设备的存储虚拟化。该方案主要依赖于可提供虚拟化功能的高端存储系统，其封装了其他存储设备物理特性，统一提供给存储区域网络上的服务器。当然，这种虚拟化方案意味着将锁定某一家存储设备供应商，但是，这种方法较容易实现，容易和某个特定存储供应商的设备相协调，更容易管理，同时它对用户或维护管理人员都是透明的。代表公司商如HDS的UVP,HP的XP系列；对于阵列自身的虚拟化，可以有IBM的DS8000、XIV;HP的VA系列，DELL的Dell EqualLogic等。值得一提的是，NetApp的统一存储系列，有其独到的特色，控制器的操作系统虚拟化程度非常高，从而可以轻松在一个host端口同时支持包括iscsi、FC等各类协议，近年来发展迅速，算是一个非常有生命力的存储虚拟化的分支。

3.基于存储区域网（SAN）的存储虚拟化。通过在存储区域网这一级采用智能化的路由器、交换机或者是增加一个元数据服务器等来实现虚拟化的工作，它通过提供一种中央虚拟化方式将网络中的存储资源集中起来管理，从而降低了TCO，提供了一个“开放的”虚拟实施环境，最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲，基于网络的存储虚拟化又分为带内(In-Band)和带外(Out-Band)两种，这两种方式的主要区别在于存储网络中数据I/O 与控制信息是否使用同一通道。该方案是目前业界比较认可的发展方向，主要依赖增加SAN的虚拟化设备来实现，在存储和主机（或者准确地说光纤交换机）之间形成虚拟层，它将存储区域网络上的各种品牌的磁盘阵列整合成可管理的存储池，在存储池中按需建立存储虚拟卷，并将这些虚拟卷授权分配给存储网络上的服务器，达到了充分利用存储容量、集中管理存储、降低存储成本的目的。代表产品为带内产品的IBM的SVC，LSI的StoreAge SVM等，但目前这个市场上，IBM的产品已经处于垄断地位。

1.3.1 云存储整合的实际价值
这一点各个公司商论述不同，下面仅谈谈我们实施存储整合项目中使用的主要收获：
1)可以有效控制存储容量增长，提高存储资源利用率。
   利用IBM SVC云存储技术结合我们对应用和存储的理解，我们有效的整合IBMDS4000存储、EMC、HDS、UIT等各家存储公司商的存储，并提高更深层次的存储虚拟化。同样利用精简配置，一套小型机的系统环境节省的空间可高达70%以上。
2)大大增加存储灵活性，可以不用修改应用来实现老存储至新存储整合迁移。
   利用Vmware公司提供的vmotion工具，实现了1台老的H3C存储平滑迁移到1台新的UIT存储上。同时，也利用了IBM的PowerVM技术完成了从老的富士通阵列向新的IBM存储的整合迁移。
   而最新的SVC6使用过程中，顺利的实现的一个操作系统的一个磁盘跨越3个阵列的镜像，而无需系统层面做任何镜像，看到得和原来一个磁盘没有区别，大大降低存储长久以来本地高可用性的复杂度。
  可喜的是，在这些迁移和整合过程中，应用未做任何变更，甚至大部分场景业务无需中断。
3)简化存储的部署、管理
利用云存储技术，对于不同公司商的存储，除了初期的部署，日常存储的管理有了统一的管理平台。日常系统管理人员，基本上不再需要了解具体存储的存放位置、管理界面等等。
1.3.2云存储整合的适用场景：
以下场景，我们可推荐使用云存储技术:
数据中心的存储数量种类多，数量多，以中低端存储为主，至少3台以上。
数据中心有大量的开发测试环境，灵活性和管理便利性远大于性能的需求。
数据中心的大多数环境的存储的I/O负荷一般很低；
数据中心的环境不同时被长时间使用，负荷高峰不会同时到来；
这些环境存储公司商种类较多，希望简化管理。
存储设备逐步老化，应用还要不作变更但仍需继续使用；
这些环境申请时很难预估今后的容量变化或者不适合在线扩充容量，希望精简管理。
分配的项目环境生命周期短，数量多，申请、撤消变化快。
有足够的技术实力消化或有经济能力购买公司商的支持实施老存储的整合服务
有较强的技术实力处理云存储技术产生的管理问题。
大家不难发现，对于金融业企业的开发测试环境、学习实验环境、边缘非核心系统、云计算数据中心，云存储技术有着天然的优势。对于较大的企业，这样的环境存储需求较多时，可以实施。 
此外，对于有实力实施高可用性方案的企业，又有如上述第6点这样特殊需求，也是一个较好的选择。比如开始实施服务器整合或实施托管机房的企业等等。
除了少数特殊场景，截至目前，对于大多数企业级的高性能核心应用，我们还是建议采用传统方式，暂时不推荐使用，但据我们的分析和观察，这样的核心系统在整个企业里的比例正在快速缩小，应该已经低于20%了。
1.3.3云存储整合的注意事项：
1. 调研需求并明确目标
          这一点虽然是所有项目成功的必要条件，但在存储整合的过程中，需要特别注意金融业企业的不同于其他行业的特点，比如：
1）金融业企业对节能和节省空间的需求不高
由于绝大部分的大中型金融业企业，一般有能源处理能力，即有能力自行向数据中心供电；此外也由于一般地处偏远，对机房的占地没有太大约束。对比寸土寸金的金融行业机房，这一点尤其明显。
2）金融业企业对稳定性和可靠性要求较高
   由于金融业企业的地域分布广，系统机房会镶嵌在公司区里，运行环境相对恶劣，而由于生产的7×24小时持续性，系统持续稳定运行要求很高，相对于金融行业夜间有大量的时间处理，有其不同特点。    
   此外，即使是金融业企业，不同的企业也有不同的特点，不仅仅是调研清楚目前的状况，还有充分考虑进度、人员能力等实际情况，对项目的成功至关重要。
2.选对合适的整合方案及产品
建议从3个方面选型：
1）云存储的成熟度，对于可靠性要求较高的金融业，该方案的成熟度、可靠性是值得重点关注。
2）云存储的整合兼容性，至少要覆盖需要整合的存储，还要考虑能有效支持现有的服务器特别是小型机，并能支持未来采购市场主流存储。
3）云存储池化的灵活性，以我们的实施经验，对于大多数实施整合的企业，存储的池化支持回退操作，将有效的消除整合对象的系统负责人的顾虑，有利于项目的推进。
3.选对合适的整合服务商
    选对产品是存储整合成功起点，而要想最终成功，需要认识到在金融业的企业的存储整合，是一个长期的服务过程，因为各个系统能停机的时间不一致，有时项目的完成时间可能长达1-2年，而整合某个系统，一年里可能只有8小时的实施时间，因此这些工作一般很难由原公司来完成，选择一个有实施经验、技术能力强、服务好、了解企业应用、有条件提供较多现场服务的国内整合服务商就显得非常重要。
此外有以下业界云存储的实际情况也需考虑：
1)对性能不一定有很大提升
由于多了中间层，一般情况下某些大量读写下，对性能是有转换的损耗，能否由于存储虚拟化设备cache的增大而提升中低端阵列的性能，需要根据应用的特点具体分析和验证。由于精简配置之类的优点，对性能的损失更是需要注意的。
2)还没有形成标准
虽然随着越来越多公司商的推动，尤其是云计算的兴起，云存储技术变化更快了，但实际上目前还是没有真正形成业界的标准，实施时的某项技术不能排除过运维几年由于该技术没落而找不到技术支持。
基于以上选型的条件，我们目前大多数场景下推荐以IBM的SVC为核心的解决方案，经过10年磨一剑，已基本趋于稳定，可以适于金融业企业的企业级应用。事实上，今年IBM的SVC系列的在国内的销售成爆发性增长，也强有力的证实了我们的观点，而金融业企业的存储整合正逐步工程实施推广。
 
1.3.4云存储技术的展望
   随着越来越多的云计算公司商特别是另一个服务商Google、Amazon、Redhat、Cloudrea等公司的加入，尤其是新出现的开放源码的存储云技术hadoop，思科、华为等传统公司商在云网络的发力，云存储技术还有一个快速发展的过程，我们认为未来将会有以下变化：
逐步从专业化向标准化转变。即目前各个公司商互不兼容的现象将逐步消失，中低端存储领域的速度会远远快于高端存储。
成本逐步下降，乃至软件免费。随着开源的云存储技术的出现，将迫使IBM、EMC、HDS、NetApp等主流公司商调低软硬件件本身的价格，而采取服务收费等方式获取利润。
应用范围加速扩大，并随着上述2点问题的解决，将促使远来越多的金融业企业运用该技术。

svc ibm 金融行业

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

中国金融业的云存储整合刻不容缓

添加新评论0 条评论

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料