wangtao2015
作者wangtao2015·2020-06-07 18:52
技术经理·某农商银行

银行IT基础架构基于超融合进行分布式和云化改造适用场景交流探讨

字数 9441阅读 4201评论 0赞 0

随着科技的发展,各行各业的基础设施都发生了不小的变化,银行业作为传统金融行业也经历了技术的变革。依托互联网,银行业务发展迅速,同业竞争同样激烈,这对金融科技的要求更加严格和苛刻。传统的基础设施架构也不能适应当今快速发展的业务,银行业基础设施架构亟需更新换代。

近几年,我国大力推进科技创新,云计算、大数据、人工智能与我们日常工作越来越近。私有云技术正是针对业务快速发展迭代的解决之道,银行业正根据自身的业务特点进行架构转型,传统的部署方式正逐渐被云计算所替代,同时分布式存储资源依靠其得天独厚的价格优势冲击着传统的集中式存储。

目前,超融合作为新一代分布式架构,与传统的虚拟化、云计算相比,有哪些优势?未来的发展方向如何?对于像“核心交易、支撑管理、互联网金融、大数据分析”等重要业务,哪些业务场景更加适合使用?我们选择超融合产品时又应该注意哪些?

为解答以上疑问, TWT 社区特邀请超融合金融行业技术专家,以及SmartX技术专家。基于诸多银行IT基础架构基于超融合进行分布式和云化改造适用场景专场探讨。

本场交流活动回顾:https://www.talkwithtrend.com/Activity/?id=1575

以下是本场交流活动的典型问题

1、银行基于互联网业务的超融合架构与传统架构性能比较能有多少的得升?

银行基于互联网业务的超融合架构与传统架构性能比较能有多少的得升?改造的成本如何?

回复1:wangtao2015 技术经理 , 某农商银行
互联网业务比较看重高并发性能和弹性扩展,这点正好是超融合架构的优势。相对而言传统架构往往会存在无法横向和纵向扩展的问题,在高并发的情况下容易出现性能瓶颈。
设计的比较好的超融合架构在互联网业务上应该会有比较大的性能提升。
改造的成本要看原来的架构平台。如果从小机迁移会有一定的改造成本。如果原来已经是x86架构的话,改造成本比较可控。如果已经虚拟化环境的话,用虚拟机迁移工具会比较容易迁移。

回复2:金鑫 解决方案架构师 , SmartX超融合
我理解您的问题应该是本次分享中的一个场景(某城商行互联网系统基于超融合架构的性能验证),在这个真实场景上,超融合架构在比传统架构物理CPU和内存资源配置底的条件下,以相同的基准性能测试,超融合架构提升了30%的数据库TPS,减少了27%响应时间,当然在不同的场景和不同的资源配置下,性能指标会有不同,这个案例非常具有参考意义,超融合架构自身的IO路径优化,高性能缓存等技术是用于保障高性能场景的重要技术支撑。 关于改造成本评估,通过几个纬度我进行说明,首先是初始的设备采购,很多时候传统架构都是先把3年的资源一次买到位,而超融合是采用小步快跑的方法,根据需求弹性扩容,其次是买多少,相比传统架构(服务器、虚拟化软件、集中存储、网络设备都需要独立进行采购),而超融合一体机更加简单,以节点为单位,综合成本性价比更有优势,最后就是人员成本,超融合架构可以简化IT日常运维复杂度,从而减少和运维人员的工作压力,提高效率,释放更多的生产力。

2、银行超融合改造的主要难点及风险点?

1、银行超融合改造的主要难点是什么?
2、传统都是SAN FC架构改造为超融合后,不使用专门的独立存储,而将计算和存储合并到计算资源服务器上,这样是否将计算和存储的故障点合并,如何规避计算和存储合并后的风险?

回复1:wangtao2015 技术经理 , 某农商银行

  1. 超融合改造如果从传统架构迁移,它很可能会跨越不同的主机平台,不同的操作系统,主机访问存储的路径都会改变,通常应用系统需要改造甚至重构,这往往是最困难的,很多情况下会选择放弃。
    如果从虚拟化平台迁移相对容易一点。
  2. 传统SAN架构改为超融合后,风险点会从原来的HBA卡、光纤、光交、存储等转移到虚拟化平台和分布式存储上,故障点减少了。规避风险的方法一般是做好备份,条件许可的情况下可能另外搭一套容灾集群。

回复2:rxj 运维经理 , 天津银行
超融合天然适用于虚拟化场景,在银行业,使用虚拟化的场景都可以用超融合来支撑。银行从传统存储到超融合改造的难点主要在于对超融合这种新架构的学习和了解,改造后,超融合是可以为银行节省运维成本。

超融合本身是兼具了计算、存储、网络、甚至是容灾和备份等等技术,构建一站式,精简的 IT 基础架构。现实中,高度集成,简单易用的产品在大多数领域都是一个趋势;例如,10 年前,我们去旅行要带手机、数码相机、钱包这些物品,但今天我们只需要带一个智能手机就可以代替这些物品,而且它可以不断通过更新,获得新的功能,这个是高度集成,软件定义带来的便利。 有服务器需要下线维护的时候,在传统架构中只需要考虑损失了多少计算资源来评估影响,在超融合架构中,对一个节点下线意味着计算资源和存储资源同时有一部分损失,我们在设计高可用的时候就要求将这些因素统一考虑,才能真正获得超融合架构带来的高可用、灵活、高性能等的优势。这都需要用户在思想上做调整,以超融合的新思路规避所谓的新风险。

3、请问我们到底是选择上私有云还是选择上超融合?

请问我们到底是选择上私有云还是选择上超融合?
私有云的方案如Zstack等也有精简版本,运维管理也比较容易,甚至也会提供SDS,请问什么情况下选择超融合更合适?

回复1:荣重实 技术总监 , XSKY
问题似乎应该是选择超融合或者分离部署,看应用类型和需求,如果集群规模够大,数据量够多,比如一定会超过20个存储节点且未来数据量不可预估,那肯定是选择分离部署的方式;还有就是想对数据层单独管理,避免超融合架构节点一损俱损的风险;如果是很小规模,业务和数据没太大增长,超融合可以帮助拉近计算和数据的距离;从部署运维的角度,两者都是基于软件定义的架构,不会有太大区别,都可以做到便捷快速上线,如果搭配硬件一体机会更迅捷;

回复2:rxj 运维经理 , 天津银行
根据您的问题,首先我先解释一下概念,私有云与超融合并不是等价关系,在某种意义上,私有云是包括超融合架构的,也就是说,超融合架构可以用来提供私有云底层的资源池,通常虚拟化是私有云的基础,而虚拟化又离不开数据存储,超融合架构的特点是将传统虚拟化架构的(主机和存储)融合在一个设备内,利用分布式技术提供整体架构的可靠性和可用性。而私有云 CMP (云管理平台)用于在上层视角自动化管理、智能调度底层资源,按需交付和资源使用计量。

关于SDS与超融合的区别,最主要的不同就是存算之间的关系,SDS 是与计算分离的,部署的形态与传统架构虚拟化+集群存储非常相似,不同是SDS(软件定义存储)是分布式存储技术,利用通用的x86服务器。而超融合是将计算与存储进行融合的一种架构,同样也是采用分布式存储,但增加节点,集群的计算和存储性能都会线性增加。

超融合架构稳定可靠、简单灵活、性能高、易维护等特点,是非常适合虚拟化场景(服务器虚拟化、桌面虚拟化)使用,对于您的问题“什么时候选择超融合更合适”,有几种场景我个人认为是比较合适的,例如:物理服务器向虚拟化迁移、私有云建设场景、传统虚拟化架构向敏捷弹性架构演进等。

4、smartx的稳定性究竟如何?在金融行业一般应用于什么环境?

smartx的稳定性究竟如何?不知道有没有具体的数据案例来说话。
在金融行业一般应用于什么环境?有核心生产环境的案例吗?担心遇到性能问题。

回复1:金鑫 解决方案架构师 , SmartX超融合
Smartx 超融合架构目前在金融行业的生产环境、开发测试和容灾备份场景都有很多的部署运行案例,涉及银行、保险、证券、基金、期货、信托等金融细分领域,这也最好的证明了 Smartx 产品的稳定性,可以说金融行业是对系统稳定性和可靠性要求最为苛刻的行业之一,列举部分案例(交通银行总行数据、泰康保险、国泰君安证券、中信建投证券、东方证券、招商证券、国金证券、东兴证券等客户在生产、开发测试场景落地案例),决大部分客户在前期接触超融合架构时,都会有性能方面的考虑,所以也都会对超融合架构与传统架构进行性能对比测试,以打消顾虑,在本次的分享中,有大量关于性能测试的数据,这些数据均来自客户的真实场景。

回复2:zftang0809 软件开发工程师 , 合肥华宇随身软件

  1. 新建数据中心; 2. 数据中心资源整合; 3. 分行/分支机构,远程站点等ROBO场景; 4. 边缘计算; 5. VDI; 6. Devops场景; 7. 数据库等对存储性能要求较高的场景

5、超融合的部署方式是把故障集中起来了还是分散开了?

超融合的部署方式是把故障集中起来了还是分散开了?超融合架构横向扩展能力怎样?最好能举列说明。

回复1:wangtao2015 技术经理 , 某农商银行
个人认为一套应用系统的可靠性是它依赖的所有环节的可靠性的乘积,只要依赖的环节中任何一个环节出了故障,都会影响应用可靠性,而不管这些环节是集中的还是分散的。因此减少依赖的环节的数目,提高每个环节的可靠性是提高整体可靠性的方向。
超融合架构把传统架构是主机、存储、FC交换机等各个环节替换成了计算资源池、存储资源池,总的来说减少了传统架构的依赖环节,应该是提高了可靠性。
不过最好建议建两套独立的超融合集群,使用集群复制或同步功能,做集群的本地高可用,不化解故障集中的风险。
扩展能力是超融合架构的优势,横向扩展比较容易,可以随时向集群中加入节点,扩展计算能力和存储容量

回复2:rxj 运维经理 , 天津银行
超融合架构的核心是底层的分布式存储,从这个角度来看,分布式存储本身可以更好的提供高可用,分散风险:
1.传统的集中式存储,本身就是一个单点故障的风险点。此外除了高端存储会配备两个以上的存储控制器以外,大多集中式存储采用双控的结构,最多只能允许一个控制器故障。而分布式存储是通过多副本的方式提供高可用,用户在生产环境采用3副本的情况下,能够容忍同时有两个节点出现故障,在故障容忍度上有明显的提升;

2.传统的集中式存储采用热备盘的方式来抵御磁盘出现故障的情况,数据恢复速度慢,当发生磁盘故障的情况下需要及时更换。而分布式存储可以自动利用后台剩余空间进行数据恢复,即使运维人员没有更换硬盘,只要系统中有足够的空间,就可以正常的进行数据恢复。并且并发恢复可大幅提升数据恢复速率,缩短数据恢复时间,降低系统风险;

3.此外超融合产品大多还有提供多层级的数据保护功能,例如数据校验,机架感知等,也可以更好的降低风险; 从虚拟化平台的角度来说,当出现了单个服务器故障的情况,集群会自动触发HA,这一点上超融合部署与一般的虚拟化环境部署并无二致,因此也并不存在故障集中的问题。 基于以上,相对于传统的虚拟化平台+集中式存储的方式,超融合形态的部署方式实际上有效的分散了故障的风险。

回复3:金鑫 解决方案架构师 , SmartX超融合
首先我先简要介绍一下超融合的概念和原理,超融合架构是将计算和存储融合在一台x86服务器内,以最大化利服务器本地的计算和存储资源,同时超融合架构还有另一个特点,那就是分布式,可以说分布式架构是超融合的根基,超融合设备并不是单节点部署,最小部署节点通常是3节点起步(当然也有厂家提供2节点的起步方案,但并不是主流,更多用于分支机构,或小型办公场景),以3节点为例,节点组成集群对外提供服务,数据根据配置的副本策略,保存多份,以2副本分例,虚拟机A运行在节点1上,同时该虚拟机的数据同步备份(数据强一致性)到节点2,当节点1发生故障,虚拟机将从节点2恢复并启动恢复业务。(如果使用3副本,最多允许集群同时故障2个节点,对于3副本集群,最佳实践是集群5节点起步) 通过这个例子,可以看到,超融合并不是集中风险,其实是分散风险,根据业务需要,架构横向弹性伸缩,横向扩展即增加节点到集群,这样同时扩展了集群的计算和存储性能,希望我的解释能解决你的问题。

回复4:潘延晟 系统工程师 , 第十区。散人
我举个例子。穿透的竖井架构。好比卖鸡蛋的。若干个鸡蛋没有很大的空间存放。每个鸡蛋摆在一个小台子上。一个台子的故障只会损失一个极大。或者只波及和他关联的鸡蛋。
超融合则是吧所有的台子拼成了一张大桌子。所有鸡蛋摆在桌子上了。一个桌腿的故障不一定会造成整体的崩塌。但如果这个故障是在桌子的核心部件上。则有可能造成整个平台的崩溃。
为什么要选择超融合。因为传统的架构无法适应现在的业务变化和扩展需求。所以我们宁愿去拼装一台好一点的桌子。去摆这样一个便于管理的摊子。也不会去管理多个小台子。去维护多个鸡蛋。
还有就是如果你在超融合的架构上偷工减料。那么风险一定很高。如果你对超融合了解和准备的充分。把你的桌子打造的稳固。那么虽然故障集中了。但故障率其实是降低了的。

6、根据合规要求目前银行进行超融合改造适用哪些业务场景及所用技术手段的比较?

1、银行进行目前超融合改造用哪些技术:Ceph 、Swift、ClusterFS 、GPFS等?这些技术之间的优势和劣势各有哪些?真实的案例是哪个用的最多?
2、目前银行超融合云化改造适用哪些业务场景?根据银保监会合规要求, 核心生产还是非核心?

回复:黄云轩 系统工程师 , SmartX超融合
Ceph 、Swift、ClusterFS 、GPFS都是不同的存储解决方案,存储的对象类型包括应用场景各不相同。
Ceph是基于RADOS的对象存储系统,使用一系列API将数据以块(block)、文件(file)和对象(object)的形式展现。 Ceph适合非结构化数据存储,其对象存储特性适合云计算环境实时访问的虚拟机镜像和虚拟机磁盘。
Gluster适合结构化数据,采用传统的树形文件系统,适合海量大文件存储以及流式数据顺序读写,适合近线存储、数据归档环境。
Swift提供的同样是分布式体系结构的对象存储,它是基于云原生的,访问方式是通过Restful API,应用系统可以直接绕开操作系统直接访问。 相较而言ceph更加开放,可以提供多种的数据访问方式。
Ceph采用强一致性设计,Swift数据是最终一致的,同步一致数据需要时间。所以在设计和使用的场景根本上是有区别的。
GPFS是IBM开发的高性能共享文件系统。可以允许集群中所有的节点访问同一文件的数据。 由于
Ceph基本上已经成为了Openstack的标配,同时可以提供对象存储、块设备存储和文件系统存储服务,所以应用场景最多。

银行的业务系统IT解决方案目前主要分为业务类、渠道类、管理类以及其他。从业务承载的角度来看,后三类在超融合环境中完全是可以满足的。至于业务类系统中哪些能够承载则需要换一个角度来看,比方说应用系统本身是否有进行过改造,是否已经从小机下移至X86服务器上,是否有做过服务的拆分,是否能够部署在虚拟化环境中。如果应用系统能够部署在虚拟化环境中,那么在超融合环境中完全也是完全可以适用的。

7、SmartX支持研发的虚拟桌面的场景还需要采购Citrix吗?

SmartX支持研发的虚拟桌面的场景还需要采购Citrix吗?

回复1:wangtao2015 技术经理 , 某农商银行
smartx超融合平台的虚拟化层支持vmware,kvm,xenserver。本身软件套装包含了kvm虚拟化的。如果选用商用的xenserver或vmware,还需要采购额外的许可。

回复2:吴科 售前技术支持 , SmartX超融合
SMTX OS支持多种虚拟化平台,包括了KVM、vSphere以及XenServer。用户在部署虚拟桌面场景时,SMTX OS可作为存储设备使用,Hypervisor层可以自由选择ESXi或是XenServer,同时虚拟桌面也可以自由选择View或是XenDesktop。 SmartX目前没有虚拟桌面产品,同时暂不支持采用SMTX OS作为Hypervisor层对接上层的虚拟桌面软件。

回复3: 需要采购Citrix的虚拟桌面许可证。
SmartX是超融合架构,实现的计算、存储和部分网络功能的在同一台服务器上的融合技术,通过多台Smartx超融合服务器组成集群,为用户提供灵活的计算、存储资源。超融合使用SSD作为缓存,采用分布式架构,相比较传统架构,能够提供不错的的IOPS、带宽等存储性能,且方便快速灵活扩展。研发的虚拟桌面场景,通常需要快速发布虚拟桌面,实现短时间内大量研发力量集中,同时,有安全保密要求,做到数据不落地、不外泄。

在Smartx等超融合架构上安装Citrix,可以快速提供高性能存储,满足研发虚拟桌面场景中对IOPS、存储带宽的要求。但是由于Citrix上PSO功能需要基础架构底层支持ICA协议,Nutanix、Vmware等国外产品能支持ICA等底层协议,SmartX作为国内厂商,能够提供通用的基础设施功能,与国外产品对接时,无法做到ICA等底层协议识别和对接,故在Smartx上部署Citrix产品的虚拟桌面,无法提供PSO功能。

8、基于超融合构建开发测试桌面虚拟化平台能否满足业务系统的高IO需求?
基于超融合构建开发测试桌面虚拟化平台能否满足业务系统的高IO需求?

回复1:wangtao2015 技术经理 , 某农商银行
超融合架构的一个典型应用场景就是桌面虚拟化。一般配置超融合架构硬件的时候会配置一定比例的固态硬盘,加速IO性能,达到比较高的IOPS。

回复2:孙振正 SmartX金融团队技术总监 , SmartX超融合
VDI场景是特别适合通过超融合架构承载的,尤其是利用分布式存储的高性能,提供更好的桌面体验方面。超融合每个节点相当于一个传统存储控制器的机头,节点越多,超融合集群的IO性能优势越明显。

SmartX 银行用户在 VDI 场景下,部署的超融合节点规模已超过 50 个,支撑桌面接近2000 个,凭借出色的存储性能,有效解决了启动风暴的问题,为客户提供极致的桌面体验。

某银行用户验收测试中,20 个节点可以提供高达 80 万 IOPS,100 桌面从批量创建到启动完毕小于 30 分钟,应用启动小于 2 秒。

9、基于超融合支撑生产系统及容灾备份较传统架构有哪些优势?

回复1:wangtao2015 技术经理 , 某农商银行
传统架构做容灾一般先要解决数据复制问题,其次解决主机切换问题。
数据复制一般采用存储级复制或者数据库级复制技术。主机切换需要主机层的双机软件来完成。整个容灾方案比较复杂,需要配合的操作较多,一般需要自动化运维来实现一键切换。
超融合平台一般采用虚拟化技术,小规模的数据库系统可以直接部署到超融合平台上,一般超融合平台整体解决方案会包含SDS集群间的数据复制,以及虚拟化集群中主机的迁移,因此容灾方面相对简单一些。

回复2:hanaynxin 基础架构运维主管工程 , 中银富登村镇银行

超融合相较传统架构的优势主要体现在如下方面:

  1. 架构简单,部署快速,缩短业务所需IT基础设施资源的供给周期,也可以大大减轻在容灾环境下的运维压力,超融合架构改变了传统服务器、存储、网络相互孤立的基础架构,将计算资源、存储资源和网络资源进行统一融合,每个超融合架构的节点同时提供计算资源和储存空间,相当于传统服务器 + SAN 交换机 + 储存设备。
  2. 横向扩展,弹性敏捷,灵活应对零售业务场景下突发的高并发访问需求。超融合架构给虚拟化环境带来的重要差异化因素之一就是传统基础设施在进行计算资源扩展时其存储性能仍然保持不变。而在超融合架构中,在每个物理节点本地都运行着一个存储控制器服务,负责本地所有虚拟机的 IO 操作。当集群扩展时,新增加节点的同时也新增了控制器节点,保证了整个集群性能的横向扩展,有效解决IAAS层资源池化问题的基础上,能够更加灵活应对零售业务场景下突发的高并发访问需求。
  3. 开放架构,易于整合,模块般嵌入现有IT环境,实现架构松耦合,在硬件层面,在同一集群内或不同集群间超融合架构支持部署不同品牌主流 x86 服务器,构建异构的基础架构环境; 在网络层面,超融合架构无需依赖任何支持特定协议的网络设备,支持与现有以太网设备组网连接,超融合架构能够为上层应用屏蔽底层复杂和异构的基础架构,对主流硬件设备进行兼容性适配集成;在管理平面上,通过开放的Restful API与CMP,变更管理平台等IT服务管理相关平台对接方面,模块般嵌入现有IT环境,与已有的传统IT基础架构并存,对传统架构改造小,可以相对
  4. 平滑地纳入现有IT管理流程。
  5. 数据安全可靠,多层次的数据保护机制为业务连续性保驾护航。超融合架构采用集群的部署和管理方式,利用数据多副本机制实现数据分散存放,不同数据副本存放在不同的超融合节点上,当一个节点出现故障时,或磁盘故障,仍然可以依靠其他节点上的数据副本继续对外提供服务,配合机箱/机架感知,可以有效保证一个数据中心内部的数据安全,此外,结合同步复制和异步复制等功能,也能实现符合监管的两地三中心解决方案,有效保障业务连续性。
  6. 计算与存储深度融合,性能出色,有效满足小型机重要应用下迁X86架构后的高性能需求。节点部署高性能闪存盘 SSD 和大容量机械磁盘 HDD(存储分层),来应对系统高 IO 需求和大容量存储需要。利用 IO 本地化技术(IO 路径优化),超融合架构能够实现高速访问本地数据,而无需跨网络访问。条带化功能可以实现顺序写带宽性能提升,如数据从缓存层 SSD 下刷至容量层 HDD,此外NVME SSD + 25 Gb的网络以及持久化内存等高速介质的使用,可以提供越来越高的性能体验,有效满足小型机重要应用下迁X86架构后的性能需求。此外,超融合中的分布式存储也可以为容器提供持久化存储,灵活扩展的分布式架构,可以更高效解决无状态应用向有状态应用的过度。
  7. 节省空间,易于管理,降低运维复杂度和整体TCO。超融合可以有效降低机房空间的占用,同时,通过单一平台可以实现对虚拟化和存储全生命周期管理,降低运维难度,使 IT 日常运维变得轻松而简单(传统架构需要使用不同的管理工具实现对虚拟化和存储的管理工作)。

10、超融合目前对于容灾的技术方案是如何实现的?

请问超融合的容灾技术方案是如何实现??传统方式有基于存储的数据复制,也有数据库的复制,那么超融合的容灾技术方案如何??对于同步,异步方式,RPO RTO,参数支持的如何??

回复1:wangtao2015 技术经理 , 某农商银行
超融合架构的容灾技术一般是通过SDS存储层的数据复制来实现的。

相对于传统架构的可选的容灾技术,超融合平台也可以采用同样的容灾技术,比如用超融合平台的sds存储复制,也可以沿用数据库层的adg,hadr等数据复制技术。具体的RTO,RPO指标要看具体的实现方式。

金鑫 解决方案架构师 , SmartX超融合
SmartX超融合产品自身支持两种容灾技术,1)双活数据中心(拉伸集群),数据实时同步,需要满足网络带宽和延时要求,数据采用3副本,在主站点(优先可用域)存放2个副本,次集可用域存放1个副本,如出现站点故障,业务可直接进行站点切换,这个模式RPO为0。2)异步集群备份,将数据定时向备份集群执行备份任务(通过快照技术实现),首次数据全量同步,后续采用差量数据同步实现,此模式RPO为1小时。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论0 条评论

Ctrl+Enter 发表

相关文章

相关问题

相关资料

X社区推广