作者微笑笑西西 · 2024-05-16 10:03

系统管理/架构分析·某城市商业银行

关注6

某省级城商行全行数据中心搬迁实战经验（完整版）

字数 8676 阅读 4103 评论 4 赞 4

内容摘要：

银行数据中心搬迁实战经验：重点考虑业务连续性，制定详细方案和测试计划，确保搬迁成功。搬迁方式包括应用切换和物理搬迁，应急与回退方案设计合理。需考虑备机支持、回退方案、流程规范、人员复核等风险控制措施。

当前摘要为AI生成

# 一、银行数据中心搬迁变更背景

## 1、搬迁变更原因
某城商行数据中心于某年年投产使用至今经历了10年。随着业务的不断发展，现有数据中心不论从空间、承重还是电力都难以支撑未来的业务增长，为了满足未来的业务增长需求，我行已建设新数据中心，并拟定于XX年完成生产数据中心搬迁变更。与此同时为了提高业务容灾能力，将原生产机房作为同城灾备机房，并且完善现有业务系统的同城灾备系统建设。

## 2、搬迁变更目的
根据我行信息科技总体战略规划要求，拟将原数据中心的核心、渠道、管理等业务以及开发、测试搬迁至位于某地的新数据中心，在满足业务搬迁至新数据中心的同时实现以下目标：

1）        业务影响度最小原则。目前各个业务系统应用中，核心应用为7x24的连续业务。为了尽量减少业务中断时间，搬迁方案要考虑尽量减少停机时间。核心生产系统停止服务时间不超过8小时，而且停机割接时间要求在周末或节假日非业务高峰时间。

2）        可回退原则。数据的迁移存在损坏、丢失等意外风险，所以搬迁计划必须充分考虑到搬迁中数据的安全，保证数据迁移中的任意环节可以回退，若数据迁移过程中发生意外不会造成计划外的业务中断。

3）        可靠性原则。业务系统物理搬迁必须通过可靠的保护措施，降低搬迁中的风险，保证系统搬迁后的业务的快速恢复。

## 3、搬迁变更内容
此次搬迁包含了我行核心、渠道、管理等所有生产环境，根据目前的方案已经确定了核心类系统采用应用系统割接方式，渠道类、管理类及其他系统采用物理设备搬迁的方式来实现。

在正式系统搬迁、业务割接前，需要新数据中心计方建设完毕，业务系统环境搭建完毕，网络设备安装、调试完成，确保现有生产数据中心机房与新数据中心机房之间网络无冲突，生产网络必须在逻辑上严密控制。

同时为了降低项目风险，减少对业务的影响，此次项目还涉及搬迁相关的总体方案设计，搬迁详细技术方案的选择和测试，以及风险防范等。

## 4、搬迁变更影响范围
生产系统搬迁将分为三个阶段：一、核心系统的搬迁与切换；二、渠道类系统的搬迁与切换；三、管理类及其他系统的搬迁。根据这三个阶段不同的业务与特点，其影响范围也将不同。其中：

1. 核心系统切换过程将影响全行所有的全行业务；
2. 渠道类系统搬迁与切换过程中将影响全行非核心业务；
3. 管理类及其他系统搬迁将只影响管理类业务。

# 二、银行数据中心搬迁变更准备

## 1、业务信息梳理及关联性分析
经过详细的信息梳理和统计，目前我行在原生产机房共有小型机XX台，PC服务器XX台，刀箱XX台，存储设备XX台，及其他类设备共计XXX余台。

我行自成立至今，先后建立了各类生产系统共约XX余套，按照类型分为核心类、渠道类、管理类以及安全与风控类，各系统之间联系复杂，既有相互的接口调用也有数据传输，无固定规律，对于数据中心的整体搬迁来说，由于银行业务的特殊性，要求停机时间尽量缩短，给业务造成最小的影响，并且保证整个过程的安全性和方案的严密性，如何详细分析梳理这些应用系统的关联性，最终决定了搬迁方案的走向。

作为数据中心搬迁工作的第一步，就是对整体的IT和应用架构进行彻底的梳理。即使在已经对IT和应用架构已经熟悉并了解的情况下，这一步骤也是必需的。因为IT和应用架构不是一成不变的，而是往往在动态调整的过程中，尤其对大中型企业或单位更是如此。为了做到数据中心搬迁工作的万无一失，在这个阶段，即搬迁设计的初期，重新进行IT和应用架构的发现与分析就显得尤为重要了。

本项目中，我们将采用信息收集结合传统问卷的方式对应用系统关联关系进行详细的分析，得到实际的、详细的应用关联关系，通过一些成型的模板和文档，快速有效的获取和收集相关数据，从而为搬迁风险分析、搬迁策略制定提供最可靠的依据。

通过关联关系最终得到了应用系统关联性关系，其中中心红色图标代表核心系统，依次向外为渠道类、管理类和其他系统，详细情况如下图所示：
![](/home/attachment/202405/16/931525_171582432648548.png)

从图上我们可以看出，与核心系统关联最为紧密与复杂的是渠道类系统（红色虚线圈内），因此在进行搬迁方案设计的时候应该充分考虑到这方面的关联，制定出更合理的核心与渠道类搬迁方案。同时我们看到虽然管理类相对来讲与核心、渠道类系统的关联较弱，但是其中个别系统，如个人信贷管理、公司信贷管理、数据仓库等系统依然有较复杂的关联性，因此在考虑管理类搬迁方案的时候也应该考虑这方面的关联性。

## 2、搬迁方案制定与细化
此次搬迁项目涉及我行全部核心、渠道、管理系统，牵涉面广，影响程度大，风险程度高，搬迁系统架构复杂。自搬迁项目组成立后，先后多次与相关部门及相关人员详细沟通，分阶段逐步明确细化搬迁目标。对现有系统和环境进行统计和梳理在目标明确后，搬迁项目组从业务连续性角度出发，充分讨论，详尽制定搬迁方案。

搬迁详细方案充分考虑到各系统的特点性，停机时间要求，安全操作，以及人员分工安排，制定出可靠、可操作性强的详细搬迁方案。

搬迁方案按照时间顺序分为以下几个模块：

**1）业务关联性分析方案**

- 主要包括内容：明确业务之间关联关系，确定搬迁批次划分，确定系统停机、启动流程等

**2）搬迁细化方案**

- 主要包括内容：确定各系统切换方案与流程、确定各系统切换操作手册等

**3）搬迁环境的准备方案**

- 主要包括内容：确定机房环境准备工作、网络准备工作、系统准备工作、人员工作安排、后勤保障等

**4）搬迁功能、业务连通性及性能的测试方案**

- 主要包括内容：测试方法确定、测试方案编写、测试案例编写等

**5）搬迁实施方案**

- 主要包括：物理搬迁方案，如设备位置规划、设备保护、设备运输等，切换日的切换方案和流程

## 3、银行数据中心搬迁测试计划
   为保障搬迁的平稳成功，扫除每一个盲点，确保每一个环境，项目组从各层面制定了一系列详细的测试计划。

系统环境层面，将组织对新设备进化相应的环境测试，并针对软件升级进行了各类升级测试验证以及相应的应用验证测试，确保搬迁环境的高可用性；项目组将专门针对核心制定测试计划，交易以及批量的技术测试，重点保障核心安全；

搬迁层面，项目组制定了系统测试、割接演练测试，模拟搬迁过程的真实重现，不断找寻搬迁方案的漏洞；

业务层面，制定了连通性测试、连通压力负载测试计划，确保搬迁对业务的完全透明。

在整个搬迁过程中，针对以下技术难点，将进行专门测试：

**1）单元性测试：**
由于本次搬迁中的核心生产系统在新平台环境投入生产，涉及到业务系统更改或系统运行环境更改，故要进行单元性测试，验证应用程序在新环境、新版本上的正常使用。

单元测试尽可能的覆盖所有业务模块，测试数据保持真实生产的规模，测试案例尽可能考虑全面的业务场景。

**2）压力测试：**
本次搬迁涉及到硬件设备能力、软件版本的更新和升级，并需要保证新投产的数据中心能够满足业务增长需要，因此各生产系统需要进行压力测试，保证系统参数的配置与未来的应用压力相匹配。

压力测试将选取核心系统的典型业务，由于此次架构的主要变更是主机、操作系统、数据库、中间件的升级，因此选取的业务准则主要覆盖业务量大，数据交互量大，以及已知有性能开销较大的等性能相关的交易。

**3）连通性测试：**
由于本次搬迁涉及到大量的网络改造，采用“应用系统对外服务地址改变”的投产方式，为验证切换当日的操作步骤，确保切换完全无误，操作流程需要标准化。因此，在事先进行单元性测试的基础上，还需要做连通性测试。

针对第三方外联连通性，有条件系统搭建测试环境进行测试，没有条件搭建测试环境的系统通过报文比对的方式进行验证。

**4）数据库升级、备份与恢复测试：**
本次搬迁中生产数据库将在割接当天进行版本升级，升级过程将会对原有的数据格式进行变更，这一变更将造成低版本数据库无法识别升级后的数据。因此为了防止升级过程失败以及升级后故障的应急处理，我们需要制定详细的数据库升级与回退方案，以及升级关键点的数据库备份恢复方案，通过在测试环境中的测试验证方案的有效性和所需要的时间，以此应对因数据库升级带来的风险。

**5）安全性测试：**
由于本次搬迁中涉及核心新环境的建设，对于一个全新的环境，安全加固的内容同样非常重要，为了确定安全加固的有效性以及安全性对业务的影响需要进行相应的安全性测试。

安全加固有效性测试依据安全加固策略制定相应的测试方案和用例，通过对系统各项参数等进行命令检查测试，并依据测试结果和数据进行分析和评估，确定主机系统配置满足安全性要求。

对业务的影响测试需要首先分析安全加固配置可能对业务的影响，梳理出有关的业务，制定相应的测试案例并进行针对性的测试。

**6）兼容性测试：**
系统兼容性测试的目的是确保在新的平台上，各种硬件，操作系统、数据库、中间件与管理类系统软件版本能相互兼容并能正常工作，具体包括操作系统、数据库、中间件、存储系统、监控系统和备份系统等。此次搬迁项目由于出现操作系统、数据库的升级，因此在系统切换之前与上线之前，需要进行新数据中心应用系统的兼容性测试。

## 4、银行数据中心搬迁切换演练
   搬迁切换演练分为桌面演练与实战演练两部分，演练旨在为迁移过程中所涉及的各方面资源提供一次互相熟悉与配合的机会。在我行此次迁移中将安排一次实战演练（针对核心系统切换）和不少于三次的桌面演练（核心、渠道、管理各一次）。

在桌面演练过程中，所有参与方都将按照项目实施的步骤与过程，严格遵照项目实施的要求与标准进行项目实施的口头演练，并现场对项目中可能碰到的风险进行应对与回答，确保所有资源按照项目要求准备到位。

在实战演练过程中，所有参与方都将按照项目实施的步骤与过程，严格遵照项目实施的要求与标准进行切换操作的真实演练（但不包括第三方业务启动与验证），并现场对项目中碰到的风险进行应对与处理，确保所有资源按照项目要求准备到位。

不论桌面演练还是实战演练都将全程记录全过程和发生的问题，并对搬迁详细方案进行修订和优化。

**实战演练说明：**

- 涉及应用系统：核心业务系统；
注：由于核心业务系统在新数据中心搭建完整的全新的环境，因此两者具备实战演练条件，剩余系统不具备此条件因此不进行实战演练。

- 搬迁方式：将应用模拟切换到新数据中心新购的主机上，数据基于存储复制技术实现数据迁移；
- 切换及搬迁时间：正式切换割接日期一周前；
- 网络条件：网络配合开通，保证网络的连通性；
- 搬迁目的：验证数据搬迁流程、时间、操作、通道，验证人员分工配合；
- 主要防范点：搬迁过程中数据的丢失；
- 防范方案：预先进行详细推演，合理紧密分工，对应用系统做全面备份。

**桌面演练说明：**
- 涉及应用系统：除核心外所有业务系统；
- 搬迁方式：设备通过物理搬迁方式搬迁至新数据中心；
- 切换及搬迁时间：正式搬迁日前一周的工作日；
- 搬迁目的：验证数据搬迁流程、时间、操作、通道，验证人员分工配合；
- 主要防范点：搬迁过程中物理损坏；
- 防范方案：预先进行详细推演，合理紧密分工，对应用系统做全面备份，重要备件现场保障等。

# 三、银行数据中心搬迁变更计划
项目总工期从XX年XX月到XX年XX月，预计X个月。主要分为四大阶段：
- 需求分析及建设目标沟通；
- 业务信息梳理及关联性分析；
- 搬迁方案制定及细化
- 搬迁实施。

## 1、职责划分
搬迁项目本身就是一个复杂的过程，既有多部门之间的协作，涉及应用、系统、网络、安全、业务以及后勤，同时也是一个多项目之间的协作，涉及机房建设、网络建设以及搬迁项目本身，因此不需明确不同的组织不同的角色在不同项目中的职责，因此在项目中必须对项目所涉及的部门进行缜密细致的工作分工和职责划分。
![](/home/attachment/202405/16/931525_171582435874853.png)

- 主机存储供应商：负责统筹搬迁项目，管理项目进度，IBM相关设备安装和软硬件技术支持，配合完成数据迁移演练，配合支持应用割接
- 网络供应商：负责提供网络搬迁方案，支持网络设备安装调试，搬迁过程中网络切换，配合完成新机房标签设计张贴
- 系统团队：新生产系统环境建设；应用系统割接配合；系统高可用配置；生产设备健康状态监控
- 网络团队：网络系统搭建；系统功能连通性测试配合
- 应用团队：新生产系统环境建设应用程序部署；功能性测试、压力测试、连通性测试；应用系统割接保障
- 业务部门：新系统搭建完成后，系统功能完整性测试配合；业务测试配合
- 相关厂商：负责新生产环境建设的技术支持，演练支持，割接技术支持
- 领导团队：负责监督整个搬迁项目执行

## 2、运维人员安排
由于搬迁项目涉及两个数据中心的工作，除了要保证切换和搬迁的工作在两个数据中心顺利的展开，在新数据中心建设以及切换准备阶段，需要统一的变更流程、问题管理等运维流程，来保障两数据中心间的系统配置、应用版本的统一，同时保证不同系统的负责人在两个数据中心的安排。

对于整个切换和搬迁的实施过程，以新数据中心为主要指挥和控制中心，核心和重要系统负责人以新数据中心为主要操作场所，切换工作按照模块制定组长或者指令协调人，通过新数据中心统一向原生产机房和新数据中心机房的各工作模块组长或者指令协调人发出指令，由各工作模块组长或指令协调人分发各执行人和系统负责人执行，所有操作要求双人复核并记录时间状态；各系统负责人或执行人将执行结果反馈各工作模块组长或指令协调人，各工作模块组长或指令协调人再将结果反馈指挥中心，如果操作时间过长各工作组长或指令协调人则需要每15到20分钟检查并反馈状态；指挥中心依据反馈结果决定切换流程的走向。

切换过程中各系统的操作主要有个应用系统负责人完成，包括应用停止、数据库及中间件的停止、应用切换、数据迁移、数据库及中间件的启动以及应用启动与验证；网络方面工作由网络负责人来执行；系统负责人主要负责解决切换过程中可能的出现的系统问题并完成切换成功后的系统备份和检查工作；业务部门负责新环境上应用系统的验证工作。

# 四、银行数据中心搬迁变更步骤

## 1、搬迁总体思路
首先调通现有生产机房与新数据中心新机房的SAN、IP网络连接，安装配置新数据中心机房的新购主机及存储设备；用新采购主机新建核心业务系统应用环境；经过全面验证测试、演练成功后，实行核心应用割接切换。已割接的原核心系统在原生产机房的原生产环境保留一周作为应急回退使用，之后将原生产环境建设成为未来的同城灾备环境，确认新数据中心系统环境运行正常后，启用原有生产机房作为同城应用级灾备系统使用。如果在上述过程中割接失败，及时回退至原有生产机房的原有系统。

确认核心业务系统生产系统割接成功后，集中进行渠道类系统的搬迁准备工作。先在原生产机房利用新购服务器建设好灾备环境，并对目前渠道类使用的多个存储进行虚拟化整合，以便通过两中心之间进行存储的数据同步。选择周末非业务高峰时间，将渠道类系统切换至灾备环境，将原生产主机物理搬迁至新数据中心；将应用从原机房的灾备主机切换到位于新数据中心机房的原生产主机；若在上述过程中割接失败，及时回退至原生产机房的原有系统。完成渠道类系统搬迁后，在原生产机房新购服务器上搭建的渠道类系统作为同城灾备环境，满足渠道类业务的容灾要求。

渠道类系统搬迁完成后，选择周末非业务高峰时间陆续的分批次的将管理类及其他系统物理搬迁至新数据中心新机房。

## 2、搬迁实施方案
依据项目总体思路，为降低项目搬迁的风险，缩短总体停机时间，我行将整个搬迁分为三个阶段，其中核心应用系统通过切换的方式完成搬迁工作，渠道类应用系统通过灾备服务器中转、搬迁并接管应用的方式完成搬迁工作，管理类以及剩余系统通过物理搬迁方式完成。

由于采用了应用系统切换方式完成搬迁，需要我们在新数据中心机房为核心系统搭建完整的环境，包括机房环境、网络环境、系统环境、应用环境以满足应用系统切换以及切换后的系统运行，为了保障这些环境需要一系列的准备工作来完成。

机房环境准备工作包括机房电力、空调等基础设施，同时为了保证切换当天的工作能够顺利进行还需要保障ECC操作室的工位、电话以及操作电脑等的准备工作。

网络环境准备工作包括广域网线路准备与更改，公网（Internet)线路准备，双中心互联线路准备，网络系统部署，网络系统测试，各系统关联地址变更信息梳理，内部网络安全策略梳理等，并且保证当天操作电脑的网络通讯。

系统环境准备主要包括了设备安装配置、SAN网络规划与配置、存储空间规划与划分、高可用架构搭建、操作系统以及数据库、中间件的基准参数规范制定以及系统安全加固等准备工作。

应用系统准备工作主要包括应用系统部署、应用系统版本冻结与版本控制。

完成所有准备工作后即进入搬迁的实施阶段，在正式搬迁执行前两周，项目组将最终的分组任务计划书下发到各相关部门与人员，搬迁前一周，组织进行桌面演练及任务复核，搬迁前一至两天，召集所有人员开项目动员会。

在总体方案确定下来，以业务停机时间最短、搬迁方案最安全为搬迁宗旨，项目组从技术层面开始详细执行搬迁的各个细化方案。方案制定过程中，项目组遇到较多技术难点，通过对搬迁项目的整体把握，将对这些技术难点进行详细测试，确定最终的细化方案。

总体方案制定阶段，项目组根据业务关联性分析结果，通过对搬迁系统一套套地剥离，一批批地落实，按照拆分影响最小的原则，最终制定搬迁计划，根据重要性的不同，先进行测试开发以及个别管理业务系统搬迁；其次进行核心系统应用切换；再次进行渠道类系统的搬迁与切换；最后进行管理类及剩余系统分批次的搬迁。

生产系统搬迁割接方案制定过程中，数据的迁移为整个搬迁的最重要环节。通过就多个数据复制方案的优劣进行了充分的比较,最终决定业务数据通过基于存储的复制技术。

随着项目组不断的克服难点、搬迁方案的不断细化、搬迁计划不断的修订，搬迁整体进度的风险也将逐步降低，搬迁过程的不可控因素也将越来越少。

# 五、应急与回退方案
按照目前的搬迁方案，整个数据中心的搬迁有两种方式进行：
一、应用切换；
二、物理搬迁。从整个搬迁过程来分析，应急与回退方案分为：在新数据中心已经发生业务以及在新数据中心未发生业务两种场景，因此针对这两种方案和两个场景的特点，进行以下应急与回退方案设计：

针对核心系统应用切换的方式，停止业务运行后进行数据迁移和应用迁移以及验证工作，在对外放开业务之前如果过程中出现重大问题并且短时间难以确定影响和解决的，将立即停止切换工作，并且启用原有生产系统，由于此时尚无真实业务数据发生，因此无需将新数据中心机房数据反向同步至原有生产机房。

假如在业务已经开放、且有真实业务数据发生的情况下，仍然出现了如机房环境、业务等严重问题，且短时间内无法确定影响和解决的我们同样需要启用原有生产系统，由于已经发生了业务，因此需要将新数据中心机房产生的数据反向同步到原有生产系统，但是原有核心系统的数据库需要升级后才能识别相应数据。

针对物理搬迁的系统，在执行物理搬迁以前，必须对所搬迁设备的操作系统以及应用数据进行备份，一旦出现物理损坏的情况能够尽快的进行数据恢复，同时针对设备的关键、易坏备件调配现场支持，为了进一步保证系统可用性，所有生产系统的搬迁实行主、备机分开搬迁的方式，即主机搬迁成功完成后再进行备机的搬迁，如果主机搬迁过程中出现故障可以及时启用备机支持业务，降低由于搬迁造成的业务影响。

针对物理搬迁后的回退，考虑物理搬迁风险大，因此回退方案不会将设备搬回原机房，仅会通过备机接管的方式实现业务回退，如果回退时已经发生了业务数据，可采用核心系统相同的方式，进行基于存储的数据同步将数据从新数据中心机房同步到原生产机房。

不论是核心系统应用切换还是其他系统物理搬迁，均需要同时保证人员和流程的保证，因此整个搬迁过程进行详细、周密的流程和操作规范控制，人员保证双人操作、复核，以及各厂商支持人员的保证。

# 六、风险控制措施

## 1、项目组织风险
![](/home/attachment/202405/16/931525_171582440999748.png)

## 2、系统切换风险
![](/home/attachment/202405/16/931525_171582448920981.png)
![](/home/attachment/202405/16/931525_171582450933659.png)

## 3、物理搬迁风险
![](/home/attachment/202405/16/301729_171584395329558.png)
![](/home/attachment/202405/16/931525_171582455454259.png)

数据中心搬迁城商行演练数据中心

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论4 条评论

kamiar 软件开发工程师北京中亦安图科技股份有限公司
9小时前

18m的人写的

guanyang1326

信息科技部网络管理室负责人辽宁农商银行
2024-05-17 13:43

我个人认为，此搬迁实战经验的内容框架覆盖范围全面，内容详实。其他金融机构机房搬迁的相关报告可以用此文作为基本模板。

wanggeng

系统运维工程师某银行
2024-05-16 15:13

本文针对数据中心的搬迁非常全面了，对同业来说是很好的参考建议。结合我的理解和经验我有几个小建议： 1、个人看法是不建议像数据库版本升级等大的变更操作搭搬迁割接顺风车窗口吧，以免引入其他难以排查的问题导致割接窗口拉长或失败； 2、搬迁完之后，两地三中心等容灾架构的角色将发生变化，相应的调整变化及演练测试可能还要择机再次进行演练测试； 3、割接方案细化的各类命令参数可以提编写到脚本等工具中，提高执行效率，但需要做好相应执行结果的检验；

melody2004 系统架构师某城市商业银行
2024-05-16 15:05

数据中心搬迁存在很多重大风险点，何况还要做数据库版本升级。作为有过类似搬迁经验的同行从业者，给作者点个赞！

Ctrl+Enter 发表

匿名评论

某省级城商行全行数据中心搬迁实战经验（完整版）

添加新评论4 条评论

文章目录收起目录

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料