金融行业NAS文件系统迁移停机时长难以准确预估和控制探讨?

NAS文件系统迁移包括存量数据在线迁移+增量数据停机迁移两大步,增量数据停机迁移的时长受元数据扫描和对比所消耗的时间影响,即使最后的增量数据变化很小,也可能由于基础元数据太大而消耗很大对比时间。希望同业专家可以就此难点进行经验以及解决探讨!...显示全部

NAS文件系统迁移包括存量数据在线迁移+增量数据停机迁移两大步,增量数据停机迁移的时长受元数据扫描和对比所消耗的时间影响,即使最后的增量数据变化很小,也可能由于基础元数据太大而消耗很大对比时间。希望同业专家可以就此难点进行经验以及解决探讨!

收起
参与33

查看其它 4 个回答czjing的回答

czjingczjing系统运维工程师运维

​ nas文件是一个共享存储,在nas文件迁移的时候主要考虑以下要素:

1、文件存储类型
2、文件存储大小
3、文件数量/文件每小时存储数量等
4、是否有可停机窗口
5、停机时间
6、业务带宽、文件系统IO等
​ 对于以上要素我们需要主要考虑的是业务系统允许停机以及停机时间较长,我们完全可以考虑使用rsync方式进行第一次全量同步以及增量同步的方式并且记录增量同步时间进行参考。同时rsync自带文件较检功能可减少nas文件系统迁移过程中出现文件损坏的问题。
​ 对于业务停机非常短或无停机窗口的业务环境,我们可以使用rsync + inotify 方式来实现文件的实时复制。从而可以实现nas节点逐步切换的方式。对于此种方案的选择需要考虑文件存储的大小,如果文件大小达到的1GB以上容易出现文件损坏。以上不论是采用哪种方式实现,都必须考虑nas存储文件过程中所占用的带宽问题,建议使用rsync的limit参数对传输速率进行限制以免影响业务的正常运行。

总的说来,停机时长与业务本身有很大的关系,NAS大量读写且没有相对有效空闲期的业务停机时长的预估会更不受控制,比如手机银行,这类系统为了尽量降低停机时长,可在系统设计时就充分引入高可用集群机制,采用NAS节点逐步切换的方式完成。此时唯一的风险点在于主备切换过程有相同应用节点挂载不同NAS存储的问题,会有短暂的部分新生成文件不一致的问题,在快速切换完成后在用rsync做一次同步即可,切记此时需要以不删除目标NAS存储文件的方式同步。这种方式可以大大降低系统停机时间,以笔者最近一次NAS迁移实施的效果看,约500G大小的7*24小时不间断读写的文件系统实际未停机,切换期间有部分交易读写报错,但业务未停机,实现了业务未停机的NAS切换。

互联网服务 · 2023-08-15
浏览562

回答者

czjing
czjing0212
系统运维工程师运维

czjing 最近回答过的问题

回答状态

  • 发布时间:2023-08-15
  • 关注会员:6 人
  • 回答浏览:562
  • X社区推广