sunyangnj
作者sunyangnj·2014-01-28 15:02
技术经理·苏宁金融研究院

CDP多路径造成DB2数据库宕机故障的处理

字数 870阅读 2501评论 1赞 0

环境介绍:

我们使用A公司CDP服务器通过数据异步远程复制实现容灾,将B公司存储映射给CDP主机,DB2使用该主机。主机不安装A公司多路径(目前无法获得,所以无法安装)。A公司CDP服务器自带多路径。我们环境中,生产使用一台CDP,容灾使用一台CDP,生产和容灾都使用某司的存储产品,存储产品在生产和容灾的CDP都映射4个LUN出来给CDP,通过CDP映射给DB2业务主机(AIX 6.1)。DB2业务主机上,将4个分别为200G的LUN挂载到一个LV上面,并将该LV提供给DB2使用。

操作步骤:

在DB2业务主机上在生产端存储上使用tpccrunner工具跑DB2业务,同时在生产和容灾端CDP之间进行异步远程复制,我们在生产端CDP上将业务数据的4个LUN做为一个一致性组复制给容灾端,增量复制间隔为1个小时,待复制完成数次之后,在容灾端进行主从切换,将容灾端的4个LUN映射给DB2业务主机。

故障:

容灾端4个LUN映射到DB2业务主机之后,使用db2 connect一直没有反应,排查问题之后,发现LV没有可读写权限。

故障解决:

1)A公司CDP异步远程复制需要安装单独的补丁包,但是A公司不提供B公司的补丁包,导致使用异步远程复制映射上来的LUN都不具有读写性。

2)无法找A公司解决,我们重启DB2业务主机,重启后,需要重新激活LV。我们通过varyonvg vgname来激活,但是报错提示hdiskx, hdisky两块盘为同一物理盘,此问题由于主机没有安装A公司多路径导致。我们删除了一个重复盘hdisky,激活成功。

3)将LV mount到指定目录/test,也就是DB2数据库数据所在目录。但是mount失败,是由于系统掉电引起的,我们使用fsck -y /dev/lvxx 修复,然后重新mount到/test,就可用了。

4)连接DB2数据库成功,tpccrunner执行成功。

总结:

1)存储和CDP要考虑到配合,是否提供对应的多路径软件

2)出问题之后,可以通过AIX命令,临时解决问题,排除阻塞问题的通道,恢复业务是第一要务


如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

0

添加新评论1 条评论

yellow-finyellow-fin项目经理浙江兰德纵横网络技术有限公司
2014-02-07 16:12
顶。。。虽然没机会用到这些技术
Ctrl+Enter 发表

作者其他文章

相关文章

相关问题

相关资料

X社区推广