VIO Server配置实施工艺指导

（ V1.0 ）

XX 有限公司

目 录

1. 文档说明 ... 4

2. 注意事项 ... 4

3 ．VIO 功能介绍 ... 5

3.1 磁盘虚拟共享技术介绍（Storage Virtualization ） ... 5

3.2 网络虚拟共享技术介绍 (Ethernet Virtualization) . 6

3.3 VIO Server 及Client 分区整体架构 ... 7

4 ．VIO Server 创建 ... 8

4.1 VIO Server 分区Profile 文件创建 ... 8

4.2 VIO Server 软件安装 ... 16

5 ．VIO Server 配置 ... 19

5.1 VIO rootvg 镜像 ... 19

5.2 .......................................................................... VIO virtual disk 创建 ... 19

5.3 .................................................................... VIO Shared Ethernet 创建 ... 21

5.4 ................................................................................ VIO Shared CD 创建 ... 22

6.Client 分区创建 ... 23

7. 外置存储MPIO 配置 ... 27

7.1 VIO Server MPIO 简介 ... 27

7.2 VIO Server MPIO 配置 ... 27

7.2.1 安装存储多路径软件 ... 27

7.2.2 两个VIO Server 分区核对外置磁盘信息 ... 27

7.2.3 修改物理卷属性 ... 29

8.VIO 创建AIX 分区与普通AIX 分区特点区别 ... 31

8.1 VIO Server 操作特点 ... 31

8.2 通过VIO Server 创建的AIX 分区与普通AIX 分区比较 ... 31

8.2.1 内置磁盘速度测试 ... 31

8.2.2 网络速度测试 ... 31

1. 文档说明

2. 注意事项

划分 lpar 之前做好相应的服务器规划，包括 cpu 、内存、 io 等这对后期的实施提供很多便利的。

3 ． VIO 功能介绍

本文档主要介绍 IBM Virtual I/O Server 技术，介绍了 P 系列服务器中虚拟化配置实用物理 IO 设备。目前交通银行数据中心 P 系列服务器设备主要采用 Dedicated 模式固定使用指定整数颗 CPU ，及全部使用物理 IO 设备（网口，内置 SCSI 及光纤外置磁盘）。

Virtual I/O Server 技术是需要硬件支持 IBM System p PowerVM 标准版或企业版技术，要求 IBM Power5 及 Power6 系列服务器并安装 AIX5.3 及以上版本软件。下图介绍 VIO 技术的概述情况

VIO 技术主要提供以下技术特点，能方便用户更有效提高硬件设备使用率与有效性

Ø 磁盘虚拟共享技术（包括 SCSI 内置磁盘及光纤外置磁盘）

Ø 网络虚拟共享技术（多分区共用公共网口）

通过复用磁盘及网络可以大大提升物理设备使用效率

3.1 磁盘虚拟共享技术介绍（ Storage Virtualization ）

如图， Virtual SCSI 技术通过虚拟 SCSI 协议支持虚拟磁盘共享，通过在 VIO Server 端的创建虚拟磁盘能将实际物理磁盘划分为多块虚拟磁盘分配给分区，将实际物理磁盘建立成 pool 池的概念，其中物理磁盘可以包括内置 SCSI 物理硬盘，通过光纤连接的外置存储设备或网络存储设备。

如图，为了保证光纤外置存储链接冗余性，外置存储还可以通过多路径软件建立 MPIO ，由双通道链接 VIO Server 确保设备的高可用性

3.2 网络虚拟共享技术介绍 (Ethernet Virtualization)

VIO Server 及 Client 分区通过共享物理网口 SEA （ Shared Ethernet Adapter ）链接外部网络

3.3 VIO Server 及 Client 分区整体架构

如图，通过搭建 VIO Server ，可以共享 Ethernet 设备，并将磁盘设备建立成池，从而更有效的使用网络及存储空间资源，达到物理设备的高效率应用，在一台 IBM P 系列服务器之上能创建更多应用分区。

# 4 ． VIO Server 创建

4.1 VIO Server 分区 Profile 文件创建

以下建立 VIO Server 实例建立在 7 版本 HMC 所管理的 P570 服务器分区上

1) 如下图 HMC 管理两台机器，选取其中一台服务器建立 VIO Server

Configuration -> Create Logic Partition -> VIO Server

2) 输入 Partition ID 和 Partition name, 完成后继续选择 Next

3 ）输入 Profile name 默认一般设为 default ，完成后继续选择 Next

4 ）在划分 CPU 时有 Shared 及 Dedicated 两种选项，根据交行数据中心实际情况，当需要动态调整 CPU 或者不需要使用整颗 CPU 的系统，选择 Shared 方式。如果确定了分区使用整数颗 CPU 时，建议选择 Dedicated 方式（对于 VIO Server, 由于其 CPU 需求较少，建议使用 Shared 方式，不需要分配整颗以上 CPU ）

5 ）根据需求划分 CPU 使用量（ VIO Server 不占用很多 CPU ，可以根据实际情况分配少量 CPU 及可），如果需要动态调整 CPU 模式，参见 VIO 动态调节 CPU 配置文档

6 ）根据需求划分内存使用量

7 ）选择 Desired 及 Required 实际 IO 资源

对于使用双 VIO Server 配置的系统，建议平均分配 IO 资源

特别对于 P505 服务器，由于只有一根 SCSI 总线，只能建立一个 VIO Server ，建议将全部资源划为 Required 模式

特别：由于光驱 DVD 或 CD 设备能够通过 VIO Server 动态划分，建议也平均分配给 VIO Server 并选为 Required 模式

8 ） Virtual Adapter 设置

i ）对于共享 Ethernet 的系统，根据需要共享的 Ethernet 总线数量建立相应数量的 Virtual Ethernet Adapter 个数

ii) 根据需要建立的 Client 分区个数建立相应数量的 Virtual SCSI Adapter

完成以上两类 Virtual Adapter 建立后，选择 Next

9 ）预览 Profile 配置信息，如果确认完成，选择 Finish.

VIO Server Profile 配置建立完成

4.2 VIO Server 软件安装

Active 该分区，并选择 SMS 模式启动

选择 Open Terminal Windows 打开终端

进入 SMS 菜单，更改启动顺序

选择 CD 安装作为第一启动顺序

进入欢迎界面

选择全新安装

选择一块硬盘安装 VIO Server 操作系统，然后回车开始安装

开始安装，安装完后会自动启动进入操作系统

# 5 ． VIO Server 配置

进入 VIO 操作系统后，用户名和密码都设为 padmin

输入命令

$ license –accept

不然系统不允许任何操作

5.1 VIO rootvg 镜像

查看 VIO 操作系统版本

$ ioslevel

1.5.2 .0

$oem_setup_env 可以切换到 AIX shell 命令模式 # 。

查看 PV ，并将 hdisk1 加入 rootvg ，并 mirror rootvg

操作系统做完镜像后会自动重启

$lspv

hdisk0 00c1e99fecdf855b rootvg active

hdisk1 none None

hdisk2 none None

hdisk3 none None

$extendvg –f rootvg hdisk1

$mirrorios –f hdisk1

SHUTDOWN PROGRAM

The Jan 05 14:12:21 CDT 2008

镜像完成后设置启动顺序 bootlist

$bootlist –mode normal hdisk0 hdisk1

5.2 VIO virtual disk 创建

5.2.1 、使用 LV 来创建 Client 端硬盘

如果有别的空余内置磁盘，可以建立新的 VG ，划分 LV 划出虚拟磁盘

$mkvg –f –vg viovg1 hdisk2

$mkvg –f –vg viovg2 hdisk3

建立 LV 作为虚拟磁盘，注意 LV 命名规则，方便后面的划分，建立在不同的 PV 上，在 client 分区时把这两个 LV 分给一个 client 分区，然后再分区中就能把这两个虚拟 PV 做镜像了，在 VIO 这边就是两个物理 PV 镜像

$mklv –lv vhost0lv viovg1 40G

vhost0lv

$mklv –lv vhost1lv viovg2 40G （ lv 的命名要方便记忆）

vhost1lv

如果没有空余内置磁盘建立新的 VG ，比如 P505 设备，只有两块内置磁盘，可以在 rootvg 空余空间中划分 LV

查看虚拟设备，并将 LV 定义成虚拟设备

运用 mkvdev 命令将虚拟磁盘分配给相应分区的 vhost

$lsdev –virtual

name status description

vhost0 Available Virtual SCSI Server Adapter

vhost1 Available Virtual SCSI Server Adapter

$m vdev –vdev vhost0lv –vadapter vhost0 –dev vhost0dev

vhost0dev Available

$mkvdev –vdev vhost1lv –vadapter vhost1 –dev vhost1dev

vhost1dev Available

5.2.2 、用整块硬盘创建 Client 端硬盘

$ mkvdev -vdev hdisk3 -vadapter vhost0 -dev 55a11_datavg1

运用 lsmap 命令查看 mapping 信息，确认虚拟磁盘划分正确

$ lsmap -all

SVSA Physloc Client Partition

ID

vhost0 U9117.MMA.101F170-V1-C20 0x00000000

VTD vhost0dev

Status Available

LUN 0x8100000000000000

Backing device vhost0lv

Physloc

SVSA Physloc

5.3 VIO Shared Ethernet 创建

查看虚拟网口，及实际物理网口设备

$lsdev –type adapter

name status description

ent0 Available 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)

ent1 Available 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)

ent2 Available Virtual I/O Ethernet Adapter (l-lan)

运用 mkvdev 命令建立 Shared Ethernet Adapter 设备并分配给对应分区 vhost

ent0 是物理网卡 ent2 是虚拟网卡

$ mkvdev -sea ent0 -vadapter ent2 -default ent2 -defaultid 1

ent3 Available

en3

et3

运用 lsmap 命令检查 net mapping

$ lsmap -all -net

SVEA Physloc

ent2 U9117.MMA.101F170-V1-C11-T1

SEA ent3

Backing device ent0

Status Available

Physloc U789D.001.DQDYKYW-P1-C4-T1

5.4 VIO Shared CD 创建

在划分 Profile 时将光驱 DVD 或 CD 设备选成 Required 为 VIO Server 占有

运用 mkvdev 命令建立 virtual CD 设备并分配给对应分区 vhost

$mkvdev –vdev cd0 –vadapter vhost0 –dev vcd

vcd Available

如果第二个 client 需要使用光驱，先从 VIO 中删除 vcd 在映射。

$rmdev –vdev vcd

$mkvdev –vdev cd0 –vadapter vhost1 –dev vcd

6.Client 分区创建

建立 VIO Client 分区时和平时新建 AIX 分区步骤类似

Configuration -> Create Logic Partition -> AIX or Linux

与普通创建 AIX 分区的区别在于创建 Virtual Adapter

首先创建 Virtual Ethernet Adapter

根据与 VIO Server 共用的 Virtual Ethernet, 选择相应的 VLAN ID

然后创建 Virtual SCSI Adapter

根据 VIO Server 中的定义选择相应 SCSI Adapter,

最后完成 Profile 配置，以 SMS 启动 client 分区，并在找到的磁盘上安装 AIX 操作系统

7. 外置存储 MPIO 配置

7.1 VIO Server MPIO 简介

在配置一台主机中有两个 VIO Server 分区的环境中，当连接外置存储设备后，为了保证链路的冗余，需要通过两条不同链路分别连接两台 VIO Server ，并通过两台 Server 划分磁盘空间给 Client 分区使用， MPIO 设置。

假定，方案实施中 VIO 服务器的命名分别为 vio_a 和 vio_b ，共享外置存储 EMC 的 LUN 。 EMC 的 LUN 已经映射到服务器 vio_a 和 vio_b ，结构如下图：

7.2 VIO Server MPIO 配置

7.2.1 安装存储多路径软件

首先分别在两台 VIO Server 上根据存储类型安装对应 VIO 版本的存储软件

7.2.2 两个 VIO Server 分区核对外置磁盘信息

在服务器 vio_a 端确定要使用的 PV ，如下：

$ lsdev -type disk

name status description

..

hdisk3 Available MPIO Other FC SCSI Disk Drive

hdisk4 Available MPIO Other FC SCSI Disk Drive

hdisk5 Available MPIO Other FC SCSI Disk Drive

…

$lspv

..

hdisk3 00c3e35c99c0a332 None

hdisk4 00c3e35c99c0a51c None

hdisk5 00c3e35ca560f919 None

..

在以上列出的 PV 中 ， 将 hdisk5 映射到虚拟 AIX 客户端分区 ， 生成 MPIO 物理盘。通过以下命令确定 PV hdisk5 的属性，确保客户端能正确识别 PV ，正确配置 MPIO 。

$lsdev -dev hdisk5 -attr

algorithm fail_over Algorithm True

lun_id 0x5463000000000000 Logical Unit Number ID False

pvid00c3e35ca560f9190000000000000000 Physical volume identifier False

reserve_policy single_path Reserve Policy True

注意，物理卷 hdisk5 的属性 lun_id, pvid 和 reserve_policy 。

在 VIO 服务器 vio_b 端确定对应 hdisk5 的 LUN ，可以根据 pvid 查找。与 vio_a 对应 DS8300 的同一个 LUN 在 vio_b 系统的逻辑标示可能与 vio_a 标示不同，但 pvid 是一致的。过程如下：

$ lspv

hdisk7 00c3e35ca560f919 None

物理卷 hdisk7 的 pvid 与 vio_a 的 hdisk5 一致，为同一个 LUN 。

查看 hdisk7 的类型：

$ lsdev -type disk

name status description

hdisk7 Available MPIO Other FC SCSI Disk Drive

确定 hdisk7 的属性：

$lsdev -dev hdisk7 -attr

algorithm fail_over Algorithm True

lun_id 0x5463000000000000 Logical Unit Number ID False

pvid 00c3e35ca560f9190000000000000000 Physical volume identifier False

reserve_policy single_path Reserve Policy True

可以注意到 hdisk7 的属性与 hdisk5 的属性一致。

7.2.3 修改物理卷属性

为能在虚拟 AIX 客户端分区正确的将 hdisk5 和 hdisk7 识别 MPIO 的卷，需要修改 PV 的 reserve policy 属性为 no_reserve 。使用命令 chdev 修改，使用如下：

修改 vio_a 的 hdisk5 的 reserve policy 属性：

$ chdev -dev hdisk5 -attr reserve_policy=no_reserve

hdisk4 changed

同样在 vio_b VIO 服务器端修改 hdisk7 的属性如下：

$ chdev -dev hdisk7 -attr reserve_policy=no_reserve

hdisk6 changed

在 VIO 服务器端创建虚拟目标设备

在上一步骤中，已经确定要使用的 PV 。再次在 VIO 服务器 vio_a 和 vio_b 端确定使用的虚拟 SCSI 适配器，使用命令 mkvdev 建立 PV 到虚拟 SCSI 适配器的映射关系。命令格式如下：

mkvdev –vdev hdisk# -vadapter vhost# -dev vhdisk#

在两个 VIO 服务器上成功运行以上命令后，在不同 VIO 服务器的同一个 LUN 映射到同一个虚拟客户端。

注意：

如果 PV 的 reserve_policy 的属性没有设置为 no_reserve ，在第二个 VIO 服务器运行以上命令可能会失败。

8.VIO 创建 AIX 分区与普通 AIX 分区特点区别

8.1 VIO Server 操作特点

1). 以特殊用户 padmin 用户登录，密码应该建议统一设置为 padmin

2) 不支持普通 AIX 系统的 GUI 或者 smitty 菜单操作，仅支持部分 shell 命令，指令级及参数与 AIX 命令有部分区别

3) 没有 root 用户可以登录 VIO Server 环境

4) 可以通过 ”oem_setup_env” 命令可以转到 root 用户身份的 AIX Shell 环境

8.2 通过 VIO Server 创建的 AIX 分区与普通 AIX 分区比较

通过 VIO Server 创建的 AIX 分区理论上对系统使用者是透明的，在操作层面上普通 AIX 系统分区使用完全一致。但因为 VIO 创建的 AIX 系统通过共用物理网络和存储资源，在性能上和直接使用物理设备的 AIX 系统有所差异。

8.2.1 内置磁盘速度测试

测试环境同为 P 系列 9115-505 机器， 4CPU, 8G 内存

A 结果为普通 AIX 系统分区

A# time dd if=/dev/hd1 of=/dev/null bs=128M

real 48.13s

user 0m0.35s

sys 0m9.71s

B 结果为 VIO 创建的 AIX 分区

B# time dd if=/dev/hd1 of=/dev/null bs=128M

real 253.62s

user 0m3.75s

sys 0m35.71s

由此可见在内置硬盘读写速度上 VIO AIX 系统还是和普通 AIX 系统有差别

8.2.2 网络速度测试

由于网络环境还没有通，在配通网络环境后会补上测试结果