本文展示使用三节点最小集群手动安装OS的方式部署iMaster NCE-Campus

本实验为”NCE-Campus安装（手动安装OS，2288X V5服务器，最小集群）“，在o3社区中另外还有”NCE-Campus安装（一键式安装，2288X V5服务器，最小集群）“的实验

实验环境

基础知识

iMaster NCE-Campus四平面

  • 内部通信平面：用于iMaster NCE-Campus各业务节点之间的通信，包含与GaussDB等（无需特别关注）
  • 业务通信平面：用于iMaster NCE-Campus的南北向业务发放，例如通过LVS将业务通信到多个节点业务服务
  • 北向平面：用于iMaster NCE-Campus的北向业务接收，例如通过Web访问iMaster NCECampus的管理面（面向管理等）
  • 南向平面：用于iMaster NCE-Campus的南向业务接收，例如通过Netconf协议与设备通信（面向设备纳管等）

iMaster NCE-Campus组网

  • 两平面组网：只有内部通信平面、业务通信平面（与南向、北向共平面），南向和北向对外的大网IP可以在防火墙映射
  • 三平面组网：包含内部通信平面、业务通信平面和南北向平面（南向和北向合并）

确定网络平面的主要原则

  • 两平面组网：适用于南北向的业务量比较小的场景，此种场景网络规划比较简单方便，也是现网使用最多的组网选择
  • 三平面组网：适用于业务量比较大，对南向业务与北向业务又没有单独管理诉求的场景
  • 四平面组网：适用于对南向业务与北向业务有单独管理诉求的场景
  • 单机还支持单平面组网，所有流量都通过同一个网口进行转发，组网是最简单的，因为所有流量没有分离，不推荐选择

iMaster NCE-Campus网络架构图

image-20251031135825231

硬件与网络配置

硬件接线规划

使用两台交换机做堆叠，在三台服务器上分别配置：eth1和eth5做聚合用于业务通信和南北向等、eth0和eth4做聚合用于内部通信、管理网口单独接交换机用于通过BMC管理物理服务器

  • 聚合口正常规划时避免在同一张物理网卡即可

image-20251031091314326

网络规划与硬件接线参考（非本实验）

image-20251105142010400

交换机配置

此处的管理、业务通信、南北向网络使用的都是同一个网段（2平面组网），在实际部署中也可以按照需求进行分离

image-20251030154111371

image-20251030154127545

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
# 交换机配置示例（此处管理网段与业务网段用的都是同一个VLAN，也可以分开）

int range MultiGE0/0/1 to MultiGE0/0/4		# 管理网口
 port link-type access
 port default vlan 2032

int MultiGE0/0/4		# 上行核心或路由
 port link-type trunk
 port trunk allow-pass vlan 2032

int eth-trunk 1		# 与Server1连接（内部通信用）
 trunkport MultiGE0/0/5 to MultiGE0/0/6
 port link-type access
 port default vlan 1111
int eth-trunk 2		# 与Server2连接（内部通信用）
 trunkport MultiGE0/0/7 to MultiGE0/0/8
 port link-type access
 port default vlan 1111
int eth-trunk 3		# 与Server3连接（内部通信用）
 trunkport MultiGE0/0/9 to MultiGE0/0/10
 port link-type access
 port default vlan 1111

int eth-trunk 11		# 与Server1连接（业务通信、南北向、管理等）
 trunkport MultiGE0/0/11 to MultiGE0/0/12
 port link-type access
 port default vlan 2032
int eth-trunk 12		# 与Server2连接（业务通信、南北向、管理等）
 trunkport MultiGE0/0/13 to MultiGE0/0/14
 port link-type access
 port default vlan 2032
int eth-trunk 13		# 与Server3连接（业务通信、南北向、管理等）
 trunkport MultiGE0/0/15 to MultiGE0/0/16
 port link-type access
 port default vlan 2032

配置RAID

服务器出厂IBMC的管理地址与用户名密码均为缺省情况 （华为V5服务器默认：192.168.2.100,Administrator,Admin@9000），首次登录IBMC页面需要修改默认密码，在调测安装Campus之前需要修改IBMC的IP地址

三台服务器都需要配置，以下仅展示一台

进入BIOS界面

通过web登录到服务器的iBMC后，启动虚拟控制台（推荐HTML5）

image-20251030140547224

image-20251030140653905

对服务器进行强制重启，当出现类似下图界面时，快速按下Delete按键进入BIOS（Setup Utility），输入BIOS密码（华为默认Admin@9000）

image-20251030140737810

image-20251030140933370

image-20251030141004533

配置RAID卡工作模式

通过键盘或鼠标选择Device Mnanager进入设备管理界面

image-20251030141121868

在Device Mnanager界面选择服务器对应的RAID卡，此处为Adaptec SmartRAID 3152-8i

image-20251030141333111

选择Configure Controller Settings，进入RAID卡的配置控制器设置

image-20251030141356524

选择Configure Controller Port Mode，进入配置控制器接口模式

image-20251030141417734

选择Set Controller Port Mode为RAID，然后提交配置

  • RAID模式：控制卡下的逻辑盘会上报OS，但直通盘不会报送给OS
  • Mixed模式：RAID逻辑盘和直通盘都会报送给OS，即该模式支持以RAID和直通方式使用硬盘。未配置RAID的硬盘都将以直通盘方式使用（无需额外配置）
  • HBA模式：控制卡的所有RAID功能都被禁用，控制卡下所有硬盘都被视为直通盘（此RAID卡无该选项）

image-20251030141545233

image-20251030141501035

清空RAID配置（必须）

通过ESC按键回到RAID卡配置界面，选择Configure Controller Settings，进入RAID卡的配置控制器设置

image-20251030141803185

选择Clear Configuration清除配置，Delete All Array Configurations删除所有阵列的配置

  • 如果不清除配置，在后面创建阵列后选择Acceleration Method加速方法，时没有Controller Cache控制器缓存选项，会导致后续安装Campus时磁盘I/O性能检测过不去

image-20251030141822567

image-20251030141848390

image-20251030141916644

创建磁盘阵列

选择Array Configuration进入阵列配置，选择Create Array创建阵列

image-20251030141937294

image-20251030142012294

在本服务器中有4块1.2TB的SAS硬盘，在规划中两台硬盘作为系统盘组RAID1（镜像冗余）、两块硬盘作为数据盘组RAID0（高性能无冗余）

选中对应的磁盘后状态变为Enabled，再选择对应的RAID级别

image-20251030142056386

image-20251030142128487

重要：这里的Acceleration Method加速方法，要选择Controller Cache控制器缓存选项，不然会导致后续安装Campus时磁盘I/O性能检测过不去

image-20251030142206964

按上述步骤再对另外两块磁盘做RAID1，作为Campus的数据盘

image-20251030142243332

image-20251030142256654

image-20251030142313300

image-20251030142335653

image-20251030142405892

选择启动盘

ESC回到上级后，选择Set Bootable Device(s) for Legacy Boot Mode，在Select Bootable Logical Drive选择可启动逻辑驱动器

image-20251030142658309

image-20251030142716018

将Array A（系统盘）设置为主要可启动设备，后续安装完系统后，服务器将从该阵列中启动系统

image-20251030142731784

image-20251030142748719

安装操作系统

三台服务器都需要配置，以下仅展示一台

安装操作系统

在服务器iBMC 系统管理 > BIOS配置，修改启动项的引导介质为光驱，且单次有效

image-20251030143114436

在远程虚拟控制台中挂载镜像文件iMasterNCEServerInstall_V100R023C00SPC905_EulerOS2.11-x86-64_dvd.iso，点击连接后出现断开按钮即为连接成功，然后重启系统

image-20251030143322303

image-20251030143349860

进入系统安装界面后选择Install EulerOS V2.0SP11开始安装EulerOS操作系统

image-20251030143709705

安装成功后root用户的默认密码为Admin_123，首次登录需要设置新密码，牢记该密码

image-20251030145241962

image-20251030150150720

配置网络信息

image-20251031114429918

1
2
3
4
5
6
# 启用网卡

ifconfig eth0 up
ifconfig eth1 up
ifconfig eth4 up
ifconfig eth5 up
1
2
3
4
5
6
7
8
9
10
11
12
# 使用工具修改网卡IP、配置路由
# 以下以SERVER1为例，其他服务器根据规划的IP地址进行配置

cd /usr/local/ostools/bond_tools
bash config_netcard.sh "bond0,172.25.16.1,255.255.255.0,eth0,eth4"		# 聚合口0，IP信息，聚合口网卡成员
bash config_netcard.sh "bond1,10.190.22.144,255.255.255.224,eth1,eth5" 
bash config_netcard.sh "route: bond1;10.190.22.129,0.0.0.0,0.0.0.0"		# 配置聚合口1的缺省路由（网关）

bash config_netcard.sh "deletebond:bond0"		# 聚合口配置错误时删除对应聚合口，然后重新添加
bash config_netcard.sh "deleteroute:bond1"		# 路由配置错误时删除对应聚合口路由

bash config_netcard.sh "enable"		# 配置无误时使该配置生效

image-20251030163832614

1
2
3
# 检查网卡IP是否正确

ifconfig 网卡名

image-20251030163853688

配置主机名

1
2
3
4
5
cd /usr/local/ostools/maintain_tools
bash SetNicForEuler.sh

Please input the hostip:		# 此处输入内部通信平面IP地址
Please input the hostname:		# 此处输入主机名

image-20251030151826224

安装EasySuite工具

解压缩EasySuite_V100R023C00SPC905_windows.zip，得到easysuite/、var/、start.bat、stop.bat

image-20251030153218259

将EasySuiteSolution-Campus的三个文件复制到该目录下，双击start启动EasySuite

image-20251030153503516

image-20251030153547633

浏览器访问https://localhost:19090，用户名admin，默认密码Changeme_123；首次登录需要修改密码，不要忘记就行

image-20251030153646937

image-20251030153709006

安装iMaster NCE-Campus

配置方案和参数

将下图的软件包复制到EasySuite安装目录的var/software/文件夹下

image-20251030153758664

image-20251030154245630

按照规划表填写相应参数

image-20251031115605983

image-20251031115617292

image-20251031115626650

image-20251030154306502

image-20251030154449853

image-20251030154555667

image-20251030154612963

image-20251030155823012

参数规划配置

image-20251030154922291

image-20251030154928294

用于外部访问的地址，比如通过南向浮动地址进行纳管设备、北向浮动地址访问业务面、管理浮动地址访问管理面

image-20251030154936341

集群内部地址，不对外展示

image-20251030154944083

image-20251030154955559

image-20251030155003270

按规划表配置系统的用户信息、 节点配置、网络平面配置、浮动IP等参数

  • 控制器节点IP地址为控制器服务器操作系统的网卡IP地址，不是服务器iBMC的 IP地址，该地址需要能与EasySuite所在的PC互通
  • 登录用户名为root，密码为安装系统是首次登录修改的密码

image-20251030160120537

image-20251030160322970

image-20251030160447121

按照规划表配置系统用户密码信息，以下密码为操作系统的用户密码（除了WEB用户）

image-20251030160712580

image-20251030160806772

环境检查与安装

  • 安装系统时间大致在55分钟左右
  • 如果在安装过程中遇到服务器断电场景（服务器意外断电易触发操作系统文件损坏），请恢复供电后在对应的项目中选择“重新安装”。

image-20251030174145370

image-20251030174218064

image-20251030184924324

安装后检查

控制器管理面

登录管理面使用https://管理面登录IP地址:18102，用户密码信息为前面设置的WEB登录账号密码

image-20251030185101524

image-20251030185253151

image-20251030185806009

以下步骤为o3实验室环境问题所需配置（不然会卡死），在实际部署中无需进行此操作

image-20251030185512544

image-20251030185418195

image-20251030185641468

北向业务面

登录管理面使用https://北向登录地址:18008，管理员用户密码信息为前面设置的WEB登录账号密码

  • 此处的License模式一旦选择就不允许进行修改，如果选择错误，只能重装iMaster NCE-Campus

image-20251030190248618

image-20251030190320261

image-20251030190439170

iMaster NCE-Campus部分界面展示-admin用户

以下仅为业务界面内容展示，无实际意义

image-20251030190855434

image-20251030190913305

iMaster NCE-Campus部分界面展示-MSP用户

以下仅为业务界面内容展示，无实际意义

image-20251030191007861

image-20251030191328103

image-20251030191358192

image-20251030191421329

iMaster NCE-Campus部分界面展示-租户用户

以下仅为业务界面内容展示，无实际意义

image-20251030191510383

image-20251030191549195

新模式UI

image-20251030191615203

image-20251030191631683

image-20251030191744277

image-20251030191854240

旧模式UI

image-20251030191931246

image-20251030191951041

image-20251030191959097

image-20251030192010044

image-20251030192050254

image-20251030192114411

小坑

在使用EasySuite安装时，第二台服务器在进行环境检测时，提示磁盘I/O检测失败（Current I/O can not support the installation.）

原因是在BIOS上配置磁盘阵列的Acceleration Method时选择了None，正常为Controller Cache才是正确的

如果没有Controller Cache这个选项，则是因为前面的Delete All Array Configurations没有执行导致的

image-20251031084454514

image-20251031084515721

Acceleration Method不可为None，正确应为Controller cache

image-20251030172655818

如果Acceleration Method只有None选项，没有Controller cache选项，则需要删除所有阵列配置重新规划阵列和安装系统

image-20251030171804106

image-20251030141848390

image-20251030173502100