记一次生产环境华三无线控制器拆堆叠升级实施全流程

一、方案背景为满足WiFi的良好体验需要对现有的无线控制器版本进行升级。现急需一整套科学全面的升级方案来保障此次网络的平稳升级。二、现状现网使用的版本是Version 7.1.064Release 5446P06。如下图所示:升级无线控制器AC的好处无线控制器AC现网使用的版本是Version 7.1.064Release 5446P06。升级无线控制器AC使用新版本5463P01整体性能有所提升主控板使用新版本启动速度更快使用新版本802.11v新版本支持得更好同时漫游功能体验更好减少了漫游次数和丢包率。三、方案概述本次对无线控制器设备进行升级从原有的V7版本R5446P06 升级至V7版本R5463P01。传统操作步骤升级完AC后AP上线过程也需要升级版本此次升级中AP数量很多会占用大量窗口时间甚至可能超出升级申请的窗口时间开启版本预下载功能提前升级AP版本大大缩短总升级时间采用这种方式升级。避免整个堆叠组升级可能造成的堆叠组设备重启的时候启动不起来的情况发生确保升级过程中有一台无线控制器在备用状态采用拆堆叠各自单独升级的方式进行。四、影响范围进行无线控制器升级设备期间对现网业务会有短暂的波动。升级期间实施人员应根据规划好的实施计划通知相应人员。方案原则为保障本次升级实施方案正常顺利完成影响最小化实施过程中需严格遵守以下几点原则一可操作时间原则实施设备升级作业操作内容对业务的影响属于高风险操作。所以操作时间必须严格按照计划进行且再规定时间内完成测试或回退。二人员操作位置原则实施设备升级作业操作人员必须按照计划在对应时间点在对应的设备上按步骤进行操作。所有操作人员以及方案负责人在现场才能进行。且再规定时间内完成实施或回退。三避免人为失误原则为避免设备升级实施过程中因人为失误导致实施作业失败对操作人员操作过程中操作步骤因严格要求提前做好安全防范、了解注意事项、提高风险意识。四缩短时间降低影响为保障业务稳定及影响降到最低再严格按照计划步骤操作的前提下也要提高效率尽量减少影响时间尽快恢复业务。五及时回退原则操作实施前因对需要操作的设备进行备份系统版本/补丁、配置避免实施操作过程中出现系统文件、配置丢失情况下能及时恢复。在实施操作过程中出现故障和异常需快速定位在确定短时间内无法解决时应该及时回退操作。六、资源需求为保证方案有效快速实施需提前保障提供相应资源到位。七、方案实施细则一实施前准备资源需求确认确认方案实施所需资源是否满足。配置备份及检查和提前注意事项事前对无线控制器进行配置备份避免出现突发事件后进行业务重置同时确认设备运行状态正常。提前备份好配置:同时在AP预下载过程中针对可能会发生AP掉线出现的三种情况1如果AP已经下载或未下载新版本发生掉线但AP未重启再上线时AP仍以旧版本在线。2如果AP未下载新版本发生掉线且AP重启再上线时AP仍以旧版本在线。3如果AP已经下载新版本发生掉线且AP重启AP以新版本上线时由于与AC的版本校验不通过且AC的apimge下已更新为新版本此时AP会反复下载版本无法上线。针对上述三种情形我们采用在预下载前关闭版本校验功能这样即便AP版本不配套也能正常在线。在拆堆叠之前配置并保存以下配置。关闭AP版本校验功能。全局配置视图[AC] wlan global-configuration[AC-wlan-global-configuration] firmware-upgrade disable运维工具事前准备运维用笔记本2台、console线2条、网线和光纤线若干实施时须佩戴防静电手套。二实施流程实施工程师和现场测试人员按照计划依次进行。实施(1)把业务切到备AC2拔掉主设备AC1上下行业务口光纤(XGE2/0/9和XGE2/0/10)将业务切换至备设备AC2上。(2)拆堆叠前确保业务在备AC2上拔掉 IRF端口线(XGE1/0/19、XGE1/0/20与XGE2/0/19、XGE2/0/20)堆叠分裂并测试备AC2是否正常运行AP是否都在线并且可以通过手机连接上网测试是否正常。(3)在备AC2上上传版本配置AP预下载功能预下载功能是在备用AC2上做在备AC2上面上传升级的软件版本配置AP预下载功能让AP先下载好软件这个需要比较长的时间估计要 10个小时左右具体由AC的性能决定但AC2不能重启。ACboot-loader file cfa0:/ WX5560H-CMW710-R5461P01.ipe all main配置解释:上传到其中一台后解压指定新版本作为下一次启动的版本。[AC] wlan ap-image-deploy all配置解释:配置AC给所有AP在线下发版本(4)在备AC2上查看AP预下载状态版本预加载期间可以在AC上实时查看下载进度ACdisplay wlan ap statistics image-downloadCompleted : 50% //版本下载完成AP占AP总数的百分比Time consumed : xxd hh:mm:ss //截止到现在本次在线升级用时AP count:Total to download : 300 //本次需要在线升级的AP总数Succeeded : 152 //升级成功的AP数量In-progress : 140 //正在下载版本的AP数量Failed : 8 //升级失败的AP数量备注: 如果部分AP由于掉线等原因下载版本失败或者长时间进度保持在某个值可以再执行一次预下载命令wlan ap-image-deploy all。(5)升级主设备AC1备AC2配置AP预下载的时候可以看到AP下载新软件版本的进度如果全部都下载完了这时把主设备AC1单独先升级到最新版本主AC1升级的时候所有业务线和堆叠都是拔掉的。升级完后重启提示要不要重启的时候先选(ES)要不要保存的时候再选N(NO)。(6)在备设备AC2上重启AP业务切回主设备AC1在设备AC2上确认AP都下载好版本后择机在窗口期重启AP这样就节省了AP上线时下载更新版本的时间因为提前下载好了AP版本用命令重启AP。ACreset wlan ap all然后重启AP。然后把业务切换回主设备AC1同时把主AC1的上下行接口业务线接上去把备设备AC2的上下行接口(XGE1/0/9和XGE1/0/10)业务线拔掉(7)备设备AC2重启生成堆叠组把备设备AC2重启重启的时候将堆叠线(XGE1/0/19、XGE1/0/20与XGE2/0/19、XGE2/0/20)插上,等待irf建立起来。可以用命令reboot配置重启提示要不要重启的时候先选是的重启即按是否保存配置再选N。重启完重新生成堆叠后把备AC2的上下行业务接口线(XGE1/0/9和XGE1/0/10)接上去至此升级完成。三升级后验证业务并记录结果按照记录表记录测试结果有异常及时反馈。四故障回退在测试期间发生紧急事件须紧急中止测试并快速恢复设备正常运行状态同时确保业务正常可用。升级异常处理方法AC在升级过程中可能出现AP不能预下载的情况或者无线控制器加载新版本软件重启的过程中出现问题这些问题都要有一个处理的预案。(1)当AC拆堆叠出现故障这种情况不论哪台无线AC出现问题还有一台可以使用那么可以对出问题的那台进行故障排查设备硬件问题还是软件故障(2)AP在备AC2上无法实现预下载功能这种情况直接回退把业务切到主设备AC1上面备设备AC2软件版本重新降到和主设备AC1的版本一致接上堆叠线备设备AC2重启重新形成堆叠组回退回最初的状态方法如下AC重启升级完成后再重新开启版本升级功能。# 开启AP版本升级功能。全局配置视图[AC] wlan global-configuration[AC-wlan-global-configuration] firmware-upgrade enable并保存配置(3)AP在备AC2上有个别无法实现预下载功能如果个别AP出理这种情况可以等无线控制器升级完后单独进行升级。打开版本较验功能重启对应的AP完成AP的版本升级(4)无线AC在升级过程中出现故障这种分三种情况一是主AC1在升级过程中出现故障这时在备的AC上AP版本预下载不管有没有完成备AC2都不要重启保证AP的正常使用等主AC1故障排查完恢复正常排查设备硬件问题还是软件故障再进行下一步的升级操作。二是在AP在备AC2上进行版本预下载过程中所有AP的版本刚下载到一半的时候备AC2出现故障这时把业务切到主AC1保证业务的正常排查备AC2故障原因排查设备硬件问题还是软件故障问题处理完再进行下一步的升级操作。三是在备AC2刚重启的时候主AC1出现故障宕机但备AC2又重启了当重启完后这时AP授权显示为因为AP授权都在主AC1上这时我们申请的临时授权先导入备AC2让AP正常上线使用等把主AC1故障排查完排查设备硬件问题还是软件故障我们再进行下一步的升级操作。五应急处置实施工程师在升级期间发生各种紧急故障能够有一个系统处理预案安排技术人员及时恢复同时确保业务正常可用。六升级版本后如下图所示