零停机数据库迁移的最佳策略
2026-11-05
VMware 中的 503 Service Unavailable 错误通常并不意味着您的虚拟机已经宕机。在大多数情况下,VM 仍在运行,而管理层停止响应。真正的问题在于被锁在门外:没有 vCenter Server 或 ESXi Host Client,您就失去了迁移 VM、应用补丁或运行备份作业所需的工具。
错误消息本身各不相同,从 vCenter 中的 “Failed to connect to endpoint” 到 ESXi Host Client 中一个光秃秃的 503 页面。其背后,原因通常是服务停止、分区已满、证书过期、DNS 或时间漂移,或升级期间所做的更改。由于每种原因需要不同的修复方法,最好先确定出故障的层级。

503 Service Unavailable 响应意味着服务器暂时无法处理请求。在 vCenter Server 中,这通常发生在反向代理无法访问所需的后端服务时,例如 vmware-vpxd。具体的消息会显示是哪一层失败了。
代理层也因产品和版本而异。vCenter Server 7.x 和 8.x 使用 rhttpproxy 服务以及 Envoy,而 ESXi 8 也使用 Envoy。这就是为什么同一类型的故障可能以不同的消息出现。
每条消息指向不同的故障点,因此在重启任何东西之前,请先匹配消息及其出现位置。
| 错误消息 | 出现位置 | 可能原因 |
|---|---|---|
Failed to connect to endpoint ... vpxd-webserver-pipe |
vCenter UI | 后端服务已停止 |
no healthy upstream |
vCenter 或 ESXi 8 UI | 后端服务或证书故障 |
_port = 8309 |
ESXi Host Client | hostd 无响应,通常发生在证书更改之后 |
/sdk 端点 503 |
备份作业 | vpxd 无响应或过载 |
vpxd-webserver-pipe 消息通常意味着代理后面的某个后端服务已宕机。vCenter no healthy upstream 错误是另一种 503 消息,Broadcom 将证书过期记录为两者的原因。
对于 ESXi,包含 _port = 8309 的 503 通常意味着 hostd 未运行或无响应。无效的证书文件是已记录的原因,但主机过载或存储问题也可能产生相同的结果。在 ESXi 8 上,Host Client 可能改为显示 no healthy upstream。
错误出现的时间以及波及范围,指示了应从何处着手。
| 症状 | 可能原因 | 从何处开始 |
|---|---|---|
| 重启后出现 503 | 服务仍在启动 | 等待并重试 |
| 证书更改后出现 503 | 证书过期或无效 | 针对 vCenter,检查证书;针对 ESXi,重新生成 ESXi 主机证书 |
| 升级后出现 503 | 服务停止或 hostd 崩溃 |
针对 vCenter,检查服务状态;针对 ESXi,参见 ESXi 升级后 hostd 崩溃 |
| 仅一个界面出现 | 一个服务或端点受影响 | 确定问题是 vCenter 还是客户端 |
| 备份作业返回 503 | vpxd 无响应或过载 |
检查 vCenter SDK 端点 |
仅重启服务无法修复分区已满、证书过期或 DNS 问题,因此请先匹配症状。在 ESXi 上,Host Client 503 指向管理层而非 VM,正在运行的 VM 通常不受影响。存储问题是主要例外,因为它们可能同时影响 hostd 和 VM。
从侵入性最小的检查开始,逐步转向证书、DNS 和时间设置。目标是在重启任何其他东西之前找出故障层。
vCenter Server Appliance (VCSA) 在重启后可能需要几分钟才能将所有服务上线。如果 503 出现在启动后不久,请等待 10 到 20 分钟,然后再次测试 vSphere Client。
也可以尝试不同的浏览器或客户端。503 是服务器端错误,因此这主要是为了排除缓存页面或过期会话。
如果 503 持续存在,请从 VCSA shell 检查服务状态。如果端口 5480 上的 VAMI 能够加载,其 Services 页面会显示相同的信息。
从 VCSA shell 运行:
service-control --status --all
输出会在 Running 和 Stopped 下列出服务。重点关注核心服务,例如 vmware-vpxd、vmware-stsd、vmware-rhttpproxy 和 vsphere-ui。如果其中一个已停止,请启动该服务,而不是重启所有服务。
要启动已停止的服务:
service-control --start
如果 vmware-vpxd 启动失败,请检查它所依赖的服务(如 vmware-vpostgres 和 vmware-stsd)是否正在运行。然后阅读 /var/log/vmware/vpxd/vpxd.log 查找原因。在不知道原因的情况下反复重启,往往会以同样的失败告终。
当多个核心服务停止时,在修复根本原因后,一次性重启所有服务可能是合适的。Broadcom 记录了以下命令:
service-control --stop --all && service-control --start --all
分区已满会阻止服务启动。Broadcom 指出磁盘空间问题不会直接导致 503,但由此导致的服务宕机则会。
从 VCSA shell 运行:
df -h
查找使用率接近或达到 100% 的分区。日志和数据库增长是常见原因,修复方法取决于哪个分区已满。对于日志相关的情况,请参阅 vCenter 上的日志磁盘耗尽。
CPU 和内存其次。Broadcom 将极高的 CPU 争用和极高的存储延迟列为核心服务停止的原因。同时确认 VCSA 仍具有其部署规模所需的内存。例如,Tiny 部署在 vCenter 7.0 中需要 12 GB,在 vCenter 8.0 中需要 14 GB。
过期的 vCenter 证书可能导致多个服务同时失败,并同时产生 503 Service Unavailable 和 no healthy upstream 错误。Broadcom KB 344201 针对 vCenter Server 6.x、7.x、8.x 和 9.x 记录了这一点。
在更改证书之前,请备份或对 vCenter VM 创建关机快照。更换失败可能导致 vCenter 无法访问。
从 VCSA shell 检查证书过期情况:
for store in $(/usr/lib/vmware-vmafd/bin/vecs-cli store list | grep -v TRUSTED_ROOT_CRLS); do
echo "[*] Store :" $store
/usr/lib/vmware-vmafd/bin/vecs-cli entry list --store $store --text | grep -ie "Alias" -ie "Not After"
done
如果有任何证书已过期,Broadcom 建议使用 vCert 工具。选项 1 识别过期的证书,选项 6 在多个存储受影响时重置所有证书。之后重启服务。
名称解析和时钟漂移可能阻止 vCenter 服务启动或破坏它们之间的信任。Broadcom 将时间同步问题列为核心服务停止的原因之一,修改过的 /etc/hosts 文件也可能阻止服务启动。
从 VCSA shell 检查以下项目:
nslookup 确认 vCenter FQDN 和 IP 地址在双向都能正确解析。/etc/hosts 是否有意外更改。date 的输出与运行 VCSA 的 ESXi 主机以及您的 NTP 源进行比较。vCenter 与 ESXi 主机之间的时间漂移还会导致 VMware cannot synchronize host 错误。
VAMI 运行在端口 5480 上,并依赖于 applmgmt 服务。Broadcom KB 378577 指出,在 vCenter Server 6.7、7.0 和 8.0 上,applmgmt 被禁用或停止是 VAMI 503 的常见原因。如果 vSphere Client 能加载但 VAMI 不能,请先检查此服务。
从 VCSA shell 检查其状态:
service-control --status applmgmt
如果服务已停止,请启动它并重新加载 VAMI:
service-control --start applmgmt
如果 applmgmt 启动失败,请首先检查证书过期情况,因为过期证书会阻止服务启动。然后查看 vCenter 日志中与该服务相关的错误。
ESXi 503 通常指向主机管理平面,而非虚拟机。从 hostd 和 vpxa 开始,然后如果错误出现在证书更改之后,请检查证书。ESXi 升级后,持续的 hostd 崩溃也可能指向过时的 DVS 配置。
hostd 处理核心 ESXi 管理操作,而 vpxa 处理主机与 vCenter Server 之间的通信。如果任一服务停止或无响应,Host Client 或 vCenter 连接可能失败,而正在运行的 VM 仍继续工作。
在重启它们之前检查服务。这可以显示 503 是来自停止的服务还是更深层的配置问题。
从 ESXi SSH 检查 hostd:
/etc/init.d/hostd status
从 ESXi SSH 检查 vpxa:
/etc/init.d/vpxa status
如果 hostd 已停止或无响应,重启它通常能恢复对 Host Client 的访问。如果主机由 vCenter 管理,也请检查 vpxa。
从 ESXi SSH 重启管理服务:
/etc/init.d/hostd restart
/etc/init.d/vpxa restart
重启这些服务不会关闭正在运行的 VM,但会短暂中断管理操作和与 vCenter 的通信。如果它们立即再次停止,请不要继续重启。改为检查 /var/run/log/hostd.log 和 /var/run/log/vpxa.log 查找根本原因。
_port = 8309证书更新后,ESXi Host Client 503 包含 _port = 8309 通常指向证书或 SSL 密钥问题。Broadcom KB 376026 记录了这一点:通过 vSphere Client 或 CLI 上传的无效证书和密钥对会被应用,尽管本应被拒绝,这会导致 hostd 和 vpxa 崩溃。
在替换证书文件之前请检查它们。相关文件是 /etc/vmware/ssl/rui.crt 和 /etc/vmware/ssl/rui.key。
如果 hostd 日志显示证书解析错误或密钥与证书不匹配,请遵循下面的证书恢复过程,而不是反复重启管理代理。
当现有证书文件无效或不匹配时,Broadcom KB 376026 涵盖了将受影响文件移至备份目录并生成新的自签名证书的方法。
在更改证书文件之前,请确认主机处于适当的维护状态,并且该更改不会中断所需的管理连接。如果主机由 vCenter 管理,请与 vSphere 管理员协调该更改。
从 ESXi SSH 备份现有证书文件:
cd /etc/vmware/ssl/
mkdir backup
mv rui.crt ./backup/
mv rui.key ./backup/
从 ESXi SSH 生成新证书:
/sbin/generate-certificates
然后重启管理代理:
/etc/init.d/hostd restart
/etc/init.d/vpxa restart
生成的证书是自签名的。如果主机之前使用 CA 签名的证书,请在恢复管理访问后重新配置它。
hostd 在 ESXi 升级后崩溃升级后持续的 hostd 崩溃可能有不同于证书故障的原因。Broadcom KB 412202 针对从 ESXi 7.0 Update 3 升级到 ESXi 8.0 Update 3 的主机记录了这一点:主机配置存储中残留的对物理移除的 NIC 的引用不再与活动 DVS 配置匹配,这会导致 hostd 崩溃,并使 Host Client 显示 HTTP 503 - no healthy upstream。
受影响的主机即使在手动重启后也可能继续崩溃 hostd。
在更改网络配置之前,检查 hostd 日志中是否有 DVS 相关错误。如果日志指向过时的 vmnic 条目或配置存储不匹配,请遵循 Broadcom KB 412202 中的过程。
不要将移除 DVS 配置或物理上行链路作为应对每个 ESXi 503 的首要措施。错误的网络更改可能影响管理连接和 VM 网络,因此此修复最好在确认 DVS 不匹配后由 vSphere 管理员处理。
大多数 VMware 503 错误在管理平面宕机后,预防比恢复更容易。相同的依赖关系反复出现:服务健康、磁盘容量、证书和时间同步。Broadcom 将磁盘空间已满、资源争用和服务依赖列为 vCenter 服务启动失败的常见原因。
定期检查可以在大多数此类情况演变为管理中断之前发现它们。
503 Service Unavailable 和 no healthy upstream 错误,并阻止所需服务启动。503 错误本身不会使正在运行的 VM 面临风险,但上述故障排除步骤会。重启服务、更换证书和重新配置 DVS 都会触及维持生产 VM 运行的系统。在这些更改之前进行备份,可以在出问题时为您提供一条退路。
i2Backup 专为 VMware 环境中的此类保护而构建:
hostd 或 vpxa 时也能继续运行。对于大规模运行 vSphere 集群的企业,将 i2Backup 与 i2CDM 配合使用可增加快速灾难恢复演练,因此管理平面故障可以在真实发生之前进行测试和演练。
VMware 503 错误几乎总是可追溯到以下几个地方之一:服务停止、分区已满、证书过期、DNS 或时间不匹配,或升级遗留的配置问题。将确切的错误消息和症状与上述正确部分匹配,是缩小适用范围的最快方法。
一旦修复了当前错误,更有用的步骤是确保同样的故障不会重复发生。定期检查服务健康、磁盘空间、证书和时间同步,可以在大多数此类问题变成 503 页面之前发现它们。
英方软件 为 VMware 和其他企业环境构建数据保护工具,包括上面涵盖的备份和恢复选项。
公告
邮件
销售