网游行业服务器故障盘点

典型网游及互联网平台服务器故障案例复盘

游戏、直播类互联网业务面向海量公众用户，一旦底层IT基础设施发生异常，会直接引发大面积业务中断，严重时还会造成玩家游戏进度、消费记录等核心数据丢失。国内外行业内曾发生过多起具备参考意义的故障事件。

《炉石传说》数据库损坏回档事故

北京时间2017年1月17日凌晨，由网易代理运营的《炉石传说》发生重大生产故障，服务器进入长时间维护状态，直至1月18日18点才完成服务恢复。本次事故源于机房供电意外中断，造成数据库文件损坏。运维团队完成抢修之后，发现备份数据库同样出现异常，业务只能回退至1月14日15点20分的备份时间点，大量玩家近4天的游戏进度全部丢失。

该事故暴露出传统周末全量备份模式的短板：当故障发生距离上一次全量备份间隔较长，一旦备份集出现异常，业务将面临大范围的数据回退损失。如果采用CDP持续数据保护技术，可定位到故障发生前最近的可用时间点完成恢复，最大限度缩短数据丢失窗口。延伸阅读：i2CDP，持续数据保护的真谛

网易多款游戏遭遇骨干网络攻击事件

2015年5月11日晚间，网易旗下《梦幻西游》《镇魔曲》《天谕》等多款游戏服务出现访问异常。网络传言将故障归因于楼宇火情，官方后续发布公告澄清，事故实际来自骨干网络遭受外部攻击，导致多项业务临时不可用。事后部分游戏产品针对受影响玩家启动补偿机制，具体补偿细则并未对外完整公开。

游戏服务器数据异常，多组服务器回档补偿

某游戏“群星眷顾、森中怪鸟、巨齿豪杰”三组服务器，出现服务器数据异常。2016年6月14日22点至维护前有在线行为的玩家，业务数据存在受损风险。运维侧最终对三组服务器全部玩家统一发放40000银币，用于弥补用户损失。

风云服务器交易数据异常事件

2016年11月12日，风云服务器发生业务异常，故障时段内存在服务器短暂回档风险。针对商城购买、交易站产生的用户消费行为，平台执行补发物品、补发代币操作，保障玩家的消费权益。

Steam全球冬季特卖DDoS攻击故障

Steam开启冬季特卖活动期间，遭遇黑客组织Phantom Squad发起的DDoS攻击，引发全球性服务故障。平台在线游戏、游戏购买等核心业务大面积停用，全球用户仅能够使用离线模式，本次故障没有对外公布玩家补偿方案。

狮吼直播机房施工引发业务中断

2017年1月14日，机房现场施工事故造成基础设施故障，狮吼直播客户端晚间20点左右整体不可访问。平台采用红包道具翻倍的形式，对受影响用户完成权益补偿。

网游业务常见故障根因归纳

综合上述多起真实业务故障，网游、直播类面向C端的互联网业务，生产中断风险主要集中在四大维度：

游戏运维、DBA岗位承担极高业务压力，行业也流传过为新服服务器祈福开光这类趣味现象，侧面反映出业务侧对于系统稳定性的迫切诉求。仅仅依靠传统周期性全量备份，很难应对网游高频变化的业务数据。除数据备份手段之外，还需要配套高可用切换体系，当服务器、链路出现故障，完成业务自动或手动切换，同时切换流程必须经过常态化演练验证。延伸阅读：i2Availability：不可不知的10大特性

网游行业降低宕机与数据损失的建设要点

结合故障复盘，游戏与直播业务想要规避宕机、减少故障发生后的数据损失，需要从监控告警、硬件运维、安全防御、备份架构、应急演练、备份校验多个层面构建完整防护体系：

1. 配置业务负载阈值告警，流量指标达到预警阈值时，动态扩容服务器资源，规避高并发带来的过载宕机风险。
2. 常态化硬件巡检与设备状态监控，针对服务器过热、硬件异常做到提前感知，消除潜在故障点。
3. 建立网络安全事件响应机制，面对DDoS等黑客攻击，联动安全、警务资源快速处置，降低攻击带来的业务影响。
4. 构建多重备份架构，至少保障本地备份+异地备份两套副本，规避单机房损毁造成备份全部失效。
5. 定期组织完整应急演练，覆盖业务切换、系统接管、数据恢复全流程，验证故障场景下整套容灾流程可落地。
6. 每一次备份任务执行完成，执行备份集完整性、可恢复性校验，杜绝事故发生时才发现备份不可用的问题。