第一时间确认故障范围:通过多点监控和第三方检测(例如监控平台、ping/traceroute)判断是单点故障还是全网不可达。检查是否为DDoS攻击或链路故障,优先查看带宽/流量曲线、防火墙/高防设备告警和服务器CPU/内存使用率。若是流量异常激增,立即启用高防清洗策略并联系供应商;若是链路中断,则追踪BGP邻居和路由变更记录。
1)核实监控告警时间线与告警类型;2)使用多地域探测确认访问路径;3)检查防护策略是否被误改;4)查看系统日志(/var/log/syslog、nginx/应用日志)定位错误码或异常请求特征。
例如发现带宽突增且来源IP集中于某个省份,可导出攻击样本并在高防控制台设置IP封堵或速率限制,同时保留样本供分析。
日志与抓包是精准定位的关键。先集中采集Nginx/Apache、应用服务、内核和防火墙日志,利用关键词(如 500/504/connection refused)筛查异常时间段。抓包(tcpdump)在服务器端捕获进出流量,配合Wireshark分析三次握手、重传、RST等异常帧。若涉及加密流量,可配合应用层日志和SSL握手信息判断问题点。
1)在高峰或故障时段执行抓包(建议限制包大小与时间);2)导出异常请求头和请求体(注意敏感数据合规);3)比对请求来源、User-Agent和频次,判断是否为攻击或爬虫引发。
抓包量大时注意磁盘与IO占用,生产环境建议先在边缘或交换设备做镜像流量采集,避免对业务主机造成额外负载。
遇到DDoS或大流量攻击,应立刻执行“缓解—隔离—恢复”流程。首先在高防控制台快速切换至清洗模式或提升清洗阈值;其次通过访问控制列表(ACL)、GeoIP、黑白名单等策略进行分流和隔离;同时对关键接口做梯度降级(减少非核心服务)保障核心业务可用。
1)优先保护登录、支付等敏感接口;2)对大流量来源IP段临时放入黑名单并观察效果;3)配合CDN或边缘防护做智能流量清洗,必要时启用“全流量导向清洗”策略。
及时通知带宽与高防服务商,提供攻击样本与流量曲线,请求上游做流量旁路或更高等级的清洗能力支持。
修复后应按“验证—分阶段回归—长期观察”顺序恢复流量。先在小范围内恢复实例或撤销临时防护策略,监控关键指标(响应时延、错误率、带宽占用);确认稳定后逐步扩大恢复范围。若更新或配置变更导致故障,应准备回滚方案并在变更窗口进行控制性回退。
1)回滚前备份当前配置;2)逐台或逐集群放行流量并实时监控;3)保留故障期间的日志与抓包为后续分析资料。
定期进行故障演练(包括切换、回滚、清洗策略演练),确保团队熟悉流程并能在真实事件中快速执行。
事后复盘应覆盖根因分析(RCA)、应急响应效果评估、配置或架构改进点和责任归属。基于事件制定改进计划,例如增加多线BGP冗余、扩展监控粒度、优化防护策略模板、完善告警等级与应急联系人清单。将经验沉淀为SOP和故障手册,定期审查并演练。
1)提升监控报警的准确性和分级响应机制;2)在关键节点部署自动化切换与限流策略;3)优化日志集中与样本保留策略,确保事后可追溯。
明确应急角色(指挥、联络、技术、外联),设立24/7值班制度并保持与带宽/高防厂商的联动渠道畅通。