1.
总体架构与规划目标
- 目标:实现多机房同网段或多网段多IP冗余与流量可控。
- 要点:降低延迟、保证单点故障切换小于30秒、兼容CDN与DDoS策略。
- 多IP:为业务分配/24或多个/25/26用于不同服务(Web、API、邮件等)。
- 机房:建议至少3个自营机房(HK-DC1/HK-DC2/HK-DC3)接入不同上游ISP。
- 流量目标:平衡外网出口,关键业务走低延迟链路,备份走成本更低链路。
2.
IP与前缀分配策略
- 建议使用多个前缀:例如主前缀 198.51.100.0/24(文档示例),备份 203.0.113.0/24。
- 每机房划分:HK-DC1: 198.51.100.0/26,HK-DC2: 198.51.100.64/26,HK-DC3: 198.51.100.128/26。
- 静态IP分配示例:Web群组 198.51.100.10-20,API 198.51.100.30-39,BGP邻居 .1/.2。
- 公网路由:向上游公告完整/24以便任意机房能收到流量。
- 表格示例(带边框宽度1,居中):
| 机房 | 前缀 | 用途 | 带宽 |
| HK-DC1 | 198.51.100.0/26 | 主站+API | 2x1Gbps |
| HK-DC2 | 198.51.100.64/26 | 备用站点 | 1x1Gbps |
| HK-DC3 | 198.51.100.128/26 | 灾备/邮件 | 1x500Mbps |
3.
BGP对等与上游选择
- 每机房与至少两家上游对等(例如ISP-A、ISP-B),各自建立BGP session。
- ASN规划:可用自身公共ASN或通过上游承载(示例:自有ASN 64512)。
- BGP属性:利用local-pref控制入站首选路径,AS-path prepending用于备份链路。
- MED用于跨机房同ASN下的出站优先级调整,保留社区标签配合ISP策略。
- 快速故障检测:在BGP外使用BFD(示例参数:tx 100ms rx 100ms mult 3)缩短故障转移时间。
4.
流量工程与智能调度
- 出站:按服务类型在路由器上配置路由策略,Web走低延迟上游,备份走成本链路。
- 入站:对重要IP使用不同ASN/前缀在不同上游的路由偏好进行广告;示例向ISP-B增加AS-path prepend 2次数作为备份。
- DNS策略:配合DNS地理解析或CNAME到CDN实现智能切流,TTL短(例如60s)用于快速切换。
- Anycast与CDN:对静态资源使用CDN/Anycast站点,减轻源站带宽压力与DDoS影响。
- 实测数据:在HK-DC1主用时平均延迟 8ms,切换到HK-DC2后延迟上升至12ms,故障切换时间 15-25s(含BFD+BGP convergence)。
5.
DDoS防护与安全策略
- 前置防护:与DDoS清洗厂商签约,黑洞/流量清洗自动化接口。
- 本地防御:在机房边界防火墙限制异常连接速率,使用RST/ACL规则快速丢弃。
- BGP黑洞:实现RTBH(remote-triggered blackhole),通过BGP社区触发上游黑洞。
- CDN卸载:将大流量静态/流媒体通过CDN分发,减少源站暴露。
- 监控阈值:设置每IP/前缀流量阈值(示例:当秒流量 > 200 Mbps 或 SYN > 50k/s 时触发报警并自动下发防护)。
6.
运维、监控与真实配置示例
- 监控项:BGP session状态、流量、延迟、丢包、CPU/内存、接口错误。
- 告警策略:BGP down、链路丢包>2%、流量突增触发工单/自动化脚本。
- 服务器配置示例(HK-DC1 Web节点):CPU 8 cores, RAM 32GB, NVMe 1TB, 带宽 1Gbps 专线。
- 路由器BGP示例片段(示意):neighbor 10.0.0.2 remote-as 65002; neighbor 10.0.0.2 timers 30 90; route-map OUT permit 10 set local-preference 200。
- 真实案例:某港企在三机房部署,使用198.51.100.0/24对外公告,结合BFD与RTBH,将平均切换时间从120s降至18s,DDoS高峰(1.2Tbps)通过上游清洗成功吸收95%攻击流量。
来源:如何规划香港多ip服务器用多家自营机房 的线路和BGP策略