API最佳实践第四篇-4 备用模型和网络排查

主模型挂了怎么办备用模型 网络排查单模型总有波动的时候——上游维护、高峰拥堵、临时故障。这篇讲怎么配置备用模型实现自动Failover以及出问题时怎么快速排查网络。核心就一件事用户不应该感知到模型挂了。为什么需要备用模型上游波动是常态。维护窗口、高峰拥堵、临时故障——单模型总有不可用的时候。自动FailoverpythonMODEL_CHAIN [“glm-5.2”, “deepseek-v4”, “qwen3.7-max”]def call_with_fallback(messages):for model in MODEL_CHAIN: try: return client.chat.completions.create( modelmodel, messagesmessages ), model except Exception as e: status getattr(e, status_code, None) if status in {400, 401, 402, 403, 404}: raise continue raise RuntimeError(所有模型不可用)按任务类型配不同的备用链pythonFALLBACK_MAP {code: [glm-5.2, deepseek-v4], chat: [glm-5.2, kimi-k2.6, deepseek-v4], writing: [kimi-k2.6, glm-5.2],}网络排查检查项 操作关代理 直连代理增加延迟且容易断确认节点 国内用户走国内节点检查防火墙 企业网络可能切断长连接DNS预热 启动时先发一个请求快速诊断bash延迟ping api.openstarry.comTLS握手curl -w “TLS: %{time_appconnect}s\n” -o /dev/null -shttps://api.openstarry.com/v1/models完整请求curl -w “总耗时: %{time_total}s\n”-H “Authorization: Bearer sk-xxx”-H “Content-Type: application/json”-d ‘{“model”:“glm-5.2”,“messages”:[{“role”:“user”,“content”:“Hi”}],“max_tokens”:10}’https://api.openstarry.com/v1/chat/completions这篇解决一个问题模型不可用时服务怎么办。备用模型部分自动Failover的Python实现、按任务类型配置不同的备用链、Failover日志怎么记录方便追踪。网络排查部分代理、防火墙、DNS等常见坑的检查清单以及用ping和curl快速诊断的脚本。