路由配置与回退
控制部署选择
控制部署选择
先为公开模型添加可用部署,再配置路由策略或模板。按业务需求选择权重、负载、延迟或费用策略;配置前确认每个候选部署具备相同请求能力。
操作步骤
路由模板可沿密钥、团队、组织继承,清除绑定后恢复继承。模板决定在已有权限内如何选择部署,不扩大模型访问范围。回退、超时、重试和冷却需一起检查。
检查与边界
跨模型回退只发生在响应字节输出前;请求设置 disable_fallbacks:true 可关闭。固定续传、原生异步任务创建和 Responses background 请求不会换模型重放。任务结果不明时保留任务 ID 与 x-litellm-call-id,不要盲目重发。