文档首页/路由配置与回退

路由配置与回退

控制部署选择

控制部署选择

先为公开模型添加可用部署,再配置路由策略或模板。按业务需求选择权重、负载、延迟或费用策略;配置前确认每个候选部署具备相同请求能力。

操作步骤

路由模板可沿密钥、团队、组织继承,清除绑定后恢复继承。模板决定在已有权限内如何选择部署,不扩大模型访问范围。回退、超时、重试和冷却需一起检查。

检查与边界

跨模型回退只发生在响应字节输出前;请求设置 disable_fallbacks:true 可关闭。固定续传、原生异步任务创建和 Responses background 请求不会换模型重放。任务结果不明时保留任务 ID 与 x-litellm-call-id,不要盲目重发。

输入关键词搜索全文,例如:预算、路由、Docker