文档首页/请求链与模块边界

请求链与模块边界

Console :3000 ─┐
Application ──┴─> Gateway :4000
                  -> Auth / Authz / Limits
                  -> Router -> Dataplane -> Provider
                  -> Usage -> PostgreSQL
                           -> Redis queue (optional)

顺着一次请求看代码

阶段 入口 不负责什么
HTTP 接线 gateway 不把控制台按钮当权限
身份 / 授权 auth、authz 不用客户端 metadata 认定身份
候选编译 router 不扩大模型允许名单
上游执行 dataplane 不在断流后拼接另一上游
协议登记 / 转换 provider、llm 目录条目不证明协议可执行
配置 / 身份 / 账务 store、iam 当前配置不覆盖历史归属

普通推理按鉴权、限额、护栏、选路、执行、记账处理。原生任务走专门生命周期;不要套用聊天缓存或重试规则。

验证入口

go test ./internal/router ./internal/dataplane/... -count=1
go test ./internal/gateway -run 'TestVisibilityChain' -count=1

运行边界 · 计价 · 测试环境

输入关键词搜索全文,例如:预算、路由、Docker