LLMPodLLMPod

路由网关

把部署好的模型发布为可调用 API:端点绑定、按 token 定价、权重优先级与 failover 策略。

本节内容

01

端点与模型绑定

一个端点聚合多个部署实例,对外暴露统一地址。

02

权重与优先级

按节点性能与成本设置流量权重,让请求优先落到快节点。

03

failover 与容灾

实例故障时的自动切换与重试语义,保证调用方无感。

04

端点定价

按 token 计费的定价配置,与租户预算联动。

没找到想要的

在社区论坛提问,或直接联系支持团队,多数问题在一个工作日内有回复。