LarkAx 把各大厂商的模型汇聚到同一个端点,统一处理鉴权、路由、故障转移与计费。改一行 base_url,现有代码直接跑通。
多家厂商意味着多套 SDK、多份密钥、各自不同的限流与账单。转发层应当把这些差异全部吸收掉。
业务代码需要为每家厂商维护一份客户端与配置。
上游差异在网关内转换,业务侧只面对一个稳定接口。
各大厂商的模型汇聚到同一端点,新增模型在控制台可见并即时生效。
| 模型 | 最大上下文 | 输入 | 输出 | 状态 |
|---|---|---|---|---|
| gpt-5 | 400K | ¥0.18 | ¥1.08 | 已接入 |
| claude-sonnet-4 | 1M | ¥0.21 | ¥1.05 | 已接入 |
| gemini-2.5-pro | 1M | ¥0.14 | ¥0.69 | 已接入 |
| deepseek-v3 | 128K | ¥0.02 | ¥0.08 | 已接入 |
| qwen3-max | 256K | ¥0.06 | ¥0.24 | 已接入 |
同一模型可挂多条上游渠道,按优先级与权重分发;上游异常时在超时预算内自动切换。
应用只持有一个密钥,调用一个 OpenAI 兼容端点。
提供该模型的渠道按健康度、延迟与优先级排序。
进入最高优先级通道,同级渠道按权重分配流量。
渠道返回 429,进入冷却并从候选集中暂时摘除。
同一请求在下一条健康通道上重试,调用方感知不到错误。
响应流式回传,按实际 token 用量计费。
从创建密钥到发出第一个请求,通常不超过两分钟。
在控制台新建密钥,可同时设定额度上限、可用模型、来源 IP 与有效期。
把客户端指向网关地址,其余参数保持原样。
切换模型只需修改 model 字段,流式与非流式用法一致。
转发层该做的事情,都在网关里完成——协议转换、渠道治理、用量结算。
一个端点接入 24 家厂商,现有 OpenAI SDK 只改 base_url 与 key。
OpenAI、Anthropic、Gemini 三种请求与响应格式在网关内转换。
优先级、权重与故障切换,请求始终落在健康节点上。
定时探针复扫各渠道,连续失败的渠道自动降级并在恢复后重新纳入。
按 Key、模型、渠道三个维度统计 token 与费用,支持导出对账。
主账号下可建多个子 Key,分别限定额度上限、模型白名单、来源 IP 与有效期,随时吊销。
只改 base_url 与 API Key 两处。以 openai-python 为例,把 base_url 指向网关地址即可,模型名、消息结构、流式开关都不变。
支持。网关同时暴露三种入口,任一格式进来都能路由到任意上游模型,响应按入口协议返回。
首个 token 返回前,若上游返回 429、5xx 或连接中断,请求会在超时预算内重试到同模型的备用渠道。已开始输出的流式响应不会中途切换。
网关解析每个响应中的 usage 字段并记录,按 Key、模型、渠道三个维度汇总。上游未返回 usage 时按字符数估算并在明细中标记。
可以。子 Key 支持同时设置额度上限、模型白名单、来源 IP 与有效期,任一条件触发即拒绝请求。
以上游官方价格为基准乘以渠道倍率,无月费与最低消费。倍率随渠道与时段浮动,以控制台展示的实时价目为准。