自托管 LLM 支出额度网关

额度耗尽即拦截。

客户端指向 QuotaFuse 网关,按人或按项目设置美元额度;付不起本次最坏成本时,请求不发往厂商。

留邮箱排队收件地址即将开通 查看定价
quotafuse — 一次准入判定
本次最坏成本—
剩余可用额度—
最坏成本付不起 ⇒ 请求不发往厂商
形状示意,不含真实读数。
2,180 发 本月判定过的请求 模拟
$3,460 本月拦下的额度 模拟
24 次 触发告警 模拟
0 发 拦下之后仍发往厂商 模拟
演示数据 非厂商账单 不可用于财务结算 这四个数是我们编的合成桩,不来自任何真实实例
三种让团队 LLM 支出失控的常见路径

账单总比日志先到。

01 / 死循环与滥用

跑飞的 Agent 一夜烧掉整月预算

死循环或一次超大请求先到厂商账单,团队事后才发现,中间没有兜底机制。

02 / 两套支出视图

企业 key 与 IDE 订阅对不上账

厂商按 key 计费,IDE 订阅和团队额度各算各的,月底拼不出同一个数字。

03 / 自建 LiteLLM

yaml、Redis、价目表都要自己养

能自建,但配置、Redis 运维和模型价格表更新都落在你身上,账单异常时还要自己查。

隐私与内网边界是加分项,不是这一版的主卖点。

怎么工作

闸门挂在真正消耗额度的那一步之前。

01

接入

客户端把请求地址指向 QuotaFuse 网关,身份沿用网关发的密钥(Authorization: Bearer),原有代码几乎不改。

02

配置

按人、按项目设美元额度,配上告警与风险规则。

03

生效

付不起本次最坏成本就不发往厂商;发出去的那一发按实际产生量入账。

1

估

按本次最坏成本先算一遍这一发要花多少,并从额度里把它预扣下来。

2

判

看这一发算在谁头上、那一格额度还够不够。不够就不发往厂商。

3

结

发出去的那一发按实际产生量入账,没花掉的预扣退回去。

判定只看这三样
  • 本次最坏成本 —— 这一发最多可能花多少
  • 这发算在谁头上 —— 成员与项目归属
  • 单价从哪来 —— 随包价目,官网上不挂厂商报价

预扣按最坏情况算,所以额度消耗比实际账单保守。

之前
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])
之后
client = OpenAI(
    api_key=os.environ["QUOTAFUSE_KEY"],
    base_url=os.environ["QUOTAFUSE_BASE_URL"],
)

同一个客户端、同一行 api_key 的位置,改的只有地址那一行。变量名是示意;鉴权与路径以 API 文档页已定的那三条为准。

场景 之前 之后
跑飞的 Agent 一夜烧掉整月预算 死循环或一次超大请求先到厂商账单,团队事后才发现,中间没有兜底机制。 付不起本次最坏成本就不发往厂商;发出去的那一发按实际产生量入账。
企业 key 与 IDE 订阅对不上账 厂商按 key 计费,IDE 订阅和团队额度各算各的,月底拼不出同一个数字。 按人、按项目设美元额度,配上告警与风险规则。
yaml、Redis、价目表都要自己养 能自建,但配置、Redis 运维和模型价格表更新都落在你身上,账单异常时还要自己查。 单价从哪来 —— 随包价目,官网上不挂厂商报价
六块能力 · 一块已经到货

六块能力里,一块今天就能用。

配额与熔断引擎

网关自己判断这一发付不付得起:按成员、按项目设美元额度,付不起就不发往厂商。

额度刻度
够发预扣已落,这一发才转发给厂商
  • 按成员与项目分额度
  • 预扣按本次最坏成本算
  • 单机档与团队档两套部署
  • 账本随包落盘,随时可导出

唯一一块今天已经在跑的

进行中

Prompt 降噪

剔除输入里的客套与重复铺垫,代码块保持完整。

输入
您好,麻烦帮我看一下,非常感谢!
def settle(...): 这一块整体保留
  • 剔除客套与重复铺垫
  • 代码块整体保护
  • 多档强度可选

还缺:一份可复现的前后对比读数 —— 拿到之前这里不写比例。

进行中

可逆上下文压缩

把超长的工具返回整理成可回溯的摘要,原文仍在你自己的实例里。

工具返回
已摘要原文留档在你的实例里,模型按需召回
  • 工具返回摘要化
  • 原文留在你自己的实例
  • 模型按需召回

还缺:「原文留多久」这一格没定,留档与默认不记录正文是相反的两个要求。

进行中

Agent 行为风控

识别死循环与重复读取,按规则提示或收紧额度。

重复读取
收紧额度同一个文件被反复打开,按规则提示
  • 识别死循环与重复读取
  • 提示或收紧额度两档处置

还缺:识别判据没上量具,所以不写它能拦下什么。

进行中

个体机实时用量

桌面上那颗小球按你自己这把密钥的实时用量呼吸,不必打开面板。

小球 · 本机
在跑这一把密钥今天的量,小球上直接看得见
  • 只看自己这一把密钥
  • 与面板同一份读数
  • 只读,不动别人的额度

还缺:小球上给不给「关停」那颗按钮还没拍板 —— 所以这一张只写看得见,不写关得掉。

进行中

额度恢复倒计时

花完之后什么时候重新有额度,写成一句人话,而不是一个冷冰冰的数。

额度恢复
已耗尽下一档时间从状态面读出来才画
  • 只展示,不参与判定
  • 小球与面板两处同一句
  • 读不到时明写读不到

还缺:接口契约里还没有「下一次重置在什么时候」那一格 —— 读不到就不画,所以这一张不放钟也不放表。

需要后五块?在候补名单里说明你的场景。

容量口径

单实例自托管

推荐 2–50 人 · 峰值 120 人 · 单实例自托管。

容量按「同时在途请求路数 ≤ 200 路」计,人数只是换算 —— 50 人可容每人多开到 4 路,120 人请按每人 1 路理解。

这个数字不是一项上限承诺,而是用于粗略容量规划的估算最大吞吐值;实际吞吐与延迟会随事件粒度、并发形态与机器差异大幅变化。

参照机4–6 核、主频 ≥2.5GHz、16GB、NVMe SSD,Postgres 同机。

负载模型
非流式 · 200 路同时在途 × 每路 20 秒 × 每发约 34k token 输入
过载时的方向
过载时网关 fail-closed 返回 503,而不是放行超出额度的请求。
人数超过峰值怎么办

拆成几套互相独立的实例。

按项目组或部门拆,每个实例各有一套自己的额度与账本。

这样做的代价

一份额度被切成几份(A 组没花完的钱不会自动给 B 组)、跨组报表要另拼、License 按套买。

换更强的机器是一项建议,不是最低支持清单。

数据与 ROI

判定发生在厂商之前。

左边是网关判定那一趟的顺序,右边你可以拿自己的规模按一遍。

网关日志 合成桩 · 模拟
RESERVE 额度够,预扣已落 42 点
CALL 这一发才转发给厂商 18 路
SETTLE 结算完成,差额已退回额度 5 点
BLOCK 额度不足,没有发往厂商 110 点
ROI 试算 试算,非账单 · 数字是模拟
预计月度节约
预计年度节约

* 以上为估算范围,实际节约效果请在客户端体验。这两个区间是按上面那两格当场算出来的,不来自你的实例,也不是账单;真实口径以你自己实例的账本为准。

近四周各成员额度占用 合成桩 · 模拟
研究 1,180 点
服务端 860 点
数据 640 点
前端 410 点
运维 150 点

条的长短是照右边那五个数画的,不是另一套数 —— 这张图除了这五颗读数里没有别的数字。

部署方式

三种交付,同一把尺子。

每一格都按适用场景、交付形态、核心优势三样写齐 —— 这样才比得出来哪一格是你的。

单机档

一台机器,一个人

装在自己的开发机上,不需要服务器,也不需要给谁开账号。

适用场景 个人开发者,先在自己机器上把额度这件事管起来
交付形态 一个本机进程加一个面板,免费且永久
核心优势 今天就能装,不依赖任何外部服务
团队档

装在你们自己的内网里

实例跑在你自己的机器上,额度与账本都在那一套实例里。

适用场景 有数据合规要求、或不想把流量交给第三方的团队
交付形态 自托管实例,License 按席位;人数超过峰值就按项目组拆成几套
核心优势 账本与日志都在你自己的机器上,随包可以导出
落地服务

我们帮你装上并接上线

一次性交付,装完就走;后续照文档自己维护。

适用场景 要把现有客户端、权限或工单系统一起接上的团队
交付形态 一次性服务,按现场情况报价
核心优势 把额度档位与告警阈值一次定好,不用自己试

三种都不需要把流量交给第三方;具体档位与价格见定价页。

数据边界与安全

默认不记录正文

我们记录
  • ✓ 这一发算在谁头上
    成员与项目归属
  • ✓ 额度这一笔
    本次最坏成本的预扣、实际金额与余额
  • ✓ 调用了哪个模型
    以及上游返回的状态
  • ✓ 唯一出站心跳那 5 个字段
    lic_id、deployment_id、seat_count、version、ts

完整清单随隐私文档一起发布。

我们绝不存
  • ✗ Prompt 正文
    不落库、不缓存、不进日志
  • ✗ 模型返回内容
    不落库、不缓存、不进日志
  • ✗ 请求体原文
    网关只做转发与计价,不留副本
  • ✗ 你没要求留档的会话内容
    要留档走 Studio 显式开关 + 二次确认

这一栏是按「默认不记录」交付的,不靠承诺,靠默认值。

默认不记录正文

默认不记录 Prompt 正文与模型返回内容;请求正文不落库、不缓存、不进日志。要求留档的走 Studio 显式开关 + 二次确认。

默认只监听内网

默认只监听内网;公网暴露必须走 Tunnel 且强制开启访问鉴权。

唯一的出站心跳

唯一的出站心跳只有 5 个字段:lic_id、deployment_id、seat_count、version、ts。完整公示随隐私文档一起发布。

安全材料随版公示

SECURITY.md、SBOM 与镜像 digest 将在正式发布时随版本公示,本页面不把它们列为已交付项。

随文档一起发布

这几处内容还不存在,这里只留位置。

尚未发布 完整计费说明

计费说明与供应商超发的处理原则随文档一起发布。

尚未发布 API 文档的限流章节

限流与重试相关的接口说明随 API 文档一起发布。

尚未发布 输出上限参考表

模型输出上限的参考表(厂商声明值与我们建议自配的天花板)正在按随包价目逐行核对,核对完再上表。

常见问题

常见问题

定价摘要

三档订阅加一次性落地服务。

Solo
$0 永久

个人开发记录与本地工作流

1 席位
数字为预估,不可用于财务结算
不可计费、不可拦截
Studio
$59 / 月

含邮件工单 1 工作日响应

≤25 席位
自定义告警与 Webhook
历史长期留存与大导出
留档需显式开关 + 二次确认

落地服务:一次性 $99–$199,帮现有网关、权限与 OA 系统完成对接。

1 / ≤10 / ≤25 指的是 License 授权席位数,不是可同时使用编码 Agent 的人数,也不参与容量口径的换算。

每人美元额度预设四档:$10 / $50 / $200 / 不限,默认 $50。

Solo 那一档的边界单独写在个人版那一页:它不可计费、不可拦截 —— 顶栏今天不再挂这一格,路径从这里进。

下载与试用即将开放。

留邮箱排队,开放时你会收到通知。

留邮箱排队收件地址即将开通 定价