BizIdea

LITELLM 开发工具 扫描 2026-06-09 to 2026-06-09 运行 20260610000123

面向 AI 网关的补丁与隔离控制平面——自动推送修复、轮换模型密钥、隔离暴露路径。

团队正快速把自托管 AI 网关标准化,用它统一模型路由、凭证和用量控制,但补丁和加固还按边角项目在做。一旦这一层出现可被利用的漏洞链,后果不只是宕机——供应商密钥会丢、提示词会泄露、攻击还会横向打进周边基础设施。安全团队需要一套办法,既能找出暴露网关、快速推送安全修复,也能在不中断生产流量的前提下完成凭证隔离。

综合评分 4.2 / 5.0
  1. 4
    市场

    $0.6B TAM、$160.0M SAM,所在大类 CAGR 为 21.7%;已映射出四个对手,仍留得出一层专做事件的细分空间。

  2. 4
    差异化

    这个切口把利用路径检测、安全补丁发布和凭证隔离绑在一起,而更宽的平台型网关厂商今天还没这么打包。

  3. 4
    执行

    招聘计划和阶段目标都够具体,模型给到 70% 毛利率、5.1x LTV/CAC 和 10.9 个月回本,但仍有三条模型红旗要盯。

  4. 5
    时机

    活跃利用、CISA KEV 收录和明确的升级路径,给暴露在 AI 网关上的团队打开了立刻采购的窗口。

章节

为何现在

  1. CISA 把漏洞列进 KEV,让 AI 网关加固从可做可不做的基础设施清理,变成高管能看到的整改期限。
  2. 这条利用链一旦和 Starlette 叠加就不再需要认证,所以原本以为危险端点被挡住的团队,现在面对的是完全不同的威胁模型。
  3. AI 网关把模型凭证和路由集中到一起,所以一个代理一旦失陷,破坏力会远大于普通应用漏洞。
  4. 修复路径非常清楚,也适合自动化——指定版本升级,再把端点限制为仅管理员可访问——所以买方能为把这件事运营化的软件买单。

催化因素。 LiteLLM 与 Starlette 组成的利用链,把 AI 网关加固从积压工作推成了近期安全采购:攻击已经在发生,爆炸半径是凭证失窃,而修复路径也很明确。

章节

创意

产品以控制平面的形态部署,持续盘点各个集群和环境里的 AI 网关实例、版本、暴露端点,以及上游模型凭证。它会标出容易被利用的配置,针对已知的 LiteLLM 与 Starlette 利用链跑预置修复预案,并通过灰度升级把补丁分批推下去,让平台团队修补时不至于打断路由行为。一旦怀疑已经失陷,系统会自动轮换凭证、隔离端点,并把流量切到干净的网关部署。时间一长,它就会成为生产级 AI 基础设施里关于网关姿态、补丁状态和事件证据的系统记录。

差异化。 现有漏洞扫描器能告诉团队某个包过时了,但看不懂 AI 网关拓扑、暴露的 MCP 式测试面,也不会处理在不中断流量的前提下轮换模型凭证的运维步骤。通用 CSPM 和容器工具同样做不到为有状态的模型路由层安全编排升级。这家公司能赢,靠的是把 AI 网关这条链路从利用路径识别、补丁发布、凭证隔离到事后证据全都接住。

创业论点
滩头市场 员工 100-800 人、从 Series B 到上市的 B2B 软件公司;它们在 Kubernetes 上运行自托管 LiteLLM,给 OpenAI、Anthropic 和 Azure 的模型流量做统一代理,服务于客服助手或内部 Copilot。
切入点 一个 AI 网关补丁与隔离产品:盘点已部署的 AI 网关,识别暴露的测试端点和 host-header 配置错误,安全分批升级,并在怀疑失陷后自动轮换供应商凭证。
非显而易见洞察 AI 网关已经悄悄从开发中间件变成了高权限控制平面。真正的变化在于:活跃利用和 KEV 列表把预算化的事件响应需求推到了眼前,而这一层基础设施至今缺少专门做补丁、暴露面和凭证隔离的工具。
风险投资级路径 先从 LiteLLM 事件响应切进去,再扩成更广的 AI 网关与推理代理控制平面:版本策略、密钥隔离、出口治理、流量取证,以及覆盖企业全部模型路由面的合规证据。
目标用户
主要用户 负责生产级内部 Copilot 或面向客户 AI 功能、并运行自托管 LiteLLM 网关的平台安全团队与 AI 平台工程师。
次要用户 负责基于 Kubernetes 的模型路由基础设施值班的 SRE 负责人。
经济买方 B2B 软件公司的平台安全负责人或基础设施副总裁。
市场切入种子
首个客户 首个客户会是 200-1000 人的 SaaS 公司里的平台安全负责人:公司已经把 LiteLLM 当成多个生产级 AI 功能的中心网关来跑,而且每个环境都存着多套供应商密钥。
购买触发点 KEV 告警、紧急厂商通告,或内部红队发现——只要它证明 AI 网关可能泄露供应商凭证或允许远程代码执行,采购就会被点燃。
当前替代方案 手工改 Kubernetes,再配合云 KMS、Vault 或环境变量里的临时密钥轮换;通常还得靠表格、Slack 和 shell 脚本串起来。
切换理由 这个切口能赢手工响应,因为它把修复时间从几天压到几小时,同时保住流量连续性,并把团队往往要到事后复盘才想起的凭证隔离动作自动做掉。
定价假设 按受保护的网关集群数和活跃的供应商凭证集收平台年费,事件响应自动化单独卖高级档。

待完成任务

任务 当前替代方案 成功指标
当关键的 AI 网关通告落地时,帮平台安全团队尽快给暴露部署打补丁并轮换模型凭证,让他们在不中断生产 AI 流量的前提下把爆炸半径收住。 手工升级操作手册加一次性的密钥轮换脚本。 通告发出后,到完成全面修复和凭证轮换所需的时间。
当管理层追问 AI 网关还能不能继续跑在生产环境里时,帮基础设施负责人拿出姿态与策略状态的证据,让团队能带着更低的事故风险继续上线 AI 功能。 容器扫描器加手工表格审计。 已验证补丁与策略合规的网关实例占比。
AI 网关补丁与隔离闭环
flowchart LR
  Buyer[Platform Security Team] --> Pain[Exploited AI gateway exposes model keys and routing]
  Pain --> Product[Patch and quarantine control plane]
  Product --> Outcome[Faster remediation with contained blast radius]
创意评分卡 — 平均4.6 / 5 · 5个维度
信号5/5痛点5/5切入点5/5防御性4/5规模化4/5
  • 信号 · 5/5活跃利用加 KEV 收录,是当下少见的强信号——预算和紧迫性都已经出现。
  • 痛点 · 5/5AI 网关一旦失陷,可能泄露供应商密钥、触发横向移动,并干扰所有下游 AI 功能。
  • 切入点 · 5/5第一款产品非常具体:识别脆弱网关、编排修复,并在暴露后隔离凭证。
  • 防御性 · 4/5工作流深度、集成能力和利用专属响应数据都能持续累积,不过相邻安全厂商也可能切进来。
  • 规模化 · 4/5这个切口可以从 LiteLLM 扩到更广的企业级 AI 网关治理和事件运营市场。
商业模式画布
关键伙伴
  • Kubernetes 安全与可观测性厂商
  • 密钥管理平台
  • 负责 AI 基础设施响应的 MSSP
关键活动
  • 持续交付网关专用检测能力
  • 维护安全的补丁编排能力
  • 扩充密钥轮换与流量切换集成
关键资源
  • AI 网关检测与修复引擎
  • 面向网关技术栈的利用路径知识库
  • 凭证轮换集成能力
价值主张
  • 不给生产流量添乱,就能给被利用的 AI 网关打补丁
  • 自动轮换供应商凭证,并隔离高风险端点
  • 把 AI 网关姿态和事件证据沉淀成系统记录
客户关系
  • 高触达部署支持
  • 安全工程成功复盘
  • 事件响应预案持续更新
渠道
  • 直销平台安全和基础设施负责人
  • 围绕公开 AI 网关通告发起的事件驱动外呼
  • 云安全与 Kubernetes 安全合作伙伴
客户细分
  • 在生产环境运行自托管 AI 网关的 B2B SaaS 公司
  • 把内部 Copilot 放在集中式模型代理后面的受监管企业
成本结构
  • 安全工程与研究
  • 客户部署与支持
  • 用于姿态分析和自动化的云基础设施
收入来源
  • 平台年费订阅
  • 事件响应自动化高级档
  • 初始加固与迁移的专业服务
章节

市场

市场规模
TAMSAMSOM TAM · 总体可寻址市场 $0.6B SAM · 可服务市场 $160.0M SOM · 可获得市场 $11.9M
市场规模概览
TAM $0.6B 自下而上的估算:7.1M 云原生开发者,按每家目标软件组织约 250 名开发者折算,再乘上 76% 的 AI 工具使用/计划使用比例,以及 66% 的 Kubernetes AI 推理采用比例,得到约 14.2k 家目标组织;再假设每家有 2.5 个受保护网关集群、每个集群年花费约 $18k,得到大约 $0.64B。交叉校验看,这个数字仍明显低于 2026 年更宽泛的 API 管理市场。
SAM $160.0M 把滩头约束加进去——Series B 到上市的 B2B 软件公司、自托管网关偏好,以及直销可触达地区——大致相当于取 TAM 的 25%;再按每家 2.2 个集群、每个受保护集群约 $18k 的花费锚点,得到 SAM。
SOM $11.9M 第 3 年可触达份额假设通过事件驱动销售和伙伴渠道拿下约 300 家滩头组织,每家保护约 2.2 个网关集群,每个集群年花费约 $18k;对应滩头 SAM 的约 7.4%,只要利用驱动的紧迫感持续,虽激进但仍有可能。

高管要点

  • 眼前的切口是站得住的:LiteLLM 已从开发中间件变成高权限 AI 控制平面,而且正承受真实利用压力;NVD 和独立研究者都写清了命令执行风险,以及凭证失窃带来的爆炸半径。
  • 预算确实存在,但它挂在相邻的 AI 网关、API 管理和密钥管理开支里;买家今天已经在为网关治理、可观测性、RBAC 和企业部署控制付费,可补丁编排和失陷后的凭证隔离仍大多靠手工。
  • 竞争是真实存在的,但大多是侧身竞争:Portkey、Kong、Gravitee、Envoy 和托管式替代品都主打路由、可观测性和防护规则,不是利用路径检测、分阶段升级,以及面向失陷自托管网关的自动供应商密钥隔离。
  • 最窄、也最危险的风险在安装基数集中度:如果自托管 LiteLLM 只占 AI 网关部署里较小的一块,公司就必须尽快扩到异构网关、推理代理和密钥轮换工作流,不能长期停在 LiteLLM-only。

市场定义

面向自托管模型路由基础设施的 AI 网关安全运营软件:盘点网关、识别暴露面或策略漂移,安全编排补丁发布,并在基于 Kubernetes 的 AI 平台上轮换已经泄露的上游凭证。

用户与买方

日常使用者是运行自托管 LiteLLM 或相邻网关、并部署在 Kubernetes 上的 AI 平台工程师或平台安全工程师;真正的预算持有人则是平台安全负责人、基础设施副总裁,或其他掌管事件响应与生产级 AI 治理预算的人。

购买触发点

  • 一旦出现 KEV 式告警或活跃利用通告,网关就不再是基础设施卫生问题,而会变成高管看得见的整改期限——因为一个脆弱代理就可能泄露供应商密钥并打穿下游 AI 系统。 [1][5][4]
  • 当 AI 从少量原型扩到多团队、多应用时,RBAC、按团队预算、审计日志和密钥管理器集成都会变成刚需,而 LiteLLM 自己也把这些列成企业需求。 [16][18][19][17]
  • 随着 AI 工作负载进入 Kubernetes 并逐步标准化到 AI 网关,手工打补丁、手工记日志、手工轮换密钥的运维成本,会越来越清楚地压到平台团队头上。 [112][14][23][94]

支付意愿

预算带确实存在,但它挂在相邻预算里:Portkey 已经把生产级 AI 网关控制卖到 $49/month 起,再往上是定制化企业档,包含 RBAC、VPC 托管和合规;Kong 和 Gravitee 也把高级 AI 或企业能力放进高阶套餐;LiteLLM 自己则把密钥轮换、secret-manager writeback、多区域控制平面和审计密集型功能留给 enterprise。也因此,专门做补丁与隔离的一层可以先作为事件运营的高级附加模块落地,而不用硬造一条全新的预算线。 [42][66][76][16]

品类动态

增长信号 21.7% CAGR(用更广的 API 管理市场做交叉校验)

顺风因素

  • 活跃利用已把 AI 网关加固从积压工作推成近期修复任务。
  • Kubernetes 正在成为生产级 AI 工作负载的默认运行环境,使网关运营从定制化基础设施问题,变成可重复的平台问题。
  • 竞争对手已经证明,企业愿意把 AI 路由、日志和策略控制集中在网关这一层。

逆风因素

  • 托管式替代品会吃掉一部分问题空间,减少那些会长期自托管 LiteLLM 并购买专用工具的团队数量。
  • 宽平台型网关厂商扩到相邻安全能力的速度,可能快过一家创业公司做出通用平台宽度的速度。
  • 一旦补丁自动化引发停机,就会被买家直接否掉,尤其是在 prompt 日志敏感、生产路由共享的环境里。

验证信号

  • NVD 和独立研究者都已确认,LiteLLM 漏洞是一条真实的远程代码执行路径,而且会带来凭证失窃风险。
  • LiteLLM 自己已经把企业版访问控制、审计日志、secret-manager writeback 和多区域控制平面拿出来卖,这说明成熟用户确实需要围绕网关的运营控制。
  • Portkey、Kong、Gravitee、Envoy 和 Cloudflare 都在持续投入 AI 网关功能,这本身就在验证“网关是类目级控制点”。
  • CNCF 数据显示,Kubernetes 已经成为生产级 AI 工作负载的中心平台,这会继续放大组织对网关加固的可重复运维需求。

监管与技术约束

  • 密钥轮换必须分阶段完成,避免服务中断;云厂商都明确推荐双密钥或托管轮换工作流,因此任何隔离产品都该接入,而不是一刀切直接撤销。
  • 如果访问权限没有严格收紧、密钥也不是短生命周期,Kubernetes secrets 和 RBAC 默认做法仍可能让凭证暴露过宽。
  • prompt、响应和审计日志的处理会带来合规义务,所以修复工具必须支持脱敏、保留策略控制和可导出的证据。
AI 网关控制格局
← Generic governance Gateway-specific remediation → ← Low incident urgency High incident urgency → Q2 Q1 · 优势区 Q3 Q4 Proposed startup Kong AI Gateway Portkey Gravitee Envoy AI Gateway
章节

竞争

最接近的 AI-native 平台型竞争对手是 Portkey,因为它已经把网关、可观测性、预算和企业部署控制打包在一起;Kong 和 Gravitee 则从更宽的 API 治理切入,在成熟网关栈上叠加 AI 插件和策略;Envoy AI Gateway 与 Cloudflare AI Gateway 把开源和托管式替代品的底线抬得更高。这家创业公司只有把自己定义成跨这些栈的事件响应与修复自动化,而不是“又一个通用网关”,才有机会赢。

竞争对手 阶段 切入点 定价 优势 相对劣势
Portkey 成长期 AI-native 网关,外加可观测性、模型目录、预算、防护规则和企业级 VPC 部署。 生产环境从 $49/month 起;企业版定制报价。 AI-native 功能面很深,企业版在治理、可观测性和发布工作流上的打包也够成熟。 它在优化和治理流量,但并没有把自己定位成利用路径检测、强制补丁编排,或失陷后的自动凭证隔离平台。
Kong AI Gateway 在位企业 在成熟 API 网关之上叠加 AI 插件,提供代理、prompt guard、语义缓存、按 token 感知的限流,以及企业级部署选项。 高级 AI 能力绑定在企业版或插件档位;Konnect 和企业版按量计费或定制报价。 安装基数大、插件生态强,而且在大型平台团队里有足够的运维可信度。 它的定位更偏大而全 API 治理,因此不太可能真正接住自托管 AI 网关的事件补丁与凭证隔离工作流。
Gravitee 在位企业 在企业 API 基础设施上叠加 AI prompt guard、token 跟踪、OAuth 或 MCP 安全,以及网关策略控制的 API 管理平台。 Gold、Platinum 和 Diamond 等企业套餐定价。 对于已经在统一更广 API 治理的组织,它在策略与访问管理上的叙事很强。 买家需要把一个通用 API 平台改造成 AI 网关事件工作流;它的中心并不是快速、具版本意识的修复和上游密钥隔离。
Envoy AI Gateway 开源项目 面向 CNCF、Kubernetes 原生的 AI 网关,采用双层架构,并提供可扩展的流量与安全原语。 开源、自管。 很适合想要开放、Kubernetes 原生积木、并已在运行 Envoy 式控制平面的基础设施团队。 开源基础设施仍把补丁工作流、密钥轮换和证据采集留给客户自己或周边工具。

为什么现有厂商不会默认胜出

  • 云平台. AWS Bedrock Guardrails 和 Cloudflare AI Gateway 这类托管方案,能缓解一部分治理痛点,但它们不会自动修复或隔离客户 Kubernetes 集群里的自托管 LiteLLM 部署。
  • API 网关厂商. Kong 和 Gravitee 能做 AI 流量安全和可观测性,但它们的核心价值还是流量管理与策略执行,不是利用专属的版本检测、分阶段补丁执行,或失陷后的供应商密钥轮换。
  • 密钥管理工具. Vault、AWS、Azure 和 Google 能存放或轮换密钥,但它们看不懂 AI 网关拓扑、暴露端点和流量切换;它们是集成点,不是整个工作流的主人。
  • LiteLLM 上游. LiteLLM enterprise 是未来最危险的在位企业,因为它已经在卖 RBAC、审计日志、secret-manager writeback 和多区域控制平面;创业公司必须在跨网关覆盖和事件自动化深度上拉开差距,而不是拼普通网关管理功能。
章节

商业计划

这家公司起步时该做的是自托管 AI 网关的事件运营控制平面,而不是再造一个通用 AI 网关或 CNAPP 产品。首个客户应该是员工 100-800 人、从 Series B 到上市的 B2B 软件公司:它在生产环境里跑基于 Kubernetes 的 LiteLLM,手里有多套上游模型供应商密钥,而且平台安全负责人现在还靠手工打补丁、手工轮换凭证。采购触发点会是 KEV 告警、厂商通告,或内部红队发现——它把网关加固变成高管能看到的整改期限。研究支持这是个聚焦但不算巨大的市场:若公司能在保持事件工作流聚焦的同时扩出 LiteLLM,TAM 约 $0.6B,滩头 SAM 为 $160.0M,第 3 年 SOM 为 $11.9M。MVP 要尽快证明三件事:它能盘点暴露的网关、能安全切换补丁、也能在不打断生产 AI 流量的前提下轮换已经泄露的供应商凭证。这里的刻意取舍是,只吃网关集群的利用路径检测和修复执行,不和 Portkey、Kong、Gravitee 或 LiteLLM 去拼大而全的路由与治理功能。最大的反证风险有两个:一是滩头市场里真正跑自托管 LiteLLM 的安装基数比模型假设更小;二是在这家创业公司把跨网关能力做深之前,现有网关厂商已经把“够用”的修复能力补上。研究把安装基数明确列成缺口,所以只有当第一批共创客户的审计能证实目标部署足够多、而且存在付费事件响应需求时,这家公司才值得按聚焦型 pre-seed 来投。

问题

  • 自托管 AI 网关把模型凭证、路由和日志集中到一层,所以一台网关被打穿,暴露的不只是一个应用,而是供应商密钥和相邻的 AI 系统。
  • 现在的响应还是手工改 Kubernetes,再在 KMS、Vault 和环境变量之间临时轮换密钥;又慢、又容易出错,事故里还很容易把流量切挂。

解决方案

  • 持续盘点 Kubernetes 环境里的 LiteLLM 及相邻网关部署、版本、暴露端点、RBAC 姿态和上游供应商凭证。
  • 用可回滚和证据留存的方式编排灰度补丁发布、端点隔离以及分阶段的供应商密钥轮换,让安全团队在不断掉 AI 流量的前提下把网关事故收住。

为什么我们会赢

  • 这个切口比通用网关治理更窄,却正好卡在买家遇到被利用通告后必须执行的事件工作流上。
  • 现有网关、API 管理厂商和密钥管理工具分别覆盖路由、策略或存储,但看起来还没有谁真正接住自托管网关集群上的版本感知修复和上游密钥隔离。
  • 修复动作一旦反复跑起来,就能沉淀成专有的暴露图谱和切换数据集,让后续升级比手工脚本或浅层扫描告警更快、更稳。
战略选择
滩头市场 员工 100-800 人、从 Series B 到上市的 B2B 软件公司;它们在 Kubernetes 上运行自托管 LiteLLM,把它作为内部 Copilot 或面向客户 AI 功能的共享网关。
切入点理由 和做宽泛的 AI 治理软件相比,LiteLLM 事件响应更容易尽快跑出证明,因为触发点足够尖锐、修复路径足够具体,买家也能在一次试点里直接量出打补丁时间、轮换密钥时间和流量连续性。
推进顺序 第一阶段先做资产盘点、利用路径检测、带审批闸门的灰度补丁,以及分阶段凭证轮换;因为在系统先证明资产映射准确、切换低停机之前,买家不会信任自动隔离。等公司把事件驱动的试点转成正式客户后,再补异构网关覆盖、合规证据和伙伴分销,最后才去做更宽的治理或策略模块。
暂不进入 现在不要去做完整 AI 网关,和别人拼路由、可观测性或防护规则 · 现在不要服务只用托管式网关、却不掌控自托管集群的客户 · 在网关修复还没形成可重复打法前,不要过早扩到宽泛的 CNAPP、SIEM 或通用 API 安全姿态 · 首个版本不要做无人审批的全自动隔离
进入市场
切入点 先卖一个面向单一客户环境的付费网关事件准备度或修复试点;等客户开始依赖平台在生产集群里编排补丁、隔离凭证和沉淀证据后,再转成年度订阅。
渠道 在网关通告、KEV 收录或红队发现出现后,创始人立刻面向平台安全和基础设施负责人做外呼 · 和已经在 Kubernetes 上跑 LiteLLM 的 AI 平台团队共创试点 · 已经在支持 AI 基础设施加固的 Kubernetes 安全、密钥管理和事件响应合作伙伴
漏斗目标 线索→合格试点 20-30%,合格试点→付费试点 50%+,付费试点→生产部署 50%+,试点启动→年合同小于 120 天。
定价 按受保护网关集群和活跃供应商凭证集收年费,设置最低平台费,事件响应自动化和证据导出卖高级档。当前工作锚点约为每个受保护集群年花费 $18k,这意味着覆盖 2-5 个集群的客户,初始生产合同大约是 $40k-$100k ARR;付费试点可冲抵后续年费。
产品路线图
MVP MVP 应覆盖 Kubernetes 与 LiteLLM 发现、版本和端点暴露映射、管理员面检查、带审批闸门的灰度升级,以及带回滚能力的分阶段上游密钥轮换。首发先跑监控和辅助修复模式,并导出证据,说明改了什么、轮换了哪些密钥、流量是否保持健康。
6 个月 在 6 个月内,为跑在 Kubernetes 上的 LiteLLM 交付付费试点:提供集群盘点、针对已知 LiteLLM 与 Starlette 利用链的检查、灰度补丁编排,以及两周内可部署的、带证据留存的凭证轮换操作手册。
12 个月 在 12 个月内,补上试点里最常见的相邻代理栈的跨网关覆盖,提供管理员面加固策略模板、Vault 和主流云密钥仓库的伙伴集成,以及按集群展示补丁与隔离 SLA 的生产看板。
24 个月 在 24 个月内,扩到异构 AI 网关集群、更强的合规证据、流量取证导出,以及多团队策略控制——前提是公司已经证明事件驱动的试点能在现有客户里转化并扩张。
关键押注 LiteLLM 加 Kubernetes 足以覆盖早期的紧急需求,在必须做宽网关支持之前拿下前 3-5 个付费试点。 · 买家会先信任带审批闸门的灰度修复,再信任完全自动化;而这一步信任爬坡已经足以拿到预算。 · 供应商密钥轮换和流量切换,才是把产品从扫描器抬升为“值得列预算”的控制平面的关键功能。 · 在 LiteLLM 上游或相邻厂商补上修复缺口之前,跨网关扩张就会先变成硬需求。
商业模式
收入来源 受保护网关集群覆盖的年度订阅 · 分阶段凭证轮换、隔离和证据导出的高级自动化档 · 初始加固、迁移和桌面演练的专业服务
价值单位 受保护的网关集群(附带覆盖的供应商凭证集)
目标毛利率 70%
扩张杠杆 从一个集群或环境扩到同一客户的全部生产和预发布网关集群 · 在 LiteLLM 跑通后补上异构网关和推理代理覆盖 · 向高监管客户加售合规证据、取证导出和伙伴集成的事件演练
战略地图
北极星指标 关键通告发出后 24 小时内完成修复、且没有客户可感知 AI 流量中断的网关集群占比。
输入指标 每个活跃客户已发现的网关集群数,以及暴露的管理员面或测试面数量 · 从检测到通告到完成补丁发布的中位时间 · 疑似失陷事件中完成供应商密钥轮换的占比 · 灰度补丁执行的回滚率 · 付费试点转年度生产合同的转化率
待构建护城河 把网关版本、路由、角色、集群和上游供应商密钥连起来的暴露图谱 · 展示安全切换模式、回滚率和凭证轮换操作手册的修复遥测,覆盖真实客户集群 · 把每次通告、补丁、隔离动作和密钥轮换都映射到审计就绪记录的事件证据语料库
终止标准 前 40 个目标账户里,确认存在自托管 LiteLLM 或同类生产网关部署的少于 10 个 · 做完 30 次合格的滩头对话后,付费试点仍少于 3 个 · 前 5 个试点里,修复时间相对客户原有手工流程的中位改善低于 50% · 前 6 个付费试点后,试点→生产的转化率仍低于 50%

里程碑

0–12 个月
  • 在 LiteLLM-on-Kubernetes 的滩头市场拿下 3-5 个付费试点。
  • 在第一批试点中,证明修复时间相比手工补丁和密钥轮换工作流至少下降 50%。
  • 至少把 2 个试点转成年订阅,并在生产环境跑通带审批闸门的灰度发布和分阶段凭证轮换。
  • 把至少一个主流云密钥仓库和 Vault 的集成做成标准件。
12–24 个月
  • 从 LiteLLM 扩到至少一个由客户提出需求的相邻网关或推理代理栈。
  • 上线面向安全审查场景的审计就绪证据导出和隔离 SLA 看板。
  • 通过 Kubernetes 安全、密钥管理和事件响应伙伴,建立伙伴来源 pipeline。
24–36 个月
  • 在滩头客户群里,成为异构 AI 网关集群的默认修复控制平面。
  • 补上多团队策略控制、流量取证导出和更高 ACV 的合规打包。
  • 拿到从 seed 到 series-a,扩展到更广 AI 基础设施控制平面工作流所需的证据。
战略地图
flowchart LR
  Wedge[LiteLLM incident-response wedge] --> MVP[Inventory patch and rotate MVP]
  MVP --> Proof[Faster remediation with safe cutovers]
  Proof --> Expansion[Cross-gateway control plane]

创始团队

角色 入职时间 理由
安全产品创始人 第 0 个月 在切口还没被验证完之前,亲自抓共创客户销售、事件驱动叙事、产品范围和定价。
创始工程师 第 0 个月 尽快把集群发现、利用路径检查、灰度补丁编排和第一版证据管道做出来,支撑试点。
安全工程师 第 2 个月 拿下密钥仓库集成、密钥轮换工作流,以及生产可用所必需的回滚和审批控制。
解决方案工程师 第 6 个月 把修复桌面演练变成可重复部署,并降低 Kubernetes 和客户密钥栈的集成摩擦。
产品负责人 第 9 个月 在第一批试点暴露出重复需求后,优先排跨网关扩张、证据功能和接入模板。

实验路线图

阶段 实验 假设 成功指标 负责人
0–90 天 滩头安装基数摸底 足够多的目标 SaaS 公司已经在生产环境运行自托管 LiteLLM 或等价网关,足以支撑一家聚焦型 pre-seed 公司。 完成 40 个目标账户审计,确认至少 10 个生产网关部署,并推进 5 场后续试点讨论。 创始人/CEO
0–90 天 礼宾式修复桌面演练 买家愿意为一款把利用暴露、补丁步骤和供应商密钥轮换放进同一事件工作流的产品买单。 3 个共创客户完成手工桌面演练,且至少 2 个同意进入付费试点定义。 安全产品创始人
0–90 天 辅助式灰度发布原型 带审批闸门的灰度补丁能缩短修复时间,同时不会带来不可接受的回滚或停机风险。 2 个试点环境完成升级演练,零客户可感知停机,并且都有书面回滚路径。 创始工程师
90–180 天 付费 LiteLLM 试点打包 按集群定价、且试点费用可抵年费的方案,会比纯服务打包更容易转化。 用标准方案拿下 3 个付费试点,并把从范围到启动的中位时间控制在 30 天以内。 创始人/CEO
6–12 个月 密钥管理器集成测试 原生对接 Vault 和主流云密钥仓库能提升试点→生产转化,因为它降低了密钥轮换风险。 3 个生产客户通过已支持的集成完成分阶段供应商密钥轮换。 安全工程师
12–18 个月 跨网关扩张试点 支持一个相邻网关或推理代理,能显著扩大 pipeline,同时不稀释事件运营定位。 25% 的合格 pipeline 提到新连接器,且至少 1 个现有客户从 LiteLLM 扩展出去。 产品负责人

风险评估

商业计划风险 — 4 已映射
影响 →
R1 R2 R3
R4
可能性 →
  1. R1滩头市场里自托管 LiteLLM 的安装基数,可能低于建模隐含的 SAM。 · Medium可能性 / High影响 — 尽早验证部署普及度,并在扩大销售招聘前优先做出下一个最常见的相邻网关连接器。
  2. R2LiteLLM 上游或相邻网关厂商,可能很快补上足以抹平独立切口的修复工作流。 · Medium可能性 / High影响 — 差异化重点放在跨网关覆盖、分阶段密钥轮换、回滚遥测和事件证据,而不是简单的版本检测。
  3. R3自动补丁或隔离如果导致停机,会直接摧毁买家信任。 · Medium可能性 / High影响 — 先用审批闸门、灰度发布、即时回滚和带证据的演练,再逐步开放更广的自动化。
  4. R4买家可能把产品当成一次性事件服务,而不是持续性软件。 · Medium可能性 / Medium影响 — 每个试点都围绕持续姿态盘点、SLA 看板和长期修复准备度来打包,而不是只卖定制响应。
风险 可能性 影响 缓解措施
滩头市场里自托管 LiteLLM 的安装基数,可能低于建模隐含的 SAM。 Medium High 尽早验证部署普及度,并在扩大销售招聘前优先做出下一个最常见的相邻网关连接器。
LiteLLM 上游或相邻网关厂商,可能很快补上足以抹平独立切口的修复工作流。 Medium High 差异化重点放在跨网关覆盖、分阶段密钥轮换、回滚遥测和事件证据,而不是简单的版本检测。
自动补丁或隔离如果导致停机,会直接摧毁买家信任。 Medium High 先用审批闸门、灰度发布、即时回滚和带证据的演练,再逐步开放更广的自动化。
买家可能把产品当成一次性事件服务,而不是持续性软件。 Medium Medium 每个试点都围绕持续姿态盘点、SLA 看板和长期修复准备度来打包,而不是只卖定制响应。
首个客户
标题 负责生产级 LiteLLM 的平台安全负责人
画像 一家 200-1000 人的 SaaS 公司,在 Kubernetes 上运行 LiteLLM,作为多个内部或面向客户 AI 工作流的共享网关,而且每个环境里都有多套供应商密钥。
触发点 KEV 告警、紧急厂商通告或红队发现,证明网关会泄露供应商凭证或允许远程代码执行。
买方 平台安全负责人或基础设施副总裁
初始合同 先做一个 $15k-$30k、周期 60-90 天、覆盖 1-2 个网关集群的付费试点;随后转成约 $40k-$100k 的年度订阅,覆盖 2-5 个受保护集群,并叠加事件响应自动化。

必须成立的条件

  • 至少 25% 的合格滩头账户已经在跑自托管 LiteLLM 或等价的生产网关。
  • 付费试点必须把“补丁 + 密钥轮换”的时间,相比客户手工流程至少砍掉 50%。
  • 至少一半的付费试点必须转化,因为安全切换和凭证隔离带来的价值,超出了现有网关工具已经提供的东西。
  • 围绕受保护集群的定价,按研究得出的花费锚点看,必须能塞进平台安全或基础设施预算,而不需要长期大量服务。
  • 在第 1 年内,跨网关覆盖必须变成客户主动需求;否则 LiteLLM 上游或现有厂商会抹平 LiteLLM-only 的切口。

待尽调问题

  • 滩头市场里,今天到底有多少目标公司在生产环境运行自托管 LiteLLM 或相邻网关?
  • 第一份合同究竟由谁签,预算是从事件响应、平台安全还是基础设施池子里出?
  • 在真实试点里,即便客户已经有现成的网关、KMS 和密钥管理工具,哪些修复步骤仍然要靠手工?
  • 买家今天到底把多少停机风险归因到供应商密钥轮换和流量切换?
  • 如果在与 Portkey、Kong、Gravitee 或 LiteLLM enterprise 的竞争里赢下来,先被替代的是哪一家?
投资人判断
结论 观察
信心 事件触发强、工作流也清楚,但在团队证明自托管网关密度足够高、且付费需求不止于一次性漏洞周期之前,判断仍应保持克制。
相信的理由 活跃利用、清晰的修复步骤,以及现成的相邻网关预算,共同撑起了一个聚焦型事件运营控制平面的可行窗口。
怀疑的理由 滩头市场可能比模型假设更小,而相邻厂商或 LiteLLM 上游也很可能迅速补上部分修复能力。
下一步尽调 在进入合伙人会议前,先验证 3-5 个付费试点、看到可量化的修复时间下降,并拿到至少一个跨异构网关扩张请求。
章节

财务模型

三年合计
第 1 年收入 $118K EBITDA $-1.02M · 期末现金 $1.98M
第 2 年收入 $842K EBITDA $-953K · 期末现金 $1.02M
第 3 年收入 $2.63M EBITDA $-442K · 期末现金 $581K
单位经济
年 ARPU $66K
毛利率 70%
CAC $42K 回本期 10.9 个月
LTV / CAC 5.1x 生命周期价值 $214K
融资需求
轮次 种子前轮 · $3.0M
跑道 18 个月
里程碑 在下一轮融资前,做到 12-15 个生产客户、证明试点→生产转化率达到 50%+,并交付一个相邻网关连接器,且能拿出可引用的修复时间下降证据。

模型合理性

  • 收入引擎. 基准情景下的收入引擎,是客户数从 Y1 末的 5 个长到 Q4Y3 的 60 个,配合 $66K 的混合 ACV,把受保护集群和自动化打包卖出去。
  • 必须跑通的条件. 这个模型要求事件驱动销售把销售周期压在约 5 个月,这样第一批试点才能在公司扩大 GTM 团队前完成转化。
  • 模型失效点. 下行情景已经说明,如果 LiteLLM 需求比预期更薄、部署又重到把毛利率压向 65%,现金就会转负。
  • 下一轮融资门槛. 只有当公司拿到 12-15 个生产客户、交付一个相邻网关连接器,并能拿出“修复时间至少下降 50%”的可引用证据时,下一轮融资才站得住。
营收、现金与 EBITDA — 12 个月的 Y1 + 8 个季度的 Y2/Y3
$0K$1.00M$2.00M$3.00MM1M4M7M10Q1Y2Q4Y2Q3Y3Q4Y3
  • 营收(线/面积)
  • 期末现金(虚线)
  • EBITDA(柱,灰色为亏损)
资金用途 — $3.0M 种子前轮
工程 · 40% GTM · 25% 行政/财务 · 10% 缓冲(6 个月) · 25%
按角色的人力增长 — 峰值11 FTE
Q1Y12Q2Y13Q3Y14Q4Y15Q1Y25Q2Y25Q3Y25Q4Y28Q1Y38Q2Y38Q3Y38Q4Y311
  • 创始人/CEO
  • 工程
  • 解决方案工程
  • 产品
  • GTM/销售
  • 行政/财务
第3年情景:基准 / 下行 / 上行
第3年营收第3年 EBITDA现金最低点说明
下行$1.51M-$1.22M-$474KLiteLLM 安装基数验证更慢,买家要求更重服务的发布支持,而在位企业重叠拖慢了转化。
基准$2.63M-$442K$581K基准情景把事件驱动的 LiteLLM 切口转成 Q4Y2 的 23 个客户、Q4Y3 的 60 个客户,同时守住 BP 里 70% 的目标毛利率。
上行$3.80M$385K$1.47M试点转化更快地滚起来,客户更早购买自动化档,而跨网关需求同时拉动客户增长和定价。
敏感性——第3年现金与营收影响(按幅度排序)
变量下行上行现金影响营收影响
销售周期如果安全评审和部署演练拖慢节奏,销售周期会拉长到 7 个月试点打包可复制后,销售周期压到 4 个月-$540K-$720K
ARPU买家从更小范围起步,并推迟购买自动化高级档,ACV 降到 $54K高级档采用更快,ACV 提升到 $72K-$335K-$479K
CAC如果创始人主导外呼占比一直过高、伙伴杠杆又没起来,CAC 会升到 $55K伙伴来源 pipeline 更强,CAC 降到 $35K-$250K$0K
招聘节奏把一个工程岗和一个 GTM 岗都提前两个季度招聘把一个非核心岗位延后到看到伙伴渠道拉动后再招-$210K$0K
流失率如果在位企业对轻度使用客户来说已经“够用”,月度流失率会上升到 2.5%如果修复数据和证据导出变得有黏性,月度流失率降到 1.2%-$180K-$260K
毛利率如果部署长期偏服务化、云开销也居高不下,毛利率会降到 65%随着集成更加标准化,毛利率提升到 73%-$174K$0K

情景

情景 第 3 年收入 第 3 年 EBITDA 现金低点 说明 关键变化
下行 $1.51M $-1.22M $-474K LiteLLM 安装基数验证更慢,买家要求更重服务的发布支持,而在位企业重叠拖慢了转化。
  • 混合 ACV 从 $66K 降到 $54K。
  • 毛利率从 70% 降到 65%。
  • 销售周期从约 5 个月拉长到 7 个月。
  • Q4Y3 客户数从 60 降到 40。
基准 $2.63M $-442K $581K 基准情景把事件驱动的 LiteLLM 切口转成 Q4Y2 的 23 个客户、Q4Y3 的 60 个客户,同时守住 BP 里 70% 的目标毛利率。
  • 混合生产 ACV 维持在 $66K。
  • 毛利率维持在 BP 的 70% 目标。
  • 销售周期稳定在约 5 个月,由创始人主导、围绕通告触发的 GTM 来支撑。
  • Q4Y3 客户数达到 60,仍明显低于 research 里约 300 家客户的 SOM。
上行 $3.80M $385K $1.47M 试点转化更快地滚起来,客户更早购买自动化档,而跨网关需求同时拉动客户增长和定价。
  • 混合 ACV 从 $66K 提升到 $72K。
  • 毛利率从 70% 提升到 73%。
  • 销售周期从约 5 个月压缩到 4 个月。
  • Q4Y3 客户数达到 75。

敏感性

变量 下行情景 基准情景 上行情景
ARPU 买家从更小范围起步,并推迟购买自动化高级档,ACV 降到 $54K $66K 混合 ACV 高级档采用更快,ACV 提升到 $72K
CAC 如果创始人主导外呼占比一直过高、伙伴杠杆又没起来,CAC 会升到 $55K $42K 全负担 CAC 伙伴来源 pipeline 更强,CAC 降到 $35K
流失率 如果在位企业对轻度使用客户来说已经“够用”,月度流失率会上升到 2.5% 1.8% 月度流失率 如果修复数据和证据导出变得有黏性,月度流失率降到 1.2%
销售周期 如果安全评审和部署演练拖慢节奏,销售周期会拉长到 7 个月 约 5 个月 试点打包可复制后,销售周期压到 4 个月
毛利率 如果部署长期偏服务化、云开销也居高不下,毛利率会降到 65% 70% 目标毛利率 随着集成更加标准化,毛利率提升到 73%
招聘节奏 把一个工程岗和一个 GTM 岗都提前两个季度招聘 按 BP 的顺序,在证明节点出现后再招聘 把一个非核心岗位延后到看到伙伴渠道拉动后再招
关键假设 (18)
ID 名称 数值 单位 来源
A1 模型起始月份 2026-07 从 2026-06-10 的 business-plan 日期之后的第一个完整月份开始建模。
A2 pre-seed 到账后的起始现金 $3.0M usdM [BP fundingAsk] BP 的融资需求是 $2-4M 的 pre-seed、对应 18 个月跑道;基准模型取中位数 $3.0M,用来支撑 MVP、早期 GTM 和 6 个月缓冲。
A3 起始付费客户数(M1) 0 customers [BP executiveSummary; BP milestones] 公司从零收入起步,先验证共创客户,再进入年度订阅。
A4 混合生产 ACV 每个客户每年约 $66.0K ARR usdK_per_customer_year [BP gtm.pricing; BP businessModel.revenueStreams; research.market.bottomUpSizingDrivers] BP 的定价锚点约为每个受保护集群 $18K,再叠加自动化和证据导出,因此基准情景按每个生产客户约 3 个受保护集群加一个温和高级档来估算。
A5 净客户爬坡 M1-M12 期末客户数:0、0、0、1、1、2、2、3、3、3、4、5;Q1Y2-Q4Y3 期末客户数:8、12、17、23、30、39、49、60 customers [BP milestones; BP investorMemo.mustBeTrue; research.market.som] 这条爬坡曲线会在 Y1 交付 3-5 个付费试点、至少 2 个正式转化;到 Q4Y3 达到 60 个客户,仍明显低于 research 里约 300 家可触达客户的 SOM。
A6 目标毛利率 70% 百分比 [BP businessModel.targetGrossMarginPct] 模型把 COGS 固定为收入的 30%,对齐 BP 的目标毛利率。
A7 月度客户流失率 1.8% 百分比 早期但有黏性的安全基础设施产品,可参考的创业财务启发式;切换摩擦不低,但 BP risks 和 research.sensitivityCases 也提示了在位企业重叠和切口风险。
A8 全负担 CAC 每个生产客户约 $42.0K usdK_per_customer [BP gtm.funnelTargets; BP strategicChoices.wedgeRationale] 事件驱动的创始人销售比通用企业外呼更容易加速成交,但每个客户仍要经过安全评审、试点证明和集成工作,所以 CAC 仍会高于早期 ACV。
A9 全负担薪酬带宽 创始人 $160K;工程 $170K;解决方案工程 $145K;产品 $155K;GTM $150K;行政/财务 $100K usdK_per_fte_year 美国 pre-seed 安全基础设施团队的创业薪酬启发式,锚定 [BP team] 以及 BP 里“先做产品深度、再扩 GTM”的排兵顺序。
A10 人员快照爬坡 按 q1y1/q2y1/q3y1/q4y1/q4y2/q4y3 计:创始人 1/1/1/1/1/1;工程 1/2/2/2/3/4;解决方案工程 0/0/1/1/1/2;产品 0/0/0/1/1/1;GTM 0/0/0/0/1/2;行政/财务 0/0/0/0/1/1 fte [BP team; BP strategicChoices.sequencingRationale] 模型按 BP 的顺序走:先创始人和核心工程,再补部署支持,然后是产品,等试点转化后再加 GTM 和轻量运营。
A11 Y1 非薪酬运营预算 销售与市场每月 $8-14K;研发基础设施每月 $18-24K;行政/财务每月 $10-14K usdK_per_month 安全控制平面创业公司的财务启发式:在规模化前,也要为云测试环境、事件响应差旅、共创客户接入、法务审查和核心软件工具留预算。
A12 Y2-Y3 非薪酬运营预算 各季度非薪酬 opex:Q1Y2 $110K、Q2Y2 $125K、Q3Y2 $140K、Q4Y2 $157K、Q1Y3 $175K、Q2Y3 $189K、Q3Y3 $203K、Q4Y3 $217K usdK_per_quarter [BP experimentRoadmap; BP operations] 随着公司补上密钥仓库集成、证据导出、伙伴差旅和客户环境,支出会逐季抬升,但仍要保持 pre-seed 控制平面业务应有的克制。
A13 薪酬平滑规则 季度薪酬费用会在各个 headcount 快照之间平滑爬升,而不是只在年末跳变。 method [financial-modeler instructions] 薪酬费用按最近一次 headcount 快照外推,并把季度中途招聘做平滑处理,让 P&L 里的 payroll 与团队计划保持一致。
A14 基准销售周期 从试点启动到年订阅约 5 个月 个月 [BP gtm.funnelTargets; BP investorMemo.firstCustomer.initialContract] BP 说从试点启动到年合同应控制在 120 天内,所以模型按端到端约 5 个月来算,其中包含资格判断和安全评审。
A15 收入确认口径 确认收入 = 每月或每季度平均活跃客户数 × 混合 ARPU;客户爬坡已净额扣除 churn。 method SaaS 按期确认收入的创业财务启发式;每个月或季度的确认收入,等于平均活跃客户数乘混合 ARPU,客户爬坡已净额扣除 churn。
A16 下行情景变量 $54K ACV、65% 毛利率、7 个月销售周期,Q4Y3 达到 40 个客户 scenario_inputs [BP risks; research.sensitivityCases] 下行情景反映的是 LiteLLM 安装基数验证更慢、在位企业重叠更强,以及发布期间服务工作更重。
A17 上行情景变量 $72K ACV、73% 毛利率、4 个月销售周期,Q4Y3 达到 75 个客户 scenario_inputs [BP product.twentyFourMonth; BP milestones] 上行情景假设试点转化更强、跨网关需求更早出现,而且高级自动化档位卖得更快。
A18 现金转换简化假设 期末现金按 EBITDA 滚动,不单列债务、税或 capex。 method 轻资产软件公司的创业财务启发式:不单列债务、税或 capex,期末现金直接由 EBITDA 滚动得到。
单位经济流程
flowchart LR
  Advisories[Advisories and red-team triggers] --> Pilots[Paid incident-response pilots]
  Pilots --> Customers[Annual subscription customers]
  Customers --> Revenue[Cluster + automation revenue]
  Revenue --> GrossProfit[Gross profit at 70%]
  GrossProfit --> Cash[Cash after payroll and opex]

警示项: 即便 research 已把安装基数验证列为最大开放问题,模型仍假设自托管 LiteLLM 的密度足以在 Q4Y3 支撑 60 个客户。 · 基准情景下期末现金只剩约 $0.6M,所以管理层应在 Y3 就启动下一轮融资,而不是等到接近盈亏平衡。 · 如果现有网关厂商在跨网关扩张落地前就把“够用”的修复工作流做出来,ACV 和转化率假设大概率会向下行情景漂移。

章节

主要风险

  • 初始市场过窄. 如果自托管 AI 网关仍主要集中在早期采用者手里,第一阶段切口可能显得过于 LiteLLM 专用。 缓解措施: 尽快扩到相邻的 AI 代理,并把平台卖成覆盖全部模型路由基础设施的控制平面。
  • 现有厂商反应太快. 一旦这个品类变得显眼,云安全或容器安全厂商可能很快补上基础 AI 网关检测能力。 缓解措施: 差异化重点放在安全补丁编排、凭证轮换和事件响应工作流,而不是单纯检测。
  • 误报带来运维风险. 如果自动隔离或升级把暴露面判断错了,生产级 AI 流量就可能被打断。 缓解措施: 在开启全自动隔离前,先把灰度发布、审批闸门和默认可回滚控制做扎实。
章节

证据

引用来源 (47)

  1. Help Net Security. LiteLLM vulnerability under active attack, CISA warns (CVE-2026-42271) - Help Net Security · https://helpnetsecurity.com/2026/06/09/litellm-vulnerability-under-active-attack-cisa-warns-cve-2026-42271
  2. Horizon3.ai. CVE-2026-42271: LiteLLM Unauthenticated RCE · https://horizon3.ai/attack-research/vulnerabilities/cve-2026-42271-chained-with-cve-2026-48710
  3. NVD. NVD - CVE-2026-42271 · https://nvd.nist.gov/vuln/detail/CVE-2026-42271
  4. NVD. NVD - CVE-2026-48710 · https://nvd.nist.gov/vuln/detail/CVE-2026-48710
  5. LiteLLM. Docker, Helm, Terraform | liteLLM · https://docs.litellm.ai/docs/proxy/deploy
  6. LiteLLM. ✨ Enterprise | liteLLM · https://docs.litellm.ai/docs/enterprise
  7. LiteLLM. Secret Managers Overview | liteLLM · https://docs.litellm.ai/docs/secret_managers/overview
  8. LiteLLM. Role-based Access Controls (RBAC) | liteLLM · https://docs.litellm.ai/docs/proxy/access_control
  9. LiteLLM. ✨ Audit Logs | liteLLM · https://docs.litellm.ai/docs/proxy/multiple_admins
  10. LiteLLM. Virtual Keys | liteLLM · https://docs.litellm.ai/docs/proxy/virtual_keys
  11. LiteLLM. Setting Team Budgets | liteLLM · https://docs.litellm.ai/docs/proxy/team_budgets
  12. LiteLLM. Logging | liteLLM · https://docs.litellm.ai/docs/proxy/logging
  13. LiteLLM. 📈 Prometheus metrics | liteLLM · https://docs.litellm.ai/docs/proxy/prometheus
  14. Portkey. What is Portkey? - Portkey Docs · https://portkey.ai/docs/introduction/what-is-portkey
  15. Portkey. Portkey | Control Panel for Production AI · https://portkey.ai/pricing
  16. Portkey. Observability (OpenTelemetry) - Portkey Docs · https://portkey.ai/docs/product/observability
  17. Portkey. Canary Testing - Portkey Docs · https://portkey.ai/docs/product/ai-gateway/canary-testing
  18. Portkey. https://portkey.ai/docs/self-hosting/hybrid-deployments/architecture.md · https://portkey.ai/docs/self-hosting/hybrid-deployments/architecture.md
  19. Kong. Kong AI Gateway | Kong Docs · https://developer.konghq.com/ai-gateway
  20. Kong. AI Proxy Advanced - Plugin | Kong Docs · https://developer.konghq.com/plugins/ai-proxy-advanced
  21. Kong. AI Rate Limiting Advanced - Plugin | Kong Docs · https://developer.konghq.com/plugins/ai-rate-limiting-advanced
  22. Kong. AI Prompt Guard - Plugin | Kong Docs · https://developer.konghq.com/plugins/ai-prompt-guard
  23. Kong. Kong Pricing for API and AI Connectivity Platform | Konnect · https://konghq.com/pricing
  24. Gravitee. https://documentation.gravitee.io/apim/create-and-configure-apis/apply-policies/policy-reference/ai-prompt-guard-rails.md · https://documentation.gravitee.io/apim/create-and-configure-apis/apply-policies/policy-reference/ai-prompt-guard-rails.md
  25. Gravitee. https://documentation.gravitee.io/apim/prepare-a-production-environment/gateway-resource-sizing-guidelines.md · https://documentation.gravitee.io/apim/prepare-a-production-environment/gateway-resource-sizing-guidelines.md
  26. Gravitee. Introduction to Gravitee Access Management (AM) | Access Management | Gravitee Documentation · https://documentation.gravitee.io/am
  27. Gravitee. API management pricing - Gravitee · https://gravitee.io/pricing
  28. Envoy. Installation | Envoy AI Gateway · https://aigateway.envoyproxy.io/docs/getting-started/installation
  29. Envoy. Capabilities | Envoy AI Gateway · https://aigateway.envoyproxy.io/docs/capabilities
  30. GitHub. GitHub - envoyproxy/ai-gateway: Manages Unified Access to Generative AI Services built on Envoy Gateway · https://github.com/envoyproxy/ai-gateway
  31. Cloudflare. Cloudflare AI Gateway · https://developers.cloudflare.com/ai-gateway
  32. Cloudflare. Authenticated Gateway · https://developers.cloudflare.com/ai-gateway/configuration/authentication
  33. Cloudflare. Logging · https://developers.cloudflare.com/ai-gateway/observability/logging
  34. Cloudflare. Dynamic routing · https://developers.cloudflare.com/ai-gateway/features/dynamic-routing
  35. NIST. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile · https://nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
  36. OWASP. LLMRisks Archive · https://genai.owasp.org/llm-top-10
  37. Kubernetes. Good practices for Kubernetes Secrets · https://kubernetes.io/docs/concepts/security/secrets-good-practices
  38. Microsoft Learn. Rotate keys in Foundry Tools - Foundry Tools · https://learn.microsoft.com/en-us/azure/ai-services/rotate-keys
  39. Google Cloud. About rotation schedules | Secret Manager | Google Cloud Documentation · https://docs.cloud.google.com/secret-manager/docs/rotation-recommendations
  40. AWS. Rotate AWS Secrets Manager secrets - AWS Secrets Manager · https://docs.aws.amazon.com/secretsmanager/latest/userguide/rotating-secrets.html
  41. HashiCorp. Lease, Renew, and Revoke | Vault | HashiCorp Developer · https://developer.hashicorp.com/vault/docs/concepts/lease
  42. AWS. Bedrock Guardrails · https://aws.amazon.com/bedrock/guardrails
  43. Stack Overflow. AI | 2024 Stack Overflow Developer Survey · https://survey.stackoverflow.co/2024/ai
  44. CNCF. Kubernetes Established as the De Facto ‘Operating System’ for AI as Production Use Hits 82% in 2025 CNCF Annual Cloud Native Survey · https://cncf.io/announcements/2026/01/20/kubernetes-established-as-the-de-facto-operating-system-for-ai-as-production-use-hits-82-in-2025-cncf-annual-cloud-native-survey
  45. CNCF. SlashData: Cloud native continues to grow with more than 7 million developers worldwide · https://cncf.io/blog/2022/05/18/slashdata-cloud-native-continues-to-grow-with-more-than-7-million-developers-worldwide
  46. IBM. What Is API Management? | IBM · https://ibm.com/think/topics/api-management
  47. Fortune Business Insights. API Management Market Size, Trends | Global Report [2034] · https://fortunebusinessinsights.com/api-management-market-108490