Skip to content

标准化访问策略集 (Access Profiles)

在大模型网关的运行过程中,随着接入的业务系统、微服务和研发团队持续增加,网关内往往维护着数十乃至成百上千个业务调用凭据(Virtual Key)。如果每个密钥都由管理员单独手动配置允许调用的模型列表、路由分流、限流阈值以及用量上限,不仅配置繁琐且极易产生错配与遗漏。更为关键的是,当面临上游供应商变更、高危模型临时下线或全局限流基线调整时,逐个手动修改密钥将陷入低效且高风险的运维泥潭。

OmniCortex 提供了标准化访问策略集(Access Profiles)治理体系。系统将模型与渠道路由、速率门控(RPM/TPM)以及周期用量配额抽象为标准化的策略模板。业务密钥只需绑定对应的策略集即可自动继承全套准入基线;当策略集调整时,支持一键全量同步广播(Propagate),秒级将新规则同步至所有关联的受管密钥,实现企业大模型调用基线的高效集中管控。


核心机制与业务场景

1. 传统分散配置的痛点与策略模板化

  • 消除成百上千业务凭据的重复配置:避免在每个应用密钥上反复重复设置相同的模型白名单与流控规则,通过统一的策略集实现基线模板化定义;
  • 建立分级服务基线 (SLA):支持针对不同业务等级制定差异化的策略套餐(例如针对核心生产业务配置高优先级渠道与宽松限流,针对日常测试环境配置受限模型与严格限流);
  • 策略变更秒级对齐:当需要批量调整某一类业务系统的调用规则时,仅需更新对应的策略集模板,即可批量推送生效,杜绝人工修改带来的配置漂移与遗漏。

2. 策略集四大管控维度

每个访问策略集包含四个维度的标准化规则定义:

  1. 渠道与模型路由 (Routing)
    • 供应商渠道覆盖:指定该策略集允许访问的上游模型供应商(如 OpenAI、Anthropic、DeepSeek、私有开源算力等);
    • 分流权重配置 (weight):在同一策略集中配置多通道时的加权分流比例;
    • 模型白名单与黑名单:精确控制允许调用的模型(支持 * 全量通配符与特定模型列表),并支持设置反向黑名单(blacklisted_models)实现双重放行约束。
  2. 流量速率门禁 (Rate Limiting)
    • 每分钟请求数限制 (RPM):限制受管密钥每分钟的最大请求次数,防范客户端代码死循环与瞬时高频调用;
    • 每分钟 Token 吞吐限制 (TPM):限制受管密钥每分钟的 Token 消耗总量,防止大上下文突发请求耗尽上游并发通道。
  3. 周期用量配额管控 (Quota & Limits)
    • 支持配置多行用量保护上限,并指定重置周期(如每小时、每天、每周、每月或每年);
    • 自然日历对齐 (calendar_aligned):支持按自然月 1 号或自然日零点自动重置配额计数器,精准匹配企业运维与统计周期。
  4. 基础属性与生命周期
    • 具备全局唯一英文标识(slug)、展示名称、描述及激活状态开关。

3. 核心机制:全量同步广播 (Propagate to Managed Keys)

策略集与受管虚拟密钥之间采用“解耦绑定 + 模板继承”的关系:

  • 创建密钥时即时继承:新建虚拟密钥时选择对应的 Access Profile,密钥将自动继承该策略集定义的所有路由与限流规则;
  • 集中变更与一键广播:当管理员在控制台修改了策略集的规则后,系统通过运行时比对算法自动识别变更,支持管理员在保存时或随时在列表中点击「全量同步」按钮,一键将最新规则广播推送至所有已绑定的虚拟密钥;
  • 安全删除保护:当某个策略集下仍关联有在用密钥时,系统强制禁止删除,确保下游所有业务凭据始终具备清晰合规的准入基线。

4. 策略集模板与级联广播模型

📋
标准化策略模板抽象与受管密钥级联广播
策略基线定义 ➔ 密钥关联继承 ➔ 集中变更 ➔ 一键同步广播
基线标准化 · 批量秒级生效
1. 集中定义策略模板 (Access Profile)
指定放行模型白名单(如 gpt-4o, claude-3-5) ➔ 设定 TPM/RPM 速率门限 ➔ 设定周期配额
↓ (批量绑定继承)
2. 下游数十套业务凭据绑定受管 (Virtual Keys)
智能客服项目 Key、搜索推荐系统 Key、数据中台 Key 等统一关联该策略模板
↓ (安全规则变更 / 模型临时下线)
3. 一键全量同步广播 (Propagate)
管理员在策略集中更新规则 ➔ 点击全量同步 ➔ 系统秒级对齐所有受管密钥,无需逐个修改

企业控制台配置导览

管理入口:「模型与治理」➔「模型访问策略」

1. 策略集工作区看板

进入模型访问策略模块后,系统呈现清晰的看板概览:

  • 顶部统计卡片:展示系统中登记的策略集总数、已激活策略数、已停用策略数,以及当前已被纳管的受管密钥总数;
  • 策略集数据表格:列出每个策略集的业务名称与唯一 Slug、启用状态 Switch、已绑定的受管密钥数、支持的渠道图标列、生效的 RPM 与 TPM 限流标签,并提供编辑、全量同步广播与删除操作。

访问策略集管理全景看板

📸 截图替换指引(图 1:访问策略集管理全景看板)

  • 需截图内容:登录控制台,点击左侧导航栏「模型与治理」➔「模型访问策略」(/governance/access-profiles),展示统计卡片与数据表格。
  • 关键画面要素
    1. 顶部 Hero 标题栏包含「访问策略集」与 ACCESS PROFILES 徽标;
    2. 4 个顶部汇总卡片(策略总数、已激活、已停用、已纳管受管密钥数);
    3. 搜索与筛选工具栏(关键字搜索框、启用状态筛选器、「新建策略」主按钮);
    4. 表格列展示:策略名称与 Slug、状态开关、绑定密钥数徽标、覆盖渠道图标列、限流规则标签(TPM/RPM)及操作列按钮(编辑、全量同步、删除)。
  • 推荐保存路径
    • 中文版:Documentation/docs/public/images/access-profiles/zh/access-profiles-overview.png
    • 英文版:Documentation/docs/public/images/access-profiles/en/access-profiles-overview.png

2. 策略集配置(抽屉表单详解)

点击右上角「新建策略」或在列表中点击「编辑」,系统右侧滑出配置抽屉,包含四个标准化配置分区:

访问策略集配置抽屉

📸 截图替换指引(图 2:访问策略集配置抽屉)

  • 需截图内容:点击「新建策略」或列表操作列「编辑」按钮,右侧展开完整的 720px 配置抽屉。
  • 关键画面要素
    1. 抽屉标题显示「编辑策略」或「新建策略」;
    2. 第 1 分区「基础信息」包含 Slug 标识、策略名称、描述文本域及状态开关、日历对齐开关;
    3. 第 2 分区「模型与渠道配置」展示已添加的 Provider 卡片列表(包含渠道名称、权重滑块、允许模型标签);
    4. 第 3 分区「用量配额配置」展示周期用量行,第 4 分区展示 TPM 与 RPM 步进器;
    5. 底部包含取消与保存提交按钮。
  • 推荐保存路径
    • 中文版:Documentation/docs/public/images/access-profiles/zh/access-profile-drawer.png
    • 英文版:Documentation/docs/public/images/access-profiles/en/access-profile-drawer.png

核心配置项说明

分区配置项界面说明约束规则配置说明
基础信息slug策略唯一标识必填(字母数字中划线下划线)系统的唯一英文检索键,创建后不可修改。
name策略名称必填(1 ~ 128 字符)策略集在控制台显示的业务名称(如“生产环境高可用策略”)。
calendar_aligned自然日历对齐开关(默认开启)开启后,周期配额按自然月 1 号或自然日零点重置;关闭则按滑动时间窗计算。
模型路由provider_configs渠道与模型覆盖多渠道卡片指定允许访问的供应商渠道,设置分流权重及允许调用的模型白名单(支持 * 通配符)。
速率限制token_max_limit每分钟 Token 限流 (TPM)正整数限制该策略下每个密钥每分钟消耗的 Token 总量上限。
request_max_limit每分钟请求数限流 (RPM)正整数限制该策略下每个密钥每分钟发起的最大调用请求次数。
用量配额budgets周期用量配额多行配额设置周期用量上限与重置周期(支持按小时、按天、按周、按月或按年重置)。

3. 策略变更与受管密钥批量广播实操

当企业需要批量调整业务权限(例如为所有业务系统放行新上线的开源大模型,或收紧特定渠道限流阈值)时,标准运维动线如下:

  1. 编辑策略集:在策略列表中点击目标策略的「编辑」按钮,调整对应的模型白名单或限流参数;
  2. 保存并触发提示:点击「保存更新」,若系统检测到规则变更且当前策略集已绑定有业务密钥,系统将自动弹出「全量同步广播」确认窗口,提示将受影响的密钥数量;
  3. 确认一键广播:点击确认同步后,网关内核秒级将最新策略广播至所有已绑定的虚拟密钥;
  4. 日常手动同步:管理员也可随时在策略列表操作列点击「全量同步」按钮,手动对当前模板下的所有受管密钥执行配置刷新。

常见问题与排查指南

异常现象 / 错误提示根本原因排查 (Root Cause)推荐处理方案
修改了策略集但业务密钥未生效策略集修改默认保存于模板本身,尚未执行全量广播同步至既有的受管密钥中。在策略列表操作列找到该策略,点击「全量同步」按钮,确认后即可秒级将最新规则推送到所有已绑定的受管密钥。
删除策略集提示阻断
Cannot delete profile with bound keys
该策略集当前仍被一个或多个业务虚拟密钥绑定引用。系统防止误删造成下游凭证失去准入基线。前往「虚拟密钥」管理列表,筛选引用该策略集的密钥,批量将其策略集更换为其他模板;待绑定数量归零后即可顺利删除。
业务请求报错 403 模型不可用
Model not allowed by access profile
客户端请求的模型未包含在该策略集对应供应商的允许模型白名单(allowed_models)中,或命中了黑名单。打开该策略集配置抽屉,在「模型与渠道配置」中核实该供应商的模型白名单列表,补充添加目标模型名称或配置 * 通配符后保存并广播。
业务请求频繁触发 429 速率限制
Rate limit exceeded (RPM/TPM)
业务系统的突发请求频次或 Token 消耗量超过了策略集设定的每分钟阈值。根据业务服务等级与上游并发容量,在策略集抽屉「速率限制配置」中合理调大 TPM 或 RPM 限流上限,并点击全量同步广播生效。