LLM 全量调用审计日志

大模型驱动的企业级应用全面投产后，调用链路的复杂度呈现指数级跃升。单次对话请求不再是简单的客户端与服务端直连，而是历经跨部门密钥校验、动态路由与加权轮询、安全围栏深度审查、跨供应商故障自愈降级，以及长达数十秒的流式分块输出与工具调用协同。在此背景下，任何一次偶发的超时、降级或安全拦截，若缺乏全息、实时的调用轨迹支撑，都将使生产排障沦为盲人摸象。

OmniCortex 构建了专为大模型交互设计的全量调用审计日志与可观测中枢。系统在保证网关高并发吞吐与亚毫秒级调度的前提下，以异步非阻塞方式对全网关流经的每一次 ChatCompletion、Embedding、Audio、多模态及 OpenAI Responses 规范请求进行全生命周期捕获。平台不仅提供微观维度的输入输出报文、深度思考链（Reasoning）与多阶段耗时拆解，更在宏观维度支持跨模型容灾链路聚合、时序分布下钻，以及严格受控的敏感数据可逆脱敏还原，实现兼顾排障效能与数据安全的闭环治理。

---

一、 核心机制与全链路追踪

1. 生产调用痛点与外在能力响应

核心痛点与管控挑战	传统运维排障局限	OmniCortex 外在能力表现与治理价值
调用黑盒与排障断层	仅记录 HTTP 状态码与基础时间戳，无法重现多轮对话历史、超参数及模型内部思考推导。	全息调用画像（Deep Tracing）：完整复盘单次调用的提示词上下文、超参数组合、工具定义、思维链过程与逆向生成内容，零延迟影响线上推理。
容灾降级引发日志分裂	发生故障降级重试时，单次请求衍生出多条散落的独立日志行，严重拉低系统成功率统计指标。	双轨成功率与链路聚合（Group Mode）：将跨模型容灾重试自动收拢为统一的事务树，清晰呈现系统物理成功率与终端用户感知成功率，保障真实 SLA 统计。
审计合规与隐私泄露冲突	为排障排查错误必须保留入参出参，但明文存储敏感数据（手机号、身份证、凭据）违背合规底线。	分级内容隔离与特权可逆脱敏（Reversible Redaction）：支持敏感信息自动打码脱敏入库；针对安全取证场景，仅向具备特权凭据的审计员提供一键明文还原能力。

2. 全生命周期耗时拆解与流转感知

在处理大模型调用时，端到端总耗时往往由网关调度、上游网络建连以及模型厂商吐字速度共同构成。为了让技术团队一眼识别性能卡点，OmniCortex 将单次调用的流转过程结构化为四大阶段，并直观呈现时延拆解：

全生命周期流转与分段时延感知拓扑

端到端全链路透视 · 亚毫秒级网关调度

Stage 1前置安全门禁与治理流水线

身份鉴权 · 配额管控 · 提示词风控 · PII 掩码

校验虚拟密钥合法性与团队限额 ➔ 实时审查提示词安全（注入与违规过滤） ➔ 执行隐私数据脱敏处理 ➔ 触发前置治理策略。

↓ 算力路由与目标渠道选取

Stage 2智能选路调度与异构协议自适应

加权轮询 · 凭证健康检测 · 协议无损映射

从物理凭证池中自动择优选取健康服务商通道 ➔ 完整记录选路轨迹（Attempt Trail） ➔ 将通用接口请求格式自动适配为目标模型专有格式。

↓ 上游双向网络通信与首字响应

Stage 3上游推理交互与首字延迟感知

首字吐出时延 (TTFT) · 流式双轨分发

建立长连接并实时捕获首字生成延迟 (TTFT) ➔ 前台双轨实时透传流式输出给客户端 ➔ 后台内存汇聚完整生成报文。

↓ 出向后置安全复审与全息审计归档

Stage 4后置合规审查与异步审计画像沉淀

生成安全审查 · 组织责任关联 · 异步全息落盘

模型生成内容合规与幻觉校验 ➔ 自动关联团队与操作人责任归属 ➔ 异步持久化沉淀全量调用画像与耗时明细。

3. 全维审计与调用画像能力矩阵

平台为每一次模型交互赋予全方位的审计画像，支撑企业在质量、安全、业务归属与运维多维度的精细管控：

审计与观测能力维度	业务应用场景	平台外在表现与治理价值
全息会话重现与现场还原	偶发异常复盘、Bad Case 标注、模型效果调优	完整捕获多轮对话气泡流、系统提示词、温度超参数及生成文本，支持运维人员在控制台一键复现当时调用现场。
深度思考链 (Reasoning) 透视	推理模型审计（如 DeepSeek-R1 等）、代码与数理推导监管	将模型推导过程与最终回答剥离呈现，直观展示推导过程行数与推导耗时，严防大模型产生严重幻觉或逻辑走偏。
容灾轨迹透视与路径还原	供应商限流降级、网络抖动漂移、跨厂商备选通道代接	完整记录容灾重试路径（Attempt Trail），清晰呈现各轮次渠道切换诱因与备选通道决策结果，全面保障服务韧性。
首字时延 (TTFT) 与性能诊断	慢请求定位、跨云网络瓶颈辨识、首字卡顿分析	清晰拆解网络建连、上游首字吐出（TTFT）与持续交付耗时，精准定位性能瓶颈究竟在网关内部还是模型服务商。
组织架构与密钥责任归属	部门调用统计、团队安全问责、影子应用排查	自动关联所属部门、具体操作人员及业务虚拟密钥，实现跨业务线精细化使用画像与责任落幅。
合规特权解密与数据脱敏	个人隐私保护、敏感凭证防泄露、安全合规取证	默认对身份证、手机号等敏感信息实行掩码遮蔽；授权审计员可在风控取证场景下一键解密还原原始明文。

---

二、 企业控制台操作导览

管理入口：「可观测与审计」➔「LLM 运行日志」 (/observability/llm-logs)。

1. 监控工作台全景与交互流

📸 截图替换指引（图 1：LLM 全量调用审计日志监控全景视区）

• 需截图内容：登录控制台，进入「可观测与审计」→「LLM 运行日志」默认视窗。
• 关键画面要素：
  1. 顶部 Hero 状态栏：左侧蓝色渐变监控图标、LLM 运行日志 标题与绿色 Live Gateway Stream 脉冲徽标；右侧高亮呈现「链路聚合」开关胶囊、「实时轮询 (30s)」微开关与 1小时 / 24小时 / 7天 / 30天 时间预设胶囊组；
  2. 指标卡片看板：6 张工业级状态微卡片，分别展示总请求数（含峰值吞吐）、系统请求成功率（含失败数与渐变进度条）、用户感知成功率、平均延迟（含秒级换算）、Token 消耗量（含输入/输出细分）与总成本预估；
  3. 请求量分布直方图：呈现绿色（成功）与红色（失败）堆叠直方图，坐标轴时间刻度清晰，右上角具备折叠箭头与重置缩放按钮；
  4. 复合搜索与过滤栏：常驻高频筛选区包含虚拟密钥、供应商渠道、模型级联下拉框与状态码选择框，下方展示已激活的高级维度 Tags（如所属团队、调用用户等）；
  5. 日志主数据表格：各行左侧展示三色垂直微色条（绿色代表成功，红色代表错误），精确时间戳与相对时间，类型 Badge（如 CHAT、CHAT STREAM、EMBEDDING），消息内容摘要（带 R1 思考过程微标与 Tool 工具调用微标），供应商图标与模型名称，延迟 Mini 进度条，Token 双色比例条，以及操作列的「复制 ID」与「详情」按钮。
• 推荐保存路径：
  • 中文版：Documentation/docs/public/images/observability/zh/overview.png
  • 英文版：Documentation/docs/public/images/observability/en/overview.png

核心交互控制功能

• 链路聚合 (Group Mode)：开启后，发生 Fallback 故障降级重试的多次调用自动归整到根请求行下，表格行首呈现 +N 展开按钮。展开即可查看各次重试的 Attempt 顺序、所用物理 Key 及失败原因，有效规避故障重试造成的日志刷屏。
• 实时轮询 (Live Polling)：提供 30 秒自动刷新开关，指示灯以常绿光晕展示实时运行状态，适合在发布或压测时置于大屏持续巡视。
• 时序直方图框选与下钻 (Time Zoom)：支持在直方图上直接鼠标拖拽框选异常尖刺区间，或点击单个时间柱。表格与指标卡片将秒级联动缩小时间范围，精准聚焦异常发生窗口。

---

2. 全景详情抽屉：耗时拆解与选路决策

在日志表格中点击任一行的 「详情」 按钮，系统将从右侧滑出全景分析抽屉。顶部工具栏提供快捷上一条/下一条切换（支持键盘左右箭头导航）、导出标准 JSON、智能复制请求体，以及针对错误日志的诊断信息。

📸 截图替换指引（图 2：全景详情抽屉：耗时拆解与选路决策轨迹）

• 需截图内容：在日志列表点击任一数据行滑出详情抽屉，默认停留在「概览 Overview」主 Tab。
• 关键画面要素：
  1. 抽屉顶部 Header：展示模型全称、供应商彩色图标、绿色状态码胶囊（200 OK）、端到端耗时、键盘前后导航箭头，以及右上角「解密还原敏感内容」开关与操作按钮组（导出 JSON、复制请求体、删除）；
  2. 二级 Sub-Tab 导航：高亮选中「耗时拆解 Timings」，下方卡片展示端到端总时延与上游首字延迟 TTFT，展开「网关调度开销拆解」后呈现核心治理阶段的彩色分段条与耗时明细；
  3. 选路决策子面板 (Routing)：切换至 Routing 面板，呈现 Attempt Trail 尝试链路表格（显示 Attempt 轮次、使用的物理 API Key、返回结果为绿色 Success 或红色具体 fail_reason）以及下方的路由决策原始日志框；
  4. 指标速览卡片：抽屉右侧或下方的 Token 精确用量看板（含 Prompt、Completion、Reasoning 消耗）与按费率折算的精准费用。
• 推荐保存路径：
  • 中文版：Documentation/docs/public/images/observability/zh/detail-overview.png
  • 英文版：Documentation/docs/public/images/observability/en/detail-overview.png

耗时分类透视能力

点击「网关调度开销拆解」右侧的展开箭头，即可直观展开核心治理阶段的彩色分段条与微观耗时明细，帮助技术人员精准定界时延瓶颈：

📸 截图替换指引（图 3：网关调度耗时拆解全景展开视区）

• 需截图内容：在全景详情抽屉的「耗时拆解 Timings」面板中，点击展开「网关调度开销拆解」后的状态界面。
• 关键画面要素：
  1. 端到端总时延与 TTFT：上方清晰展示总体耗时与上游首字延迟卡片；
  2. 彩色堆叠比例条：不同治理阶段分色渲染的进度条；
  3. 细分阶段耗时列表：展示数据编解码（Serialization）、安全围栏（Security Guardrails）、协议转译（Conversion）、业务插件（Plugins）、选路调度（Key Selection）等各阶段的耗时数值与占比百分比。
• 推荐保存路径：
  • 中文版：Documentation/docs/public/images/observability/zh/detail-timings.png
  • 英文版：Documentation/docs/public/images/observability/en/detail-timings.png

路由追踪与容灾尝试轨迹 (Routing Trail)

切换至 「选路决策 (Routing)」 子选项卡，平台提供透明的跨供应商通道调度轨迹与容灾复盘能力：

• 尝试链路表格 (Attempt Trail)：详细复盘单次业务请求历经的多轮物理尝试。清晰列出各轮次次序（#1、#2...）、实际派发的底层物理密钥名称（Key Name）以及最终结果。若某轮因服务商 429 限流或 5xx 故障失败，直接标红展示具体原因（如 rate_limit_error），并在成功接纳的备选轮次展示绿色 成功 徽标，实现跨云跨模型容灾漂移全透明；
• 选路引擎决策日志 (Decision Logs)：实时打印模型别名重写映射记录、权重比例计算以及候选通道健康探活状态，彻底告别选路黑盒。

安全护栏干预与判决详情 (Guardrails & Cache)

切换至 「安全护栏与缓存 (Guardrail & Cache)」 子选项卡，直观审视该请求流经企业安全防线时的判定结果与命中特征：

📸 截图替换指引（图 4：选路轨迹追踪与安全护栏干预判决视区）

• 需截图内容：在全景详情抽屉的「概览 Overview」主 Tab 下，点击切换至「安全护栏与缓存」子面板（或选路决策子面板）。
• 关键画面要素：
  1. 安全护栏判决卡片 (Guardrail Details)：顶部盾牌图标与判决规则总数徽标；
  2. 判决记录列表：各条判决包含防御阶段徽章（如蓝色的 INPUT 前置防御或紫色的 OUTPUT 后置合规）、规则名称（rule_name）与所属防线模板（template_id）；
  3. 处置动作状态徽章 (Action)：高亮展示红色 BLOCK（拦截阻断）、琥珀色 REDACT（脱敏掩码）或绿色 ALLOW（合规放行）；
  4. 三维风险坐标元数据：展示风险分类（如 jailbreak、pii、harmful）、严重级别（HIGH、MEDIUM、LOW）及具体的违规判定原因文本；
  5. 语义缓存诊断卡片 (Caching)：展示缓存命中状态（HIT / MISS）、命中类型（Direct 精确缓存 / Semantic 语义缓存）以及语义相似度评分（similarityScore）与判定阈值。
• 推荐保存路径：
  • 中文版：Documentation/docs/public/images/observability/zh/detail-routing-guardrail.png
  • 英文版：Documentation/docs/public/images/observability/en/detail-routing-guardrail.png

• 防御阶段与规则对齐：精确标识检测发生在客户端 Prompt 输入侧（INPUT）还是大模型生成内容输出侧（OUTPUT），并关联具体的防线策略包；
• 结构化判决原因与坐标：对于被拦截或打标的请求，控制台输出清晰的违规分类（Category）、严重级别（Severity: High / Medium / Low）与详细处置消息；
• 智能语义缓存诊断：若请求命中了网关缓存，直观展现缓存类型（精准 Key 缓存或向量语义缓存），并公布当前输入与缓存条目之间的向量相似度得分（Similarity Score），辅助团队调优相似度匹配阈值。

---

3. 会话视图、深度思考链与多模态审计

切换至抽屉的 「会话」 选项卡，系统将结构化还原交互上下文：

📸 截图替换指引（图 5：交互会话视图与深度思考链解析）

• 需截图内容：在全景详情抽屉中切换至「会话 Messages」主 Tab。
• 关键画面要素：
  1. 角色过滤胶囊组：顶部包含 system、user、assistant、tool、reasoning 徽标筛选按钮；
  2. 会话流气泡：清楚区分 User 提示词气泡与 Assistant 回复气泡，右侧带一键复制与折叠按钮；
  3. Reasoning 深度思考专属折叠卡片：针对推理模型（如 DeepSeek-R1），展示紫调边框的 Reasoning Process 卡片，标明推导内容行数与折叠展开状态；
  4. 工具调用面板 (Tools)：若包含函数调用，切换至 Tools 子 Tab 展示模型声明的函数工具清单与 tool_choice 参数约束；
  5. 敏感数据脱敏与高亮：若命中脱敏规则，内容中的敏感词以醒目的掩码胶囊（如 [PHONE_1]）展示，开启右上角解密开关后原位恢复真实内容。
• 推荐保存路径：
  • 中文版：Documentation/docs/public/images/observability/zh/detail-messages.png
  • 英文版：Documentation/docs/public/images/observability/en/detail-messages.png

关键特性解析

• 深度思考链 (Deep Reasoning)：对于 DeepSeek-R1 等具备长思维链的模型，系统将思考推导过程与最终回答剥离，以专用卡片清晰呈现逻辑演进与 Token 消耗。
• 特权敏感内容还原 (Reveal Redaction)：为保障安全，具有 observability:llm_log:reveal 权限的操作员在打开右上角「解密还原敏感内容」开关时，前端将请求后端受控解密接口，动态将掩码（如 [EMAIL_1]）还原为原始明文，便于合规事件深度取证。

---

三、 常见异常与故障排查

以下仅收录日志与可观测模块特有的深度运行时异常，通用鉴权错误请参阅全局状态码字典。

现象 / 异常表现	根本原因排查方向	推荐处理方案
日志列表中能看到模型与耗时元数据，但无法查看提示词与生成文本（显示为空或无内容）	触发了内容日志隔离机制： 1. 网关全局配置开启了 client.disable_content_logging: true； 2. 该虚拟密钥或客户端请求头显式传递了禁用内容日志的策略开关，网关仅持久化计量与指标元数据以符合严格的数据出域合规。	1. 若为合规环境要求，属于正常脱敏现象； 2. 若排障需要完整报文，检查网关配置或调用方的请求头，将其调整为仅对外部连接器关闭内容，网关内部保留脱敏日志。
在详情抽屉点击「解密还原敏感内容」开关时无响应或提示还原失败	特权校验拦截或脱敏映射缺失： 1. 当前登录的管理账号未被分配 observability:llm_log:reveal 细粒度 RBAC 权限点； 2. 该条日志入库时所绑定的安全围栏策略包配置为“单向擦除”而非“可逆替换”，未生成映射字典。	1. 登录管理员账号，在「系统管理」→「角色管理」中为该审计员角色勾选「查看脱敏明文」权限； 2. 检查「安全围栏」对应防线的脱敏处置方式，确认开启可逆脱敏（runtime_reversible）。
发生供应商通道抖动时，控制台列表出现同一业务请求的多条重复行，成功率统计严重偏低	未激活链路聚合 (Group Mode)： 当前视图处于物理调用平铺模式，网关底层执行的多次 Fallback 重试（Attempt 0, 1, 2）均作为独立行平铺展示，导致系统物理成功率与最终业务交付成功率脱节。	在控制台顶部操作栏点击开启「链路聚合」开关。系统将自动按根请求进行折叠，主行展示 +N 标识，指标看板将按「用户感知成功率」真实反映最终交付给业务端的成功比例。