Skip to content

训练数据集与模型精调工坊 ​

在将大语言模型落地到具体业务场景时,通用的公有云大模型往往缺乏对企业自身业务术语、产品知识与专有实体的深度理解。想要获得更贴合业务实际的专属小模型,关键在于拥有高质量、贴近真实业务场景的训练数据。

OmniCortex 提供了全流程可视化的 AI 训练数据集与精调工坊。业务人员无需编写代码或手动处理复杂的数据格式,直接在控制台中即可完成从“历史调用日志提取 ➔ 智能大模型自动打标 ➔ 人机协同复核校准 ➔ 训练与测试集划分 ➔ 一键导出微调数据集”的完整工作流程,轻松沉淀企业高质量的专属模型微调数据资产。


核心机制与业务场景 ​

1. 业务价值与数据飞轮 ​

训练数据集工坊帮助企业打通从业务使用到模型进化的完整数据闭环:

  • 沉淀真实业务语料:直接从生产实际调用中汲取高价值问答,支持按时间范围、调用角色精准提取,告别手工编造假数据的脱节与低效;
  • 智能模型辅助打标:借助理解能力优秀的高阶主力大模型,对人名、地点、机构等关键信息进行批量自动识别与标注,大幅分担人工标注量;
  • 可视化人机协同质检:提供直观的可视化划词标注台,业务专家与标注人员可轻松对自动打标结果进行审查、纠偏与确认,保障训练集的准确度;
  • 开箱即用的多格式适配:严格按照完整会话进行训练集与测试集划分,避免数据相互干扰,并一键导出适配主流模型微调工具的通用格式。

2. 端到端精调数据工坊业务流转 ​

🔄
模型微调数据集制作与业务闭环全景
从业务调用记录到专属模型训练的五步可视化流程
业务人员全流程可视化操作
第一步 · 语料采集与内容准备 (Prepare)
原始语料获取
根据业务时间范围筛选真实的成功调用记录 ➔ 自动按自然语句进行合理分段 ➔ 自动过滤高频重复内容 ➔ 生成整齐干净的待处理样本。
↓ 调度大模型快速进行初步识别与标注
第二步 · 教师模型智能自动打标 (Label)
机器辅助打标
选用能力强劲的大模型作为标注裁判 ➔ 自动扫描并识别文本中的人名、地点与机构名称 ➔ 支持多模型对比查看,辅助业务判断。
↓ 业务人员人工核对与质量把关
第三步 · 人机协同复核与划词标注 (Review)
人工质量把关
在交互式工作台中查看彩色高亮标注 ➔ 鼠标划选补充标注或修改实体类型 ➔ 一键剔除无关脏样本 ➔ 确认最终标注结果。
↓ 科学划分数据集,保证评测严谨
第四步 · 科学切分与样本平衡 (Split)
数据科学划分
同一会话的多轮对话严格归入同一组(杜绝测试作弊) ➔ 训练集按设定比例科学抽样 ➔ 测试集完整保留用于客观检验模型能力。
↓ 一键导出通用格式,直接用于模型训练
第五步 · 多格式成果导出与模型训练 (Export)
成果交付训练
支持选择通用对话格式(Messages)、经典问答格式(Alpaca)或多轮交互格式(ShareGPT) ➔ 一键打包下载 ZIP ➔ 直接交付训练专属业务模型。

3. 全维业务能力矩阵 ​

核心业务功能典型应用场景带来的实际管理与业务价值
真实业务语料挖掘缺少微调数据、不知从何收集语料直接基于企业真实发生过的日常问答日志自动汇总样本,省去跨部门人工收集整理的沟通协调成本。
大模型辅助打标样本量大、纯人工标注周期过长让主力大模型先跑一遍“初筛”,自动标注绝大部分常规实体,人工只需审核校对,大幅缩短数据准备周期。
多模型打标效果对比评估哪个大模型打标更精准同一文本可同时调用两个不同的模型分别标注并并排呈现,直观对比识别效果差异,帮助团队择优选取打标模型。
人机协同复核工作台保证交付训练的数据 100% 准确可信提供直观的划词标注工具,业务人员像在 Word 中高亮划重点一样轻松修改、补齐或删除标签,操作零门槛。
会话防泄露切分严谨评估微调后模型的真实泛化能力保证同一通会话里的上下多轮交互不会被拆散到训练集和测试集中,避免模型“死记硬背”同一段对话导致评估失真。
主流训练格式全兼容导出的数据需要对接不同微调工具覆盖业界所有主流的数据集组织格式,开箱即用,无需算法团队再写脚本转换数据格式。

控制台操作指南 ​

管理入口:系统管理 ➔ AI 工具箱 ➔ 训练数据集 (/system/tools/training-datasets)。

1. 数据集管理与存储配置 ​

进入训练数据集页面,顶部直观展示已创建的数据集列表与总数,支持通过关键字快速搜索:

数据集资产列表与全局存储配置

  • 新建数据集:点击「新建数据集」按钮,在弹窗中输入数据集名称、业务描述,并选择要抓取历史日志的时间范围(系统会自动根据本地时区转换);
  • 固定来源规则:系统默认只提取业务端调用成功的真实记录,自动排除系统内部的管理操作和报错记录;若请求中包含了工具调用(Tool Calls),也会自动完整保留其上下文;
  • 存储配置:管理员可点击「存储配置」指定数据文件的落盘方式,支持保存在本地磁盘或企业私有对象存储(如 MinIO、阿里云 OSS、AWS S3 等)中。

2. 新环境冷启动验证:一键注入 120 条模拟聊天样本 ​

对于刚完成部署上线的全新环境或本地演示环境,网关尚未接入正式业务系统,缺乏历史调用记录。为了让使用者在零日志冷启动状态下也能立刻测试、验证训练数据集与精调工坊的完整功能,系统内置了「注入模拟请求日志」测试工具:

  • 功能入口:在训练数据集列表页顶部操作栏,点击 「注入模拟请求日志」 按钮;
  • 选择测试参数:
    1. 调用虚拟密钥 (VK):在下拉列表中选取一个用于测试调用的虚拟密钥;
    2. 文本对话模型:选择网关中已接入的主力模型;
    3. 提示词语言版本:支持选择 “简体中文 (zh-CN) - 120 条” 或 “English (en-US) - 120 条”;
  • 样本内容设计:系统内置的 120 条样本覆盖企业日常业务问答、售后咨询、工单申诉等典型场景,且每条样本中均自然嵌入了虚构的自然人名(PERSON)、地址位置(LOCATION)与机构名称(ORGANIZATION)。所有实体皆为虚构,安全无真实隐私泄露风险(这批样本亦可直接用于 大模型实体识别引擎 (llm_ner) 调试沙盒的识别与脱敏验证);
  • 自动调用入库与进度可视:
    • 点击「开始发送 120 条模拟请求」,系统将在后台串行发起真实推理请求,调用产生的标准审计日志实时存入系统;
    • 弹窗内实时显示发送进度条、已响应/失败计数及入库核实状态;
  • 极速开启数据集制作:120 条样本注入完成后,直接返回列表页点击「新建数据集」,时间范围选择包含当前时间的最近窗口(如最近 1 小时),即可完整提取这 120 条聊天记录,顺畅验证后续的五步制作流程。

3. 第一步:数据准备 (Prepare) ​

点击列表中的数据集名称进入详情页,第一项为「数据准备」阶段:

Step 1 语料采集与文本分块切片

  • 智能断句分段:系统会自动在换行和标点符号处断句,单个文本片段控制在合理阅读长度内,绝不会生硬截断一句话的完整语义;
  • 跨句上下文重叠:遇到超长内容必须拆分时,系统会在前后片段间保留小段重叠文字,确保拆开后的每一段依然能够读懂前后语境;
  • 重复内容自动过滤:自动识别并剔除完全一致的重复问答或千篇一律的固定系统提示,保证进入后续步骤的样本每条都有代表性;
  • 点击「前往下一步」:确认样本预览无误后,点击底部「下一步:前往 Step 2 模型打标」继续。

4. 第二步:模型智能打标 (Label) ​

进入「模型打标」页面,借助大模型的高阶语义理解能力为样本进行初始标注:

Step 2 教师模型智能打标与对比

  • 选择打标教师模型:在下拉框中选择具备高推理能力的模型(如已接入的 GPT-4o、通义千问 Max、Claude 等主力商用模型);
  • 预置实体识别类型:系统预设了标准的实体识别能力,涵盖三大常见实体类别:
    • 人名 (PERSON):自然人真实姓名或称呼;
    • 地名 (LOCATION):详细住址、收货地址、地理道路与城市位置;
    • 机构名 (ORGANIZATION):企事业单位、政府部门、学校或社会组织机构全称及常用简称;
  • 多模型对比(可选):如果团队在多个大模型之间犹豫不决,可以同时配置两个模型共同打标,在抽屉中并排查看同一文本谁识别得更准;
  • 后台自动运行:点击「启动打标」后,任务在后台自动推进,可随时离开页面或关闭浏览器,完成后状态指示灯会自动变为绿色。

5. 第三步:人机协同复核工作台 (Review) ​

进入「人工复核」页面,由业务人员对大模型的打标成果进行人工审查与校对:

Step 3 人机协同实体复核标注工作台

  • 像划重点一样轻松标注:
    • 修改标签:点击已标注的高亮文字标签,在弹出的菜单中可直接切换为其他实体类型,或点击垃圾桶图标删除错误标注;
    • 补充标注:鼠标在文本中选中漏标的词汇,在鼠标上方浮出的气泡中直接点击目标实体类型(如“人名”),即可完成补充标注;
  • 采纳模型建议:在右侧面板中,可以逐条核验模型识别出的实体,满意即可点击一键采纳;
  • 排除无效样本:若某些文本属于完全乱码、无关灌水或格式混乱的内容,点击「标记为排除样本」,该文本将不会进入训练数据,确保数据集的纯净度;
  • 快捷键盘操作:支持通过键盘方向键或快捷键直接提交并跳转至下一条,大幅提升人工复核效率。

6. 第四步:科学采样与比例切分 (Split) ​

完成人工复核后,进入「采样与划分」阶段,为后续的模型微调划分出科学合理的样本集:

Step 4 科学采样与比例切分

  • 灵活调整训练与测试比例:通过页面滑块直观设定样本比例(系统默认推荐 80% 训练集,20% 测试集);
  • 会话防交叉保护:系统会智能保证同一通业务对话的所有上下文全部划入同一分组,绝不会发生“上文在训练集、下文在测试集”的评测穿透问题,确保微调效果评估严谨客观;
  • 负样本配额与平衡控制:微调模型时,如果完全不包含实体的日常闲聊文本过多,容易导致训练出的模型对敏感词反应迟钝。系统支持按比例控制训练集中无实体样本的抽取配额,既保证模型懂日常对话,又保证实体敏感度;测试集则 100% 真实全量保留,客观评估效果;
  • 一键执行切分:点击「开始切分抽样」按钮,系统自动完成科学分组并呈现 3 列清晰的汇总卡片,支持直接查看切分后的样本明细与单步打包下载。

7. 第五步:成果导出与打包下载 (Export) ​

完成样本切分后,进入「成果导出」阶段,将数据转化为可以直接导入主流微调工具的标准文件包:

Step 5 多格式成果物导出与打包

  • 支持四大主流微调格式:页面提供四张直观的格式卡片,可根据团队使用的微调框架自由选择:
    • messages (强烈推荐):标准的多轮会话格式,目前绝大多数大语言模型微调工具(如主流云平台微调控制台)的首选通用标准;
    • alpaca:经典的指令(Instruction)、输入(Input)、输出(Output)结构,适合问答与单轮指令任务;
    • sharegpt:带有多角色(Human/GPT)交替的对话格式,适合微调具有连续对答风格的模型;
    • raw:保留所有切片与实体位置的原始数据,适合算法人员用于自研特征工程;
  • 一键打包下载:选中目标格式卡片后,点击「生成导出」;后台生成完成后,点击对应历史版本的「打包下载 (ZIP)」按钮,即可一键将包含 train.jsonl、val.jsonl 及 manifest.json 等标准文件的压缩包下载到本地。

导出的微调数据如何使用? ​

下载解压得到的 ZIP 包中,已经为您准备好经过严格质检与格式化后的标准文件:

text
dataset-export/
├── train.jsonl          # 训练集文件(用于模型微调训练)
├── test.jsonl            # 验证/测试集文件(用于检验模型微调效果与防误报)
└── manifest.json        # 数据集元数据清单与统计摘要

企业算法工程师或业务集成团队可以直接将这些文件交由主流微调平台(如开源的 LLaMA-Factory、Unsloth,或各类公有云/私有云大模型微调控制台)载入训练:

  1. 直接导入微调平台:在微调工具中指定数据集路径指向解压出来的 train.jsonl;
  2. 训练出专属轻量模型:使用企业自有的私有算力服务器,对 0.5B、1.5B 或 7B 等轻量参数模型进行微调;
  3. 闭环质检:进入模型微调评测中心:模型微调完成后,在网关配置好微调模型与基准底座,直接进入 模型微调评测 (Model Evaluations) 模块,直接选用本工坊导出的 test.jsonl 测试集执行全自动双盲客观评测与退化归因,全面验收微调效果;
  4. 反哺接入网关:微调好且经评测达标的模型可作为私有供应商接入 OmniCortex 控制台的「模型资产」,并作为安全围栏 大模型实体识别引擎 (llm_ner) 的专属裁判模型,实现在企业内网中极速执行敏感实体识别与合规脱敏。

协同联动:从微调训练到离线客观评测闭环

在本工坊 Step 5 导出的 test.jsonl 已经过第四步科学切分与会话防交叉保护。企业算法团队在完成模型训练后,无需手动编写评测代码,可直接前往 模型微调评测 (Model Evaluations) 选择对应的数据集导出版本,即可一键发起双模型离线横向竞评,直观对比综合 F1 分数、精确率/召回率与完全一致率(Exact Match),并靶向排查微调引入的退化(Regressed)样本。

协同联动:赋能安全围栏敏感实体识别

本工坊预置的 PERSON(人名)、LOCATION(地名)与 ORGANIZATION(机构名)三大实体类型与 大模型实体识别引擎 (llm_ner) 完全一致。由此微调出的专属轻量小模型反哺作为 llm_ner 引擎的判决中枢后,既可免除对外部商用大模型的调用依赖,又能在纯局域网环境中保障企业敏感数据的极速脱敏与合规。


常见业务问题解答 (FAQ) ​

疑问 / 异常表现可能原因建议处理方式
创建数据集后,提示“抽取到的样本数为 0”?1. 选取的起始与截止时间范围内,系统确实没有产生过调用记录;
2. 系统默认只提取调用成功的记录,若选定时段内全为报错请求则会被过滤。
1. 在「全景可观测 ➔ 调用审计日志」中确认该时间段内是否有正常的业务调用记录;
2. 检查时间范围是否设置合理;
3. 新部署项目极速方案:直接点击列表右上角的「注入模拟请求日志」,一键生成 120 条包含人名、地名与机构名的模拟聊天样本并自动入库,随后即可立即拉取这批样本测试完整功能。
提交或保存修改时,提示“数据已被他人更新”?多位管理员或标注人员同时在控制台中编辑了同一个数据集或同时触发了阶段任务。为防止多人操作导致相互覆盖,系统会自动保护数据。直接点击页面右上角的「刷新」按钮获取最新数据,然后再进行提交即可。
自动打标任务运行缓慢或中途停止?1. 选用的打标教师模型响应较慢或遇到了上游提供商的限流;
2. 后台服务节点出现网络波动。
系统具备自动恢复能力,断开后会自动从断点继续推进。您也可以在任务面板中直接点击「重试失败分片」,无需从头重新打标。
为什么测试集中的无实体样本比训练集比例要多?这是科学设计。训练集需要控制无实体背景样本的数量,避免稀释实体特征;而测试集必须完全还原真实业务的分布,才能严谨检验模型是否会产生误判。属于正常现象,无需手动干预。系统在第四步已根据数据科学规范自动完成了平衡处理。
点击导出或打包下载时提示“存储连接异常”?后台配置的对象存储服务连接中断,或填写的存储桶名称/访问密钥已失效。请联系系统管理员在「存储配置」抽屉中点击「连通性测试」,核对存储服务配置是否正常有效。