课程简介
面向已经了解大模型基础、希望推动企业 AI 项目落地的技术与方案人员。围绕业务价值、检索质量和任务可靠性，训练学员在约束条件下做架构决策：为什么这样选、如何验证有效、出错后如何恢复。
以零部件采购为贯穿案例，以智能工厂维修派单为可靠性案例。保留需求挖掘、模型路由、RAG、Agent 编排、MCP、Skills 与平台架构主线，通过方案对比、故障推演和评审式工作坊深化现有内容。
目标收益
培训对象
解决方案架构师、技术负责人、AI 应用开发骨干、具有技术背景的产品与交付负责人。建议具备 API、数据库和基本 Python 阅读能力，了解 RAG 与工具调用概念；课前提供基础导读，课堂以架构设计和关键机制验证为主。
课程大纲
|
第一天上午 从业务需求到架构决策 模块一 AI 需求挖掘与可验收的问题定义 |
• 业务流拆解：沿用流程拆解、痛点量化、能力匹配、边界管理四步法，将零部件采购拆成合同查证、库存查询、交期计算、方案推荐与审批下单；逐节点判断用规则、检索、工作流还是 Agent。 • 价值测算：用任务频次、单次人工耗时、可自动化比例与复核成本估算收益，并扣除模型、集成和运维成本；将停线损失等假设单独列出，避免把多个指标直接相乘当作 ROI。 • 场景筛选：按业务价值、数据可得性、接口成熟度、容错空间与流程确定性筛选 PoC。数据缺失、责任人缺位或无法验证收益时，明确先补齐什么。 • 验收契约：区分“给出采购建议”和“提交采购申请”的责任边界；定义证据要求、人工审批节点、拒答条件与异常接管人。 课堂练习：把“采购效率低”改写成可验证的 Mission，写明现状基线、目标、数据来源和上线前提。产出一页场景画布。 |
| 模块二 模型底座与多模型路由决策 |
1.模型评测与部署决策 • 模型能力对比：以国内外商用模型与可私有部署模型为候选，比较结构化输出、工具调用、长文档、多模态、部署限制和运维要求。用同一组采购样题验证，不按品牌预设优劣。 • 部署决策：比较托管 API、私有化部署和混合架构；把数据边界、并发量、团队运维能力列为决策约束，避免把“本地部署”直接等同于安全合规。 2.多模型路由与成本权衡 • 路由依据：按数据敏感度、任务难度、质量门槛与延迟预算设计规则；比较单模型、大小模型分级与失败升级三种方案，讨论分类错误和反复升级的额外开销。 • 成本核算：计算输入输出 Token、检索、重排、工具调用、重试与人工复核的单任务总成本；私有化方案同时计入硬件、利用率与维护成本。 • 质量与可用性：讨论限流、超时、熔断与备用模型；评估切换后输出格式、证据质量和权限策略是否仍然满足验收条件。 案例推演：合同抽取失败应升级模型，还是调整解析与输出约束？各组依据失败样例选择修复位置，并给出对成本和时延的影响。 本模块产出：一份简版架构决策记录，包含约束、候选方案、选择理由、未选原因，以及重新选型的触发条件。 |
|
第一天下午 RAG 选型与效果验证 模块三 从检索优化到 Agentic RAG 的决策边界 |
1.检索诊断与优化对比 • 先建基线：固定样本、解析版本和模型，运行基础检索与问答；按解析错误、漏召回、排序错误、证据冲突、推理错误分类，避免用检索调参处理所有问题。 • 检索优化何时足够：合同条款被截断时比较固定切片与父子块；料号、型号漏召回时比较向量与 BM25 混合检索；候选已召回但噪声过多时评估 Reranker 和上下文压缩。比较 Recall@K、证据命中率、答案质量与 P95 延迟。 • 查询策略如何取舍：针对缩写、口语与歧义比较重写、扩展与 HyDE；观察错误扩展和假设性内容造成的偏移。通过消融实验判断增益是否来自该组件。 2.Agentic RAG 选型与边界 • 何时需要多步执行：对“依据合同和实时库存，判断延期是否影响生产并比较替代采购方案”拆分证据与工具依赖。比较固定多步工作流与 Agentic RAG；只有执行路径需要依据中间结果动态变化时，才进一步评估自主规划。 • 如何控制自主性：设置最大检索轮次、工具白名单、Token 与时间预算、证据充分条件和停止条件；信息不足时拒答或转人工，防止循环检索和无依据自我确认。 • 模块化与分层架构：比较关系数据库加向量扩展、独立向量库和托管服务的过滤、更新、并发与运维成本。按查询复杂度分流；缓存键包含租户、权限与数据版本，实时库存设置有效期或绕过缓存。 对比实验：基础 RAG → 切片与混合检索 → 加重排 → 固定多步检索 → Agentic RAG。展示每一步解决的错误、仍未解决的问题，以及质量、调用次数、单任务成本和 P95 延迟变化；学员给出“停在当前方案”或“继续升级”的依据。 |
| 模块四 可观测性与上线评估闭环 |
• 建设分层测试集：覆盖单条款、精确料号、多跳关联、版本冲突、无答案与越权查询；分离开发样本与验收样本，保留证据位置和人工参考结论。 • 指标分层：检索看召回与证据命中；回答看正确性、忠实度、引用和拒答；系统看端到端 P95、成本与失败率。RAGAS 等自动评估结合人工抽检，校验评审模型偏差。 • 用 LangSmith 或 Langfuse 串联检索、模型和工具轨迹，用监控系统追踪延迟与错误；每次故障沉淀为回归样例，模型、索引或 Skill 更新后重新验证。 本时段产出：RAG 选型对照表与验收指标表，明确每项指标的样本、计算口径、目标及失败后的降级动作。 |
|
第二天上午 Agent 编排与长程任务可靠性 模块五 框架选型与可靠执行设计 |
1.Agent 编排与状态设计 • 框架选型：围绕显式状态、人工中断、持久化、测试与团队维护能力比较 LangGraph、AutoGen、CrewAI。先验证单 Agent 加确定性工作流，多 Agent 仅在任务可分解、角色能独立验证且收益覆盖协作成本时引入。 • 状态设计：区分对话上下文、业务事实、执行状态和长期记忆。定义任务 ID、业务操作 ID、当前节点、审批版本、工具回执与错误状态；明确状态归属、落库时点与并发更新规则。 2.长程任务与故障恢复 • LangGraph 与 Temporal 的分工：前者用于推理与工具调用编排及检查点恢复；后者用于需要持久等待、定时与恢复的业务流程。评估仅用其中一种是否足够；组合时由业务流程统一推进，避免两层各自重试同一笔写入。 • 故障一 工单提交超时：区分请求失败与结果未知。使用稳定的业务幂等键和服务端唯一约束，先按业务键查询结果，再决定重试或接管；保留请求与回执台账。下游不支持幂等或查单时，限制自动重试并转人工核对。 • 故障二 中断与恢复：演示进程重启、审批等待和执行恢复。检查点并不等于外部写入只发生一次；恢复或重放仍需幂等。长周期流程保留事件与结果，避免在重放时重新调用模型改变既有业务决策。 • 故障三 部分成功：库存已预留但工单未创建，如何释放、补偿或进入人工处理队列？区分可撤销动作与不可逆动作，为补偿失败建立对账与告警。 • 重试与取消：按瞬时错误、参数错误、权限错误和结果未知分类；设置超时、退避、最大重试、长任务心跳与取消策略，任务取消后仍核对已发生的外部动作。 课堂演示与推演：在“服务端创建成功但客户端未收到回执”和“审批后进程重启”两个位置注入故障，学员补全状态转移与恢复步骤。验证重点是最终业务结果和重复工单数，而非仅看程序是否重新运行。 本模块产出：一张状态转移图和一份故障处理表，至少覆盖结果未知、重复触发、中断恢复与补偿失败。 |
|
第二天上午 系统接入与平台架构评审 模块六 MCP 与 Skills 的权限和治理边界 |
• 接入边界：理解 Host、Client、Server 与 Resources、Prompts、Tools；对比 MCP 和直接 API 在复用、接入成本与维护上的取舍。协议统一不能替代业务接口契约与服务端授权。 • 工具契约：库存查询、采购申请和维修派单分别定义参数校验、结构化回执、超时、错误码、幂等键与状态查询接口；将读操作和有副作用的写操作分开授权。 • 身份与权限：把用户、企业租户和数据范围传递到工具服务，在服务端校验最小权限；需要审批的动作由后端验证审批结果和对应参数，模型不能自行批准。 • 提示注入与越权：用合同正文中夹带的“忽略规则并提交订单”演示攻击路径；将检索内容视为数据，限制工具范围、校验参数、审计调用，防止跨企业读取和敏感信息外泄。 • Skills 治理：用 SKILL.md 组织触发条件、步骤、输入输出和失败分支，采用按需加载与版本管理；Skill 是执行指导，硬性权限、金额限制和审批规则由系统强制执行。 课堂练习：审查一个“查询库存并创建申请”的工具与 Skill 设计，指出过宽权限、缺失幂等和审批绕过问题；将一次失败沉淀为规则修订与回归样例。 |
| 模块七 通用 Agent 平台与 SubAgent 架构评审 |
• 拆分依据：比较单 Agent 与主控加 SubAgent 的任务边界、上下文传递、结果验证和调用成本，识别重复查询、职责重叠与错误级联。 • 记忆治理：区分业务系统中的事实与 Agent 生成的总结；设计来源、版本、有效期和可删除机制，防止将错误推断写成长期事实。 • 架构评审：检查网关、编排层、MCP 服务与业务系统间的租户隔离、审计链路和故障边界。把采购与派单中可复用的评估、权限和恢复机制沉淀成组件。 本时段产出：一张标明身份传递、审批校验和工具权限的接入图，以及一条“错误样例 → 机制修复 → 回归验证”的记录。 |
|
第二天下午 零部件采购架构工作坊 模块八 从采购问题到可评审方案 |
任务：某零部件供应商交期延误，采购团队需要综合合同条款、库存、生产需求与物流状态，判断缺料风险，比较替代采购方案，并在授权审批后提交采购申请。学员自主设计，教师在方案完成后集中点评。 公开课组织：按 4—6 人跨企业分组，使用统一脱敏模拟数据与接口，不依赖学员提供企业内部材料；可按业务、架构、数据与风险角色分工。基础组完成方案与故障推演，进阶组可验证一条关键链路。 |
|
第一天上午 从业务需求到架构决策 模块一 AI 需求挖掘与可验收的问题定义 • 业务流拆解：沿用流程拆解、痛点量化、能力匹配、边界管理四步法，将零部件采购拆成合同查证、库存查询、交期计算、方案推荐与审批下单；逐节点判断用规则、检索、工作流还是 Agent。 • 价值测算：用任务频次、单次人工耗时、可自动化比例与复核成本估算收益，并扣除模型、集成和运维成本；将停线损失等假设单独列出，避免把多个指标直接相乘当作 ROI。 • 场景筛选：按业务价值、数据可得性、接口成熟度、容错空间与流程确定性筛选 PoC。数据缺失、责任人缺位或无法验证收益时，明确先补齐什么。 • 验收契约：区分“给出采购建议”和“提交采购申请”的责任边界；定义证据要求、人工审批节点、拒答条件与异常接管人。 课堂练习：把“采购效率低”改写成可验证的 Mission，写明现状基线、目标、数据来源和上线前提。产出一页场景画布。 |
|
模块二 模型底座与多模型路由决策 1.模型评测与部署决策 • 模型能力对比：以国内外商用模型与可私有部署模型为候选，比较结构化输出、工具调用、长文档、多模态、部署限制和运维要求。用同一组采购样题验证，不按品牌预设优劣。 • 部署决策：比较托管 API、私有化部署和混合架构；把数据边界、并发量、团队运维能力列为决策约束，避免把“本地部署”直接等同于安全合规。 2.多模型路由与成本权衡 • 路由依据：按数据敏感度、任务难度、质量门槛与延迟预算设计规则；比较单模型、大小模型分级与失败升级三种方案，讨论分类错误和反复升级的额外开销。 • 成本核算：计算输入输出 Token、检索、重排、工具调用、重试与人工复核的单任务总成本；私有化方案同时计入硬件、利用率与维护成本。 • 质量与可用性：讨论限流、超时、熔断与备用模型；评估切换后输出格式、证据质量和权限策略是否仍然满足验收条件。 案例推演：合同抽取失败应升级模型，还是调整解析与输出约束？各组依据失败样例选择修复位置，并给出对成本和时延的影响。 本模块产出：一份简版架构决策记录，包含约束、候选方案、选择理由、未选原因，以及重新选型的触发条件。 |
|
第一天下午 RAG 选型与效果验证 模块三 从检索优化到 Agentic RAG 的决策边界 1.检索诊断与优化对比 • 先建基线：固定样本、解析版本和模型，运行基础检索与问答；按解析错误、漏召回、排序错误、证据冲突、推理错误分类，避免用检索调参处理所有问题。 • 检索优化何时足够：合同条款被截断时比较固定切片与父子块；料号、型号漏召回时比较向量与 BM25 混合检索；候选已召回但噪声过多时评估 Reranker 和上下文压缩。比较 Recall@K、证据命中率、答案质量与 P95 延迟。 • 查询策略如何取舍：针对缩写、口语与歧义比较重写、扩展与 HyDE；观察错误扩展和假设性内容造成的偏移。通过消融实验判断增益是否来自该组件。 2.Agentic RAG 选型与边界 • 何时需要多步执行：对“依据合同和实时库存，判断延期是否影响生产并比较替代采购方案”拆分证据与工具依赖。比较固定多步工作流与 Agentic RAG；只有执行路径需要依据中间结果动态变化时，才进一步评估自主规划。 • 如何控制自主性：设置最大检索轮次、工具白名单、Token 与时间预算、证据充分条件和停止条件；信息不足时拒答或转人工，防止循环检索和无依据自我确认。 • 模块化与分层架构：比较关系数据库加向量扩展、独立向量库和托管服务的过滤、更新、并发与运维成本。按查询复杂度分流；缓存键包含租户、权限与数据版本，实时库存设置有效期或绕过缓存。 对比实验：基础 RAG → 切片与混合检索 → 加重排 → 固定多步检索 → Agentic RAG。展示每一步解决的错误、仍未解决的问题，以及质量、调用次数、单任务成本和 P95 延迟变化；学员给出“停在当前方案”或“继续升级”的依据。 |
|
模块四 可观测性与上线评估闭环 • 建设分层测试集：覆盖单条款、精确料号、多跳关联、版本冲突、无答案与越权查询；分离开发样本与验收样本，保留证据位置和人工参考结论。 • 指标分层：检索看召回与证据命中；回答看正确性、忠实度、引用和拒答；系统看端到端 P95、成本与失败率。RAGAS 等自动评估结合人工抽检，校验评审模型偏差。 • 用 LangSmith 或 Langfuse 串联检索、模型和工具轨迹，用监控系统追踪延迟与错误；每次故障沉淀为回归样例，模型、索引或 Skill 更新后重新验证。 本时段产出：RAG 选型对照表与验收指标表，明确每项指标的样本、计算口径、目标及失败后的降级动作。 |
|
第二天上午 Agent 编排与长程任务可靠性 模块五 框架选型与可靠执行设计 1.Agent 编排与状态设计 • 框架选型：围绕显式状态、人工中断、持久化、测试与团队维护能力比较 LangGraph、AutoGen、CrewAI。先验证单 Agent 加确定性工作流，多 Agent 仅在任务可分解、角色能独立验证且收益覆盖协作成本时引入。 • 状态设计：区分对话上下文、业务事实、执行状态和长期记忆。定义任务 ID、业务操作 ID、当前节点、审批版本、工具回执与错误状态；明确状态归属、落库时点与并发更新规则。 2.长程任务与故障恢复 • LangGraph 与 Temporal 的分工：前者用于推理与工具调用编排及检查点恢复；后者用于需要持久等待、定时与恢复的业务流程。评估仅用其中一种是否足够；组合时由业务流程统一推进，避免两层各自重试同一笔写入。 • 故障一 工单提交超时：区分请求失败与结果未知。使用稳定的业务幂等键和服务端唯一约束，先按业务键查询结果，再决定重试或接管；保留请求与回执台账。下游不支持幂等或查单时，限制自动重试并转人工核对。 • 故障二 中断与恢复：演示进程重启、审批等待和执行恢复。检查点并不等于外部写入只发生一次；恢复或重放仍需幂等。长周期流程保留事件与结果，避免在重放时重新调用模型改变既有业务决策。 • 故障三 部分成功：库存已预留但工单未创建，如何释放、补偿或进入人工处理队列？区分可撤销动作与不可逆动作，为补偿失败建立对账与告警。 • 重试与取消：按瞬时错误、参数错误、权限错误和结果未知分类；设置超时、退避、最大重试、长任务心跳与取消策略，任务取消后仍核对已发生的外部动作。 课堂演示与推演：在“服务端创建成功但客户端未收到回执”和“审批后进程重启”两个位置注入故障，学员补全状态转移与恢复步骤。验证重点是最终业务结果和重复工单数，而非仅看程序是否重新运行。 本模块产出：一张状态转移图和一份故障处理表，至少覆盖结果未知、重复触发、中断恢复与补偿失败。 |
|
第二天上午 系统接入与平台架构评审 模块六 MCP 与 Skills 的权限和治理边界 • 接入边界：理解 Host、Client、Server 与 Resources、Prompts、Tools；对比 MCP 和直接 API 在复用、接入成本与维护上的取舍。协议统一不能替代业务接口契约与服务端授权。 • 工具契约：库存查询、采购申请和维修派单分别定义参数校验、结构化回执、超时、错误码、幂等键与状态查询接口；将读操作和有副作用的写操作分开授权。 • 身份与权限：把用户、企业租户和数据范围传递到工具服务，在服务端校验最小权限；需要审批的动作由后端验证审批结果和对应参数，模型不能自行批准。 • 提示注入与越权：用合同正文中夹带的“忽略规则并提交订单”演示攻击路径；将检索内容视为数据，限制工具范围、校验参数、审计调用，防止跨企业读取和敏感信息外泄。 • Skills 治理：用 SKILL.md 组织触发条件、步骤、输入输出和失败分支，采用按需加载与版本管理；Skill 是执行指导，硬性权限、金额限制和审批规则由系统强制执行。 课堂练习：审查一个“查询库存并创建申请”的工具与 Skill 设计，指出过宽权限、缺失幂等和审批绕过问题；将一次失败沉淀为规则修订与回归样例。 |
|
模块七 通用 Agent 平台与 SubAgent 架构评审 • 拆分依据：比较单 Agent 与主控加 SubAgent 的任务边界、上下文传递、结果验证和调用成本，识别重复查询、职责重叠与错误级联。 • 记忆治理：区分业务系统中的事实与 Agent 生成的总结；设计来源、版本、有效期和可删除机制，防止将错误推断写成长期事实。 • 架构评审：检查网关、编排层、MCP 服务与业务系统间的租户隔离、审计链路和故障边界。把采购与派单中可复用的评估、权限和恢复机制沉淀成组件。 本时段产出：一张标明身份传递、审批校验和工具权限的接入图，以及一条“错误样例 → 机制修复 → 回归验证”的记录。 |
|
第二天下午 零部件采购架构工作坊 模块八 从采购问题到可评审方案 任务：某零部件供应商交期延误，采购团队需要综合合同条款、库存、生产需求与物流状态，判断缺料风险，比较替代采购方案，并在授权审批后提交采购申请。学员自主设计，教师在方案完成后集中点评。 公开课组织：按 4—6 人跨企业分组，使用统一脱敏模拟数据与接口，不依赖学员提供企业内部材料；可按业务、架构、数据与风险角色分工。基础组完成方案与故障推演，进阶组可验证一条关键链路。 |
近期公开课推荐