课时

在本讲中，你将从工程角度学习如何用第二个充当“法官”的模型来评估 ChatGPT 应用的回答质量：应固定哪些标准（正确性、实用性、风格、安全性），如何把 rubric‑prompt 写成质量规范，如何要求法官在 CI 下返回严格有效的 JSON，如何将 eval 用例与 golden prompts 关联，以及在生产中必须考虑哪些限制（bias、positional bias、verbosity bias）。

在本讲中，你将学到如何把“理想对话”（golden prompts）转化为面向 LLM 应用的工程化回归测试（golden cases）：用例由哪些部分构成（输入、期望、评分标准、阈值），在代码库中如何存放用例集，如何把它们与带版本的 rubric prompt 关联，如何在本地与 CI 中运行，以及如何区分 threshold 与 baseline 方法，并将 safety/negative 用例单独抽出成严格层。

本讲将讲解如何“无痛”把 ChatGPT App 集成进已有产品：把 MCP 视作覆盖在 REST/GraphQL 与领域服务之上的瘦适配器/网关，构建模式的单一事实来源（例如通过 Zod），设计契约测试，规划 tools/ resources 的版本化与零停机迁移。另行讨论 OAuth 层的演进（包括 /.well-known/oauth-protected-resource、 scopes 与 WWW-Authenticate）、元数据/注解的提示层（ readOnlyHint、 destructiveHint、 openWorldHint），以及 SDK 升级流程与那些会导致运行时事故和质量下降的常见错误。

讲解如何把 LLM‑App 从“静态 prompt”变成一套活系统：梳理信号地图（技术、经济、产品、质量），搭建由 4 步组成的标准反馈闭环（信号 → 假设 → 可控变更 → 离线/在线验证），把“改进助手”设计成一个独立代理，讨论可调的维度（prompt/tools/UX/经济）以及哪些场景必须有人在环（权限、支付、安全、数据政策）。

在本讲中，我们拆解 ChatGPT Apps 中的 Multi‑App 场景如何工作：模型如何在多个应用之间“路由”请求，为什么元数据与 description 会成为你的 LLM‑SEO，如何通过 _meta [ "openai/widgetDescription" ] 正确向模型说明 UI，以及 readOnlyHint、 destructiveHint、 openWorldHint 和 openai/isConsequential 等注解如何帮助你安全地构建流水线。同时我们会看看组合模式（pipeline/handoff/shared context）、通过 JSON 输出实现的互操作，以及常见陷阱。