课时

在本讲中我们讲解如何把零散的信息变成可观测系统：引入结构化 JSON 日志，为端到端关联设置统一的 trace_id（ChatGPT App → MCP → 小部件 → backend → webhooks），定义最小“标准”字段（ service、 env、 flow、 step），实践工具和后端代理的日志记录，以及安全规则（PII 清理、秘密信息、限制生产环境中的 DEBUG）。

在这节课里，我们以 GiftGenius 为例讲解 ChatGPT App 的基础可观测性：为什么不能停留在“看起来没问题”，而需要可度量的 SLI 和目标 SLO；为何要用分位数（ p50/ p95/ p99）而不是平均值；如何计算 error-rate 和 availability；为什么对 commerce 而言 webhooks 是单独的风险区；以及如何在 TypeScript/Next.js 中通过一个简单的 logMetric 采集指标。

本讲通过 GiftGenius 构建 ChatGPT App 的“最小可行”测试金字塔：针对纯函数（ scoreGift、 rankGifts）的快速 unit 测试，面向 MCP 工具（ inputSchema/ outputSchema）与 ACP/webhooks 的 contract 测试，不依赖 chatgpt.com 的“近似 E2E”（React Testing Library + Playwright），以及在 CI 中的 smoke 检查，用来确保： Next.js 能启动、MCP 能响应基础调用、checkout 端点在典型 JSON 上不会崩溃。

在本讲中，我们为 ChatGPT App 打造一个实用的发布流程：引入按层的版本矩阵（代码、tools 模式、提示词、数据），编写 CHANGELOG 和发布说明（release notes），学习如何安全迁移 SDK/ spec，用 feature flags 将部署与发布解耦，并制定清晰的回滚计划——包括清单（manifest）与工具模式的“高风险”变更。

在本讲中，我们拆解如何为 ChatGPT App 与 MCP/ACP 后端做“轻量级”负载跑测：为什么并发度比抽象的 RPS 更重要，如何控制 p95/ p99 延迟与 error rate，以及为何要直接测试你自己的 endpoint（ /api/mcp、 /api/checkout/create），而不是通过 ChatGPT 的 UI。随后转到 product feed 的数据质量：用 Zod 做结构化校验、业务规则校验，以及对 LLM 友好的数据规范化。最后——如何把 smoke‑load 与 feed 校验嵌入发布流程，以及团队最常犯的错误。