面向产品经理的大语言模型（LLM）评估实战课程

专为 AI 产品团队和 AI 领导者设计，介绍如何评估基于 LLM 的产品。提供轻松入门的学习方式，无需编程知识。课程将于 2024 年 12 月 9 日 开始。

您将学习到的内容

LLM 评估的基础知识：从评估方法和基准到 LLM 的防护措施，以及如何创建自定义 LLM 评估工具。本课程专为希望掌握 AI 质量与可观察性核心概念的 AI 产品经理和 AI 领导者设计。

LLM 应用程序生命周期不同阶段的评估：从实验阶段到生产监控阶段。

如何设计评估数据集，并使用合成数据生成多样化的测试用例。

LLM 应用可能出现的问题：幻觉、提示注入、越权破解等。

如何在生产环境中构建 LLM 可观察性：跟踪、评估、防护措施。

LLM 评估方法：LLM 评估工具、正则表达式、预测性指标。

实际案例：如何评估 RAGs（检索增强生成系统）、QA 系统以及智能代理。

等待发布...