プロダクトマネジャーのための大規模言語モデル（LLM）評価実践講座

AI製品チームやAIリーダーを対象に、LLMベースの製品を評価する方法を紹介。プログラミングの知識は不要で、簡単に学習を始めることができます。このコースは 9 2024年12月 スタート。

何を学ぶか

LLM評価の基本：評価方法とベンチマークからLLMセーフガード、カスタムLLM評価ツールの作成方法まで。このコースは、AIの品質と観測可能性の中核となる概念を習得したいAIプロダクトマネージャーやAIリーダーのために設計されています。

LLMアプリケーションのライフサイクルの各フェーズの評価：実験フェーズから生産監視フェーズまで。

どのように評価データセットを設計し、合成データを使用して多様なテストケースを生成するか。

LLMアプリケーションで起こりうる問題：幻覚、即時注入、制御不能のクラッキングなど。

生産環境におけるLLMの観測可能性をどのように構築するか：トレーサビリティ、アセスメント、セーフガード。

LLM評価方法：LLM評価ツール、正規表現、予測指標。

実践例：RAG（検索補強生成システム）、QAシステム、インテリジェントエージェントの評価方法。

リリースを待っている