Практический курс по оценке Большой языковой модели (LLM) для менеджеров по продуктам

Предназначен для команд разработчиков и руководителей ИИ и рассказывает о том, как оценивать продукты на основе LLM. Легкое начало обучения, не требующее знаний программирования. Курс будет доступен на 9 декабря 2024 года Начало.

Что вы узнаете

Основы оценки LLM: от методов оценки и эталонов до мер защиты от LLM и создания собственных инструментов оценки LLM. Этот курс предназначен для менеджеров продуктов ИИ и руководителей ИИ, которые хотят овладеть основными понятиями качества и наблюдаемости ИИ.

Оценка различных фаз жизненного цикла приложения LLM: от экспериментальной фазы до фазы мониторинга производства.

Как создавать наборы оценочных данных и генерировать разнообразные тестовые примеры с использованием синтетических данных.

Возможные проблемы при применении LLM: галлюцинации, стремительные инъекции, неконтролируемое взламывание и т.д.

Как обеспечить наблюдаемость LLM в производственных средах: прослеживаемость, оценка, гарантии.

Методы оценки LLM: инструменты оценки LLM, регулярные выражения, прогностические индикаторы.

Практические примеры: как оценивать RAG (Retrieval Augmentation Generation Systems), системы контроля качества и интеллектуальные агенты.

Ждем выхода...