Un cours pratique sur l'évaluation du Large Language Model (LLM) pour les gestionnaires de produits

Conçu pour les équipes de produits d'IA et les responsables de l'IA, il présente la manière d'évaluer les produits basés sur le LLM. L'apprentissage est facile et ne nécessite aucune connaissance en programmation. Le cours sera disponible sur 9 décembre 2024 Début.

Ce que vous apprendrez

Les bases de l'évaluation du LLM : des méthodes d'évaluation et des points de référence aux mesures de protection contre le LLM, et comment créer des outils d'évaluation LLM personnalisés. Ce cours est destiné aux chefs de produits et aux responsables de l'IA qui souhaitent maîtriser les concepts fondamentaux de la qualité et de l'observabilité de l'IA.

Évaluation des différentes phases du cycle de vie de l'application LLM : de la phase expérimentale à la phase de suivi de la production.

Comment concevoir des ensembles de données d'évaluation et générer divers cas de test à l'aide de données synthétiques.

Problèmes possibles avec les applications LLM : hallucinations, injections rapides, craquements incontrôlés, etc.

Comment construire l'observabilité du LLM dans des environnements de production : traçabilité, évaluation, garanties.

Méthodes d'évaluation du LLM : outils d'évaluation du LLM, expressions régulières, indicateurs prédictifs.

Exemples pratiques : comment évaluer les RAG (Retrieval Augmentation Generation Systems), les systèmes d'assurance qualité et les agents intelligents.

En attendant la sortie...