Modèle de fondation & LLM (Large Language Model)
Public Concerné
Machine learning/Deep Learning
Objectifs pédagogiques
Après une présentation des principaux concepts des LLM et à leur fonctionnements, ce cours permettra d'acquérir les bonnes pratiques pour utiliser un LLM et l'adapter à son propre corpus.
- Comprendre les principes des Large Language Models (LLM)
- Savoir manipuler un LLM
- Adapter un LLM à son corpus documentaire - Finetuning
Contenu de la formation
Fondamentaux :
- Modèle de Fondation & LLMs
- Reseau de neurones/ quantization/ enjeux hardware
- Fonctionnement théorique des « transformers »
- Le mécanisme d'attention
- Tokenisation et embedding
- Génération de texte
- De GPT à ChatGPT
- Les APIs pour LLMs
- Applications pratiques
- Utiliser un LLM en local
- Choix d'un modèle adapté à son cas d'usage
- La génération augmentée de récupération (RAG)
- Unsupervised/supervised fine-tuning
- Implémenter un RAG pour différentes tâches de LLMs
Description des modalités de validation
Projet
En alternance ou en formation continue en journée :
Merci de consulter directement le secrétariat pédagogique de votre formation pour obtenir le planning.
En formation « à la carte Hors Temps de Travail », en présentiel, à distance ou hybride :
Voir les dates, les lieux d'enseignement et les modalités d'inscription sur les sites internet des centres régionaux qui proposent cette formation.
