Architecture Transformer (fondamentale)
1️⃣ Pourquoi le Transformer ?

Avant le Transformer, on utilisait surtout :

RNN / LSTM / GRU

traitement séquentiel

lent

mauvaise gestion des longues dépendances

 Le Transformer (Vaswani et al., 2017) résout ça avec :

attention

parallélisme

contexte global

2️⃣ Vue globale de l'architecture

Un Transformer est composé de blocs empilés :

Deux parties possibles :

Encoder (BERT)

Decoder (GPT)

Encoder–Decoder (traduction)

 Les LLM de type GPT utilisent surtout le Decoder.

3️⃣ Entrée du Transformer
3.1 Tokenisation

Le texte est découpé en tokens :

"Les LLM sont puissants"
→ [Les, LLM, sont, puiss, ants]

3.2 Embedding

Chaque token est transformé en vecteur dense :

Exemple : dmodel=512,768,1024

3.3 Encodage positionnel

Le Transformer n'a aucune notion d'ordre → on ajoute la position.

4️⃣ Bloc Transformer (le cœur)
Chaque bloc contient 2 sous-couches principales :

1️⃣ Multi-Head Self-Attention
2️⃣ Feed Forward Network

Avec :

résidus

normalisation

5️⃣ Self-Attention (élément clé)
5.1 Intuition

Chaque mot regarde tous les autres mots pour savoir :

"Sur quels mots dois-je me concentrer pour comprendre mon sens ?"

5.2 Matrices Q, K, V

À partir de l'entrée X :

Q=XW_Q
K=XW_K
V=XW_V
   �
Query (Q) : ce que je cherche
Key (K) : ce que je propose
Value (V) : information transmise

5.3 Attention pondérée

5.4 Masque (cas GPT)

En génération :

un mot ne voit pas le futur

on applique un masque triangulaire

6️⃣ Multi-Head Attention

Au lieu d'une seule attention :

on en utilise h têtes

haque tête apprend :
syntaxe
sémantique
dépendances longues

7️⃣ Add & Norm

Après chaque sous-couche :
X_out�=LayerNorm(X+SubLayer(X))

Avantages :
   stabilité
   convergence plus rapide

8️⃣ Feed Forward Network (FFN)

Appliqué indépendamment à chaque token :
FFN(x)=max(0,xW1+b1)W2+b2
   �
 Rôle :
   transformation non linéaire
   enrichissement des représentations
9️⃣ Empilement des blocs

Un Transformer contient :

6 blocs (Transformer original)

12–96 blocs (LLM modernes)

Chaque couche :

comprend mieux le contexte

abstrait davantage

🔟 Sortie du modèle (LLM)
10.1 Projection
y=softmax(W_oh_t)

Donne une distribution de probabilité sur le vocabulaire.

10.2 Prédiction

Le token avec la plus forte probabilité est choisi (ou sampling).

Pourquoi le Transformer est si puissant ?

✔ Parallélisme
✔ Contexte global
✔ Scalabilité
✔ Apprentissage de structures complexes

C'est pour ça que tous les LLM reposent dessus.

Cours complet sur les LLM (Large Language Models)
1. Introduction

Les LLM (Large Language Models) sont des modèles d'intelligence artificielle capables de comprendre, générer et raisonner sur le langage naturel. Ils sont au cœur d'applications modernes comme les chatbots, l'assistance à la programmation, la recherche d'information et l'analyse de documents.

Exemples connus : GPT, LLaMA, Gemini, Claude.

2. Bases du traitement automatique du langage (NLP)

Avant les LLM, le NLP reposait sur :

Modèles statistiques (n-grams)

Représentations de mots (Bag-of-Words, TF-IDF)

Word embeddings (Word2Vec, GloVe, FastText)

Limites :

Peu de compréhension du contexte

Difficulté avec les phrases longues

3. Réseaux de neurones pour le langage
3.1 RNN et LSTM

Traitent les séquences mot par mot

Problèmes : gradients qui disparaissent, lenteur

3.2 Attention

Le mécanisme d'attention permet au modèle de se concentrer sur les mots importants d'une phrase.

4. Architecture Transformer (fondamentale)

Les LLM sont basés sur l'architecture Transformer (Vaswani et al., 2017).

4.1 Composants clés

Embedding des mots

Encodage positionnel

Self-Attention

Multi-Head Attention

Feed Forward Networks

Normalisation et connexions résiduelles

4.2 Avantages

Traitement parallèle

Meilleure gestion du contexte long

5. Qu'est-ce qu'un LLM ?

Un LLM est un Transformer entraîné sur des milliards de mots avec des millions voire milliards de paramètres.

Objectif principal :

Prédire le prochain token (mot ou sous-mot)

6. Entraînement des LLM
6.1 Pré-entraînement

Auto-supervisé

Corpus massif (web, livres, articles)

Fonction de perte : Cross-Entropy

6.2 Fine-tuning

Spécialisation sur une tâche

Données annotées

6.3 RLHF (Reinforcement Learning from Human Feedback)

Alignement avec les préférences humaines

Utilisé dans ChatGPT

7. Tokenisation

Les LLM ne traitent pas des mots mais des tokens.

Méthodes :

BPE (Byte Pair Encoding)

WordPiece

SentencePiece

Avantage :

Gère les mots inconnus

Réduit la taille du vocabulaire

8. Capacités émergentes des LLM

Compréhension du contexte long

Raisonnement (partiel)

Traduction

Résumé

Génération de code

⚠️ Ces capacités ne sont pas explicitement programmées.

9. Limites des LLM

Hallucinations

Pas de vraie compréhension

Coût computationnel élevé

Données biaisées

10. LLM open-source vs propriétaires
Open-source

LLaMA

Mistral

Falcon

Propriétaires

GPT

Gemini

Claude

11. Cas d'utilisation

Chatbots éducatifs

Aide à la programmation

Analyse de documents

Recherche académique

12. Bonnes pratiques (Prompt Engineering)

Donner un rôle clair

Ajouter du contexte

Spécifier le format de sortie

Exemple : few-shot prompting

13. Futur des LLM

Multimodalité (texte, image, audio)

Agents autonomes

Raisonnement amélioré

Modèles plus petits et efficaces

14. Conclusion

Les LLM représentent une révolution majeure en IA, avec un impact fort en éducation, industrie et recherche. Leur compréhension est essentielle pour les ingénieurs et chercheurs modernes.

التصحيح النموذجي اللغة الفرنسية - BEM 2025
bem-francais-2025.pdf

التصحيح النموذجي اللغة الفرنسية - BEM 2024
Aucun message n'est associé avec ce fichier

التصحيح النموذجي اللغة العربية - BEM 2025
bem-arabe-2025.pdf

التصحيح النموذجي اللغة العربية - BEM 2024bem-arabe-2024.pdf

التصحيح النموذجي اللغة الانجليزية - BEM 2025bem-anglais-2025.pdf

التصحيح النموذجي اللغة الانجليزية - BEM 2024
bem-anglais-2024.pdf

التصحيح النموذجي اللغة الأمازيغية - BEM 2025bem-tamazight-2025.pdf

التصحيح النموذجي اللغة الأمازيغية - BEM 2024