Ensemble de méthodes qui orientent le comportement d’un modèle vers des réponses plus utiles et plus sûres.

L’alignement combine objectifs, données et évaluations humaines ou synthétiques ; il améliore le comportement observé sans constituer une garantie générale de vérité ou d’innocuité.

Méthode qui apprend directement à préférer certaines réponses à d’autres.

Direct Preference Optimization reformule l’objectif de préférence en classification contrastive par rapport à un modèle de référence, sans entraîner explicitement un modèle de récompense puis une politique RL.

Étapes après le préentraînement qui orientent le comportement du modèle.

Le post-entraînement peut combiner SFT, préférences, filtres et évaluations ; il modifie la distribution des réponses mais ne remplace pas la vérification factuelle.

Méthodes qui utilisent des préférences humaines pour orienter les réponses.

Le RLHF classique entraîne un modèle de récompense à partir de comparaisons puis optimise la politique ; il aligne des préférences mesurées sans garantir la vérité.

Fine-tuning supervisé sur des exemples de réponses attendues.

Supervised Fine-Tuning optimise directement la vraisemblance de démonstrations choisies et sert souvent de première étape du post-entraînement instructionnel.