LoRA

Low-Rank Adaptation. Technique d'affinement efficace qui met à jour uniquement une petite fraction des poids du modèle au lieu de tous les paramètres. LoRA permet d'entraîner un modèle 7B sur un seul GPU grand public, générant des fichiers d'adaptation de quelques Mo au lieu de gigaoctets.