Flash attention
OptimisationTechnique qui réduit les accès mémoire pendant l'attention en la découpant en blocs et en gardant les résultats intermédiaires en mémoire rapide. Elle baisse la demande de bande passante et accélère le prefill et la décodification, surtout sur les contextes longs. Dans llama.cpp, on l'active avec le drapeau -fa.

