Vai al contenuto principale
← Torna al glossario

Flash attention

Ottimizzazione

Tecnica che riduce gli accessi alla memoria durante l'attenzione, spezzandola in blocchi e tenendo i risultati intermedi in memoria veloce. Abbassa la richiesta di banda passante e accelera prefill e decodifica, soprattutto sui contesti lunghi. In llama.cpp si attiva con la flag -fa.

Articoli correlati

Questo termine in altre lingue