KV cache

Key-Value cache. La memoria che un modello a transformer usa per ricordare la conversazione: a ogni nuovo token aggiunge una piccola voce che cresce con la lunghezza del contesto e con il numero di utenti serviti in parallelo. È la componente della VRAM che aumenta al variare dei parametri e va calcolata per ogni utente.