Gated DeltaNet
ArchitettureVariante di attenzione lineare usata nei modelli Qwen 3.5/3.8: mantiene uno stato di dimensione costante aggiornato con una regola di tipo delta (rimuove le informazioni obsolete prima di aggiungere la nuova), invece di accumulare tutte le coppie chiave-valore. Con pochi layer di questo tipo la memoria della KV cache cresce poco al crescere del contesto, e i layer di attenzione classica vengono usati in alternanza, ad esempio 1 ogni 4 in Qwen3.8-2.4T-A95B.

