CUDA

Compute Unified Device Architecture: lo stack di programmazione GPU di NVIDIA — librerie, compilatore e runtime che fanno girare l'inferenza dei modelli sui GPU NVIDIA. È il backend di default di Ollama e llama.cpp su hardware NVIDIA: le ottimizzazioni (Flash Attention, kernel quantizzati, formati FP4) arrivano prima su CUDA che su qualsiasi altra piattaforma.