CUDA
tecnologieCompute Unified Device Architecture : le stack de programmation GPU de NVIDIA — bibliothèques, compilateur et runtime qui font tourner l'inférence des modèles sur les GPU NVIDIA. C'est le backend par défaut d'Ollama et llama.cpp sur hardware NVIDIA : les optimisations (Flash Attention, kernels quantifiés, formats FP4) arrivent plus tôt sur CUDA que sur toute autre plateforme.
Articles liés
- NVIDIA, AMD e Intel per l'IA locale: quale piattaforma scegliereComparaisons · 14 octobre 2026 · 7 min de lecture
- MiniCPM-V 4.7: il MoE da 35B che gira sullo smartphone con 3 GB di RAMModèles · 21 octobre 2026 · 8 min de lecture
- MagpieTTS 357M: la sintesi vocale in 12 lingue che gira anche su laptopCas d’usage · 22 octobre 2026 · 7 min de lecture