VRAM

Video RAM. La mémoire dédiée de la carte graphique (GPU). C'est la ressource critique pour l'inférence locale : un modèle 7B quantifié à 4 bits nécessite environ 5 Go de VRAM, un modèle 13B environ 9 Go. Lorsque la VRAM est insuffisante, le système peut utiliser la RAM système, mais avec des performances réduites.