GGUF

GGML Unified Format. Le format de fichier standard pour distribuer des modèles LLM quantifiés, en particulier avec llama.cpp. Il prend en charge le stockage du modèle, des poids quantifiés et des jetons. C'est le format dominant pour l'inférence locale sur du matériel grand public.