GGUF

GGML Unified Format. Il formato di file standard per distribuire modelli LLM quantizzati, specialmente con llama.cpp. Supporta il salvataggio del modello, dei pesi quantizzati e dei token. È il formato predominante per l'inferenza locale su hardware consumer.