Aller au contenu principal
← Retour au glossaire

ggml

Architectures

Bibliothèque tensorielle C/C++ sur laquelle est construit llama.cpp (du nom de GGML, le format qui l'a fait connaître). Elle définit tenseurs, opérations et backends — CPU, GPU, Apple Silicon — sur lesquels tournent les modèles en inférence locale. C'est le niveau « matériel » de la pile d'inférence : au-dessus d'elle se trouvent les runtime comme Ollama et llama.cpp.

Articles liés

Ce terme dans d'autres langues

🇮🇹ggml
🇬🇧ggml