llama.cpp

Bibliothèque écrite en C++ pour exécuter des modèles LLM sur des processeurs et cartes graphiques grand public. C'est le moteur sous-jacent à de nombreux outils d'inférence locale, y compris Ollama. Elle prend en charge la quantification GGUF et peut exécuter de grands modèles sur du matériel limité en exploitant à la fois le processeur et la carte graphique.