Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Risorse
Strumenti, framework e modelli per l'IA locale
4 risorse trovate per "Llama"
Strumenti, framework e modelli per l'IA locale
4 risorse trovate per "Llama"
Implementazione C++ di LLM per inferenza efficiente su CPU e GPU consumer.
Motore di inferenza open source (Rust, YC S25) che compila e ottimizza i suoi kernel direttamente sull'hardware di destinazione: Apple Silicon, NVIDIA, AMD o CPU. Sui modelli open dichiara velocità fino a 2× rispetto a llama.cpp. Pensato anche per il serving di agenti.
Strumento open source per eseguire LLM localmente con semplicità.
Motore di inferenza open source in Go puro che incorpora llama.cpp in-process via purego/ffi (senza CGo). Legge i modelli GGUF e gira su CUDA, Metal, Vulkan, OpenVINO e WebGPU in browser. Copre circa il 96% della funzionalità di llama.cpp; server opzionale con API compatibile OpenAI.