Inferenza🦙
Ollama
Pubblicato il 27 lug 2023v0.35.0
Strumento open source per eseguire LLM localmente con semplicità.
LLMLocalOpen SourceCLI
Risorse
Strumenti, framework e modelli per l'IA locale
2 risorse trovate per "CLI"
Strumenti, framework e modelli per l'IA locale
2 risorse trovate per "CLI"
Strumento open source per eseguire LLM localmente con semplicità.
Motore di inferenza open source in Go puro che incorpora llama.cpp in-process via purego/ffi (senza CGo). Legge i modelli GGUF e gira su CUDA, Metal, Vulkan, OpenVINO e WebGPU in browser. Copre circa il 96% della funzionalità di llama.cpp; server opzionale con API compatibile OpenAI.