Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence
Yzma
Moteur d'inférence open source en Go pur qui incorpore llama.cpp dans le processus via purego/ffi (sans CGo). Lit les modèles GGUF et tourne sur CUDA, Metal, Vulkan, OpenVINO et WebGPU dans le navigateur. Couvre environ 96 % des fonctionnalités de llama.cpp ; serveur optionnel avec API compatible OpenAI.
Caractéristiques
- llama.cpp in-process
- GGUF
- Serveur compatible OpenAI
- WebGPU
Historique des versions
- 1.30.0Actuelle
Version usata nei benchmark di riferimento pubblicati sul sito del progetto: embedding bge-small a 1,7 ms contro 4,5 ms di Ollama 0.40.5.
Tags
Liens utiles
Découvrir Yzma
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser Yzma.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale