Inférence⚡
llama.cpp
Publié le 15 oct. 2022
Implémentation C++ de LLM pour une inférence efficace sur CPU et GPU grand public.
LLMC++LocalEfficient
Retour aux ressources
Inférence⚡
ML Drift
Moteur d'inférence GPU on-device open source (Apache 2.0) de Google, successeur du délégué GPU de TensorFlow Lite : virtualisation des tenseurs, KV cache stage-aware pour prefill et decode, FP16/INT8/INT4. Backends OpenCL (Android), Metal (Apple), WebGPU via Dawn (navigateur), OpenGL ES 3.1+. S'intègre à LiteRT ; en production sur Chrome, YouTube, Photos et Meet.
Caractéristiques
- Apache 2.0
- Virtualisation des tenseurs
- KV cache stage-aware (prefill/decode)
- FP16 / INT8 / INT4
- Backends OpenCL, Metal, WebGPU (Dawn), OpenGL ES 3.1+
Tags
Liens utiles
Découvrir ML Drift
Visitez le site officiel pour télécharger, vous documenter et commencer à utiliser ML Drift.
Ressources liées — Inférence
Inférence🦙
Ollama
Publié le 27 juil. 2023v0.35.0
Outil open source pour exécuter des LLM en local, simplement.
LLMLocalOpen SourceCLI
Inférence🗣️
Piper TTS
Publié le 1 avr. 2022Piper
Sintesi vocale in locale a bassa latenza basata su ONNX: genera parlato naturale da testo in tempo quasi reale, anche su CPU. Multilingue (italiano incluso) e facile da integrare nei pipeline: download del modello, una riga di comando. MIT.
AudioTTSOpen SourceLocale