Outils, frameworks et modèles pour l'IA locale
20 ressources trouvées pour "IA locale"
AMD : les GPU Radeon d'architecture RDNA sont la seconde plateforme grand public pour l'IA locale. Depuis ROCm 7, les cartes consumer (RX 7900 XTX, RX 9070 XT) sont officiellement prises en charge sur Linux sans contournement, et l'APU Strix Halo pousse jusqu'à 128 Go de mémoire unifiée dans un portable. Les GPU et APU du catalogue sont les ressources filles.
La Radeon con la maggiore capacità consumer: 24GB GDDR6 a 960 GB/s (bus 384-bit). Per l'IA locale la capacità batte la novità: mentre le schede da 16GB non caricano i modelli 27B, qui Qwen3.8-27B e i 32B in Q4 ci stanno con contesto ampio. 960 GB/s è il 96% della RTX 4090. ROCm ufficiale (gfx1100), 355W.
Apple Inc. (Cupertino, USA) : les puces Apple Silicon et les Mac à mémoire unifiée sont une référence pour l'IA locale sur matériel grand public. Les produits Apple du catalogue sont les ressources filles.
Il chip Apple Silicon di punta per l'IA locale: 18 core CPU e 40 core GPU con memoria unificata fino a 128GB a 614 GB/s. Il Neural Accelerator su ogni core GPU raddoppia la velocità dei modelli MoE in decode rispetto alla generazione M4: ~88 tok/s su gpt-oss-120b, il più veloce della classe.
CLI de NVIDIA en Rust pour le développement du noyau Linux assisté par IA, avec un focus sur l'IA locale : validation de patchs, build, boot et tests, pensée pour le backporting de patchs vers des noyaux plus anciens. Elle prend en charge des back-ends locaux (Claude, OpenCode, Codex) ou des serveurs OpenAI-compatibles. Licence Apache 2.0, mené par Andrea Righi.
Intel : les GPU Arc (Xe) sont la troisième plateforme grand public pour l'IA locale, avec 12-16 Go de VRAM à prix d'entrée. La voie d'inférence maintenue est Vulkan (Ollama natif, llama.cpp) : le projet IPEX-LLM a été archivé en janvier 2026. Les GPU du catalogue sont les ressources filles.
La prima scheda Intel da prendere sul serio per l'IA locale: Xe2 Battlemage, 12GB GDDR6 a 456 GB/s, 190W. 12GB a prezzo d'ingresso: i modelli 8-14B in Q4 stanno interamente in VRAM. Il software è il punto debole: IPEX-LLM è stato archiviato a gennaio 2026, il percorso mantenuto oggi è Vulkan (Ollama nativo, llama.cpp) con ~40-42 tok/s su 8B Q4.
MoE d'Aleph Alpha : 78,1B de paramètres (3,46B actifs par token), Apache 2.0, poids en FP8, contexte jusqu'à 1M de tokens, mode raisonnement et tool calling. Conçu pour des charges mission-critical sur matériel local.
Le cheval de bataille local par excellence : qualité solide, contexte de 131K tokens et un écosystème de quantisations GGUF immense. Le choix standard pour la conversation et les assistants.
Outil open source qui estime la vitesse d'inférence d'un modèle local sur plus de 250 configurations matérielles (GPU, Mac, CPU) : estimations mesurées depuis des benchmarks communautaires ou dérivées de setups similaires. Sert à choisir le matériel avant de l'acheter.
Il desktop compatto di Apple con il chip M6, primo processore Apple in 2nm: 12 core CPU, 12 core GPU con Neural Accelerator in ogni core e Neural Engine doppio da 16 core. 16GB di memoria unificata di serie (fino a 32GB, 170 GB/s), Wi-Fi 7, Thunderbolt 5. La piattaforma d'ingresso per IA locale: modelli fino a ~20B quantizzati a 4 bit girano interamente sul dispositivo, e la versione M5 Pro arriva a 64GB e 307 GB/s.
Proxy open source qui intercepte et affiche les contenus des requêtes HTTPS en clair : l'outil pour vérifier ce qui part vraiment sur le réseau depuis votre configuration d'IA locale.
Moteur d'inférence GPU on-device open source (Apache 2.0) de Google, successeur du délégué GPU de TensorFlow Lite : virtualisation des tenseurs, KV cache stage-aware pour prefill et decode, FP16/INT8/INT4. Backends OpenCL (Android), Metal (Apple), WebGPU via Dawn (navigateur), OpenGL ES 3.1+. S'intègre à LiteRT ; en production sur Chrome, YouTube, Photos et Meet.
App GTK4/libadwaita pour GNOME pour discuter avec des modèles locaux via Ollama, en Rust et sous GPLv3 : elle gère l'installation d'Ollama, les modèles et le chargement de documents et d'images locaux.
NVIDIA : les GPU d'architecture CUDA sont le standard de fait de l'inférence IA locale. La VRAM détermine quels modèles tournent en local : 24 Go (RTX 4090) couvrent ~30B quantifiés, 80 Go (A100/H100) les modèles 70B+ en précision complète. Les GPU du catalogue sont les ressources filles.
La workstation desktop NVIDIA per l'IA locale: superchip Grace Blackwell GB10 con 128GB di memoria unificata a 273 GB/s e circa 1 petaFLOP in FP4. CUDA completo, ~12 tok/s su modelli 27B a 4 bit, prefill veloce su contesti lunghi. Prezzo al lancio 3.999 USD, poi 4.699 USD per la carenza di memoria.
Modèle de fondation de 500 millions de paramètres de NVIDIA pour les données tabulaires : prédiction, imputation et génération sur des jeux de données structurés, avec prise en charge d'OpenMDW 1.1 et des checkpoints prêts à l'emploi. Un exemple d'IA locale sur des données métier, non générative de texte.
Interface web complète de type ChatGPT pour Ollama et llama.cpp : comptes multi-utilisateurs, conversations organisées, gestion des documents pour le RAG, prompt système par modèle, outils et plugins. La version 0.11.4 (septembre 2026) fait voyager les métadonnées des fichiers avec les blocs récupérés et exécute la recherche hybride nativement dans la base de données : les grandes bases de connaissance sont beaucoup plus rapides. La manière la plus simple de transformer votre IA locale en un produit d'usage quotidien.
Ordinateur à carte unique avec une CPU ARM Cortex-A76 8 cœurs et 2 à 16 Go de RAM : la référence pour apprendre et exécuter de petits modèles d'IA locale en inférence sur CPU.
Il modello di trascrizione di riferimento per l'IA locale: 809M di parametri, 99 lingue, licenza MIT. Versione distillata di Large-v3 con decoder ridotto da 32 a 4 layer: trascrive circa 8 volte più veloce con perdita di accuratezza trascurabile. Gira in tempo reale su una GPU consumer e anche solo su CPU.
