vLLM v0.31.0rc3: support per input dummy randomizzati nel Model Runner V2
Hardware e acceleratoriArticoli correlati
vLLM: servire modelli veloci
vLLM è il motore open source che trasforma un modello locale in un server concorrente: PagedAttention, continuous batching, installazione e i concetti (throughput, quantizzazione, KV cache) per scegliere quando usarlo al posto di Ollama.
Nemotron-Parse: la famiglia OCR di NVIDIA per leggere i documenti in locale
NVIDIA ha rieditato Nemotron Parse (v1.1, v1.2, 2.0) nella stessa settimana del 20 ottobre: meno di 1 miliardo di parametri, struttura della pagina inclusa. Setup in locale con vLLM e limiti onesti.
Immagini in locale: ComfyUI 0.40 e comfy_attention - nuovo per tutti i modelli
ComfyUI 0.40 porta il motore di attenzione comfy_attention a tutti i modelli, attiva l'API di asset in locale e standardizza l'output 3D. La tabella VRAM per sapere cosa gira sul tuo hardware.
Ricevi il prossimo punto sull'IA locale
Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.
Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.