Vai al contenuto principale
← Torna alle notizie

llama.cpp b12122: matmul NVFP4 e GLU fusi in MMQ su CUDA, un solo kernel per il blocco MLP quantizzato

Strumenti e rilasci
Fonte:GitHub
llama.cpp b12122 fonde i matmul gate/up NVFP4 e la GLU in MMQ su CUDA: un solo kernel per il blocco MLP quantizzato, con precisione src1 rispettata e scale condivise. Il rilascio include build per CUDA 12 e 13, ROCm, Vulkan, SYCL e Snapdragon.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.