Vai al contenuto principale
← Torna alle notizie

Tideway: VRAM e RAM gestite come un unico pool per i MoE in locale

Ricerca
Paper su Hugging Face: TIDEWAY tratta la RAM di sistema e la VRAM della GPU come un unico pool di memoria, con layout adatti alle fasi prefill e decode. Su hardware consumer dichiara 1,97x di velocità end-to-end e 2,40x sul time-to-first-token rispetto al baseline più rapido.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.