Inferenza⚡
ML Drift
Motore di inferenza GPU on-device open source (Apache 2.0) di Google, successore del delegate GPU di TensorFlow Lite: tensor virtualization, KV cache stage-aware per prefill e decode, FP16/INT8/INT4. Backend OpenCL (Android), Metal (Apple), WebGPU via Dawn (browser), OpenGL ES 3.1+. Si integra con LiteRT; in produzione su Chrome, YouTube, Photos e Meet.
IA localeOn-deviceGPUOpen SourceGoogle

