Google lanserar Turboquant för att minska AI-minnesanvändning

Google har presenterat Turboquant, en ny komprimeringsalgoritm som enligt Ars Technica minskar minnesanvändningen i stora språkmodeller med upp till sex gånger samtidigt som beräkningshastigheten ökar med upp till åtta gånger, utan att svarskvaliteten försämras. Tekniken kan tillämpas på befintliga modeller utan omträning och har testats framgångsrikt. Den förväntas möjliggöra billigare AI och mer avancerade modeller på samma hårdvara, med särskild potential för mobil AI där begränsat minne har varit ett hinder.