TurboQuant ist eine neue Kompressionsmethode von Google Research, die den KV-Cache von LLMs auf ca. 3 Bit pro Wert drückt. Bei echter sechsfacher Speicherreduktion und bis zu achtfacher Beschleunigung der Attention-Berechnung auf H100-GPUs. Und das alles ohne messbaren Qualitätsverlust 😉, ohne Feintuning und ohne Kalibrierungsdaten.
