Google pokazuje TurboQuant. Na papierze wygląda to jak rewolucja

Szybsze działania, mniejsze wymagania co do mocy obliczeniowej i... taka sama dokładność. Brzmi to wręcz zbyt dobrze, a więcej dowiemy się już w kwietniu.Google pochwaliło się nową techniką kompresji dla dużych modeli językowych. Algorytm TurboQuant ma pozwalać na mocne zmniejszenie zużycia pamięci przez tzw. KV cache, a przy tym nie pogarszać jakości działania modelu. Według zaprezentowanych wyników rozwiązanie potrafi sprowadzić zapis tych danych nawet do 3 bitów bez straty dokładności.TurboQuant sprawdza się również w wyszukiwaniu wektorowymKV cache to jeden z kluczowych elementów LLM-ów. To właśnie tam trafiają wcześniej wyliczone dane, co oszczędza moc obliczeniową przy generowaniu kolejnych tokenów. Problem w tym, że wraz ze wzrostem długości kontekstu taka pamięć zaczyna coraz mocniej obciążać sprzęt. Dotychczasowe metody kompresji pomagały tylko częściowo, bo oprócz samych skompresowanych danych trzeba było przechowywać jeszcze dodatkowe stałe kwantyzacji, które z czasem także zaczynały istotnie zwiększać narzut.