Un team di ricercatori del MIT ha sviluppato una soluzione per ottimizzare l’uso della memoria nei chatbot, come ChatGPT o Gemini, permettendo loro di chattare ininterrottamente senza che le loro prestazioni ne risentano. Il sistema, denominato StreamingLLM, apporta una modifica alla cache chiave-valore (KV) del modello sottostante, che funge da memoria delle conversazioni.
NEWS
MIT: ecco StreamingLLM, la soluzione per ottimizzare le prestazioni dei chatbot
Un team di ricercatori del celebre istituto ha sviluppato un sistema che ottimizza l’uso della memoria nei chatbot come ChatGPT o Gemini, permettendo loro di mantenere prestazioni ottimali nelle conversazioni prolungate. Ecco come funziona
Pubblicato il 16 feb 2024
