Meta svela Llama 2 Long

Quasi in sordina, nonostante ne avesse avuto l’occasione durante l’evento Meta Connect, Meta Platforms ha pubblicato un articolo sito web non peer reviewed arXiv.org in cui presenta Llama 2 Long, un nuovo modello di intelligenza artificiale basato su Llama 2 open source di Meta, che è stato sottoposto a “un continuo preaddestramento da Llama 2 con sequenze di addestramento più lunghe e su un set di dati in cui i testi lunghi sono sovracampionati”, secondo i ricercatori-autori del documento “Effective Long-Context Scaling of Foundation Models” del 27 settembre 2023.