Microsoft ha presentato un piccolo modello linguistico che potrebbe dare filo da torcere a GPT 3.5 e funzionare su un iPhone. È chiamato Phi-3-mini e la sua caratteristica principale è quella di avere prestazioni notevoli ma dimensioni contenute, il che lo rende attraente per installazioni locali su dispositivi mobili come gli smartphone.
Phi-3-mini ha 3,8 miliardi di parametri ma è stato addestrato su ben 3.300 miliardi di token.
Il parametro di un LLM è un valore che il modello apprende durante l’addestramento, ed è regolato da un processo chiamato “backpropagation” che prevede il calcolo dell’errore tra le previsioni del modello, l’output effettivo e la regolazione dei parametri stessi per minimizzarlo errore.
I parametri, quindi, servono a identificare le relazioni tra le diverse parole e frasi della lingua, permettendo al modello di generare risultati simili a quelli umani e di fare previsioni accurate. Senza questi parametri, un modello linguistico non sarebbe in grado di eseguire attività di elaborazione del linguaggio naturale con un elevato livello di precisione.
Pertanto, in genere, maggiore è il numero di parametri (nei LLM si parla di miliardi) maggiore è la capacità del modello di mettere in relazione le diverse parole nel modo esatto, aumentando l’agilità predittiva di un LLM nella costruzione di una frase.
Ma la bontà di un modello è legata anche alla quantità (e qualità) dei dati utilizzati per il suo training, ad es nel caso di Phi-3-mini parliamo di 3.300 miliardi di token, cioè parole o pezzi di parole. Un numero considerevole.
Testato con successo su un iPhone 14
Nello studio pubblicato da Microsoft con cui è stato annunciato Phi-3-mini, attraverso i suoi ricercatori l’azienda scrive che “Grazie alle sue dimensioni ridotte, Phi-3-mini può essere quantizzato a 4 bit, quindi occupa solo circa 1,8 GB di memoria. Abbiamo testato il modello quantizzato sull’iPhone 14 con il chip A16 Bionic, in esecuzione nativa sul dispositivo e completamente offline, ottenendo più di 12 token al secondo”.
Apri originale
La quantizzazione di un LLM è riferita ai suoi pesi. In un LLM i pesi determinano l’importanza di ciascun input in una rete neurale e vengono appresi anche durante il processo di formazione. Quando la rete neurale genera token (ovvero, nel caso di LLM, parole e poi testo), utilizza i pesi appresi durante l’addestramento per determinare quale token avrà maggiori probabilità di essere generato successivamente.
Avere pesi quantizzati riduce la precisione di questi collegamenti e di conseguenza la precisione del modello, perché di fatto si riduce la quantità di informazioni che il modello può utilizzare per fare previsioni sul testo da generare.
Ridurre i pesi ha però due vantaggi: permette di utilizzare meno RAM e velocizza le operazioni matematiche necessarie per l’inferenza, cioè l’utilizzo vero e proprio di un LLM per fare previsioni.
Secondo Microsoft Phi-3-mini, che ha una finestra di contesto di 4096 token (ovvero la quantità massima di token che il modello può elaborare contemporaneamente), ha prestazioni complessive che rivaleggiano con quelle di modelli come Mixtral 8x7B e GPT-3.5. Quest’ultimo è il modello OpenAI che dà vita ancora a ChatGPT in versione gratuita.
Apri originale
Per Microsoft, la potenza e l’innovazione di Phi-3-mini sono la conseguenza di quel set di dati di addestramento da 3.300 miliardi di tokenche è una versione in scala di quella utilizzata per Phi-2, composta da dati web notevolmente filtrati e dati sintetici (cioè generati artificialmente da algoritmi).
Microsoft sta anche lavorando sul parametro Phi-3-small da 7 miliardi e sul parametro Phi-3-medium da 14 miliardi. Inoltre è già riuscita ad estendere la finestra di contesto Phi-3-mini fino a 128K (ovvero 128.000 token) grazie all’utilizzo di un “extender” chiamato LongRoPE.
