Scoprite come RAFT migliora l’efficacia dei modelli linguistici aumentati da richieste specifiche, fondamentale per domini complessi.
La potenza incalzante dell’intelligenza artificiale (AI) continua a trasformare il modo in cui interagiamo con le macchine, specialmente attraverso l’uso di modelli linguistici di grande scala (Large Language Models, LLMs). RAFT, acronimo di “Retrieval-Augmented Fine-Tuning”, rappresenta l’apice di questa evoluzione, fungendo da ponte tra due metodologie: il RAG, “Retrieval-Augmented Generation” e il fine-tuning, un tipo di addestramento specifico.
Per contestualizzare meglio, il RAG è una tecnica che si serve di documenti esterni selezionati tramite indicizzazione semantica per rispondere a interrogativi, incrementando così il contesto a disposizione del modello linguistico. Tuttavia, questo metodo potrebbe non essere sempre efficace poiché il sistema potrebbe attingere a documenti non completamente rilevanti. Dall’altro lato, il fine-tuning personalizzato per domini specifici (domain-specific fine-tuning) porta i modelli ad apprendere da un insieme di documenti pertinenti a un determinato campo di conoscenza, ma potrebbe limitarsi a quanto addestrato, incorrendo a volte in approssimazioni o distorsioni (hallucinations).
É qui che entra in gioco RAFT, integrando l’approccio del fine-tuning nell’ambito del RAG per addestrare modelli linguistici con capacità migliorate, soprattutto in domini specifici. Il concetto che sottende RAFT si ispira all’analogia dello studente che si prepara su un libro di testo prima di un esame a libro aperto: così come lo studente farebbe meglio, un modello “addestrato” sui documenti in precedenza potrebbe eseguire il RAG con maggiore efficacia.
In termini pratici, il team di ricerca di UC Berkeley ha sperimentato su Meta Llama 2 per perfezionare il loro approccio RAFT. La loro indagine ha illustrato come il dataset sintetico preparato e successivamente utilizzato per l’addestramento del modello Llama 2 possa ottimizzarlo sia nello stile che nella capacità di estrarre le informazioni veramente utili dai documenti recuperati, beneficiando dell’aggiunta di un “ragionamento a catena di pensiero” per evitare sorpassamenti (overfitting) e migliorare la robustezza dell’addestramento.
Questa metodologia risulta particolarmente rilevante nel trattare grandi quantità di dati di domini di nicchia, quali il settore sanitario o legale, dove i modelli preaddestrati come Llama 2 vengono solitamente allenati su un’ampia varietà di domini. RAFT migliora notevolmente la capacità di questi modelli di far fronte alle sfide poste da tali ambiti specializzati.
Un contributo notevole allo sviluppo di RAFT è derivato dall’uso di Azure AI Studio, che si è dimostrato uno strumento di fine-tuning di grandissima utilità, consentendo anche ai non addetti ai lavori di sfruttare modelli linguistici avanzati per adattarli alle proprie esigenze senza la necessità di una profonda expertise nell’IA o nelle risorse ML.
Complessivamente, RAFT e lo sviluppo di metodi analoghi stanno democratizzando e apportando un valore aggiunto all’industria dell’AI, permettendo alle imprese e agli sviluppatori di realizzare soluzioni innovative e su misura, abbattendo al contempo le barriere all’entrata e lasciando che gli esperti gestiscano le infrastrutture dedicate all’addestramento dei modelli.