In breve
L’AI di oggi non è comparsa all’improvviso: è il montaggio di cinque idee pubblicate tra il 2017 e il 2022. La parte nuova è quanto bene stanno iniziando a funzionare tutte insieme.
- 2017 · TransformerModelli capaci di elaborare il linguaggio su scala.
- 2020 · RAGLa conoscenza non deve stare tutta nei parametri del modello.
- 2022 · RLHFFeedback umano per allineare il modello alle intenzioni delle persone.
- 2022 · CoTConta anche il processo che porta alla risposta.
- 2022 · ReActIl reasoning produce azioni: è la base degli agenti.
Transformer: l’architettura che permette di scalare
Attention Is All You Need introduce l’architettura Transformer.
La svolta non è soltanto l’attention: il modello abbandona ricorrenza e convoluzioni come struttura principale e può elaborare le sequenze in modo molto più parallelizzabile.
È uno dei passaggi che renderà possibile scalare i modelli fino agli LLM di oggi.
Paper · Google · 2017
Attention Is All You Need
Vaswani et al.
RAG: la conoscenza fuori dal modello
Arriva un’altra idea fondamentale: la conoscenza utile non deve stare tutta nei parametri del modello.
Puoi affiancargli una memoria esterna, recuperare le informazioni rilevanti quando servono e usarle per costruire la risposta.
Se oggi colleghi un’AI ai documenti della tua azienda, una parte della storia parte da qui.
Paper · Meta AI / UCL · 2020
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Lewis et al.
RLHF: più parametri, da soli, non bastano
OpenAI lavora su fine-tuning e feedback umano (RLHF) per rendere i modelli più aderenti alle intenzioni delle persone.
Il dato che mi piace di più del paper: nelle valutazioni umane, InstructGPT da 1,3 miliardi di parametri veniva preferito a GPT-3 da 175 miliardi.
Paper · OpenAI · 2022
Training language models to follow instructions with human feedback
Ouyang et al. (InstructGPT)
Chain of Thought: conta anche il processo
I ricercatori mostrano che far produrre al modello dei passaggi intermedi può migliorare le performance su problemi che richiedono reasoning complesso.
Inizia a diventare centrale non soltanto la risposta finale, ma il processo che permette di arrivarci.
Paper · Google · 2022
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Wei et al.
ReAct: quando il reasoning diventa azione
E qui iniziamo a riconoscere molto bene gli agenti che utilizziamo oggi.
Il modello alterna reasoning e azione: decide cosa fare, usa uno strumento o interagisce con un ambiente, osserva il risultato e continua da lì.
Se oggi vedi un agente cercare informazioni, usare un tool e poi decidere il passaggio successivo, il principio è già qui.
Paper · Google Research / Princeton · 2022
ReAct: Synergizing Reasoning and Acting in Language Models
Yao et al.
Il quadro
L’AI non è comparsa all’improvviso
Questa timeline mi piace perché ridimensiona un po’ l’idea che l’AI che vediamo oggi sia comparsa improvvisamente.
Prima abbiamo costruito modelli capaci di elaborare il linguaggio su scala. Poi abbiamo iniziato a collegarli a conoscenza esterna, ad allinearli meglio alle nostre intenzioni, a lavorare sul reasoning e infine a far sì che quel reasoning potesse produrre azioni.
Oggi mettiamo insieme questi pezzi e parliamo di agenti, reasoning model, tool use e memoria. Molte delle idee fondamentali, però, erano già state pubblicate anni fa.
La parte nuova è quanto bene stanno iniziando a funzionare tutte insieme.
Q&A
Domande frequenti
Quali sono i 5 pezzi che fanno funzionare l’AI di oggi?
Transformer (l’architettura, 2017), RAG (la ricerca nei documenti prima di rispondere, 2020), RLHF (l’addestramento con il giudizio umano, reso celebre da InstructGPT nel 2022), Chain of Thought (il ragionamento passo per passo, 2022) e ReAct (il ciclo pensa-agisci-osserva alla base degli agenti, 2022).
Qual è la differenza tra RAG e fine-tuning?
Il RAG non cambia il modello: al momento della domanda recupera i documenti pertinenti e li usa per rispondere. Il fine-tuning invece modifica i pesi del modello con un nuovo addestramento. Il RAG è più adatto a conoscenze che cambiano spesso o che devono restare citabili.
Perché InstructGPT è un paper così importante?
Perché ha mostrato che più parametri, da soli, non bastano. Con fine-tuning e feedback umano, nelle valutazioni umane InstructGPT da 1,3 miliardi di parametri veniva preferito a GPT-3 da 175 miliardi.
L’RLHF significa che l’AI impara dalle mie chat in tempo reale?
No. L’RLHF avviene in fase di addestramento: delle persone confrontano più risposte e indicano la migliore, quei giudizi addestrano un modello di ricompensa e il modello principale viene ottimizzato su di esso. Durante una conversazione il modello non cambia.
Il Chain of Thought serve ancora con i modelli di oggi?
Sì, ma in forma diversa. Molti modelli recenti sono addestrati a ragionare per passaggi prima di rispondere anche senza che glielo si chieda. Chiedere esplicitamente i passaggi resta utile su problemi complessi e per poter verificare il ragionamento.
Che cosa c’entra ReAct con gli agenti AI?
ReAct ha formalizzato il ciclo in cui il modello alterna ragionamento e azioni con strumenti esterni (ricerca, API, codice), osserva il risultato e corregge il piano. È lo schema concettuale su cui si basano molti agenti di oggi.
Ultimo aggiornamento: · Fonti: paper originali su arXiv.