In questo articolo parleremo di una strategia, detta RAG, attraverso cui è possibile condividere delle informazioni personalizzate con i Large Language Model.
Cos'è un RAG
Per RAG (Retrieval-Augmented Generation) si intende una strategia attraverso cui è possibile estendere la conoscenza di un Large Language Model.
Utilizzando un RAG, si possono mettere a disposizione degli LLM una serie di informazioni presenti per esempio in file PDF o pagine Web. Successivamente, sarà possibile fare delle domande riguardo questi documenti utilizzando il linguaggio naturale, e il modello risponderà utilizzando il linguaggio naturale.
Come funziona un RAG
Un RAG è composto da due moduli:
- Indicizzazione;
- Ricerca delle informazioni e generazione della risposta.
Il primo modulo consiste nel creare un'indice utilizzando i termini presenti nei documenti, utilizzando una tecnica chiamata embedding. L'embedding serve per avere una rappresentazione matematica di oggetti complessi come testi, immagini o numeri. Il documento viene quindi diviso in tante piccole porzioni (per esempio di 500 caratteri). Ogni porzione viene detta chunk.
Nel secondo modulo, l'utente fa una domanda al modello.
Dopo che l'utente invia la richiesta, il modello cerca dei chunk in cui possono essere presenti delle frasi inerenti alla domanda posta. Per esempio, se il documento riguarda una guida su come utilizzare un CMS per creare siti Web, e l'utente chiede "come caricare un'immagine", il modello cerca tra i vari chunk quelli in cui si parla di immagini. Successivamente, vengono passati questi chunk ad un modello LLM (per esempio GPT-3.5) che, mediante un prompt apposito, dovrà limitarsi a generare una frase di senso compiuto basandosi sui chunk che gli vengono passati.
È disponibile un'implementazione molto semplice che utilizza un PDF come conoscenza personalizzata al seguente link.
Possibili applicazioni di un RAG
Attraverso un RAG, è possibile creare chatbot in grado di:
- rispondere a domande riguardo prodotti o servizi (help desk);
- in generale, fornire una conoscenza personalizzata ad un LLM.
