Allucinazione AI: cos’è e come si riduce in azienda
Quando un modello inventa un dato plausibile ma falso. Si contiene con RAG, guardrail e verifica umana.
Si dice anche: AI hallucination, allucinazioni dell’intelligenza artificiale, allucinazione AI, confabulazione.
Un’allucinazione è una risposta generata da un modello di intelligenza artificiale che sembra corretta ma contiene informazioni false o inventate: un numero, una data, una norma, una procedura che non esistono. Il problema non è solo l’errore, ma il fatto che viene presentato con la stessa sicurezza di un dato vero. È un limite noto di tutti i modelli linguistici, non il difetto di un singolo prodotto.
Perché succede
Un LLM genera il testo più probabile in base a ciò che ha imparato. Non consulta un archivio di fatti e non verifica quello che scrive. Quando l’informazione giusta manca, tende comunque a produrre una risposta plausibile invece di dire “non lo so”. Il rischio cresce con domande molto specifiche, dati recenti o informazioni interne all’azienda che il modello non ha mai visto.
Come si contiene
Non esiste un rimedio unico. Si combinano più difese:
- RAG: l’agente risponde sui tuoi documenti e sui dati dei tuoi sistemi, non sulla memoria del modello.
- Fonti visibili: ogni dato è collegato al documento o al record da cui proviene.
- Guardrail: l’agente risponde solo sugli argomenti coperti e, fuori da quelli, passa a una persona.
- Soglie di confidenza: quando non è abbastanza sicuro, l’agente chiede conferma invece di procedere.
- Verifica umana: le azioni che contano passano da una persona.
Prendi Elia, il back office documenti. Estrae i dati dalle fatture e li carica nel gestionale, ma registra solo sopra una soglia di confidenza: sotto, chiede conferma e ti mostra il documento accanto ai dati estratti. In più confronta fattura, DDT e ordine, e se qualcosa non torna lo segnala prima di registrare. Allo stesso modo Gaia, l’analista del lunedì, rende ogni numero del report cliccabile fino alla fonte, così puoi verificarlo.
Perché conta per un’azienda
Un’allucinazione in una chat è un fastidio. In un agente che agisce può diventare un prezzo sbagliato in un preventivo, una data di consegna inventata, un importo registrato male. Per questo non conviene affidare a un agente, senza controllo umano, compiti in cui un errore ha conseguenze serie: pareri legali, fiscali o medici, impegni contrattuali, comunicazioni che non si possono ritirare.
Chiedi al fornitore:
- Da quali fonti prende le informazioni l’agente?
- Cosa fa quando non trova la risposta?
- Quali azioni passano sempre da una persona?
Se la risposta alla seconda domanda è “risponde comunque”, cerca altrove.
Domande frequenti
- Perché l’intelligenza artificiale inventa le risposte?
- Perché un modello linguistico genera il testo più probabile in base a ciò che ha imparato, senza verificare i fatti. Se non ha l’informazione giusta, tende comunque a produrre una risposta che suona corretta. Non mente di proposito: non ha un meccanismo interno che distingua con certezza il vero dal plausibile.
- Si possono eliminare del tutto le allucinazioni?
- No, con la tecnologia attuale si possono ridurre ma non eliminare. Per questo un sistema affidabile non si basa solo sul modello: collega le risposte a fonti verificabili, blocca le azioni rischiose e fa controllare a una persona i passaggi importanti.
- Come mi accorgo che un agente AI ha inventato qualcosa?
- Chiedi che ogni risposta o dato sia collegato alla sua fonte: il documento, la riga del gestionale, l’ordine nello shop. Se una cifra non ha una fonte, va verificata. Un buon agente dice anche quando non è sicuro, invece di riempire il vuoto.
Dove lo trovi negli agenti Agentity
Receptionist WhatsApp
Risponde ai clienti, fissa appuntamenti e smista le richieste al reparto giusto.
Back office documenti
Estrae i dati da fatture, DDT e contratti e li carica nel gestionale.
Analista del lunedì
Ogni settimana ti manda il report con i numeri che contano, già commentato.