Fonti e spiegabilità: da dove viene la risposta di un agente AI

Un agente AI aziendale attendibile deve poter rispondere a una domanda semplice: da dove viene questa risposta? Il requisito minimo è che ogni informazione operativa rimandi a una fonte aziendale autorizzata — un manuale, un runbook, un caso precedente — che chi decide può aprire e controllare. Quando la fonte manca o non è accessibile, la risposta corretta è dichiararlo, non riempire il vuoto con un testo plausibile.

Risposta con fonte: il requisito minimo

Chiedere a un agente di mostrare le fonti non è una raffinatezza: è la condizione per poter decidere. Una risposta senza fonte può essere giusta, sbagliata o inventata, e dall'esterno le tre ipotesi sono indistinguibili. Con una fonte, invece, chi legge può verificare il passaggio decisivo prima di agire.

In pratica, il requisito si traduce in tre elementi da pretendere per ogni risposta operativa:

• Il documento. Quale manuale, runbook o procedura approvata sostiene l'affermazione, con nome e posizione.
• La versione. Quale edizione del documento è stata usata, perché le procedure cambiano e una versione superata può essere peggio di nessuna.
• Il percorso. Come l'agente è arrivato a quella fonte: quali archivi ha interrogato e quali ha escluso.

Vale una distinzione importante. Qui parliamo di spiegabilità operativa: la capacità del sistema di mostrare quali fonti ha usato e perché propone qualcosa. Non parliamo dell'interpretabilità interna del modello — cioè di come la rete neurale arriva a una parola piuttosto che a un'altra — che è un problema tecnico diverso e non è ciò che serve a chi deve approvare un intervento. Il NIST AI Risk Management Framework, riferimento volontario del National Institute of Standards and Technology statunitense, colloca la trasparenza tra le caratteristiche dell'affidabilità dei sistemi AI, e il suo profilo per l'AI generativa (NIST-AI-600-1, luglio 2024) indica tra i rischi tipici proprio le risposte non ancorate a contenuti verificabili.

Permessi sui documenti: chi può far leggere cosa

Le fonti autorizzate non sono una biblioteca aperta a tutti. Un manuale di ripristino dei sistemi contabili non dovrebbe essere leggibile dall'agente che assiste la reception, così come le procedure della direzione non riguardano l'helpdesk. Limitare le risposte alle conoscenze aziendali approvate significa quindi lavorare su due piani:

Primo piano: il catalogo delle fonti. Quali documenti sono approvati come riferimento per quali domande. Se un argomento non ha una fonte approvata, l'agente deve poterlo dire — è un'informazione utile, perché segnala una lacuna documentale da colmare, non un difetto del sistema.

Secondo piano: i permessi di lettura. L'agente eredita i permessi del contesto in cui opera e rispetta quelli del richiedente: a una domanda su un documento riservato, la risposta corretta non è un riassunto del documento, ma il rimando al processo per ottenerne l'accesso. Un agente che «legge tutto per tutti» crea una scorciatoia attorno alle regole di accesso che l'azienda ha già definito. È lo stesso criterio dei controlli applicati fuori dal modello: il permesso vive nei sistemi, non nelle intenzioni dell'agente.

Quando le fonti stesse si contraddicono — due versioni della stessa procedura con passaggi incompatibili — il comportamento corretto è esplicitare il conflitto e chiedere al proprietario del documento quale versione vale, non scegliere in autonomia la più recente o la più completa. A questo tema è dedicato l'articolo sulle fonti aziendali contraddittorie.

Casi senza fonte: dichiararlo invece di inventare

Il momento che misura la qualità della governance non è quando la fonte c'è, ma quando manca. I modelli linguistici sono costruiti per produrre testo fluente: di fronte a una domanda senza risposta documentata, la tentazione statistica è colmare il vuoto con qualcosa di plausibile. In un contesto aziendale questo è il meccanismo delle cosiddette «allucinazioni», ed è il motivo per cui la regola deve essere esplicita e verificabile: nessuna fonte, nessuna risposta operativa.

Dichiarare l'assenza di fonte non chiude la conversazione, la orienta. Una buona gestione prevede tre passaggi:

1. Dichiarare il vuoto. «Non ho una fonte aziendale approvata su questo argomento», detto con la stessa chiarezza di una risposta positiva.
2. Separare i livelli. Se il modello può offrire conoscenza generale, questa va presentata come tale — non come procedura aziendale — e non deve mai autorizzare un intervento.
3. Aprire un'azione. La lacuna va segnalata a chi può colmarla: il proprietario del processo documentale valuta se serve una procedura nuova o aggiornata. La tracciabilità delle azioni conserva anche queste segnalazioni, così la lacuna non si perde.

Esempio illustrativo: il certificato del portale fornitori

Esempio illustrativo. Lo scenario seguente è inventato a scopo didattico; non descrive un cliente né un evento reale.

Un responsabile IT chiede all'agente aziendale: «Come si sostituisce il certificato del portale fornitori?» Il sistema risponde con i passaggi previsti e, sotto, il riferimento: manuale del servizio, versione 3.2, approvata dal proprietario del portale otto mesi prima. Il responsabile apre il documento, controlla che la versione sia quella in uso e procede. Fin qui, tutto regolare.

Poi chiede: «E per il vecchio portale degli ordini?» Su quel sistema non esiste una procedura approvata: la documentazione è ferma a una bozza mai validata. L'agente lo dichiara: nessuna fonte autorizzata, quindi nessuna procedura da seguire. Propone invece di segnalare la lacuna al proprietario del servizio, che deciderà se commissionare la procedura. Infine, un collega di un altro reparto pone la stessa domanda sul certificato: il manuale è riservato al team infrastrutturale, e l'agente rimanda alla richiesta di accesso invece di riassumere il contenuto. Tre domande, tre comportamenti diversi — fonte con versione, assenza dichiarata, permesso rispettato — e in nessun caso una risposta inventata a coprire il vuoto.

Nestor e Mnemosyne: fonti consultate, evidenze conservate

Nel progetto OverZeus questo compito è di Nestor, l'agente dedicato a conoscenza e procedure: recupera manuali, runbook e casi precedenti rispettando i permessi, e le sue risposte rimandano alle fonti aziendali approvate. Quando trova due versioni in conflitto, evidenzia provenienza e differenze e chiede al proprietario quale valga: non aggiorna autonomamente le procedure, perché la revisione documentale spetta al responsabile del documento attraverso il processo previsto.

Mnemosyne completa il quadro conservando le evidenze: quali fonti sono state consultate per una risposta, quale proposta ne è seguita, chi ha autorizzato l'intervento e con quale esito. Così, anche mesi dopo, è possibile ricostruire non solo che cosa è stato fatto, ma su quale base documentale era stato deciso — utile in un audit, in un riesame interno o quando una procedura cambia e si vuole sapere quali decisioni si fondavano sulla versione precedente. Anche il modo in cui prompt e policy indirizzano l'agente verso i documenti approvati merita un approfondimento: ne parliamo nell'articolo su prompt, documenti approvati e policy.

Una domanda da fare in ogni valutazione

Quando valuti un agente AI per la tua azienda, portagli tre domande: una con fonte, una senza fonte, una su un documento riservato. Osserva se distingue i tre casi o se risponde sempre con la stessa sicurezza. Un sistema che sa dire «non ho una fonte autorizzata» protegge più di uno che risponde sempre: perché il valore non è nella risposta, ma nella possibilità di verificarla.

Contenuto realizzato con assistenza AI. Gli scenari descritti sono esempi illustrativi.

Tutti gli articoli OverZeus