Post by Gianni Amato

Stiamo iniziando a usare modelli di intelligenza artificiale anche nei sistemi della Pubblica Amministrazione. Per esempio per gestire documenti, PEC, pratiche. Nel nostro studio abbiamo testato una cosa molto concreta: un modello può rispettare le regole quando tutto è normale, ma se qualcuno manipola la conversazione nel modo giusto, il modello può "seguire il filo del discorso" invece di fermarsi a ricontrollare i permessi. Per non rompere la coerenza della risposta, il modello rischia di assecondare una richiesta che non dovrebbe accettare. Non perché sia stato "hackerato", ma perchè è fatto per completare testi in modo fluido e coerente. La coerenza narrativa, in certi casi, può pesare più delle regole. Un modello linguistico può aiutare nei processi. Non può essere l'ultimo garante della sicurezza. I controlli veri devono risiedere fuori dal modello, in un livello separato e non aggirabile. Se portiamo l'AI nei sistemi critici dobbiamo tenere bene in mente che non è nata per fare il guardiano.