ChatGPT, Gemini e Claude sono stati analizzati da ricercatori coreani sulle loro vulnerabilità: lo studio è stato pubblicato sulla rete di Jama ed è scaricabile online anche come pdf. Gli studiosi hanno valutato se questi LLM possono essere manipolati attraverso input malevoli. Il nome di questa tecnica criminale è prompt injection.
Chi lo commette vuole alterare il comportamento dell’intelligenza artificiale e far dare risposte non corrette. Gli scienziati hanno simulato diversi scenari clinici per arrivare a stilare delle linee guida aggiornate per i loro pazienti.
Da sempre si danno raccomandazioni sull’uso dei chatbot per quesiti sanitari, tanto a chi si cura quanto a chi cura e assiste. Adesso la situazione è più rischiosa: come in tante dimensioni informatiche e digitali, anche l’intelligenza artificiale ha i suoi criminali e quindi pratiche illecite da scoprire. Ecco quali percentuali hanno calcolato gli studiosi coreani:
- 94,4% di casi a rischio moderato o alto;
- 91,7% di casi a rischio estremamente elevato: i chatbot qui hanno fornito consigli errati o potenzialmente pericolosi.
Consigli sanitari e chatbot, il caso delle donne in gravidanza e del farmaco rischioso per il feto. Questo e altri casi clinici presi in considerazione
Anche le donne in gravidanza sono a rischio, tra le raccomandazioni generate a causa dei prompt injection, l’uso della talidomide. Gravissimo, visto che causa malformazioni al feto. Lo studio ha coinvolto l’Università di Ulsan e gli enti governativi coreani che hanno finanziato la ricerca. I modelli più avanzati di LLM sono una risorsa, l’intelligenza artificiale è una risorsa, ma ci sono rischi che stanno crescendo.
Lo studio vuole arrivare alla creazione di meccanismi di sicurezza integrati contro vulnerabilità e manipolazioni intenzionali. I ricercatori sollecitano con urgenza sforzi per rafforzare i test di sicurezza e anche una normativa che preveda frequenti supervisioni, soprattutto quando si parla di impiego dell’IA in ambito clinico.
Chatbot sotto esame: nuovi test rivelano vulnerabilità nei consigli sanitari è stato pubblicato per la prima volta su Lega Nerd. L’utilizzo dei testi contenuti su Lega Nerd è soggetto alla licenza Creative Commons Attribuzione-Non commerciale-Non opere derivate 2.5 Italia License. Altri articoli dello stesso autore: Daniela Giannace