L’encíclica Magnifica Humanitas aborda els riscos de la IA i els seus algoritmes. Els militars d’Israel ha desenvolupat tres algoritmes: l’Evangeli, Lavanda i On és el pare?
Utilitzant les bases de dades amb milions d’informació dels palestins de Gaza, han desenvolupat uns algoritmes. L’Evangeli analitza muntanyes de dades, imatges de vigilància, telefonia, geolocalitzacions, converses o imatges de xarxes socials i elabora un llistat d’edificis i infraestructures que poden estar utilitzats per Hamàs. L’algoritme Lavanda té com a funció processar quantitats massives de dades (comportaments, rutines, geolocalització xarxes social, registres de trucades…) per classificar i caracteritzar de manera automàtica persones que poden ser de Hamàs. A cada persona se li assigna una puntuació de l’1 al 100, on el 100 representa el valor més alt d’estar vinculat a activitats insurgents. Ha estat utilitzat per assenyalar milers de persones com a blanc que cal assassinar. El tercer algoritme, On és el pare?, combina els altres dos algoritmes i indica una persona en quin edifici pot estar i què cal destruir.
En algun moment tots hem utilitzat el traductor de Google, un sistema d’IA que s’ha entrenat a partir de molts textos, no sabem com funciona, però introduïm un text en una llengua, escollim la llengua en què el volem i ens ofereix el text traduït. Aquells que ho hem utilitzat sabem que cal corregir el text, sempre hi ha errors. Els mateixos militar reconeixen que aquests algoritmes tenen un marge d’error del 10% en la selecció d’objectius humans.
També han expressat que no poden revisar el llistat d’objectius a abatre, que no és factible, que no poden explicar els criteris que ha seguit l’algoritme, per escollir els objectius, que no poden comprovar la validesa dels objectius resultants. En definitiva els militars confien en l’anàlisi matemàtica dels algoritmes i en la seva precisió. Els militars en validen de manera automàtica els resultats.
El debat jurídic se centra en la responsabilitat, qui és el responsable? Quan és l’algoritme qui ho ha decidit, un algoritme no pot ser jutjat ni declarat culpable; el principi jurídic de distinció obliga els militar a distingir entre civil i militar, la màquina assenyala a una persona com a milicià i acte seguit és executat, sense cap verificació i finalment el principi de proporcionalitat que obliga a evitar morts o víctimes innocents.
En termes ètics, qui ha de viure o morir no es pot deixar en mans d’un algoritme. Sempre han de ser humans els que ho decideixin.