L’encíclica Magnifica humanitas aborda els riscos de la IA i els seus algoritmes. Els militars d’Israel ha desenvolupat tres algoritmes: l’Evangeli, Lavanda i On és el pare?
Utilitzant les bases de dades amb milions d’informacions dels palestins de Gaza, han desenvolupat uns algoritmes. L’Evangeli analitza muntanyes de dades, imatges de vigilància, telefonia, geolocalitzacions, converses o imatges de xarxes socials i elabora una llista d’edificis i infraestructures que poden ser utilitzats per Hamas. L’algoritme Lavanda té com a funció processar quantitats massives de dades (comportaments, rutines, geolocalització xarxes socials, registres de trucades…) per classificar i caracteritzar de manera automàtica persones que poden ser de Hamss. A cada persona se li assigna una puntuació de l’1 al 100, on el 100 representa el valor més alt d’estar vinculat a activitats insurgents. Ha estat utilitzat per assenyalar milers de persones com a blanc que cal assassinar. El tercer algoritme, On és el pare?, combina els altres dos algoritmes i indica en quin edifici pot estar una persona i què cal destruir.
En algun moment tots hem utilitzat el traductor de Google, un sistema d’IA que s’ha entrenat a partir de molts textos, no sabem com funciona, però hi introduïm un text en una llengua, escollim la llengua en què el volem i ens ofereix el text traduït. Aquells que ho hem utilitzat sabem que cal corregir el text, sempre hi ha errors. Els mateixos militars reconeixen que aquests algoritmes tenen un marge d’error del 10% en la selecció d’objectius humans.
També han expressat que no poden revisar la llista d’objectius a abatre, que no és factible, que no poden explicar els criteris que ha seguit l’algoritme per escollir els objectius, que no poden comprovar la validesa dels objectius resultants. En definitiva els militars confien en l’anàlisi matemàtica dels algoritmes i en la seva precisió. Els militars en validen de manera automàtica els resultats.
El debat jurídic se centra en la responsabilitat: qui és el responsable? Quan és l’algoritme qui ho ha decidit, un algoritme no pot ser jutjat ni declarat culpable; el principi jurídic de distinció obliga els militars a distingir entre civil i militar, la màquina assenyala una persona com a milicià i acte seguit és executat, sense cap verificació, i finalment el principi de proporcionalitat que obliga a evitar morts o víctimes innocents.
En termes ètics, qui ha de viure o morir no es pot deixar en mans d’un algoritme. Sempre han de ser humans els qui ho decideixin.