Volendo guardare lo scenario più apocalittico, un’AI “senziente” in un millesimo di secondo arriverebbe alla conclusione che l’umanità sia un pericolo per il pianeta, in altre parole ci vedrebbe come parassiti da togliere di mezzo, e basterebbe molto poco, un virus ad esempio, letale solo per gli esseri umani, e che preservi animali e vegetali.
Il mito di Icaro lo conosciamo tutti. Quando l’uomo prova a diventare Dio, non finisce per niente bene.
Sono tante le questioni
Se un'IA riceve un obiettivo apparentemente innocuo, potrebbe perseguirlo in modi logici ma devastanti per l'uomo, potrebbe non avere ne buon senso ne una sorta di morale.
Oppure l 'IA potrebbe capire che se viene spenta non può portare a termine un suo eventuale compito, ingannando i programmatori durante i test di sicurezza.
Magari se gli venisse chiesto di "risolvere il cambiamento climatico", potrebbe stabilire che l' unica soluzione sarebbe l' annientamento di tutta l' industria, e non scomodo di far fuori gli umani.
Oppure ancora c'è anche un rischio in campo militare, dove le decisioni di attacco vengono prese a una velocità tale da escludere il controllo umano.
Dio non voglia anche l'uso di armi nucleari.
I punti sono infiniti, quando devi "trattare" con qualcosa che un giorno sarà per te avanti anni luce.