Non sono mai stato un appassionato di fantascienza, forse per questo la notizia del mezzo “via libera” all’equivalenza tra intelligenza artificiale e guidatore umano dato dalla NHTSA alla Google car mi ha lasciato piuttosto tiepido. Sulle prime alla mia latente anima giuridica è sembrata una naturale evoluzione interpretativa del fenomeno autonomous car.
In breve, ho pensato che se qualcuno o qualcosa guida per le strade, è giusto che venga riconosciuto come soggetto di diritto. Con tutto quello che ne consegue.
Poi leggo qui il preoccupato intervento di Monica e decido di approfondire la questione. E iniziano le sorprese: nella lunga risposta del Chief Counsel Paul Hemmersbaugh a quelli di Google, la parola “responsabilità”, in tutte le sue possibili traduzioni, non compare nemmeno una volta.
Visioni romantiche a parte, la funzione del diritto in una società è fondamentalmente quella di rispondere alla domanda “Chi paga se qualcosa va storto?“, quindi l’assenza di un riferimento esplicito al tema della responsabilità mi è sembrata strana.
Immagino che far corrispondere il guidatore con l’intelligenza artificiale – la quale non ha, che io sappia, la Schopenhaueriana “volontà di vivere” – significhi spostare la responsabilità dal conducente umano, al soggetto umano o giuridico che il robot lo ha progettato. Di conseguenza, alla domanda fondamentale di cui sopra mi verrebbe da rispondere: “Google”.
La seconda cosa che mi ha colpito in quest’ottica è questo passaggio: “The company [Google, NdR] expresses concern that providing human occupants of the vehicle with mechanisms to control things like steering, acceleration, braking, or turn signals, or providing human occupants with information about vehicle operation controlled entirely by the SDS (Self-Driving System), could be detrimental to safety because the human occupants could attempt to override the SDS’s decisions“.
Secondo Google, insomma, il problema siamo noi. Noi umani, fallibili per definizione, ai quali vanno tolti volante e pedali per evitare che i nostri limitati (?) cervelli possano prendere decisioni sbagliate. Ai quali – anzi – vanno addirittura tolte le informazioni relative a quello che il cervello elettronico dell’auto sta facendo.
Qui mi è partito l’embolo. Perché se quelli di Google la mettono così, la guida autonoma non è più una questione di chi sia migliore tra uomo e macchina. La domanda a questo punto diventa: “Sei disposto ad affidare ciecamente la tua vita e quelle degli altri a una macchina?”. E sinceramente, in questo caso, l’unica risposta che mi viene è: “Google, ma vaffa…”.
Google dimentica uno degli assiomi sulla programmazione: è impossibile scrivere un software senza bug. In primis perché il software è scritto proprio dal “problema che si cerca di risolvere”, ovvero noi esseri umani.
Certo, non mancano di sottolineare spesso come le statistiche dimostrano che siano più sicure delle auto tradizionali, ed è vero: tuttavia, dal 2009 ad oggi, la distanza percorsa dalla loro flotta è irrisoria rispetto al chilometraggio percorso annualmente dagli automobilisti italiani. Prendendo un esperimento come la guida autonoma, è inevitabile che, aumentando la scala degli interessati da una piccola flotta aziendale ad un intero paese (per non dire il mondo), si verifichino spiacevoli eventi da risolvere. Solo che se parliamo di uno smartphone, potremo avere qualche perdita di dati, nella peggiore delle ipotesi esso doventerà un costoso fermcarte; se parliamo di auto, ci può essere la vita delle persone a rischio. Ecco perché nelle fabbriche o nei laboratori esistono sistemi di controllo che “girano” ancora su versioni arcaiche di sistemi operativi: qualunque amministratore pensa sempre diverse volte prima di aggiornare le “sue” macchine alle versioni più recenti (atteggiamento opposto al tipico consumatore che “smania” per avere l’ultima versione di tutto).
Ma la cosa che mi fa più paura, in questa vicenda, è la Rete. Negli aerei, i sistemi vitali di controllo sono “airgapped”, ovvero scollegati da qualsiasi cosa abbia un link con l’esterno, come i sistemi di comunicazione o di infotainment, per non poter essere influenzati.
Possiamo dire lo stesso di un’auto? Soprattutto alla luce di quanto emerso lo scorso anno, quando un gruppo di due persone, che operava su un budget molto ridotto, è riuscita a trovare falle in diversi sistemi di infotainment (il più chiaccherato è stato uConnect di FCA, ma non fu l’unico) che permettevano loro di controllare diversi comportamenti dell’auto via internet. E non cose stupide, come cambiare canzone o accendere l’aria condizionata, ma la possibilità di accelerare, spegnere il motore, inserire il freno di emergenza, addirittura sterzare se veniva attivato il sistema di park assist.
Questo è ciò che mi preoccupa: quando tutti i veicoli saranno connessi, perché inevitabilmente si arriverà a quel punto, se non lo faranno le case, lo chiederà il mercato. E, vedendo ciò che accade nel mondo dell’informatica, non sono affatto convinto.
Volete qulahce esempio? Nonostante siamo nel 2016, si verificano ancora cose indescrivibili (l’altro giorno è emerso un bug in una nota liberia per la gestione dei font, dove solo il visualizzare un tipo di caratteri permetterebbe a malintenzionati di eseguire loro codice a piacimento), per non parlare dei continui aggiornamenti di certi programmi come Flash o Java, dove i problemi vengono scoperti “un tanto al chilo”, e stiamo parlando di applicativi che esistono da oramai vent’anni, un tempo di test e presenza sul mercato ben superiore a quello dei veicoli a guida autonoma.
E mi fermo qui, senza citare le riserve che ho sulla manutenzione, perché inevitabilmente ci sarà il tizio che penserà di poter aggiustare da solo eventuali guasti a sensori, eccetera.
So che questo è uno scenario un po’ esagerato, che forse finirà come Y2K, il millennium bug, per cui furono spese caterve di denaro in attesa di disastri che fortunatamente non si sono verificati; tuttavia quanto vedo nel campo delle nuove tecnologie mi spinge ad andarci con i piedi di piombo, su questioni simili.
Molto interessante il tuo commento, Riccardo. Leggendolo, pensavo di risponderti con la storia del millenium bug. Ma l’hai fatto tu stesso, rendendo ancora più fondamentali le domande che fai a te e a tutti noi. Grazie
[…] la seconda mi allaccio alla coda del post di Andrea, quando parla della valutazione tra l’efficienza del nostro giudizio e quello della macchina. Non […]