SOMMARIO: La pronuncia e le conclusioni dell’avv. gen., in commento, costituiscono casi di sicuro interesse non tanto perché la Corte di giustizia europea si è espressa in tema di calcolo del credit scoring con tecniche che ricorrono all’ausilio dell’intelligenza artificiale, quanto piuttosto perché il giudice ha rivolto la sua attenzione a società come Schufa e B&D, che d’ora in poi saranno tenute a rispettare non solo l’art. 22 GDPR, ma altresì più rigorosi obblighi informativi. Questo perché la nozione di “decisione”, di cui all’art. 22 cit. deve ormai essere intesa in senso ampio, in modo tale da includere anche una mera «misura» capace di produrre, sull’interessato, «effetti giuridici che lo riguardano» o di incidere «in modo analogo significativamente sulla sua persona», quale può essere, per l’appunto, il “mero” «risultato del calcolo della solvibilità di una persona sotto forma di tasso di probabilità relativo alla capacità di tale persona di onorare impegni di pagamento in futuro».
ABSTRACT: The decision and the Advocate General’s conclusions, in comment, are cases of crucial interest not only because the European Court of Justice has expressed itself on the calculation of credit scoring with techniques that use artificial intelligence but rather because the judge turned his attention to companies such as Schufa and B&D, which from now on will be required to comply not only with art. 22 GDPR, but also with more stringent reporting requirements. This is because the notion of “decision” – cited in the art. 22 –, must now be interpreted in a broad sense to include even a mere «measure» capable of producing, on the person concerned, «legal effects which concern him» or of affecting «similarly significantly on his person», which may be, for the precise purpose, «the result of calculating a person’s solvency in the form of a probability rate relating to that person’s ability to meet future payment commitments».
1. Alcune considerazioni introduttive.
La pronuncia[1] e le conclusioni dell’avv. gen.[2], in commento, costituiscono casi di sicuro interesse non tanto perché la Corte di giustizia europea[3] si è espressa in tema di calcolo del credit scoring con tecniche che ricorrono all’ausilio dell’intelligenza artificiale[4], quanto piuttosto perché il giudice ha rivolto la sua attenzione a società come Schufa[5] e B&D[6].
Tali soggetti, infatti, basano il proprio modello di business sullo sfruttamento dei dati, vendendo, a terzi, valutazioni circa l’affidabilità creditizia di qualsiasi potenziale utente di servizi, rispettivamente sul territorio tedesco e austriaco, senza però essere mai stati costretti – almeno finora – a rispettare le disposizioni contenute nell’art. 22 del Regolamento sulla tutela dei dati personali (c.d. GDPR), ossia le uniche fino ad oggi esistenti in materia di procedimenti automatizzati. Il presupposto, dietro cui dette società si sono sempre rifugiate, si basava sul fatto di essere dei meri prestatori di servizi, nell’ambito di una filiera più ampia, che non le vedeva poi in alcun modo coinvolte nella decisione finale, capace di incidere sulla situazione giuridica dell’utente, cioè ad esempio nell’erogazione del credito.
Come è noto, l’utilizzo dei sistemi automatizzati di elaborazione dati è stato oggetto di specifica attenzione, da parte del regolatore, solo di recente, con l’ormai famoso regolamento sull’intelligenza artificiale (detto AI Act)[7], che ha ricondotto proprio l’attività di credit scoring nell’ambito di quelle ritenute ad alto rischio, che richiedono il rispetto di prescrizioni rafforzate.
Su questo aspetto avremo modo di tornare più diffusamente nel prosieguo, ma qui è fin d’ora opportuno sottolineare come, d’ora in poi, le società di credit scoring, che utilizzano l’AI per la loro attività di valutazione, saranno sottoposte a un framework normativo più rigoroso, posto che dovranno rispettare sia le disposizioni contenute nel GDPR, sia quelle dell’AI Act, posto che lo stesso regolamento sull’intelligenza artificiale fa salva la normativa sulla tutela dei dati (cons. 10 dell’AI act.).
Proprio a conferma di questa crescente attenzione, si devono richiamare le recenti conclusioni dell’avvocato generale che, partendo dal caso Schufa, affrontano la questione relativa all’interpretazione della nozione di «informazioni significative sulla logica utilizzata» nell’ambito di un processo decisionale automatizzato, ex art. 15, par. 1, lett. h) GDPR, con particolare attenzione al bilanciamento tra diritto di accesso alle informazioni, da una parte, e tutela dei diritti, ivi inclusi i segreti commerciali, dall’altra.
Sia la sentenza, sia le conclusioni paiono così confermare come, a livello europeo, stia prendendo piede un nuovo filone giurisprudenziale[8] destinato ad avere, almeno così ci auguriamo, un profondo impatto sul settore.
In particolare, dal punto di vista giuridico e secondo una valenza che potremmo definire di carattere generale, le pronunce della Corte stanno progressivamente ampliando e meglio delineando l’ambito di applicazione dell’art. 22 GDPR, ben al di là della tradizionale nozione di “decisione”, e indipendentemente dall’ambito in cui quel processo automatizzato viene utilizzato.
In secondo, e da un punto di vista più settoriale, proprio grazie a un’interpretazione più ampia della nozione di decisione, il giudice europeo pare orientato a estendere anche a società come Schufa e D&B, non solo le disposizioni contenute nell’art. 22, ma anche quelle relative agli obblighi informativi di cui all’art. 15.
Un’evoluzione di tutto rilievo, dato il peso che le decisioni di tali soggetti hanno assunto nelle nostre società.
2. Le vicende processuali.
Prima di passare a considerare gli aspetti più propriamente giuridici, è bene richiamare, seppur brevemente, le vicende da cui hanno preso avvio i ricorsi: il primo presentato da una cittadina tedesca che si era vista negare il credito, da parte di un intermediario finanziario, a fronte di un credit scoring negativo fornito da Schufa; la seconda, invece, avviato da un’utente austriaca che a causa sempre di una valutazione negativa condotta questa volta da B&D non aveva potuto ottenere l’estensione di un contratto telefonico, per un valore davvero irrisorio come 10 euro mensili.
In Germania, la Schufa Holding AG (acronimo di Schutzgemeinschaft für allgemeine Kreditsicherung) è una società privata che ha sostanzialmente il monopolio relativo alla valutazione dell’affidabilità creditizia dei soggetti che entrano nel territorio tedesco, grazie ad oltre 9.000 partner contrattuali, che comprendono fornitori di servizi di telecomunicazioni ed elettricità, banche, casse di risparmio, banche di credito cooperativo, società di carte di credito[9].
Tramite i dati raccolti, Schufa procede a generare il c.d. scoring del soggetto considerato, che costituisce una stima del merito creditizio, espresso in percentuale tale per cui il 50% indica un grande rischio, mentre sopra il 97,5% indica un rischio minimo.
Detto punteggio, tra l’altro, non interferisce solo sull’accesso al credito, ma anche sulla ricerca di un appartamento, sull’accesso a servizi fondamentali come quelli elettrici o telefonici, posto che la conclusione di ciascuno di questi contratti non può prescindere da una verifica della posizione del singolo da parte di Schufa.
Nel caso sottoposto all’attenzione del giudice europeo, una cittadina tedesca si è così vista negare una concessione di prestito, da parte di un intermediario, sulla base di un giudizio negativo predisposto da Schufa che, in seguito, si è rifiutata non solo di comunicare all’interessata i dati puntuali che erano stati posti a fondamento di una tale valutazione, ma altresì di correggere eventuali errori in esso contenuti.
Detta società, infatti, si limitava a fornire una risposta sommaria, invocando il segreto commerciale relativo a informazioni più precise sul metodo di calcolo. Oltre a questa affermazione, la difesa di Schufa era in gran parte basata sul ritenersi estranea da qualunque responsabilità nella lesione della situazione giuridica della ricorrente, posto che essa avrebbe semplicemente fornito una relazione all’intermediario che poi avrebbe assunto la decisione finale, relativa al diniego di credito.
A fronte di una simile posizione, la ricorrente aveva richiesto l’intervento dell’autorità tedesca di tutela dei dati personali, che si era però affrettata ad avvallare la posizione dell’agenzia, sostenendo che un simile soggetto non avesse in alcun modo violato le regole vigenti in materia. Ed ecco perché la vicenda è poi giunta di fronte al giudice europeo.
Nel secondo caso, invece, una cittadina questa volta austrica si era vista negare l’estensione di un contratto da un operatore di telefonia mobile, che avrebbe comportato un pagamento mensile di soli 10 euro, a causa di una valutazione di inaffidabilità finanziaria, condotta in modo automatizzato dalla società B&D, ossia ancora una volta un’azienda specializzata nella fornitura di tali valutazioni, come la sua omologa tedesca.
In questo caso, però, l’autorità nazionale per la protezione dei dati accoglieva l’istanza presentata e imponeva alla società l’obbligo di fornire informazioni pertinenti sulla logica utilizzata nell’ambito del processo decisionale automatizzato. Tuttavia, era allora che B&D impugnava la decisione e, in seguito, vedendosi respinto il ricorso, vi dava esecuzione in modo soltanto parziale.
La vicenda giungeva così infine di fronte alla Corte Europea poiché, secondo la ricorrente, D&B non avrebbe adempiuto in modo adeguato agli obblighi informativi, producendo informazioni non veritiere a tal punto che, in base alle spiegazioni offerte, il merito di credito della richiedente sarebbe dovuto risultare addirittura particolarmente elevato. Dunque, in evidente contraddizione con il giudizio di valutazione finale reso.
Ciò detto dal punto di vista fattuale, è ora possibile passare a considerare i profili più propriamente giuridici delle vicende in commento.
3. La questione generale relativa all’interpretazione della nozione di “decisione” contenuta nell’art. 22 GDPR.
Come si evince dai fatti appena riportati, il quesito principale, che ha dovuto affrontare prima di tutto il giudice europeo, riguarda l’art. 22, par. 1, del GPR e, in particolare, se detta norma debba essere interpretata nel senso che costituisce un «processo decisionale automatizzato relativo alle persone fisiche» ai sensi di tale disposizione, il calcolo automatizzato, da parte di una società che fornisce informazioni commerciali, di un tasso di probabilità basato su dati personali relativi a una persona e riguardante la capacità di quest’ultima di onorare impegni di pagamento in futuro, qualora da tale tasso di probabilità dipenda in modo decisivo la stipula, l’esecuzione o la cessazione di un rapporto contrattuale con tale persona da parte di un terzo, al quale è comunicato tale tasso di probabilità.
Solo in caso di processo decisionale automatizzato, infatti, la norma consente di far scattare tutta una serie di prescrizioni e tutele a vantaggio dell’interessato, primo fra tutti il suo diritto a non essere sottoposto a una decisione basata unicamente su un trattamento automatizzato, ivi inclusa la c.d. profilazione, qualora essa produca effetti giuridici o che incida in modo analogo, significativamente, sulla sua persona.
Come è noto, tre sono le condizioni che, cumulativamente, devono sussistere affinché la norma sia applicabile: in primo luogo, occorre che vi sia una «decisione»; in secondo luogo, che tale decisione debba basarsi «unicamente sul trattamento automatizzato, compresa la profilazione»; infine, che detta decisione debba essere in grado di produrre «effetti giuridici» o comunque di intervenire «in modo analogo significativamente» sulla persona interessata.
Alla luce di queste prescrizioni, la questione verte essenzialmente sulla perimetrazione della nozione di “decisione” e sulla conseguente necessità di adeguarsi a un processo in cui viene inserito l’utilizzo di tecnologie sempre più avanzate. In particolare, da questo punto di vista, occorre tener conto che l’avvento di sistemi di AI non solo ha consentito di elaborazione enormi quantità di dati, a velocità inimmaginabili per gli esseri umani, ma anche, e nello stesso tempo, reso più ampio il numero di soggetti potenzialmente coinvolti nel processo decisionale, rendendolo più complesso.
Non a caso, lo stesso AI act richiama l’esistenza di una vera e propria “catena del valore” collegata all’IA[10], che comporta spesso la compresenza di una pluralità di soggetti che possono essere, di volta in volta, in esso convolti.
Da ciò discende uno degli elementi senz’altro più sfidanti, che questo tipo di tecnologia[11] pone al regolatore, ossia la difficoltà di individuare l’agente da considerarsi responsabile del verificarsi di una determinata condotta.
In questo nuovo contesto, infatti, la “decisione” finale può spesso intervenire soltanto a monte di una lunga e variegata catena di eventi, ciascuno dei quali può costituirne il presupposto fondamentale. Pensare allora che soltanto l’ultimo passaggio, quello talora ormai privo di qualsiasi valenza effettivamente decisionale – intesa come possibile scelta tra una pluralità di alternative – sia quello lesivo della posizione degli interessati, sarebbe inopportuno.
Anzi, proprio la vicenda in commento dimostra come la vera e propria lesione del diritto/interesse della richiedente il prestito si era già realizzata ben prima dell’inevitabile e successiva “formale” negazione del prestito da parte dell’intermediario finanziario, ossia nel momento in cui la società di rating aveva reso il suo giudizio.
Alla luce di questa consapevolezza, secondo il giudice sarebbe ormai necessario riconoscere un’ampia portata alla nozione di “decisione” di cui all’art. 22 in commento, anche in virtù della formulazione del cons. 71, tale per cui essa potrebbe includere anche una mera «misura» capace di produrre «effetti giuridici che lo riguardano» o di incidere «in modo analogo significativamente sulla sua persona», quale può essere, per l’appunto, anche un rifiuto automatico di una richiesta di credito online o pratiche di assunzione elettronica, qualora non vi sia stato l’intervento umano.
Di conseguenza, la nozione di decisione dovrebbe ben ricomprendere anche il “mero” «risultato del calcolo della solvibilità di una persona sotto forma di tasso di probabilità relativo alla capacità di tale persona di onorare impegni di pagamento in futuro».
In virtù di questo presupposto, da qui in poi, il percorso argomentativo del giudice diviene molto più semplice. Chiarito che anche un giudizio come quello espresso da Schufa può essere inteso come una decisione automatizzata, ex art. 22, non ci sono più ostacoli nell’individuare anche la presenza delle altre due condizioni richieste dalla norma.
Per quanto riguarda la seconda condizione, infatti, anche l’avvocato generale, al paragrafo 33 delle sue conclusioni, aveva ritenuto pacifico che un’attività come quella di Schufa rispondesse alla definizione di «profilazione» di cui all’articolo 4, punto 4, del GDPR.
Con riferimento infine agli effetti, secondo il giudice sarebbe evidente come un simile tasso di probabilità, dato il peso nell’ambito della decisione di concessione di credito, sia in grado incidere sull’interessato in modo rilevante.
Di conseguenza posto che il tasso di probabilità, stabilito da una società che fornisce informazioni commerciali e comunicato a una banca, svolge un ruolo decisivo nella concessione di un credito, il calcolo di tale tasso deve essere qualificato di per sé come decisione che produce nei confronti di un interessato «effetti giuridici che lo riguardano o che incid[e] in modo analogo significativamente sulla sua persona», ai sensi dell’articolo 22, paragrafo 1, del GDPR.
Affermazione che assoggetta, dunque, senza più alcun dubbio le società che svolgono un’attività di scoring alla disciplina contenuta nel regolamento sulla tutela dei dati personali, relativa ai procedimenti esclusivamente automatizzati.
4. Le ulteriori specificazioni in merito al diritto di accesso riconosciuto al titolare dei dati personali, nel caso di un procedimento automatizzato di valutazione del merito creditizio.
La chiara presa di posizione del giudice europeo, in merito all’obbligo per le società di scoring di rispettare i principi di cui all’art. 22, non poteva che aprire il vaso di Pandora dei ricorsi avverso simili soggetti e richiedere ulteriori precisazioni soprattutto in merito all’ampiezza dei diritti dei singoli, sottoposti a tali procedure in giro per l’Europa.
Nel caso sollevato dalla cittadina austrica, ad esempio, la questione verte sull’interpretazione dell’art. 15 e, più puntualmente, sull’ampiezza del diritto di accesso in esso sancito, soprattutto in caso di bilanciamento con l’art. 4, par. 6 che protegge il segreto commerciale o aziendale del titolare del trattamento o di terzi.
Come precisa lo stesso avvocato generale, prendendo le mosse proprio dalla decisione Schufa – che costituisce il presupposto logico della vertenza –, ora si tratta di integrarne il contenuto fino a identificare le modalità con cui risolvere l’eventuale conflitto tra interessi coinvolti e, ancora, stabilire quale ampiezza debbano assumere quelle «informazioni significative sulla logica utilizzata» nell’ambito di un processo decisionale automatizzato, ex art. 15, par. 1, lett. h), GDPR.
Secondo l’avvocato generale, dalla giurisprudenza della Corte europea, sarebbe possibile individuare una linea interpretativa tale per cui il diritto dovrebbe consentire all’interessato di «verificare che i dati personali che lo riguardano siano corretti e trattati in modo lecito»[12]. Pertanto, sarebbe, prima di tutto, fondamentale che il titolare del trattamento fornisca una copia “integrale” e “fedele” dei dati personali che sono stati utilizzati, in modo da consentire all’interessato di esercitare i suoi diritti.
Il diritto di rettifica (art. 16), alla cancellazione («diritto all’oblio») (art. 17), alla limitazione di trattamento (art. 18), nonché quello di opposizione al trattamento dei suoi dati (art. 21) e di agire in giudizio (art. 79 e 82) non potrebbero mai trovare alcuna applicazione in assenza di questo iniziale passaggio di informazioni. Maggiore attenzione deve poi porsi qualora il soggetto sia stato sottoposto a una procedura di profilazione.
Ma come devono essere queste informazioni per considerarsi adeguate nel caso di un processo automatizzato?
Per risolvere il quesito, l’avv. gen. richiama quanto sancito dall’art. 12, par. 1, secondo cui «le informazioni destinate all’interessato devono essere concise, facilmente accessibili e di facile comprensione, e formulate in un linguaggio semplice e chiaro», in altre parole “intellegibili” per il destinatario, salvo perdere qualsiasi utilità.
Ed è qui che la questione diviene cruciale.
Nell’ambito dei procedimenti automatizzati, infatti, i dati posti alla base del processo di valutazione possono essere non solo molto ampi, ma altresì derivare da altri dati (ossia essere inferiti o indotti). Da qui la necessità che l’interessato sia anche messo a conoscenza “del contesto” in cui sono state utilizzate queste informazioni.
Da ciò deriverebbe, dunque, il riconoscimento di un diritto di accesso ben più ampio rispetto alla tradizionale applicazione dell’art. 15 in combinato disposto con il precedente art. 12 in virtù delle peculiarità del processo automatizzato.
Tornando al significato da attribuire alle «informazioni significative», pertanto, esse dovrebbero essere non solo chiare ed accessibili, ma anche accompagnate da spiegazioni che ne consentano la corretta comprensione, in virtù della natura tecnica dell’ambito considerato. Da ciò consegue che l’interessato dovrebbe avere «un vero e proprio diritto ad ottenere spiegazioni in merito al funzionamento del meccanismo alla base di un processo decisionale automatizzato di cui tale interessato è stato oggetto e al risultato a cui detta decisione ha condotto». E cioè che «tale persona possa ottenere informazioni concise, facilmente accessibili e di facile comprensione, e formulate in un linguaggio semplice e chiaro sul metodo e sui criteri utilizzati in vista di detta decisione. In secondo luogo, tali informazioni devono essere sufficientemente complete e contestualizzate da consentire a detta persona di verificarne l’esattezza e se esista una coerenza e un nesso di causalità oggettivamente verificabile tra, da un lato, il metodo e i criteri utilizzati e, dall’altro, il risultato cui la decisione automatizzata è pervenuta».
La conclusione di questo ragionamento – o meglio, proprio il rilievo dato all’elemento della comprensibilità – spinge però l’avvocato generale a un risultato tutt’altro che favorevole alla ricorrente, ossia a escludere proprio l’algoritmo dal novero delle informazioni che devono essere disvelate dal titolare del trattamento, in ragione della loro complessità e della conseguente presunta incomprensibilità per il singolo.
Di rimando, sul titolare del trattamento non graverebbe dunque l’obbligo di divulgare informazioni che presentino un elevato livello di complessità tale da renderle incomprensibili, senza un’adeguata competenza tecnica; il che consentirebbe di escludere dalla comunicazione proprio gli algoritmi utilizzati nell’ambito del processo decisionale automatizzato.
Quanto poi al profilo relativo alla comparazione degli interessi (sia di terzi, sia relativa al segreto industriale), l’avv. gen. suggerisce alla Corte di introdurre una fase di consultazione, dell’autorità di controllo o dell’organo giurisdizionale competenti, affinché siano questi ultimi a ponderare in concreto gli interessi in gioco e stabilire la portata del diritto di accesso che deve essere riconosciuto all’eventuale richiedente.
Alla luce di quanto fin qui esposto, appare evidente come dette conclusioni finiscano per soddisfare in modo soltanto parziale l’interesse della ricorrente, lasciando del tutto irrisolto il nodo più delicato, ossia quello relativo all’algoritmo utilizzato per effettuare la valutazione.
5. L’impatto delle decisioni sulle società che agiscono come Schufa e B&D.
Uno degli aspetti più interessanti degli atti in commento è sicuramente quello di riferirsi all’impiego dell’intelligenza artificiale da parte di soggetti come per l’appunto Schufa e B&D, che pur svolgendo una funzione fondamentale nella vita dei cittadini, sono state finora ritenute al di fuori dell’ambito di applicazione degli art. 22, 15 e 12 del GDPR.
Si noti che molti sono addirittura convinti, dato il ruolo svolto, che tali entità siano soggetti pubblici, quando in realtà, come si è anticipato, sono privati.
Come si è già avuto modo di rilevare, infatti, questa tipologia di soggetti rientra nell’ambito delle c.d. centrali dei rischi, che possono essere di natura pubblica, se gestite dal banchiere centrale, o privata[13]. In Italia, ad esempio, sono presenti entrambe le categorie; ma mentre le Centrali dei rischi pubbliche sono state inizialmente istituite per ragioni di carattere macroeconomico, quelle private, invece, sono nate per soddisfare le esigenze di acquisire una maggior conoscenza delle proprie potenziali controparti. In questo secondo caso, i dati vengono esclusivamente raccolti da entità che sottoscrivono precisi accordi contrattuali tra loro, che ormai spaziano, come si è visto, nei più diversi settori. In proposito, è bene ribadire come il punteggio assegnato da tali società non incida solo sull’accesso al credito, ma possa condizionare anche la possibilità di prendere una casa in affitto, di poter avere un collegamento alle utenze domestiche, etc.
Da questo punto di vista, pertanto, l’aver sancito l’obbligo di dover applicare gli articoli pertinenti del GDPR costituisce senz’altro un passo importante nei confronti di società destinate ad avere un ruolo sempre più rilevante nella vita dei consumatori.
In Italia, le società di informazione creditizia (c.d. SIC) sono soggette a un codice di condotta in materia (“Codice di condotta”)[14], adottato con la Deliberazione del Garante Privacy del 6 ottobre 2022, il cui art. 10, che proprio con riferimento ai procedimenti automatizzati, sancisce che «Nei casi in cui i dati personali contenuti in un SIC siano trattati anche mediante trattamenti o processi decisionali automatizzati di scoring, il gestore ed i partecipanti, fermo restando che i gestori non adottano ai sensi del sensi del Regolamento alcuna decisione che può incidere su diritti e libertà degli interessati… [corsivo nostro]».
In questo caso, pertanto, è lo stesso codice che ha da sempre escluso che l’attività dei gestori potesse essere ricondotta nell’ambito della nozione di “decisione”, di cui all’art. 22 del GDPR.
Di conseguenza, la pronuncia della Corte di giustizia produrrà sicuramente rilevanti effetti sul settore tanto più che, nel frattempo, è entrato in vigore anche l’AI act, che è destinato a imporre obblighi ben più penetranti in capo ai gestori dei sistemi di informazione rispetto a quanto finora previsto.
6. Le disposizioni contenute nell’AI act.
Come si è già anticipato, infatti, l’AI Act dedica particolare attenzione alla valutazione del merito creditizio dei consumatori (persone fisiche) posto che detti giudizi «determinano l’accesso di tali persone alle risorse finanziarie o a servizi essenziali quali l’alloggio, l’elettricità e i servizi di telecomunicazione» (cons. 58). In ragione di questo ruolo, detti sistemi automatizzati potrebbero pertanto portare «alla discriminazione fra persone o gruppi e possono perpetuare modelli storici di discriminazione, come quella basata sull’origine razziale o etnica, sul genere, sulle disabilità, sull’età o sull’orientamento sessuale, o possono dar vita a nuove forme di impatti discriminatori».
Per questo motivo, il regolamento riconduce questo tipo di valutazioni nell’ambito dei casi di utilizzo dell’AI considerati ad alto rischio[15].
Si noti che, a parere di chi scrive, sarebbe quanto mai assurdo ritenere, come ha fatto qualcuno[16], che il regolamento debba essere interpretato in modo restrittivo, escludendo dal suo ambito di applicazione proprio i casi di credit scoring che siano puramente finalizzati all’ottenimento di risorse finanziarie – si pensi all’ipotesi di un mutuo – per riferirsi invece esclusivamente a valutazioni connesse all’ottenimento di servizi e prestazioni ritenute essenziali, enfatizzando le differenze terminologiche tra il considerando 58 e il successivo allegato.
Non solo, infatti, è evidente che le risorse finanziarie sono di per se stesse un requisito fondamentale per consentire l’accesso a beni e servizi essenziali per un individuo, come l’abitazione, ma proprio il credit scoring legato alle richieste di finanziamento, è uno dei settori più spinosi, in cui il singolo merita senz’altro protezione e tutela. E dunque definibile delicato e ad alto rischio ex sé.
Simile interpretazione, poi, trova conferma anche nella nuova direttiva sul credito al consumo 2023/2225, su cui v. infra.
In questa sede, non è certo possibile analizzare nel dettaglio tutte le disposizioni contenute nell’AI act, ma si ritiene opportuno soffermarsi su due aspetti che evidenziano profonde connessioni con i principi affermati dalla Corte di giustizia europea.
In primo luogo, il regolamento europeo pone molta attenzione nel considerare la molteplicità delle fasi procedimentali che possono vedere coinvolti strumenti come quelli di intelligenza artificiale. Nel cond. 53, ad esempio, esso introduce la distinzione tra casi in cui l’uso dell’AI sia capace di influenzare materialmente il processo decisionale –ossia ove la componente algoritmica assume un ruolo risolutivo ai fini della decisione, influenzando di conseguenza gli interessi in modo sostanziale –, e le ipotesi dove invece non è ravvisabile un simile impatto – e la decisione finale può essere considerata disgiuntamente.
Con riferimento a questa seconda categoria, la prima ipotesi menzionata è quella in cui l’AI venga utilizzata per svolgere un compito definito come “procedurale ristretto”, ossia una mera trasformazione di dati non strutturati in dati strutturati, come nel caso in cui essa consenta esclusivamente di catalogare una serie di documenti. In questo caso, l’attività non comporterebbe grandi rischi, data la sua limitatezza.
La seconda ipotesi riguarda, invece, quei compiti finalizzati a migliorare i risultati di «un’attività umana precedentemente completata», in cui dunque l’AI consentirebbe solo di aggiungere un ulteriore livello, come nelle applicazioni che consentono di migliorare il linguaggio utilizzato in uno scritto.
In terzo luogo, viene richiamata l’ipotesi di modelli decisionali o deviazioni da modelli decisionali precedenti, ossia quando l’AI viene utilizzata dopo una fase decisionale umana, per verificarne la validità ex post. Infine, si fa riferimento all’impiego dell’AI nell’ambito di una mera fase preparatoria di una decisione umana, come nel caso di gestione di fascicoli, dell’indicizzazione, di ricerca, di elaborazione testuale e vocale o di collegamento dei dati ad altre fonti di dati, o di sistemi utilizzati per la traduzione.
Da questo punto di vista, pertanto, il nuovo regolamento cerca di fare maggiore chiarezza sui processi decisionali complessi e di distinguere le fasi in cui l’automazione può intervenire per meglio chiarire quando debba essere collocato il momento davvero decisionale, rispetto ad altre fasi meramente preparatorie o successive.
In secondo luogo, l’AI act conferma la tendenza ad ampliare l’ambito dei potenziali destinatari degli obblighi, prendendo in considerazione una platea molti varia di soggetti coinvolti nel processo che può portare all’adozione della decisione finale, secondo un approccio perfettamente in linea con l’evoluzione della Corte di Giustizia, di cui si è appena dato conto.
Proprio per questo, ad esempio, l’art. 3 del reg. nell’ambito delle sue definizioni richiama diverse figure che devono considerarsi coinvolte nel processo e dunque potenzialmente assoggettabili agli obblighi imposti, quali: fornitori, deployers, rappresentanti autorizzati, importatori, distributori, operatori, ciascuno dei quali potrebbe essere chiamato in causa qualora intervenga, in qualche modo, sul sistema di intelligenza artificiale.
Queste previsioni dimostrano come il regolamento sia intenzionato a prendere in considerazione tutte le entità coinvolte nell’utilizzo dell’AI, in modo che la complessità non si traduca in irresponsabilità.
Anche da questo punto di vista, pertanto, si possono cogliere delle precise assonanze tra percorso giurisprudenziale e normativo.
7. Un cenno alla nuova Direttiva 2023/2225/UE sui contratti di credito ai consumatori.
In questa sede, può ancora essere utile richiamare le novità introdotte dalla Direttiva 2023/2225/UE sui contratti di credito ai consumatori (Consumer Credit Directive, CCD II), che abroga la precedente Direttiva 2008/48/CE, e dovrà essere recepita entro il prossimo novembre 2025.
In particolare, ai nostri fini, rileva soprattutto la formulazione dell’art. 18, par. 3, che impone non solo che «La valutazione del merito creditizio sia effettuata sulla base di informazioni pertinenti e accurate sul reddito e sulle spese del consumatore e su altre informazioni sulla situazione economica e finanziaria, che siano necessarie e proporzionate rispetto alla natura, alla durata, al valore e ai rischi del credito per il consumatore», ma si spinge fino a esemplificare alcune tipologie di dati che possono essere utilizzati quali «elementi probatori del reddito o di altre fonti di rimborso, informazioni sulle attività e passività finanziarie o informazioni su altri impegni finanziari».
La disposizione introduce, invece, un espresso divieto relativo all’utilizzo dei dati sensibili di cui all’art. 9, paragrafo 1, del GDPR 2016/679 e richiede la “pertinenza” delle fonti interne o esterne da cui possono essere raccolte le informazioni precisando che «I social network non sono considerati una fonte esterna ai fini della presente direttiva».
Con specifico riferimento ad una valutazione effettuata con trattamento automatizzato dei dati, il par. 8, dell’art. 18 assicura poi, al consumatore richiedente il prestito, il diritto di poter esigere e ottenere l’intervento umano, che si sostanzia nella possibilità di arrivare a una spiegazione chiara e comprensibile del procedimento utilizzato per la valutazione, ivi inclusa la sua logica e gli eventuali rischi; il diritto di esprimere la propria opinione e, infine, di richiedere un riesame della valutazione e della decisione relativa alla domanda di credito. In caso di esito negativo, poi, è ribadito il diritto a una valutazione umana e alla contestazione della decisione.
Dunque, ancora una volta, una serie di garanzie e di diritti per i soggetti sottoposti a un procedimento di valutazione automatizzato che se da una parte confermano le pronunce del giudice e dell’avvocato generale in commento, dall’altro finiscono per ritornare ancora una volta al problema relativo all’interpretazione di quel diritto a ottenere una spiegazione chiara e comprensibile, di cui si è detto.
8. Alcune brevi conclusioni.
Cercando a questo punto di tirare le fila delle nostre riflessioni, possiamo rilevare come l’ordinamento europeo, grazie all’attività interpretativa della Corte di Giustizia e all’intervento del regolatore, si sia ormai deciso a focalizzare la propria attenzione sull’attività condotta attraverso l’uso dell’intelligenza artificiale, ivi incluso il caso in cui siano coinvolte le società che operano nell’ambito del credit scoring, mettendo fine a una stagione di sostanziale incertezza regolatoria.
Anzi, probabilmente, le vicende qui richiamate costituiranno soltanto le prime avvisaglie di un contenzioso, tra soggetti valutati e società di scoring, che sarà destinato a crescere nel corso dei prossimi mesi e anni e che porterà quasi sicuramente ad interrogarsi e a meglio approfondire la questione dei diritti dei singoli soprattutto con riferimento all’ampiezza del diritto di informazione sulle logiche dell’algoritmo che vengono impiegate per addivenire al giudizio finale.
A parere di chi scrive, sarà infatti questo il fronte su cui si combatterà la partita più dura posto che l’algoritmo è il cuore, l’essenza stessa di un procedimento automatizzato. Il solo che giustifica e determina il risultato finale sulla base di quel determinato set di dati con cui è stato alimentato.
Esso è, pertanto e per sua natura, complesso. Ciononostante, occorre essere consapevoli del fatto che la sua esclusione dagli obblighi informativi rischia di depotenziare il diritto informativo del singolo privandolo di qualsiasi effettività.
[1] Corte di Giustizia Europea, Sentenza 7 dicembre 2023, Causa C-634/21.
[2] Conclusioni dell’Avv. Gen. J.R. De La Tour, presentate il 12 settembre 2024, nella Causa C-203/22.
[3] Per un primo commento alla pronuncia, v. E. di Carpegna Brivio, Pari dignità sociale e Reputation scoring. Per una lettura costituzionale della società digitale, Torino, 2024, p. 136 ss. In tema, C. Silvano, La nozione di “decisione completamente automatizzata” sotto la lente della Corte di Giustizia: il caso Schufa, in Ceridap, 30 ottobre 2024, consultabile in https://ceridap.eu/la-nozione-di-decisione-completamente-automatizzata-sotto-la-lente-della-corte-di-giustizia-il-caso-schufa/.
[4] Per quanto riguarda la dottrina italiana sul punto v., M. Rabitti, Credit scoring via machine learning e prestito responsabile, in Riv. di diritto bancario, 2023, p. 175 ss.; L. Ammannati, G.L. Greco, Piattaforme digitali, algoritmi e big data: il caso del credit scoring, in Riv. trim. dir. econ., 2021, 305; F. Mattassoglio, La valutazione “innovativa” del merito creditizio del consumatore e le sfide per il regolatore, in Diritto della banca e del mercato finanziario, 2020, 2, 187-220; id., Innovazione tecnologica e valutazione del merito creditizio del consumatore, Milano, 2018, 9 ss.
[5] In proposito, v. G. Spindler, Algorithms, credit scoring, and the new proposals of the EU for an AI Act and on a Consumer Credit Directive, in Law and Financial Markets Review, 2021 15:3-4, 239-261, DOI: 10.1080/17521440.2023.2168940. L’autore, in questo contributo, non solo richiama espressamente i precedenti dei giudici nazionali che avevano riconosciuto la non applicabilità del GDPR nel caso di Schufa ma altresì l’esistenza di un vero e proprio diritto alla segretezza. Da qui, l’importanza fondamentale della pronuncia della Corte europea sulla futura attività di questo soggetto, che dovrà, a breve, anche applicare le disposizioni contenute nell’AI act.
[6] Questo è l’acronimo della società Bisnode Austria GmbH (poi Dun & Bradstreet Austria GmbH).
[7] Reg. UE/1689/2024 che stabilisce regole armonizzate sull’intelligenza artificiale e modifica i regolamenti (CE) n. 300/2008, (UE) n. 167/2013, (UE) n. 168/2013, (UE) 2018/858, (UE) 2018/1139 e (UE) 2019/2144 e le direttive 2014/90/UE, (UE) 2016/797 e (UE) 2020/1828 (regolamento sull’intelligenza artificiale).
[8] La Corte di giustizia europea è intervenuta sul punto anche con le due pronunce di poco precedenti C-26/22 e C-64/22, tra l’altro sempre emesse nei confronti di Schufa.
[9] https://berlino.anmeldati.com/schufa-cosa-significa-come-ottenerla-gratuitamente/.
[10] Questo concetto è richiamato nel cons. 9 dell’AI act, mentre l’art. 16 prevede che «qualsiasi distributore, importatore, deployer o altro terzo è considerato un fornitore di un sistema di IA ad alto rischio ai fini del presente regolamento ed è soggetto agli obblighi, secondo il principio della responsabilità lungo la catena del valore dell’IA».
[11] Secondo quanto riportato dallo stesso Ai act, al cons. 12, l’IA si distinguerebbe «dai tradizionali sistemi software o dagli approcci di programmazione più semplici, e non dovrebbe riguardare i sistemi basati sulle regole definite unicamente da persone fisiche per eseguire operazioni in modo automatico. Una caratteristica fondamentale dei sistemi di IA è la loro capacità inferenziale. Tale capacità inferenziale si riferisce al processo di ottenimento degli output, quali previsioni, contenuti, raccomandazioni o decisioni, che possono influenzare gli ambienti fisici e virtuali e alla capacità dei sistemi di IA di ricavare modelli o algoritmi da input o dati. Le tecniche che consentono l’inferenza nella costruzione di un sistema di IA comprendono approcci di apprendimento automatico che imparano dai dati come conseguire determinati obiettivi e approcci basati sulla logica e sulla conoscenza che traggono inferenze dalla conoscenza codificata o dalla rappresentazione simbolica del compito da risolvere. La capacità inferenziale di un sistema di IA trascende l’elaborazione di base dei dati e consente l’apprendimento, il ragionamento o la modellizzazione. Il termine “automatizzato” si riferisce al fatto che il funzionamento dei sistemi di IA prevede l’uso di macchine».
[12] Così richiamando la sentenza del 4 maggio 2023, Österreichische Datenschutzbehörde eCRIF (C‑487/21).
[13] In tema, v. A. Sciarrone Alibrandi, F. Mattassoglio, Le centrali dei rischi: problemi e prospettive, in Diritto della banca e del mercato finanziario, 2017, pp. 764-785.
[14] In precedenza, v. Provvedimento del 12 settembre 2019 – Codice di condotta per i sistemi informativi gestiti da soggetti privati in tema di crediti al consumo, affidabilità e puntualità nei pagamenti
[15] In proposito, si v. l’elencazione contenuta nell’allegato III, punto 5, dedicato all’Accesso a servizi privati essenziali e a prestazioni e servizi pubblici essenziali e fruizione degli stessi, ove prevede che «i sistemi di IA destinati a essere utilizzati per valutare l’affidabilità creditizia delle persone fisiche o per stabilire il loro merito di credito, a eccezione dei sistemi di IA utilizzati allo scopo di individuare frodi finanziarie».
[16] G. Spindler, Algorithms, credit scoring, and the new proposals of the EU for an AI Act and on a Consumer Credit Directive, cit., p. 243 circa i dubbi interpretativi dei sistemi di credit scoring rientranti nell’ambito dei sistemi ad alto rischio, dovuti a uno sfasamento tra le previsioni contenute nel consid. 58 e l’allegato III.
