ConsellerIA

Quan vam acabar la primera votació, vam fer el gir que canviava una mica el terreny del debat: d'acord, això és el que ens semblava èticament acceptable, però què diu realment la normativa? Aquí vam mirar sobretot el cas alemany, perquè Alemanya té una regulació i una jurisprudència més desenvolupades sobre credit scoring que Espanya.

La primera capa és l'AGG, la llei alemanya contra la discriminació. En banca minorista prohibeix discriminar per raça, origen ètnic, gènere, religió, discapacitat, edat o orientació sexual. La segona capa és el GDPR, especialment quan es processen dades sensibles o quan una decisió automatitzada té efectes importants sobre una persona. I la tercera capa és l'AI Act, que classifica el credit scoring com un sistema d'alt risc. Això no vol dir que estigui prohibit, però sí que exigeix controls seriosos: gestió de riscos, documentació, supervisió humana, qualitat de dades i capacitat d'explicar el sistema.

Quines variables quedaven més clarament marcades per la llei? Sexe era problemàtica de manera directa. Nacionalitat també, perquè pot connectar amb origen ètnic o discriminació protegida. Nom complet semblava innocent, però pot revelar gènere o origen. I edat era el cas més incòmode: cap grup l'havia eliminat, però jurídicament no és una variable neutra. El més interessant és que moltes altres no quedaven prohibides de forma tan clara.

Aquí apareix la zona grisa. Codi postal, estat civil, tipus d'habitatge o nivell educatiu poden ser legals i, alhora, funcionar com a proxies de desigualtats socials. Si un barri concentra més pobresa, més població migrant o menys accés històric al crèdit, el model pot aprendre aquesta estructura sense escriure mai una regla explícitament discriminatòria. La classe ja havia intuït això abans de veure la normativa: algunes variables no feien mala olor perquè fossin il·legals, sinó perquè convertien desigualtats del món real en senyals estadístics.

La pregunta que ens quedava era incòmoda: si una variable és legal però sabem que pot reproduir discriminació, l'hauríem de permetre igualment? Aquesta va ser una de les tensions centrals del cas. La llei pot dir "això encara no està prohibit", però una regulació justa hauria de preguntar alguna cosa més: quin impacte té, sobre qui cau el risc i qui es beneficia de la precisió addicional.

Després vam fer una cosa una mica cruel, però necessària: imaginar que el model ja estava entrenat i que funcionava bé. El banc estava content, l'AUC era alt, la predicció d'impagaments semblava útil i els resultats sortien en una taula neta. Però quan vam mirar casos concrets, la sensació va canviar.

La pregunta a la classe era simple: us sembla correcte? Fatima guanyava més que Carlos i Marc, tenia millor ràtio de deute i, tot i així, quedava rebutjada. La taula no explicava el perquè. Només mostrava una decisió final, seca, amb aparença d'objectivitat.

La reacció va ser bastant clara: a ningú no li va acabar de semblar bé. De seguida van aparèixer sospites sobre el codi postal, l'historial creditici o variables que no es veien però podien estar influint. I aquí va néixer orgànicament la pregunta de l'explicabilitat. Si fóssim Fatima i el banc només ens digués "sol·licitud rebutjada", què podríem fer? A qui podríem reclamar? Com sabríem si hi ha un error, una correlació espúria o una discriminació indirecta?

Aquesta fase va ser important perquè va posar cara humana al que abans era una taula de variables. El problema ja no era només decidir si codi_postal entrava o no al dataset. El problema era que una persona concreta podia quedar fora del crèdit sense entendre quina part de la seva vida havia estat convertida en risc.

Quan ja teníem clar que volíem explicacions, va aparèixer la part tècnica: com s'aconsegueix això en un model real? No tots els models expliquen igual. Un scorecard manual o un arbre de decisió són relativament fàcils de seguir, però normalment perden precisió. Un XGBoost, una xarxa neuronal o un ensemble poden predir millor, però no et diuen de manera transparent per què han pres una decisió concreta.

La pregunta com a reguladors era aquesta: obligaríem els bancs a fer servir només models interpretables, encara que fossin menys precisos, o acceptaríem models més complexos si venen acompanyats d'explicacions posteriors amb tècniques com SHAP o LIME? La resposta no era òbvia, perquè l'accuracy també té una dimensió ètica. Un model menys precís pot denegar crèdit a persones solvents o aprovar préstecs que acabin empitjorant la seva situació econòmica.

Les respostes de classe van quedar força repartides. Alguns grups van defensar models com Random Forest, buscant un punt mig entre rendiment i interpretabilitat. Altres van acceptar XGBoost, perquè és molt potent en dades tabulars i és el que moltes entitats farien servir en la pràctica. També va aparèixer una proposta interessant: permetre una xarxa neuronal o un model molt complex, però només si les decisions dubtoses passen per una revisió humana o per una segona capa més explicable.

Aquesta última idea va agradar perquè no tractava l'explicabilitat com un botó màgic. Era més aviat una arquitectura de responsabilitat: primer el model detecta risc, després una capa explicable resumeix els factors principals i, si la decisió és greu o estranya, una persona ha de revisar-la. La pregunta de fons seguia sent la mateixa: qui pot contestar la decisió quan falla?

També va sortir un dubte molt humà: pot una màquina substituir l'experiència d'una persona que concedeix o denega un préstec? La resposta tampoc era romàntica. Una persona pot tenir intuïció i context, però també cansament, prejudicis, simpaties, pressa o mal dia. La diferència és que els biaixos humans són difícils d'escalar, mentre que un biaix algorítmic pot afectar milers de persones amb la mateixa fredor.

Després de discutir què faríem nosaltres, vam comparar les nostres intuïcions amb la resposta alemanya. I aquí el debat es va tornar molt útil, perquè Alemanya no resol tots els problemes, però sí ofereix una resposta bastant més concreta que la que tenim a Espanya.

Teniu dret a saber per què us rebutgen?

Alemanya diu que sí. El TJUE, en el cas SCHUFA C-634/21, va considerar que el càlcul d'un credit score pot ser una decisió individual automatitzada sota l'article 22 del GDPR. Això significa que no és una simple operació interna del banc: és una decisió que pot afectar materialment la vida d'una persona.

Quin nivell de detall és raonable?

Alemanya s'acosta al que la nostra classe va votar com a opció C: una explicació detallada amb factors principals i ponderacions. El Tribunal de Wiesbaden va ser més exigent que una explicació genèrica, i SCHUFA va acabar movent-se cap a un sistema amb 12 criteris ponderats visibles.

L'explicació ha de ser automàtica o humana?

La resposta alemanya sembla pragmàtica: pot ser automàtica, però ha d'estar auditada. BaFin exigeix capes d'explicabilitat tècnica abans de posar un model en producció. Això no substitueix el judici humà quan cal revisar un cas, però impedeix que el banc desplegui una caixa negra sense mecanismes per entendre-la.

Cal prohibir els models complexos?

Alemanya no diu "feu només regressió logística". El que diu és més interessant: feu servir el model que vulgueu, però heu de poder validar-lo, explicar-lo i controlar-lo. Això accepta caixes negres amb SHAP o LIME, però no accepta caixes negres sense responsabilitat.

I si explicar el model permet fer trampes?

Aquest era l'argument de SCHUFA: si expliquem massa, la gent aprendrà a manipular el sistema. Els tribunals no ho van comprar com a excusa suficient. El dret del ciutadà a entendre una decisió que l'afecta pesa més que la comoditat comercial de mantenir el sistema completament opac.

El més valuós de la resposta alemanya és que no tracta l'explicabilitat com una qüestió decorativa. La connecta amb auditoria, supervisió, validació contínua i capacitat d'apagar o corregir un model si comença a fallar. Això és important perquè un model no es torna just el dia que es desplega: pot degradar-se, canviar amb l'economia o començar a discriminar quan canvia la població sobre la qual decideix.

Quan vam passar a Espanya, la resposta va ser molt més pobra. Sí, tenim el GDPR. Sí, l'AI Act classifica el credit scoring com a sistema d'alt risc. I sí, els bancs espanyols ja fan servir IA per scoring. Però falta una capa nacional clara que aterri tot això en guies, exigències de supervisió i criteris pràctics.

Alemanya té MaRisk i BaFin. Espanya no té un equivalent específic del Banco de España per a IA en credit scoring. Alemanya té el cas SCHUFA i Wiesbaden. Espanya no té una sentència equivalent que hagi obligat de manera tan visible a explicar scores individuals. Alemanya exigeix explicabilitat tècnica abans de producció. A Espanya, aquesta exigència existeix més com a expectativa europea que com a pràctica reguladora concreta.

Això no significa que a Espanya tot sigui lliure. El GDPR ja dona drets, l'AI Act obligarà a adaptar molts sistemes i les entitats financeres no poden discriminar impunement. Però el contrast és clar: Alemanya ha començat a construir una resposta institucional pròpia, mentre que Espanya depèn sobretot del marc europeu general. I un marc general, quan arriba a decisions tan concretes com "per què m'han denegat un préstec?", pot quedar massa lluny de la persona afectada.

La pregunta final per a la classe era política: quina part de la regulació alemanya implementaríem aquí? Ens quedaríem només amb l'AI Act, o exigiríem explicacions individualitzades, auditories obligatòries, SHAP/LIME abans de producció i revisió humana en decisions sensibles? Aquesta pregunta tanca el cas perquè ens torna al principi: regular IA no és només entendre models, és decidir quin tipus de poder pot tenir un algoritme.