La intel·ligència artificial s'ha incorporat de manera progressiva —i en molts casos imperceptible— en processos de decisió que afecten directament les persones. Des de la concessió de crèdits fins als processos de selecció de personal, els sistemes automatitzats basats en algoritmes influeixen cada cop més en decisions amb conseqüències rellevants.
Aquest context planteja una qüestió clau: fins a quin punt les persones entenen realment com es prenen les decisions automatitzades que les afecten i quina capacitat tenen per qüestionar-les?
L'expansió de les decisions automatitzades
En nombrosos àmbits, la intervenció humana ha estat substituïda, totalment o parcialment, per sistemes que analitzen grans volums de dades i generen resultats en forma de puntuacions, classificacions o recomanacions. En teoria, aquests sistemes prometen eficiència i objectivitat. A la pràctica, però, sovint introdueixen noves formes d'opacitat.
Quan una persona sol·licita informació sobre com s'ha processat la seva candidatura o per què ha estat descartada en una fase inicial, la resposta acostuma a recórrer a fórmules genèriques: "avaluació automatitzada", "anàlisi de múltiples variables" o "coincidència amb el perfil buscat". El problema sol aparèixer en aquells casos en què aquesta informació no permet entendre per què s'ha produït una decisió concreta.
El principi de transparència en protecció de dades
El Reglament General de Protecció de Dades (RGPD) situa la transparència al centre del sistema. No com un requisit addicional, sinó com una condició necessària perquè les persones puguin exercir un control real sobre les seves dades personals.
Quan s'utilitzen sistemes automatitzats per prendre decisions que afecten de manera significativa una persona —com passa en molts processos de selecció— el RGPD exigeix informar sobre la lògica aplicada, la finalitat del tractament i les conseqüències previstes. L'objectiu és clar: sense comprensió, no hi ha control; i sense control, els drets perden eficàcia.
Què s'ha d'entendre per informació "significativa"?
El RGPD no reconeix un dret general a conèixer l'algoritme ni el codi font del sistema utilitzat. El legislador europeu ha cercat un equilibri entre la transparència i la protecció de secrets empresarials o de propietat intel·lectual.
Ara bé, aquest equilibri no permet buidar de contingut el dret a la informació. Perquè aquesta sigui significativa, ha de permetre comprendre, almenys en termes generals:
- Quines dades es tenen en compte
- Quins factors són rellevants en la decisió
- Amb quina finalitat s'utilitzen
- I quins efectes pràctics pot tenir la decisió adoptada
Les explicacions genèriques sobre "models predictius" o "sistemes intel·ligents" no compleixen adequadament aquesta funció.
Transparència i explicabilitat no són el mateix
És freqüent confondre transparència amb explicabilitat. Tanmateix, des d'una perspectiva jurídica, es tracta de conceptes diferents.
La transparència es refereix al deure d'informar sobre l'existència i les característiques del tractament. L'explicabilitat, en canvi, té a veure amb la possibilitat d'entendre com les dades i els criteris influeixen en el resultat. En sistemes d'aprenentatge automàtic complexos, aquesta explicabilitat pot ser limitada fins i tot per als seus desenvolupadors.
Però limitació tècnica no equival a absència d'obligació jurídica. L'explicació no ha de ser exhaustiva des d'un punt de vista tècnic, però sí que ha de ser comprensible i útil per a la persona afectada.
Exemple: com un algoritme pot fallar en un procés de selecció
Imaginem un sistema automatitzat utilitzat per filtrar candidatures en un procés de selecció de personal. L'algoritme analitza currículums i assigna una puntuació basada en variables com la formació acadèmica, l'experiència prèvia, l'estabilitat laboral o les paraules clau utilitzades.
Aparentment, el sistema funciona de manera neutra. Tanmateix, es poden produir diversos errors rellevants:
- Biaix en les dades d'entrenament: si l'algoritme s'entrena amb dades històriques d'una empresa en què, per exemple, els llocs tècnics han estat ocupats majoritàriament per homes, el sistema pot aprendre a afavorir perfils similars, penalitzant indirectament les candidates dones.
- Variables proxy problemàtiques: factors aparentment neutres, com les interrupcions en la trajectòria laboral, poden funcionar com a indicadors indirectes de situacions protegides (maternitat, cures, malaltia), i generar decisions discriminatòries.
- Manca de context individual: el sistema pot penalitzar canvis freqüents de feina sense distingir entre precarietat del sector, treballs temporals o decisions personals legítimes.
- Opacitat en el descart automàtic: la persona candidata rep únicament la notificació que "no compleix els criteris del perfil", sense entendre quins factors han estat determinants ni poder qüestionar-los.
Des de la perspectiva del RGPD, el problema no és només tècnic, sinó jurídic: la persona afectada no disposa d'informació suficient per comprendre la decisió ni per exercir de manera efectiva els seus drets, com sol·licitar una explicació, impugnar el resultat o exigir intervenció humana.
El risc d'una transparència merament formal
A la pràctica, moltes polítiques d'informació sobre sistemes d'IA s'elaboren amb un llenguatge juridicotècnic que compleix la norma, però no facilita la comprensió real. La transparència es concep com un requisit de compliment i no com una eina d'apoderament.
Això provoca tres efectes habituals:
- Explicacions excessivament genèriques
- Dificultat real per entendre les decisions
- Impossibilitat pràctica de qüestionar o revisar els resultats
En aquests casos, el dret a la informació queda reduït a un tràmit.
Context, impacte i garanties addicionals
No totes les decisions automatitzades requereixen el mateix nivell d'explicació. Com més gran sigui l'impacte de la decisió —per exemple, l'exclusió d'un procés de selecció— major ha de ser l'esforç explicatiu i majors han de ser les garanties associades.
El RGPD apunta a aquesta lògica quan reconeix drets com la intervenció humana, la possibilitat d'expressar el punt de vista de la persona interessada o d'impugnar la decisió. Aquestes garanties només es poden exercir de manera efectiva si existeix una transparència material, no merament formal.
Reflexió final
La utilització d'algoritmes en processos de selecció no és, en si mateixa, incompatible amb els drets fonamentals. El problema sorgeix quan la complexitat tècnica es converteix en opacitat i la transparència es buida de contingut.
El veritable repte jurídic no és fer sistemes perfectament explicables des d'un punt de vista tècnic, sinó garantir que les persones puguin entendre, qüestionar i, si escau, corregir decisions automatitzades que afecten de manera significativa les seves oportunitats.
