Pràctiques d’IA prohibides

Hi ha seriosos dubtes sobre la base científica dels sistemes que pretenen identificar o inferir emocions, perquè l’expressió emocional varia entre cultures, situacions i fins i tot en una mateixa persona. Són poc fiables, poc específics i poc generalitzables, i poden generar resultats discriminatoris. Atès el desequilibri de poder a la feina o en l’educació, i el caràcter invasiu d’aquests sistemes, el seu ús per detectar l’estat emocional al lloc de treball i en l’educació s’ha de prohibir. La prohibició no cobreix els sistemes introduïts al mercat estrictament per motius mèdics o de seguretat, com un ús terapèutic.

• Art. 5(1)(a)Prohibit

  Manipulació subliminal, enganyosa o deliberada

  Prohibit el sistema que empra tècniques subliminals, manipuladores o enganyoses amb l’objectiu o l’efecte de distorsionar de manera substancial el comportament, minvant la capacitat de decidir de manera informada, d’una manera que causi o pugui causar raonablement un perjudici significatiu.

  A l’aula. Rellevant si un sistema pressiona l’alumnat —sobretot menor d’edat— perquè prengui decisions que no hauria pres, amb perjudici significatiu. El llindar legal és alt: no n’hi ha prou que un xatbot sigui persuasiu.

• Art. 5(1)(b)ProhibitDirectament rellevant per als centres

  Explotació de vulnerabilitats (edat, discapacitat, situació social o econòmica)

  Prohibit el sistema que explota vulnerabilitats d’una persona o d’un grup per edat, discapacitat o una situació social o econòmica concreta, distorsionant-ne el comportament d’una manera que causi o pugui causar raonablement un perjudici significatiu.

  A l’aula. L’alumnat és, per definició, un grup vulnerable per raó d’edat. Un sistema dissenyat per aprofitar aquesta immaduresa (per exemple, una joguina o un assistent que empeny a reptes perillosos) encaixa en aquesta prohibició.

• Art. 5(1)(ba)ProhibitDirectament rellevant per als centres

  Imatges íntimes no consentides

  Prohibit generar o manipular imatges, vídeo, àudio o material similar realistes de les parts íntimes d’una persona identificable, o d’una persona identificable en activitats sexualment explícites, sense el seu consentiment lliure, específic, informat, inequívoc i explícit. Aplicació: 2 de desembre de 2026.

  A l’aula. Cobreix la generació de deepfakes sexuals d’alumnat, docents o qualsevol persona identificable. És una prohibició absoluta de la pràctica, no un problema d’«ús educatiu».

• Art. 5(1)(bb)Prohibit

  Material d’abús sexual infantil generat

  Prohibit el sistema que genera o manipula material o una representació relacionats amb l’abús o l’explotació sexual de menors. Aplicació: 2 de desembre de 2026.

  A l’aula. Prohibició penalment rellevant. No hi ha excepció educativa.

• Art. 5(1)(c)ProhibitDirectament rellevant per als centres

  Puntuació social

  Prohibit avaluar o classificar persones o grups durant un període de temps segons el seu comportament social o característiques personals, quan la puntuació social condueixi a un tracte perjudicial en contextos aliens a aquell en què es van generar les dades, o a un tracte injustificat o desproporcionat.

  A l’aula. Un «índex de civisme» o reputació de l’alumnat que s’usi per a privilegis, sancions o accés a activitats no relacionades amb la conducta observada pot constituir puntuació social.

• Art. 5(1)(d)Prohibit

  Predicció d’infraccions penals només per perfilat

  Prohibit avaluar o predir el risc que una persona cometi una infracció penal basant-se únicament en el perfilat o en trets de personalitat. No s’aplica a sistemes que donin suport a una valoració humana ja basada en fets objectius i verificables vinculats a una activitat delictiva.

  A l’aula. No és un ús escolar habitual. No justifica «predir» qui copiarà o agredirà només amb un perfil de personalitat.

• Art. 5(1)(e)ProhibitDirectament rellevant per als centres

  Raspament massiu de rostres per a bases de reconeixement

  Prohibit crear o ampliar bases de dades de reconeixement facial mitjançant l’extracció no selectiva d’imatges facials d’internet o d’enregistraments de CCTV.

  A l’aula. Un centre no pot construir un àlbum de reconeixement facial de l’alumnat retallant fotos de xarxes, del web del centre o de les càmeres del passadís.

• Art. 5(1)(f)ProhibitDirectament rellevant per als centres

  Inferir emocions al centre educatiu o a la feina

  Prohibit introduir al mercat, posar en servei per a aquesta finalitat o utilitzar sistemes d’IA per inferir les emocions d’una persona física en els àmbits del lloc de treball i els centres educatius, llevat de motius mèdics o de seguretat.

  A l’aula. És la prohibició més específica de l’aula. Una càmera web, un micròfon o un sistema que «mesuri l’atenció», l’avorriment, la felicitat o el compromís emocional de l’alumnat o del professorat està prohibit. El considerant 44 ho justifica pel desequilibri de poder i la manca de base científica. Excepció: motius mèdics o de seguretat (per exemple, detectar fatiga en un taller amb maquinària).

• Art. 5(1)(g)ProhibitDirectament rellevant per als centres

  Categorització biomètrica d’atributs sensibles

  Prohibit categoritzar individualment persones a partir de dades biomètriques per deduir o inferir la raça, opinions polítiques, afiliació sindical, conviccions religioses o filosòfiques, vida sexual o orientació sexual. No cobreix l’etiquetatge o filtratge de conjunts de dades biomètriques lícitament obtinguts, ni la categorització en l’àmbit de l’aplicació de la llei.

  A l’aula. Un sistema que, a partir d’una foto, «endevini» origen ètnic, religió o orientació de l’alumnat està prohibit.

• Art. 5(1)(h)Prohibit

  Identificació biomètrica remota en temps real en espais públics (aplicació de la llei)

  Prohibit l’ús d’identificació biomètrica remota «en temps real» en espais d’accés públic amb finalitats d’aplicació de la llei, llevat d’excepcions tancades (cerca de víctimes, amenaça imminent, identificació de sospitosos de delictes greus), amb autorització i garanties.

  A l’aula. Afecta sobretot les forces de seguretat, no la gestió ordinària del centre. El reconeixement facial escolar s’analitza més aviat com a sistema d’alt risc (annex III, punt 1) o com a verificació biomètrica.