Art. 6 · Anexo III, pto. 3
IA d’alt risc en l’educació
L’article 6(2) classifica com d’alt risc els sistemes enumerats a l’annex III, llevat que s’apliqui una derogació estreta de l’article 6(3). El punt 3 de l’annex està escrit per a l’educació i la formació professional a tots els nivells. Les obligacions connexes s’apliquen a partir del 2 de desembre de 2027.
El desplegament de sistemes d’IA en l’educació és important per promoure una educació i una formació digitals d’alta qualitat i perquè tot l’alumnat i el professorat adquireixin les competències digitals necessàries, inclosa l’alfabetització mediàtica i el pensament crític. Tanmateix, els sistemes usats per determinar l’accés o l’admissió, assignar persones a institucions o programes, avaluar resultats d’aprenentatge, determinar el nivell educatiu o vigilar i detectar conducta prohibida durant les proves s’han de classificar com d’alt risc, perquè poden determinar el curs educatiu i professional d’una persona i, per tant, la seva capacitat de guanyar-se la vida. Mal dissenyats o usats, poden resultar especialment invasius i vulnerar el dret a l’educació i a no ser discriminat, i perpetuar patrons històrics de discriminació.
Els quatre usos de l’annex III, punt 3
- 1Anexo III, pto. 3(a)Alt risc
Accés, admissió o assignació a un centre o itinerari
Sistemes d’IA destinats a ser utilitzats per determinar l’accés o l’admissió o per assignar persones físiques a institucions d’educació i formació professional a tots els nivells.
A l’aula. Algoritme de baremació de matrícula, assignació automàtica a un grup, a un centre o a un cicle de FP.
- 2Anexo III, pto. 3(b)Alt risc
Avaluar resultats d’aprenentatge (també per orientar el procés)
Sistemes d’IA destinats a ser utilitzats per avaluar els resultats de l’aprenentatge, fins i tot quan aquests resultats s’utilitzin per orientar el procés d’aprenentatge de persones físiques en institucions d’educació i formació professional a tots els nivells.
A l’aula. Correcció automàtica que determina la nota; plataforma adaptativa que avalua i decideix el contingut següent.
- 3Anexo III, pto. 3(c)Alt risc
Determinar el nivell educatiu apropiat
Sistemes d’IA destinats a ser utilitzats per avaluar el nivell d’educació apropiat que una persona rebrà o al qual podrà accedir, en el context o dins d’institucions d’educació i formació professional a tots els nivells.
A l’aula. IA que proposa diversificació, repetició, aula de reforç o un nivell d’idioma, si aquesta proposta determina el nivell que la persona rep o al qual pot accedir.
- 4Anexo III, pto. 3(d)Alt risc
Vigilar i detectar conducta prohibida en proves
Sistemes d’IA destinats a ser utilitzats per supervisar i detectar el comportament prohibit dels estudiants durant les proves, en el context o dins d’institucions d’educació i formació professional a tots els nivells.
A l’aula. Proctoring amb càmera web, detecció de trampes, d’una segona persona a la sala o de patrons de còpia durant un examen.
Quan un sistema de l’annex III no és d’alt risc
Un sistema de l’annex III no es considera d’alt risc si no planteja un risc significatiu per a la salut, la seguretat o els drets fonamentals —inclòs el de no influir de manera substancial en el resultat de la decisió— i compleix alguna d’aquestes condicions (art. 6(3)): Art. 6(3) (Font oficial)
- a)Fa una tasca procedimental limitada.
- b)Millora el resultat d’una activitat humana ja completada.
- c)Detecta patrons de decisió o desviacions i no pretén substituir ni influir en la valoració humana sense una revisió humana adequada.
- d)Fa una tasca preparatòria d’una avaluació pertinent per als casos de l’annex III.
Excepció a l’excepció: si el sistema fa perfilat de persones (tractament automatitzat de dades personals per avaluar aspectes com rendiment, salut, preferències, fiabilitat o comportament), es considera sempre d’alt risc.
La resta de l’annex III, en breu
Anexo III, pto. 1
Biometria (si és permesa)
Identificació biomètrica remota (no la mera verificació 1:1), categorització biomètrica d’atributs sensibles o protegits, i reconeixement d’emocions. En centres educatius el reconeixement d’emocions està a més prohibit (art. 5(1)(f)).
Anexo III, pto. 4
Ocupació i gestió de treballadors
El centre, com a ocupador, situa en alt risc la IA per seleccionar personal, filtrar currículums, decidir promoció o cessament, assignar tasques segons trets o comportament, o avaluar el rendiment del professorat.
Anexo III, ptos. 2, 5–8
Altres àrees (context)
Infraestructures crítiques; serveis públics essencials i prestacions; aplicació de la llei; migració i fronteres; administració de justícia i processos democràtics. No són el dia a dia de l’aula, però completen el mapa de l’annex III.