Capo III · SEZIONE 2
Articolo 14 - Sorveglianza umana
Digital OmnibusDisposizione interessata dalla proposta di rinvio o modifica del pacchetto Digital Omnibus: da monitorare fino all’adozione definitiva.
Sistemi di IA ad alto rischio / Requisiti per i sistemi di IA ad alto rischio
Sintesi Articolo 14
L’articolo 14 richiede che i sistemi ad alto rischio siano progettati per essere efficacemente sorvegliati da persone fisiche, con strumenti di interfaccia uomo-macchina adeguati. La sorveglianza deve consentire di comprendere capacità e limiti del sistema, restare consapevoli del rischio di automation bias, interpretare correttamente l’output, decidere di non usarlo, ignorarlo o annullarlo, e interrompere il sistema in sicurezza. Per l’identificazione biometrica remota vale la regola rafforzata della verifica da parte di almeno due persone competenti. La norma va tradotta in scelte concrete: ruoli formati e legittimati a intervenire, procedure di escalation, pulsanti e soglie reali nell’interfaccia. Una sorveglianza solo nominale non supera un controllo.
Testo ufficiale
1)I sistemi di IA ad alto rischio sono progettati e sviluppati, anche con strumenti di interfaccia uomo-macchina adeguati, in modo tale da poter essere efficacemente supervisionati da persone fisiche durante il periodo in cui sono in uso.
2)La sorveglianza umana mira a prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere quando un sistema di IA ad alto rischio è utilizzato conformemente alla sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile, in particolare qualora tali rischi persistano nonostante l'applicazione di altri requisiti di cui alla presente sezione.
3)Le misure di sorveglianza sono commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema di IA ad alto rischio e sono garantite mediante almeno uno dei tipi di misure seguenti:
a)misure individuate e integrate nel sistema di IA ad alto rischio dal fornitore prima della sua immissione sul mercato o messa in servizio, ove tecnicamente possibile;
b)misure individuate dal fornitore prima dell'immissione sul mercato o della messa in servizio del sistema di IA ad alto rischio, adatte ad essere attuate dal deployer.
4)Ai fini dell'attuazione dei paragrafi 1, 2 e 3, il sistema di IA ad alto rischio è fornito al deployer in modo tale che le persone fisiche alle quali è affidata la sorveglianza umana abbiano la possibilità, ove opportuno e proporzionato, di:
a)comprendere correttamente le capacità e i limiti pertinenti del sistema di IA ad alto rischio ed essere in grado di monitorarne debitamente il funzionamento, anche al fine di individuare e affrontare anomalie, disfunzioni e prestazioni inattese;
b)restare consapevole della possibile tendenza a fare automaticamente affidamento o a fare eccessivo affidamento sull'output prodotto da un sistema di IA ad alto rischio («distorsione dell'automazione»), in particolare in relazione ai sistemi di IA ad alto rischio utilizzati per fornire informazioni o raccomandazioni per le decisioni che devono essere prese da persone fisiche;
c)interpretare correttamente l'output del sistema di IA ad alto rischio, tenendo conto ad esempio degli strumenti e dei metodi di interpretazione disponibili;
d)decidere, in qualsiasi situazione particolare, di non usare il sistema di IA ad alto rischio o altrimenti di ignorare, annullare o ribaltare l'output del sistema di IA ad alto rischio;
e)intervenire sul funzionamento del sistema di IA ad alto rischio o interrompere il sistema mediante un pulsante di
«arresto» o una procedura analoga che consenta al sistema di arrestarsi in condizioni di sicurezza.
5)In aggiunta, per i sistemi di IA ad alto rischio di cui all'Allegato III - Sistemi IA ad alto rischio, punto 1, lettera a), le misure di cui al paragrafo 3 del presente articolo sono tali da garantire che il deployer non compia azioni o adotti decisioni sulla base dell'identificazione risultante dal sistema, a meno che tale identificazione non sia stata verificata e confermata separatamente da almeno due persone fisiche dotate della necessaria competenza, formazione e autorità. Il requisito di una verifica separata da parte di almeno due persone fisiche non si applica ai sistemi di IA ad alto rischio utilizzati a fini di contrasto, migrazione, controllo delle frontiere o asilo, qualora il diritto dell'Unione o nazionale ritenga sproporzionata l'applicazione di tale requisito.