Kunstig intelligens i offentlig sagsbehandling kan øge risiko for diskrimination
Når det offentlige bruger kunstig intelligens i sagsbehandlingen, skaber det risiko for diskrimination.
Sådan lyder konklusionen i en ny analyse fra Institut for Menneskerettigheder. Analysen peger på, at risikoen for diskrimination blandt andet opstår, når borgeres oplysninger behandles af en algoritmisk profileringsmodel, der ikke kan beskytte imod risikoen for diskrimination, ligesom mennesker kan.
Kunstig intelligens bruges typisk som samlebetegnelse for modeller, der kan repræsentere og simulere aspekter af menneskelig tænkning på en computer.
En algoritmisk profileringsmodel er groft sagt en computerdrevet matematisk formel, som på baggrund af statistiske data vurderer, om et objekt har en bestemt egenskab, for eksempel om en borger er berettiget til et tilskud.
”Algoritmer kan ikke afveje oplysninger på samme måde som mennesker. Det betyder for eksempel, at man som myndighed kan blive tvunget til at vælge mellem at have en profileringsmodel, der er i stand til at danne avancerede og komplekse profiler om borgerne, eller en rettighedsbaseret model, der er designet til at overholde forbuddet mod diskrimination. En rettighedsbaseret model risikerer dog at træffe flere forkerte afgørelser.”
”Det er bare et af mange retssikkerhedsmæssige dilemmaer i brugen af profileringsmodeller, og de dilemmaer taler vi alt, alt for lidt om,” siger Marya Akhtar, jurist og chefkonsulent på Institut for Menneskerettigheder.
Forbuddet mod diskrimination er en af de mest grundlæggende menneskerettigheder.
Både på internationalt, europæisk og nationalt niveau er der forbud mod direkte diskrimination på baggrund af for eksempel køn, etnicitet og handicap. Indirekte diskrimination, hvor en tilsyneladende neutral bestemmelse, betingelse eller praksis stiller en beskyttet gruppe systematisk ringere end andre, er ligeledes forbudt.
Kan forstærke diskrimination
Profileringsmodeller drives enkelt sagt af matematiske formler, der blandt andet på baggrund af oplysninger om afgjorte sager om borgere kan lære selv at analysere og vurdere nye sager gennem maskinlæring.
I Danmark har vi ikke fået tænkt rettighederne ind i de digitale løsninger.
Når offentlige myndigheder i stigende grad bruger sådanne modeller i behandlingen af sager om for eksempel ydelser eller sanktioner til borgere, skaber det en række menneskeretlige dilemmaer.
Hvis de afgjorte sager, som udgør træningsdata for modellen, er diskriminerende, vil modellen kunne gentage den skævvridning i vurderingen af nye sager og kan sågar forstærke virkningen.
Det sker ikke nødvendigvis, fordi sagerne er afgjort forkert, men fordi der for eksempel mangler oplysninger om bestemte grupper.
Derudover skaber selve modellen nye risici for diskrimination, som vi ikke kender fra den manuelle sagsbehandling, påpeger Marya Akhtar. Udfordringen med en algoritmisk model er, at den har brug for matematisk utvetydige anvisninger for at kunne udføre sin analyse:
”Jo flere hensyn du lægger ind i anvisningerne, eksempelvis for at forebygge diskrimination, jo mere kompleks og teknisk krævende bliver modellen at udvikle og vedligeholde. I praksis kan det føre til, at det bliver umuligt at undgå alle former for diskrimination uden at ende med en model, der ikke kan udføre en pålidelig analyse – og så er vi jo lige vidt.”
Anbefaling: Rettighedsbaserede digitale løsninger
Offentlige myndigheders brug af profileringsmodeller stiller derfor høje krav til både datakvalitet og test af modellen – ikke kun i udviklingsfasen, men også efter at modellen er taget i brug.
Det kræver, at myndighederne kender profileringsmodellernes begrænsninger og rettighedsmæssige udfordringer.
Dilemmaerne omkring modellerne kalder således på en ny tilgang til området, mener Institut for Menneskerettigheder:
”Danmark er verdens førende i at udvikle digitale løsninger i den offentlige forvaltning. Vi har bare ikke fået tænkt rettighederne ind i de digitale løsninger som for eksempel profileringsmodeller.”
”Borgerens rettigheder må og skal være rettesnoren, når profileringsmodeller udvikles. Ellers risikerer myndighederne at underminere de rettigheder, vi som borgere har i dag, i deres iver efter at effektivere den offentlige sektor,” siger Marya Akhtar.
Institut for Menneskerettigheder anbefaler, at:
- Social- og Ældreministeriet samt Beskæftigelsesministeriet tager initiativ til at fastsætte regler om brugen af profileringsmodeller på social- og beskæftigelsesområdet, herunder i forhold til risikoen for diskrimination.
- Alle offentlige myndigheder i Danmark, der bruger profileringsmodeller i sagsbehandlingen, forpligtes til at dokumentere, at brugen hverken fører til direkte eller indirekte diskrimination af borgerne.
Kilde: Når algoritmer forskelsbehandler: Risiko for diskrimination i det offentliges brug af algoritmiske profileringsmodeller, Institut for Menneskerettigheder, marts 2021
I to notater giver Institut for Menneskerettigheder konkrete og generelle anbefalinger for at sikre menneskeretten, når offentlige myndigheder bruger kunstig intelligens. Notaterne behandler to specifikke problemstillinger, som imidlertid ikke står alene og rejser flere retssikkerhedsmæssige udfordringer.
Institut for Menneskerettigheder vil i sit kommende arbejde give et overblik over de mange menneskeretlige udfordringer ved offentlige myndigheders brug af kunstig intelligens i sagsbehandlingen.