Jag tycker att reaktionerna på avslöjandet om Försäkringskassans system som missgynnar kvinnor och personer med utländsk bakgrund visar på bred ofullständig förståelse för bias i autonoma system

Många är medvetna om att fördomar i träningsdata leder till fördomar i utdata från maskinen. Jag oroas dock av oviljan att se skillnad på effekter av automatiserade fördomar och människors fördomar.

Men det stannar inte alls där. Autonoma system kan på många sätt förstärka fördomar som inte alls syns i träningsdatat. Jag bifogar ett diagram baserat på Suresh & Guttag (2021), omdesignat av mig, som illustrerar detta. Jag har för avsikt att översätta det till svenska, men vi börjar här.

Historisk bias. Det är detta som många förstår (vilket är bra!) och som det pratas mest om. Det kan finnas historiska fördomar som ingår i underlaget till maskinen.

Representationsbias. När betydande delar av en befolkning saknas i underlaget kan systemet misslyckas med att generalisera för den population som den används av eller för.

Mätningbias. När modeller används för att förutsäga, och "förstå", behövs urvalet, insamlingen och beräkningar av egenskaper och etiketter att dra slutsatser från. Etiketter kan vila på förenklingar, eller så kan metoden/noggrannheten variera mellan grupper.

Utvärderingsbias. En modell är optimerad på sina träningsdata, men kvalitetssäkras med hjälp av så kallade benchmarks. Ett icke-representativt benchmark bidrar till utveckling och användning av modeller som bara fungerar bra på den delmängd av data som representeras i benchmark-underlaget.

Inlärningsbias. Skillnader i prestanda uppstår för olika typer av data på grund av modelleringsbeslut som tas för att påverka till exempel noggrannhet eller objektivitet. Dessa beslut kan urholka inflytandet från underrepresenterade data, och därefter presterar modellerna ännu sämre på den datan.

Aggregeringsbias. En viss datauppsättning kan representera människor eller grupper med olika bakgrunder, kulturer eller normer, och varje given variabel kan indikera olika saker i dessa grupper. En modell som passar alla kan misslyckas med att optimera för någon grupp eller bara passa den dominerande populationen.

Användningsbias. Vissa modeller används helt enkelt på ett sätt som de inte var avsedda att användas. Detta är också känt som “framing trap”, när man missar att ta hänsyn till att beslutsstödet också är en del av ett sociotekniskt system.

Det spelar alltså ingen roll vilken avsikt man har, eller om Försäkringskassan säger att “vi har inte sådana modeller som väljer ut personer på diskriminerande grunder”. Det finns så många potentiella felkällor att maskinen kan diskriminera ändå.

Därför är det oerhört viktigt att man är öppen och transparent med precis varenda steg i de här processerna.

Och nej, det här är fortfarande inte heltäckande.

Läs mitt engelska inlägg om bias i maskininlärning, med exempel: https://axbom.com/bias-in-machine-learning/

Prenumerera här: https://per.ax/pren

🔗 Originally posted on LinkedIn