"Systemet pekade gång på gång ut oskyldiga mammor och föräldrar med utländsk bakgrund, låg utbildning eller inkomst.

Kvinnor drabbades särskilt. De fick mycket oftare den högsta risknivån, samtidigt som hälften av dem var helt oskyldiga.

Och trots att kvinnor och män stod för ungefär samma andel fel i verkligheten så pekade systemet ut (konstaterat oskyldiga) kvinnor som sannolika fuskare mer än dubbelt så ofta som (konstaterat oskyldiga) män.

[…]

Vi ser också att systemet var sämre på att hitta män och rika personer som faktiskt gjort fel."

Om och om igen är det de mest utsatta som drabbas av osynliga automatiserade beslut som få (om någon) har insyn i och förståelse för. Och det är är oerhört svårt för en individ att få rätt - man vet ju inte ens varför man felbehandlas. Och det kanske inte handläggaren vet heller.

När det dessutom hänvisas till sekretess och systemen inte får granskas, ja vad lever vi i för samhälle då?

Bara systemet är så kallat "effektivt" så tycks det spela mindre roll idag om system är orättvisa. Effektivt på riktigt är det förstås mest för de redan gynnade - och för makthavaren.

Det är, hör och häpna, faktiskt inte supereffektivt för de som blir oskyldigt utpekade.

https://www.svd.se/a/Rzmg9x/forsakringskassans-ai-for-vab-fusk-granskade-kvinnor-oftare

Läs mer om osynligt beslutsfattande i elementen inom AI-etik:

https://axbom.se/aielementen/

"Ju mer komplexa algoritmerna blir, desto svårare är de att förstå. I takt med att fler är inblandade, tiden går, integrationer med andra system görs och dokumentationen är felaktig, desto längre undgår de mänsklig förståelse. Många företag kommer att dölja egen kod och undvika granskning, och ibland själva förlora hela bilden av hur koden fungerar. Man kommer inte kunna förklara hur eller varför vissa beslut tas. Att avkoda och förstå hur beslut fattas kommer därmed att vara öppet för oändligt färre personer.

Och det stannar inte där. Detta påverkar också människors autonomi. Genom att dölja beslutsprocesser (hur, när, varför beslut fattas, vilka alternativ som finns tillgängliga och vilka personuppgifter som delas) är det allt svårare för individer att göra väl underbyggda val för sitt eget bästa."

Försäkringskassans AI för vab-fusk granskade kvinnor oftare

🔗 Originally posted on LinkedIn