@jajo I det här fallet (SAFER) finns ännu inte tillstånd till insyn i hur algoritmen är uppbyggd, men i liknande historiska fall (COMPAS) har man visat att det inte spelar någon direkt roll om hudfärg är med i själva bedömningen eftersom fördomarna tar sig uttryck via så kallade proxy-egenskaper. Även i fallet med Försäkringskassans system för riskbedömning av bidragssökande, som i högre utsträckning pekade ut oskyldiga kvinnor och personer med utländsk bakgrund, förklarade rapporten från Lighthouse att det inte går att dra ett rakt streck mellan en specifik egenskap i beräkningsunderlaget (som man inte heller fick tillgång till då) och vidare till den orättvisa behandlingen. Det är för mig det som gör just de här större algoritmerna så farliga - det går inte att på ett enkelt sätt se, förstå och förklara varför ojämlikheterna uppstår, man kan bara se vilka som drabbas ofördelaktigt. Det blir då rättsosäkert när man inte kan förklara resonemangen bakom beslut (och ingen människa kan ta ansvar för dem). Särskilt när besluten handlar om sådant som inte hänt.
En akademisk artikel om ”robot-domare” och COMPAS:
Bias in AI (Supported) Decision Making: Old Problems, New Technologies
https://iacajournal.org/articles/10.36745/ijca.598
Lighthouse Reports granskning tillsammans med SvD: https://www.lighthousereports.com/investigation/swedens-suspicion-machine/
Jag har en referenslista med fler case på min egen artikel om Försäkringskassan-avslöjandet:
https://axbom.se/forsakringskassan-ai-diskriminering/#referenser