Statistiska modeller

Diskriminering och dåliga data: fallet Amazon

I dagarna har det rapporterats om att Amazon lagt ner ett projekt där AI skulle användas för att sålla bland kandidater vid rekryteringar (IDG, Reuters). Anledningen är att AI-verktyget började diskriminera kvinnor och föredra manliga sökande.

Men hur kan en dator lära sig att diskriminera? Svaret finns i våra data.

Statistiker världen över har ägnat årtionden åt att fundera över hur man på bästa sätt ska samla in data för att kunna ge svar på de frågor man undrar över. Det finns många fallgropar när det gäller datainsamling. Två av dem är:

  • Obalanserat urval: om vi vill utföra en opinionsundersökning för att kunna göra en prognos för hur det svenska folket kommer att rösta i ett riksdagsval så duger det inte att exempelvis bara fråga personer i Danderyd, eftersom den gruppen helt enkelt inte är representativ för riket i stort. Om personerna i vårt datamaterial till största delen är från en liten del av samhället så kan våra data inte användas för att säga något om resten av samhället.
  • Felmärkta data: i studier där man ska lära en statistisk modell att till exempel diagnosticera en sjukdom så behöver alla patienter i datamaterialet att ”märkas” – antingen som att de har sjukdomen eller som att de inte har sjukdomen. Den märkningen utgör facit när modellen tränas att känna igen sjukdomen. Tyvärr är det vanligt att man helt enkelt inte har perfekta data. Diagnoser kan vara svåra att ställa och en del patienter får fel diagnos. Det kan finnas komplicerade gränsfall, ovanliga fall med andra symptom än de vanligaste och patienter som har symptomen men inte sjukdomen. Det gör att det ofta kan bli fel när patienterna som ingår i datamaterialet ska märkas – och de fel som sker vid märkningen lär sig den statistiska modellen att upprepa. Märkningen är modellens facit och den kan inte på egen hand upptäcka när det blivit fel.

Om man inte undviker fallgroparna så riskerar man att lura både sig själv och andra. Det gäller oavsett om man utför opinionsundersökningar eller utvecklar AI-verktyg för rekrytering.

I fallet med Amazons rekryterings-AI så finns det tecken på att de fallit i båda de ovan nämnda fallgroparna:

  • Obalanserat urval: Amazons datamaterial bestod av ansökningar som tidigare kommit in till företaget. En majoritet av dessa var från män. Det gör att det blir lättare för AI-systemet att känna igen anställningsbara män (eftersom det sett fler exempel på sådana). En fara med det här datamaterialet är också att systemet kan avfärda kandidater som inte liknar de som tidigare sökt sig till företaget – vilket gör att man riskerar att missa nya kompetenser.
  • Felmärkta data: om (så som ofta visats vara fallet) kvinnors kompetens nedvärderas i teknikbranschen medan mäns kompetens uppvärderas, så kommer det att finnas en felmärkning i datamaterialet. Kvinnor kommer felaktigt att av människor i genomsnitt bedömas som mindre kompetenta (och därmed inte märkas som anställningsbara) och män felaktigt att av människor i genomsnitt bedömas som mer kompetenta (och därmed märkas som anställningsbara). AI:n lära sig då att själv upprepa de felvärderingarna.

Att låta sökande bedömas av ett AI-verktyg är i teorin en jättebra idé. Datorn kan vara opartisk, rättvis och ge alla samma chans. Men om de data som används för att bygga upp verktyget inte är opartiska, rättvisa och ger alla samma chans blir effekten den motsatta. AI:n löser i så fall inte problemet med diskriminering – tvärtom cementerar den diskrimineringen.

Diskriminerande AI-system är på intet sätt något som är unikt för rekryteringsverktyg – ett annat exempel från i år är ansiktsigenkänningssystem som fungerar mycket bättre för vita män än för personer med annat kön eller annan hudfärg. Värt att understryka är att Amazon på eget bevåg lade ned projektet med AI-verktyg för rekrytering. Men hur många företag har gått och kommer gå vidare med AI-projekt utan att förstå vikten av att inte bygga in diskriminering i dem? Vad kommer de och vi att gå miste om när systemen fattar beslut på felaktiga grunder? Och hur kommer reaktionerna att bli när problemen med deras system avslöjas?

  • Jag erbjuder rådgivning kring datainsamling och hjälp med att bygga statistiska modeller och AI-system som undviker fallgroparna. Kontakta mig för att få veta mer.
  • Jag ger också föredrag om hur vi ska göra för att undvika att lura oss själva och andra med siffror och statistik, samt om hur AI påverkar oss idag och i framtiden.

Att bekämpa översvämningar med (eller utan) AI

Att skriva om översvämningar känns en smula märkligt efter en rekordvarm sommar med torka och skogsbränder (även om Uppsala centralstation översvämmades av störtregn i slutet av juli). Men vad annat kan jag göra när Wired skriver en spännande artikel om hur AI kan användas för att förebygga just översvämningar? Och eftersom vi kan förvänta oss mer extremt väder i takt med att planeten blir allt varmare så kan vi inte börja tänka på den här sortens frågor snart nog.

Sommaren har varit varm och torr.

I Wired-artikeln beskrivs hur man med hjälp av AI skapat en karta som kan användas för att övervaka risken för översvämningar. I texten kan man plocka upp tre punkter som är återkommande för i stort sett alla AI-projekt:

  • AI-system behöver stora mängder data för att byggas upp – och som så ofta är fallet så var det i det här projektet väldigt arbetsintensivt att samla ihop och strukturera de data som användes.
  • Men, efter en stor arbetsinsats i inledningen av projektet kan AI sedan användas för att automatisera processen. När man senare vill uppdatera sina kartor går det i ett nafs.
  • Att likt artikelns rubrik påstå att ”AI förebygger naturkatastrofer” är att överdriva. AI löser oftast inte hela problem åt oss, utan är ett verktyg som används som ett steg i problemlösningen. I det här fallet hjälper de AI-skapade kartorna oss att övervaka vattenflöden och risker. I slutändan är det ändå människor som väljer att göra eller inte göra något utifrån den informationen.

Neurala nätverk och andra populära AI-verktyg är fantastiska när vi vill automatisera olika rutinartade uppgifter, men kan få problem när de ställs inför helt nya situationer. Eller när man ber dem att komma med prognoser för vad värsta möjliga utfall är. Ett exempel är frågan om hur högt vattenståndet som högst kommer vara i Fyrisån de kommande hundra åren. Svaret på den frågan är enormt viktigt när man planerar bebyggelse kring ån – vi kan inte nöja oss med att undvika översvämningar ett genomsnittligt år utan måste förstås bygga med marginal så att vi även slipper dem de år då vattnet står som högst. Här räcker dagens AI-lösningar inte till, men det finns utmärkta matematiska modeller som går att använda för att få en bra uppfattning om hur illa det kan gå. Sådana så kallade extremvärdesmodeller kommer jag att återkomma till i ett framtida blogginlägg (och de kan förresten också användas för att förutspå hur varmt 2000-talets varmaste julimånad kommer vara, eller hur lite regn som kommer falla under århundradets värsta torka).