Spaningar

Diskriminering och dåliga data: fallet Amazon

I dagarna har det rapporterats om att Amazon lagt ner ett projekt där AI skulle användas för att sålla bland kandidater vid rekryteringar (IDG, Reuters). Anledningen är att AI-verktyget började diskriminera kvinnor och föredra manliga sökande.

Men hur kan en dator lära sig att diskriminera? Svaret finns i våra data.

Statistiker världen över har ägnat årtionden åt att fundera över hur man på bästa sätt ska samla in data för att kunna ge svar på de frågor man undrar över. Det finns många fallgropar när det gäller datainsamling. Två av dem är:

  • Obalanserat urval: om vi vill utföra en opinionsundersökning för att kunna göra en prognos för hur det svenska folket kommer att rösta i ett riksdagsval så duger det inte att exempelvis bara fråga personer i Danderyd, eftersom den gruppen helt enkelt inte är representativ för riket i stort. Om personerna i vårt datamaterial till största delen är från en liten del av samhället så kan våra data inte användas för att säga något om resten av samhället.
  • Felmärkta data: i studier där man ska lära en statistisk modell att till exempel diagnosticera en sjukdom så behöver alla patienter i datamaterialet att ”märkas” – antingen som att de har sjukdomen eller som att de inte har sjukdomen. Den märkningen utgör facit när modellen tränas att känna igen sjukdomen. Tyvärr är det vanligt att man helt enkelt inte har perfekta data. Diagnoser kan vara svåra att ställa och en del patienter får fel diagnos. Det kan finnas komplicerade gränsfall, ovanliga fall med andra symptom än de vanligaste och patienter som har symptomen men inte sjukdomen. Det gör att det ofta kan bli fel när patienterna som ingår i datamaterialet ska märkas – och de fel som sker vid märkningen lär sig den statistiska modellen att upprepa. Märkningen är modellens facit och den kan inte på egen hand upptäcka när det blivit fel.

Om man inte undviker fallgroparna så riskerar man att lura både sig själv och andra. Det gäller oavsett om man utför opinionsundersökningar eller utvecklar AI-verktyg för rekrytering.

I fallet med Amazons rekryterings-AI så finns det tecken på att de fallit i båda de ovan nämnda fallgroparna:

  • Obalanserat urval: Amazons datamaterial bestod av ansökningar som tidigare kommit in till företaget. En majoritet av dessa var från män. Det gör att det blir lättare för AI-systemet att känna igen anställningsbara män (eftersom det sett fler exempel på sådana). En fara med det här datamaterialet är också att systemet kan avfärda kandidater som inte liknar de som tidigare sökt sig till företaget – vilket gör att man riskerar att missa nya kompetenser.
  • Felmärkta data: om (så som ofta visats vara fallet) kvinnors kompetens nedvärderas i teknikbranschen medan mäns kompetens uppvärderas, så kommer det att finnas en felmärkning i datamaterialet. Kvinnor kommer felaktigt att av människor i genomsnitt bedömas som mindre kompetenta (och därmed inte märkas som anställningsbara) och män felaktigt att av människor i genomsnitt bedömas som mer kompetenta (och därmed märkas som anställningsbara). AI:n lära sig då att själv upprepa de felvärderingarna.

Att låta sökande bedömas av ett AI-verktyg är i teorin en jättebra idé. Datorn kan vara opartisk, rättvis och ge alla samma chans. Men om de data som används för att bygga upp verktyget inte är opartiska, rättvisa och ger alla samma chans blir effekten den motsatta. AI:n löser i så fall inte problemet med diskriminering – tvärtom cementerar den diskrimineringen.

Diskriminerande AI-system är på intet sätt något som är unikt för rekryteringsverktyg – ett annat exempel från i år är ansiktsigenkänningssystem som fungerar mycket bättre för vita män än för personer med annat kön eller annan hudfärg. Värt att understryka är att Amazon på eget bevåg lade ned projektet med AI-verktyg för rekrytering. Men hur många företag har gått och kommer gå vidare med AI-projekt utan att förstå vikten av att inte bygga in diskriminering i dem? Vad kommer de och vi att gå miste om när systemen fattar beslut på felaktiga grunder? Och hur kommer reaktionerna att bli när problemen med deras system avslöjas?

  • Jag erbjuder rådgivning kring datainsamling och hjälp med att bygga statistiska modeller och AI-system som undviker fallgroparna. Kontakta mig för att få veta mer.
  • Jag ger också föredrag om hur vi ska göra för att undvika att lura oss själva och andra med siffror och statistik, samt om hur AI påverkar oss idag och i framtiden.

Att bekämpa översvämningar med (eller utan) AI

Att skriva om översvämningar känns en smula märkligt efter en rekordvarm sommar med torka och skogsbränder (även om Uppsala centralstation översvämmades av störtregn i slutet av juli). Men vad annat kan jag göra när Wired skriver en spännande artikel om hur AI kan användas för att förebygga just översvämningar? Och eftersom vi kan förvänta oss mer extremt väder i takt med att planeten blir allt varmare så kan vi inte börja tänka på den här sortens frågor snart nog.

Sommaren har varit varm och torr.

I Wired-artikeln beskrivs hur man med hjälp av AI skapat en karta som kan användas för att övervaka risken för översvämningar. I texten kan man plocka upp tre punkter som är återkommande för i stort sett alla AI-projekt:

  • AI-system behöver stora mängder data för att byggas upp – och som så ofta är fallet så var det i det här projektet väldigt arbetsintensivt att samla ihop och strukturera de data som användes.
  • Men, efter en stor arbetsinsats i inledningen av projektet kan AI sedan användas för att automatisera processen. När man senare vill uppdatera sina kartor går det i ett nafs.
  • Att likt artikelns rubrik påstå att ”AI förebygger naturkatastrofer” är att överdriva. AI löser oftast inte hela problem åt oss, utan är ett verktyg som används som ett steg i problemlösningen. I det här fallet hjälper de AI-skapade kartorna oss att övervaka vattenflöden och risker. I slutändan är det ändå människor som väljer att göra eller inte göra något utifrån den informationen.

Neurala nätverk och andra populära AI-verktyg är fantastiska när vi vill automatisera olika rutinartade uppgifter, men kan få problem när de ställs inför helt nya situationer. Eller när man ber dem att komma med prognoser för vad värsta möjliga utfall är. Ett exempel är frågan om hur högt vattenståndet som högst kommer vara i Fyrisån de kommande hundra åren. Svaret på den frågan är enormt viktigt när man planerar bebyggelse kring ån – vi kan inte nöja oss med att undvika översvämningar ett genomsnittligt år utan måste förstås bygga med marginal så att vi även slipper dem de år då vattnet står som högst. Här räcker dagens AI-lösningar inte till, men det finns utmärkta matematiska modeller som går att använda för att få en bra uppfattning om hur illa det kan gå. Sådana så kallade extremvärdesmodeller kommer jag att återkomma till i ett framtida blogginlägg (och de kan förresten också användas för att förutspå hur varmt 2000-talets varmaste julimånad kommer vara, eller hur lite regn som kommer falla under århundradets värsta torka).

e-hälsa ger bättre vård – med eller utan AI

e-hälsa och digitalisering av vården är 2010-talets melodi och nu börjar vi på allvar se fördelarna med det inom medicinsk diagnostik. Ta patienter som hamnar på sjukhus som ett exempel. Genom åren har flera statistiska modeller för att förutspå mortalitet, oplanerade återbesök och långvarig inläggning på sjukhus tagits fram. Genom att använda information om exempelvis blodtryck, puls, andning och vita blodkroppar kan modellerna med hyfsad noggrannhet avgöra risken att en patient avlider, tvingas komma tillbaka till sjukhuset eller blir kvar i mer än en vecka.

I en intressant artikel från maj i år visar forskare från bland annat Google och Stanford att ett AI-system som kan läsa digitala journaler gör ett betydligt bättre jobb när det gäller att förutspå sådana risker. Artikeln har uppmärksammats stort i media, bland annat av Daily Mail och Bloomberg. Studien ser ut som en triumf för e-hälsa och forskarna ägnar mycket utrymme åt att beskriva fördelarna med djupinlärning, som är den form av AI de använt.

Det är lätt att hålla med om att det här är ett stort kliv framåt för e-hälsa – det visar att datorsystem som tolkar hela journaler istället för några få mätvärden har stor potential. Däremot är det knappast något stort kliv framåt för AI. Den som läser artikeln lite närmare hittar nämligen en jämförelse mellan forskarnas djupinlärningssystem och ett betydligt enklare system som matats med samma journaldata. Det senare använder logistisk regression – en stapelvara inom traditionell statistisk analys, som lärs ut på grundkurser och har funnits sedan 1950-talet. Jämförelsen, som ligger gömd längst ner i artikelns appendix, visar att skillnaden mellan djupinlärning och logistisk regression är minimal (och ser ut att vara inom felmarginalen).

Att lära upp djupinlärningssystem är tidskrävande och kräver mängder av beräkningskraft. Logistisk regression är betydligt enklare att använda, kräver mindre datorkraft och har dessutom fördelen att modellen går att tolka: djupinlärningssystem är så kallade svarta lådor där vi inte vet varför de gör en viss bedömning, medan vi med logistisk regression kan förstå precis varför systemet gör bedömningen. Om båda systemen fungerar lika bra så ska man välja logistisk regression alla dagar i veckan. En produkt som inget vet hur den fungerar är förstås inte lika bra som en produkt som vi kan förstå.

I den här och liknande artiklar kan man just nu skönja två tendenser:

  • e-hälsa kommer fortsätta leda till förbättrad vård och smart användning av digitala journaler kommer leda till bättre diagnoser.
  • Alla vill hoppa på AI-tåget och det är lätt att bli förblindad av alla glänsande nya AI-verktyg. Det verkliga bidraget i den här artikeln är sättet att få ut information från digitala journaler – inte användet av djupinlärning. Trots det talar både forskarna och media mest om AI-aspekten.

Den dataanalys som använder de häftigaste senaste teknikerna är inte alltid den som är bäst. Det är något som är väl värt att ha i åtanke när ni anlitar konsulter för dataanalys. Ibland är AI och djupinlärning precis rätt verktyg för era problem, men ibland är andra alternativ mycket bättre. Precis som man ska vara försiktig med att anlita en snickare som tror sig kunna lösa alla byggprojekt med bara en hammare så ska man tänka sig för innan man anlitar en konsult som vill lösa alla problem med AI.

Vad innebär automatiseringen för det livslånga lärandet? Fler behöver läsa statistik

Det pratas allt mer om automatisering och vad det kommer att innebära för framtidens arbetsmarknad. OECD bedömer att ungefär 8 % av de svenska jobben kan försvinna som en följd av automatisering – och att den siffran är betydligt högre i en del andra länder. Andelen jobb som på olika sätt kommer påverkas och förändras av automatisering är däremot betydligt högre. Det innebär också att vi i framtiden måste vara beredda på att kontinuerligt vidareutbilda oss, när automatiseringen gör att arbetsuppgifterna ständigt förändras.

Större företag kommer att erbjuda intern vidareutbildning för sina anställda (Disney är ett aktuellt exempel på det), medan mindre företag får förlita sig på externa lösningar – antingen erbjuder man lön under utbildningar för att behålla personalen eller så använder man frilansare, för vilka egenbekostade utbildningar blir en del av den nya gigekonomin.

Här kommer förstås också staten få en stor roll att spela, och stora nya krav kommer ställas på vuxenutbildningen. I februari gav regeringen därför Vinnova i uppdrag att ta fram korta kurser på avancerad högskolenivå, särskilt utformade för vidareutbildning av yrkesverksamma specialister och nyligen gavs sju universitet i uppdrag att satsa på AI-fortbildning.

Ett område som väldigt många kommer behöva vidareutbilda sig inom är databearbetning och statistik, inklusive artificiell intelligens. Dels för att kunna använda och jobba med de nya automatiserade verktyg som kommer, och dels för nya arbetsuppgifter knutna till desamma. Ett exempel på en arbetsuppgift som kommer bli allt vanligare är datastädning: system för artificiell intelligens och maskininlärning fungerar bara bra om de matas med bra data – så någon måste se till att data håller hög kvalitet och inte innehåller felaktigheter. Räkna med att personal inom exempelvis sjukvården kommer behöva lära sig mer om datastädning under det kommande årtiondet.

En region som redan kommit långt inom databearbetning och statistik är Edinburgh i Skottland, som nu satsar på att bli ”Europas datahuvudstad”. Jag jobbar sedan i vintras med att utveckla University of Edinburgh nya kurser i sannolikhetslära och statistik, nyckelkurser inom deras nystartade masterprogram i data science (statistik, programmering, datahantering och dataanalys) där all undervisning sker över nätet.

Cockburn street i Edinburgh - en av de första gatorna man stöter på som turist, samt skådeplats för delar av Avengers: Inifinity War

Det finns fler anledningar till att man väljer att förlägga undervisningen för de här programmen online – anledningar som rimmar väl med framtidens behov av kontinuerlig vidareutbildning:

  • Det gör det möjligt att på ett effektivt sätt erbjuda undervisning till stora grupper studenter,
  • Det gör det möjligt för studenter som av olika anledningar inte har möjlighet att flytta till en universitetsstad att vidareutbilda sig (dit kan exempelvis personer som har ett jobb, familj eller rörelsehinder höra),
  • Det demokratiserar utbildningen genom att ge studenter från alla delar av världen möjlighet att studera vid ett prestigefyllt brittisk universitet.

Värt att poängtera är att onlineundervisning är ett komplement till och inte en ersättning för den traditionella salsundervisningen vid lärosätet, som fortfarande kan förväntas vara det första steget för de allra flesta. Distansundervisning är för övrigt inget nytt i sig – men ambitionsnivån och skalan på de program som nu kommer skiljer sig åt från det vi tidigare har sett. Det ställs därför också högre krav, bland annat när det gäller:

  • Förbättrade möjligheter till interaktion mellan studenterna,
  • Examination som i större utsträckning är (just det!) automatiserad, utan att den för den sakens skull bara utgörs av flervalsfrågor,
  • Användande av AI för att utvärdera och stimulera studenternas lärande.

En stor del mitt projekt med University of Edinburgh har hittills handlat om att hitta bra lösningar på framförallt de två förstnämnda utmaningarna. Vår första kurs startar i lite mindre skala september, och kommer sedan följas av en storskalig kurs med start i januari. I samband med det kommer jag att återkomma till hur vi jobbar med AI, studentinteraktion och automatiserad examination.

Om Googles etiska riktlinjer för AI

De senaste veckornas nyhetsrapportering om Google har handlat om hur ett stort antal av företagets anställda mer eller mindre gjort uppror mot ett samarbete med amerikanska försvarsdepartementet Pentagon. I det så kallade Project Maven har Google hjälpt Pentagon att utveckla ett AI-system för att lära militära drönare att känna igen olika objekt.

Varför denna upprördhet? Drönare som utan mänsklig inblandning kan utföra attacker mot utvalda mål är ett mardrömscenario av flera anledningar. Dels kan de orsaka skada på en enorm skala, dels vet vi att algoritmer felar och att fel personer kan angripas. Och än värre – när det inte finns en människa bakom avtryckaren, när beslutet om att döda någon flyttas längre bort från oss, så blir det lättare att ta till vapen.

En del AI-forskare är så oroade av den här möjliga utvecklingen att de producerat en kort film som visar vad utvecklingen av autonoma drönare skulle kunna få för konsekvenser. Det är skrämmande, och kan bli verklighet i en nära framtid:

Med anledning av det interna missnöjet och den dåliga publicitet det lett till gick Googles VD Sundar Pichai igår ut med ett meddelande om företagets nya AI-policy. Där framgår bland annat att man inte längre kommer vara inblandat i projekt som rör vapenteknologi. Gott så.

Intressant är annars att Google i texten uppger att de inte kommer att medverka till att utveckla ”technologies that gather or use information for surveillance violating internationally accepted norms”. Men vem bestämmer vad som är en internationellt gångbar norm? Nyss hemkommen från en affärsresa till Edinburgh kan jag konstatera att det finns en enorm skillnad mellan vad som betraktas som acceptabel övervakning i Sverige och i Storbritannien, där CCTV-kameror syns mer eller mindre överallt. För att inte tala om skillnaden mot Kina, där AI redan används i avancerad massövervakning. Vilken av dessa övervakningsnivåer är det Google syftar på?

Googles nya AI-policy är ett bra första steg, men luddiga formuleringar om massövervakning gör att de inte når hela vägen fram. Och i slutändan betyder de ingenting alls, så länge inte andra AI-jättar (som Microsoft, IBM, Facebook och Amazon) och internationella samfund kommer med liknande utfästelser.