Om Googles etiska riktlinjer för AI

De senaste veckornas nyhetsrapportering om Google har handlat om hur ett stort antal av företagets anställda mer eller mindre gjort uppror mot ett samarbete med amerikanska försvarsdepartementet Pentagon. I det så kallade Project Maven har Google hjälpt Pentagon att utveckla ett AI-system för att lära militära drönare att känna igen olika objekt.

Varför denna upprördhet? Drönare som utan mänsklig inblandning kan utföra attacker mot utvalda mål är ett mardrömscenario av flera anledningar. Dels kan de orsaka skada på en enorm skala, dels vet vi att algoritmer felar och att fel personer kan angripas. Och än värre – när det inte finns en människa bakom avtryckaren, när beslutet om att döda någon flyttas längre bort från oss, så blir det lättare att ta till vapen.

En del AI-forskare är så oroade av den här möjliga utvecklingen att de producerat en kort film som visar vad utvecklingen av autonoma drönare skulle kunna få för konsekvenser. Det är skrämmande, och kan bli verklighet i en nära framtid:

Med anledning av det interna missnöjet och den dåliga publicitet det lett till gick Googles VD Sundar Pichai igår ut med ett meddelande om företagets nya AI-policy. Där framgår bland annat att man inte längre kommer vara inblandat i projekt som rör vapenteknologi. Gott så.

Intressant är annars att Google i texten uppger att de inte kommer att medverka till att utveckla ”technologies that gather or use information for surveillance violating internationally accepted norms”. Men vem bestämmer vad som är en internationellt gångbar norm? Nyss hemkommen från en affärsresa till Edinburgh kan jag konstatera att det finns en enorm skillnad mellan vad som betraktas som acceptabel övervakning i Sverige och i Storbritannien, där CCTV-kameror syns mer eller mindre överallt. För att inte tala om skillnaden mot Kina, där AI redan används i avancerad massövervakning. Vilken av dessa övervakningsnivåer är det Google syftar på?

Googles nya AI-policy är ett bra första steg, men luddiga formuleringar om massövervakning gör att de inte når hela vägen fram. Och i slutändan betyder de ingenting alls, så länge inte andra AI-jättar (som Microsoft, IBM, Facebook och Amazon) och internationella samfund kommer med liknande utfästelser.

AI upptäcker hudcancer

Jag har de senaste dagarna skrivit om svårigheter med att utveckla AI för medicinsk användning samt om problem som kan uppstå när medicinska AI-tekniker används för andra syften. Dags så för ett mer positivt exempel – Vetenskapsradion rapporterade igår om en ny artikel i tidskriften Annals of Oncology, där en tysk forskargrupp använt AI för att utifrån bilder på hudförändringar upptäcka hudcancer.

När diagnostiska metoder utvärderas finns det två mått som är särskilt intressanta:

  • Specificitet: hur stor andel av de sjuka patienter som diagnosticeras som sjuka – en metod med hög specificitet missar sällan sjuka patienter.
  • Sensitivitet: hur stor andel av de friska patienterna som inte får sjukdomsdiagnosen – en metod med hög sensitivitet ger sällan felaktigt patienter en diagnos.

Svårigheten med det här är att så metoder som har hög specificitet ofta har låg sensitivitet, och vice versa – ska man verkligen upptäcka alla sjuka patienter måste man ta med många tveksamma fall, och då fångar man automatiskt upp många friska patienter också.

De 58 dermatologer som användes som jämförelsegrupp i den tyska studien nådde en specificitet på 75,7 % och en sensitivitet på 88,9 %. AI:n nådde vid samma sensitivitet en specificitet på 82,5 % och presterade därmed bättre än dermatologerna. Ett fint resultat för AI inom medicin! Metoden som användes – faltningsnätverk, kallade convolutional neural networks på engelska – har under flera år rönt stora framgångar inom andra problem som går ut på att få information från bilder.

I en ganska nära framtid kommer vi att se den här sortens verktyg för privat bruk – exempelvis en app i telefonen som kan bedöma hudförändringar. I sådana sammanhang blir det väldigt intressant med ansvarsfrågor. Vem är egentligen ansvarig om din app inte lyckas upptäcka din hudcancer?

Från medicin till massövervakning

Förra veckan publicerade forskare vid MIT och Microsoft en artikel i databasen arXiv där de beskriver ett AI-system som kan avgöra vilken puls och andningsrytm en person har, utifrån videobilder av personens ansikte. De möjliga medicinska tillämpningarna är intressanta: icke-invasiva mätmetoder som inte kräver elektroder förenklar för både patienter och vårdpersonal, och systemet verkar perfekt lämpat för användning av den yrkesgrupp som utgör de senaste årens stora vårdnyhet: nätläkarna.

En intressant aspekt, dels på det här systemet och dels på många av de andra nya AI-tekniker som kommer, är att AI-system oftast kan användas för mer än ett syfte. Det sker just nu en snabb utveckling inom AI-styrda övervakningssystem, inte minst hos nätbokjätten Amazon, som ligger bakom ansiktsigenkänningssystemet Rekognition. Systemet kan spåra en persons rörelse med hjälp av övervakningskameror och används redan av amerikanska myndigheter.

Frestelsen att kombinera övervakningssystemen med system som mäter stressignaler som höjd puls kommer vara omöjlig att motstå för dem som sköter övervakningen – med förhoppningen om att sådana signaler kan användas för att identifiera brottslingar och terrorister innan de hinner begå några brott. Beroende på vem man frågar är det här antingen en enorm möjlighet att förbättra allmänhetens säkerhet eller ett oförsvarbart intrång i våra privatliv, som dessutom riskerar att kraftigt öka antalet gånger som oskyldiga tas in för extra säkerhetskontroller.

De flesta AI-tekniker är tveeggade svärd, och företag och forskare som utvecklar dem har ett ansvar att fundera över teknikens etiska aspekter. Kan vår AI användas för andra ändamål än de som vi själva tänkt oss? Kan den användas för att skada eller vilseleda andra? Väger fördelarna som tekniken kan ge upp riskerna? I samtal om den nya tekniken måste vi alltid ha med de här frågorna – och fler.

AI inom medicin – en återvändsgränd?

Artificiell intelligens (AI) har under de senaste åren framställts som något som fullständigt kommer revolutionera sjukvården. Bland dem som leder hajpen märks Andrew Ng – Stanfordprofessor och ledande tänkare inom AI, med bakgrund på Google och Baidu:

Stämmer det som Ng säger – har radiologer snart gjort sitt inom vården? Nej, knappast. En närmare titt i Ngs artikel visar att deras AI-modell utan alltför stor marginal lyckats identifiera lunginflammation bättre än fyra radiologer i en studie med drygt 400 röntgenplåtar. Det betyder förstås inte att den är bättre än alla radiologer eller ens radiologer i allmänhet – och dessutom har stora problem med studien påpekats: radiologerna och AI:n verkar inte ha bedömt samma bilder (vilket försvårar jämförelsen) och i datamaterialet finns tveksamma gränsdragningar mellan närliggande diagnoser.

I förra veckan kom ett uppföljningsarbete där samma AI-system användes för att bedöma radiologiska bilder från andra delar av kroppen. Resultatet var att AI:n var sämre än alla de tre radiologer som också gjorde bedömningar utifrån bilderna. Så borde radiologer oroa sig för att ersättas av maskiner? Inte än på ett tag (och dessutom har de förstås långt fler arbetsuppgifter än att titta på bilder).

Förutom att de mycket uppmärksammade radiologiresultaten visat sig vara överdrivna kom i veckan också nyheten att IBM Watson Health tvingats avskeda 50-70 % av sin personal. IBMs Watson har länge setts som ledande inom medicinsk AI och precisionsmedicin, men nu visar det sig alltså inte gå så bra som man hoppats.

Det här leder förstås till en fråga – är AI inom medicin överhajpat? På kort sikt är svaret nog ja. På längre sikt är det nog nej. Men AI inom medicin är svårt. Det finns flera anledningar till det:

  • Dagens AI-system kräver stora mängder data för att nå bra resultat. För många sjukdomar finns det helt enkelt inte tillräckligt mycket data. Här finns förstås en stor potential för forskningsframsteg i de nordiska länderna, med våra stora nationella register.
  • Förutom kvantitet krävs också kvalitet – om AI:n matas med dåliga data (exempelvis data innehållandes feldiagnosticerade patienter) blir resultaten genast sämre.
  • Medicin är svårt och det är inte alltid lätt att på ett vettigt sätt dela in patienter i kategorier. Av den anledningen har man i flera AI-projekt valt att förenkla problemet genom att bara jämför fullt friska patienter med de allra svåraste fallen, vilket gör att man helt bortser från de mest svårbedömda (och därmed mest intressanta) fallen.

Framsteg inom medicin för AI kommer kräva nära samarbeten mellan AI-forskningen och vården – och inte minst en stor portion ärlighet. Det finns en enorm potential för användning av AI och maskininlärning inom vården, men vi måste också vara tydliga med de begränsningar som finns och inte överdriva hur långt vi redan har kommit.

  • Jag finns tillgänglig för att ge föredrag om AI inom medicin, där jag presenterar några aktuella exempel på framgångsrika försök (jodå, de finns också!), överdriven hajp, säkerhetsrisker och problem när artificiell intelligens används för diagnostiska syften. Kontakta mig för mer information.
  • Jag har sedan i vintras jobbat med det nederländska företaget Dairy Data Warehouse för att utveckla AI-drivna system inom veterinärmedicin. Mer om det projektet kommer på den här bloggen senare i år.

Snart kommer AI användas för phishing och spam

Tidigare i maj presenterade Google sitt nya system Duplex, en AI-assistent som kan ringa telefonsamtal och med en perfekt men datorgenererad människoröst boka frisörtider och bord på restauranger. Många har diskuterat det etiska problemet som människoimiterande artificiella intelligenser medför. Somliga menar att det i det närmaste rör sig om bedrägeri om AI:n inte presenterar sig just som en AI – Duplex är ju skapat för att vara omöjligt att skilja åt från en mänsklig röst. Det hela blir inte bättre av att det idag dessutom går att lära AI att härma enskilda personers röster – en en minut lång ljudinspelning räcker.

Där vissa ser ett etiskt problem ser andra en möjlighet. Nästa generations bedrägerier, i form av phishingattacker och spam, kommer använda sig av artificiell intelligens. Redan idag förekommer bedrägerier över telefon. Ett exempel är samtal där man ringer upp äldre personer, uppger sig för att vara deras barnbarn och ber om ett lån. Ett annat är personer som ringer och påstår sig jobba för Microsoft – de hävdar att mottagarens dator smittats av ett virus och kan sedan antingen kapa datorn eller ta betalt för att ”ta bort viruset”.

Med Duplex-lika tekniker är det möjligt att genomföra den här sortens bedrägerisamtal på en helt annan skala. Idag begränsas de av tiden som krävs – en människa kan inte ringa tusen olika personer på en minut. Men en dator kan det, och snart kommer de också att göra det. Samma teknik kommer också användas för spamsamtal till telefoner. Genom att automatiskt söka information om bedrägerioffret på nätet kan attackerna riktas för att bli ännu effektivare.

Låter det otäckt? Det slutar inte där. Det senaste året har en snabb utveckling inom hur AI kan användas för fejkad video skett. Det går med hjälp av AI snart att skapa videoklipp där det ser ut som att vem som helst gör och säger vad som helst. Möjligheterna för bedrägerier, utpressning och fejkade nyheter är oändliga. Och behovet av tekniker för att avgöra om en video eller en röst är äkta eller inte är skriande.

Jag har fått inbjudningar om att hålla föredrag på det här temat under hösten – mer information om dem dyker upp efter sommaren.