AI & säkerhet

AI mot AI och it-säkerhet

AI och ML är två populära förkortningar inom modern it-säkerhet, som står för artificiell intelligens respektive maskininlärning. Det pratas (med all rätt) mycket om hur dessa tekniker kan användas för att förbättra it-säkerhet, exempelvis genom automatisk upptäcka och stoppa cyberattacker. Det kanske mest kända exemplet på det är spam- och phishingfilter, som idag med god noggrannhet kan blockera skräppost och bedrägeriförsök.

Men AI kan också användas av de som utför attackerna.

På senare år har URL:er (webbadresser) som används i phishingattacker allt mer börjat genereras automatiskt. Säkerhetsföretagen har i sin tur utvecklat filter som med hjälp av AI och ML ska känna igen sådana URL:er – även när de inte använts i tidigare phishingförsök. Problemet är att sådana system går att lura.

Ett högaktuellt forskningsområde inom artificiell intelligens är så kallade adversarial examples eller, fritt översatt, fientliga exempel. Det handlar om att göra små modifiering av något som ska bedömas av ett AI-system (exempelvis en URL eller en bild) för att lura systemet. Det har gjorts enorma framsteg inom AI-drivna bildigenkänningsystem de senaste åren, och moderna system kan utan större problem känna igen olika föremål (fjärilar, bilar, osv), olika personers ansikten, oroväckande hudförändringar, med mera. Fientliga exempel har hittills oftast konstruerats för att lura just sådana bildigenkänningssystem. De skapas med hjälp av AI: man konstruerar ett nytt AI-system som får lära sig att lura bildigenkänningssystemet. Och det visar sig att genom att ändra några få pixlar i bilden, på ett sätt som knappt märks för människor, så kan man få AI-systemen att helt missbedöma vad de ”ser” i bilden. Med små små ändringar kan vi få datorn att tro att en bild på en fjäril i själva verket föreställer en lastbil.

Ovan: en fjäril. Nedan: en lastbil…?!

Det här kan förstås få oroväckande konsekvenser. Vad händer exempelvis om man lyckas lura kamerorna i en självkörande bil? Kan man lura ansiktsigenkänningsystem som används för identifiering istället för passerkort? Och kan de som ligger bakom phishingattacker använda samma teknik för att skapa URL:er som tar sig förbi säkerhetsföretagens filter?

Svaret på den sista frågan är definitivt ja. I en studie från juni i år visade några forskare vid säkerhetsföretaget Cyxtera att de med hjälp av AI kunde öka andelen phishing-URL:er som passerar nätfiskefilter från 0.69 % till 21 % i ett fall, och från 5 % till 36 % i ett annat fall. Det är dramatiska skillnader, som alltså nås genom att ett AI-system lärs upp i konsten att lura phishingfilter.

Från bildigenkänningsvärlden vet vi att system som tränas i att lura ett visst igenkänningssystem för det allra mesta också lyckas lura andra liknande igenkänningssystem. Rimligen innebär det att detsamma gäller för URL:er, vilket skulle kunna möjliggöra en ny framgångsrik våg av nätfiske – men bara om vi inte är vaksamma. Det går nämligen att förbättra dagens AI-drivna phishingfilter genom att lära dem att känna igen fientliga exempel. Det gör man genom att (som i Cyxteras studie) själv konstruera fientliga exempel riktade mot sitt system, som man sedan visar för systemet för att lära det att identifiera sådana bluffar. Projektet CleverHans försöker underlätta den strategin genom att erbjuda öppen källkod som kan användas för att förbättra systems skydd mot fientliga exempel.

Framtidens it-säkerhet ser ut att bli en kamp mellan AI och AI. Det gäller därför att hela tiden tänka på hur AI- och ML-system kan luras och utnyttjas. Den som inte ligger steget före kommer få ångra det.

Talare vid IDG:s Next Generation Threats

I höst kommer jag att hålla föredrag på IDG:s it-säkerhetskonferens Next Generation Threats, dels i Stockholm den 13 september och dels i Göteborg den 25 september. Temat kommer vara nästa generations AI-drivna phishingattacker, något som jag tidigare skrivit kort om här på bloggen. Sammanfattningen av föredraget lyder som följer:

Nästa generations AI-drivna phishingattacker

Inom de närmaste åren kommer AI att bli ett av de viktigaste verktygen för nätfiskeattacker och telefonbedrägerier. AI kommer att användas för att skapa texter och verklighetstrogna röster, för att med hög noggrannhet anpassa attackerna till utvalda företag eller enskilda individer och för att identifiera de offer som är mest mottagliga för en attack. Det här möjliggör nätfiske och bedrägerier på en helt ny skala.

Måns Thulin ger svar på de viktigaste frågorna inom ämnet: Hur kommer det att gå till? Vad blir konsekvenserna? Och vad kan vi göra för att förhindra eller försvåra elaksinnat användande av AI?

Passa på att boka din plats på Next Generation Threats innan den 14 juni, så sparar du 2000 kr jämfört med ordinarie pris!

Om Googles etiska riktlinjer för AI

De senaste veckornas nyhetsrapportering om Google har handlat om hur ett stort antal av företagets anställda mer eller mindre gjort uppror mot ett samarbete med amerikanska försvarsdepartementet Pentagon. I det så kallade Project Maven har Google hjälpt Pentagon att utveckla ett AI-system för att lära militära drönare att känna igen olika objekt.

Varför denna upprördhet? Drönare som utan mänsklig inblandning kan utföra attacker mot utvalda mål är ett mardrömscenario av flera anledningar. Dels kan de orsaka skada på en enorm skala, dels vet vi att algoritmer felar och att fel personer kan angripas. Och än värre – när det inte finns en människa bakom avtryckaren, när beslutet om att döda någon flyttas längre bort från oss, så blir det lättare att ta till vapen.

En del AI-forskare är så oroade av den här möjliga utvecklingen att de producerat en kort film som visar vad utvecklingen av autonoma drönare skulle kunna få för konsekvenser. Det är skrämmande, och kan bli verklighet i en nära framtid:

Med anledning av det interna missnöjet och den dåliga publicitet det lett till gick Googles VD Sundar Pichai igår ut med ett meddelande om företagets nya AI-policy. Där framgår bland annat att man inte längre kommer vara inblandat i projekt som rör vapenteknologi. Gott så.

Intressant är annars att Google i texten uppger att de inte kommer att medverka till att utveckla ”technologies that gather or use information for surveillance violating internationally accepted norms”. Men vem bestämmer vad som är en internationellt gångbar norm? Nyss hemkommen från en affärsresa till Edinburgh kan jag konstatera att det finns en enorm skillnad mellan vad som betraktas som acceptabel övervakning i Sverige och i Storbritannien, där CCTV-kameror syns mer eller mindre överallt. För att inte tala om skillnaden mot Kina, där AI redan används i avancerad massövervakning. Vilken av dessa övervakningsnivåer är det Google syftar på?

Googles nya AI-policy är ett bra första steg, men luddiga formuleringar om massövervakning gör att de inte når hela vägen fram. Och i slutändan betyder de ingenting alls, så länge inte andra AI-jättar (som Microsoft, IBM, Facebook och Amazon) och internationella samfund kommer med liknande utfästelser.

Från medicin till massövervakning

Förra veckan publicerade forskare vid MIT och Microsoft en artikel i databasen arXiv där de beskriver ett AI-system som kan avgöra vilken puls och andningsrytm en person har, utifrån videobilder av personens ansikte. De möjliga medicinska tillämpningarna är intressanta: icke-invasiva mätmetoder som inte kräver elektroder förenklar för både patienter och vårdpersonal, och systemet verkar perfekt lämpat för användning av den yrkesgrupp som utgör de senaste årens stora vårdnyhet: nätläkarna.

En intressant aspekt, dels på det här systemet och dels på många av de andra nya AI-tekniker som kommer, är att AI-system oftast kan användas för mer än ett syfte. Det sker just nu en snabb utveckling inom AI-styrda övervakningssystem, inte minst hos nätbokjätten Amazon, som ligger bakom ansiktsigenkänningssystemet Rekognition. Systemet kan spåra en persons rörelse med hjälp av övervakningskameror och används redan av amerikanska myndigheter.

Frestelsen att kombinera övervakningssystemen med system som mäter stressignaler som höjd puls kommer vara omöjlig att motstå för dem som sköter övervakningen – med förhoppningen om att sådana signaler kan användas för att identifiera brottslingar och terrorister innan de hinner begå några brott. Beroende på vem man frågar är det här antingen en enorm möjlighet att förbättra allmänhetens säkerhet eller ett oförsvarbart intrång i våra privatliv, som dessutom riskerar att kraftigt öka antalet gånger som oskyldiga tas in för extra säkerhetskontroller.

De flesta AI-tekniker är tveeggade svärd, och företag och forskare som utvecklar dem har ett ansvar att fundera över teknikens etiska aspekter. Kan vår AI användas för andra ändamål än de som vi själva tänkt oss? Kan den användas för att skada eller vilseleda andra? Väger fördelarna som tekniken kan ge upp riskerna? I samtal om den nya tekniken måste vi alltid ha med de här frågorna – och fler.

Snart kommer AI användas för phishing och spam

Tidigare i maj presenterade Google sitt nya system Duplex, en AI-assistent som kan ringa telefonsamtal och med en perfekt men datorgenererad människoröst boka frisörtider och bord på restauranger. Många har diskuterat det etiska problemet som människoimiterande artificiella intelligenser medför. Somliga menar att det i det närmaste rör sig om bedrägeri om AI:n inte presenterar sig just som en AI – Duplex är ju skapat för att vara omöjligt att skilja åt från en mänsklig röst. Det hela blir inte bättre av att det idag dessutom går att lära AI att härma enskilda personers röster – en en minut lång ljudinspelning räcker.

Där vissa ser ett etiskt problem ser andra en möjlighet. Nästa generations bedrägerier, i form av phishingattacker och spam, kommer använda sig av artificiell intelligens. Redan idag förekommer bedrägerier över telefon. Ett exempel är samtal där man ringer upp äldre personer, uppger sig för att vara deras barnbarn och ber om ett lån. Ett annat är personer som ringer och påstår sig jobba för Microsoft – de hävdar att mottagarens dator smittats av ett virus och kan sedan antingen kapa datorn eller ta betalt för att ”ta bort viruset”.

Med Duplex-lika tekniker är det möjligt att genomföra den här sortens bedrägerisamtal på en helt annan skala. Idag begränsas de av tiden som krävs – en människa kan inte ringa tusen olika personer på en minut. Men en dator kan det, och snart kommer de också att göra det. Samma teknik kommer också användas för spamsamtal till telefoner. Genom att automatiskt söka information om bedrägerioffret på nätet kan attackerna riktas för att bli ännu effektivare.

Låter det otäckt? Det slutar inte där. Det senaste året har en snabb utveckling inom hur AI kan användas för fejkad video skett. Det går med hjälp av AI snart att skapa videoklipp där det ser ut som att vem som helst gör och säger vad som helst. Möjligheterna för bedrägerier, utpressning och fejkade nyheter är oändliga. Och behovet av tekniker för att avgöra om en video eller en röst är äkta eller inte är skriande.

Jag har fått inbjudningar om att hålla föredrag på det här temat under hösten – mer information om dem dyker upp efter sommaren.