AI mot AI och it-säkerhet

AI och ML är två populära förkortningar inom modern it-säkerhet, som står för artificiell intelligens respektive maskininlärning. Det pratas (med all rätt) mycket om hur dessa tekniker kan användas för att förbättra it-säkerhet, exempelvis genom automatisk upptäcka och stoppa cyberattacker. Det kanske mest kända exemplet på det är spam- och phishingfilter, som idag med god noggrannhet kan blockera skräppost och bedrägeriförsök.

Men AI kan också användas av de som utför attackerna.

På senare år har URL:er (webbadresser) som används i phishingattacker allt mer börjat genereras automatiskt. Säkerhetsföretagen har i sin tur utvecklat filter som med hjälp av AI och ML ska känna igen sådana URL:er – även när de inte använts i tidigare phishingförsök. Problemet är att sådana system går att lura.

Ett högaktuellt forskningsområde inom artificiell intelligens är så kallade adversarial examples eller, fritt översatt, fientliga exempel. Det handlar om att göra små modifiering av något som ska bedömas av ett AI-system (exempelvis en URL eller en bild) för att lura systemet. Det har gjorts enorma framsteg inom AI-drivna bildigenkänningsystem de senaste åren, och moderna system kan utan större problem känna igen olika föremål (fjärilar, bilar, osv), olika personers ansikten, oroväckande hudförändringar, med mera. Fientliga exempel har hittills oftast konstruerats för att lura just sådana bildigenkänningssystem. De skapas med hjälp av AI: man konstruerar ett nytt AI-system som får lära sig att lura bildigenkänningssystemet. Och det visar sig att genom att ändra några få pixlar i bilden, på ett sätt som knappt märks för människor, så kan man få AI-systemen att helt missbedöma vad de ”ser” i bilden. Med små små ändringar kan vi få datorn att tro att en bild på en fjäril i själva verket föreställer en lastbil.

Ovan: en fjäril. Nedan: en lastbil…?!

Det här kan förstås få oroväckande konsekvenser. Vad händer exempelvis om man lyckas lura kamerorna i en självkörande bil? Kan man lura ansiktsigenkänningsystem som används för identifiering istället för passerkort? Och kan de som ligger bakom phishingattacker använda samma teknik för att skapa URL:er som tar sig förbi säkerhetsföretagens filter?

Svaret på den sista frågan är definitivt ja. I en studie från juni i år visade några forskare vid säkerhetsföretaget Cyxtera att de med hjälp av AI kunde öka andelen phishing-URL:er som passerar nätfiskefilter från 0.69 % till 21 % i ett fall, och från 5 % till 36 % i ett annat fall. Det är dramatiska skillnader, som alltså nås genom att ett AI-system lärs upp i konsten att lura phishingfilter.

Från bildigenkänningsvärlden vet vi att system som tränas i att lura ett visst igenkänningssystem för det allra mesta också lyckas lura andra liknande igenkänningssystem. Rimligen innebär det att detsamma gäller för URL:er, vilket skulle kunna möjliggöra en ny framgångsrik våg av nätfiske – men bara om vi inte är vaksamma. Det går nämligen att förbättra dagens AI-drivna phishingfilter genom att lära dem att känna igen fientliga exempel. Det gör man genom att (som i Cyxteras studie) själv konstruera fientliga exempel riktade mot sitt system, som man sedan visar för systemet för att lära det att identifiera sådana bluffar. Projektet CleverHans försöker underlätta den strategin genom att erbjuda öppen källkod som kan användas för att förbättra systems skydd mot fientliga exempel.

Framtidens it-säkerhet ser ut att bli en kamp mellan AI och AI. Det gäller därför att hela tiden tänka på hur AI- och ML-system kan luras och utnyttjas. Den som inte ligger steget före kommer få ångra det.

Vad innebär automatiseringen för det livslånga lärandet? Fler behöver läsa statistik

Det pratas allt mer om automatisering och vad det kommer att innebära för framtidens arbetsmarknad. OECD bedömer att ungefär 8 % av de svenska jobben kan försvinna som en följd av automatisering – och att den siffran är betydligt högre i en del andra länder. Andelen jobb som på olika sätt kommer påverkas och förändras av automatisering är däremot betydligt högre. Det innebär också att vi i framtiden måste vara beredda på att kontinuerligt vidareutbilda oss, när automatiseringen gör att arbetsuppgifterna ständigt förändras.

Större företag kommer att erbjuda intern vidareutbildning för sina anställda (Disney är ett aktuellt exempel på det), medan mindre företag får förlita sig på externa lösningar – antingen erbjuder man lön under utbildningar för att behålla personalen eller så använder man frilansare, för vilka egenbekostade utbildningar blir en del av den nya gigekonomin.

Här kommer förstås också staten få en stor roll att spela, och stora nya krav kommer ställas på vuxenutbildningen. I februari gav regeringen därför Vinnova i uppdrag att ta fram korta kurser på avancerad högskolenivå, särskilt utformade för vidareutbildning av yrkesverksamma specialister och nyligen gavs sju universitet i uppdrag att satsa på AI-fortbildning.

Ett område som väldigt många kommer behöva vidareutbilda sig inom är databearbetning och statistik, inklusive artificiell intelligens. Dels för att kunna använda och jobba med de nya automatiserade verktyg som kommer, och dels för nya arbetsuppgifter knutna till desamma. Ett exempel på en arbetsuppgift som kommer bli allt vanligare är datastädning: system för artificiell intelligens och maskininlärning fungerar bara bra om de matas med bra data – så någon måste se till att data håller hög kvalitet och inte innehåller felaktigheter. Räkna med att personal inom exempelvis sjukvården kommer behöva lära sig mer om datastädning under det kommande årtiondet.

En region som redan kommit långt inom databearbetning och statistik är Edinburgh i Skottland, som nu satsar på att bli ”Europas datahuvudstad”. Jag jobbar sedan i vintras med att utveckla University of Edinburgh nya kurser i sannolikhetslära och statistik, nyckelkurser inom deras nystartade masterprogram i data science (statistik, programmering, datahantering och dataanalys) där all undervisning sker över nätet.

Cockburn street i Edinburgh - en av de första gatorna man stöter på som turist, samt skådeplats för delar av Avengers: Inifinity War

Det finns fler anledningar till att man väljer att förlägga undervisningen för de här programmen online – anledningar som rimmar väl med framtidens behov av kontinuerlig vidareutbildning:

  • Det gör det möjligt att på ett effektivt sätt erbjuda undervisning till stora grupper studenter,
  • Det gör det möjligt för studenter som av olika anledningar inte har möjlighet att flytta till en universitetsstad att vidareutbilda sig (dit kan exempelvis personer som har ett jobb, familj eller rörelsehinder höra),
  • Det demokratiserar utbildningen genom att ge studenter från alla delar av världen möjlighet att studera vid ett prestigefyllt brittisk universitet.

Värt att poängtera är att onlineundervisning är ett komplement till och inte en ersättning för den traditionella salsundervisningen vid lärosätet, som fortfarande kan förväntas vara det första steget för de allra flesta. Distansundervisning är för övrigt inget nytt i sig – men ambitionsnivån och skalan på de program som nu kommer skiljer sig åt från det vi tidigare har sett. Det ställs därför också högre krav, bland annat när det gäller:

  • Förbättrade möjligheter till interaktion mellan studenterna,
  • Examination som i större utsträckning är (just det!) automatiserad, utan att den för den sakens skull bara utgörs av flervalsfrågor,
  • Användande av AI för att utvärdera och stimulera studenternas lärande.

En stor del mitt projekt med University of Edinburgh har hittills handlat om att hitta bra lösningar på framförallt de två förstnämnda utmaningarna. Vår första kurs startar i lite mindre skala september, och kommer sedan följas av en storskalig kurs med start i januari. I samband med det kommer jag att återkomma till hur vi jobbar med AI, studentinteraktion och automatiserad examination.

Talare vid IDG:s Next Generation Threats

I höst kommer jag att hålla föredrag på IDG:s it-säkerhetskonferens Next Generation Threats, dels i Stockholm den 13 september och dels i Göteborg den 25 september. Temat kommer vara nästa generations AI-drivna phishingattacker, något som jag tidigare skrivit kort om här på bloggen. Sammanfattningen av föredraget lyder som följer:

Nästa generations AI-drivna phishingattacker

Inom de närmaste åren kommer AI att bli ett av de viktigaste verktygen för nätfiskeattacker och telefonbedrägerier. AI kommer att användas för att skapa texter och verklighetstrogna röster, för att med hög noggrannhet anpassa attackerna till utvalda företag eller enskilda individer och för att identifiera de offer som är mest mottagliga för en attack. Det här möjliggör nätfiske och bedrägerier på en helt ny skala.

Måns Thulin ger svar på de viktigaste frågorna inom ämnet: Hur kommer det att gå till? Vad blir konsekvenserna? Och vad kan vi göra för att förhindra eller försvåra elaksinnat användande av AI?

Passa på att boka din plats på Next Generation Threats innan den 14 juni, så sparar du 2000 kr jämfört med ordinarie pris!

Om Googles etiska riktlinjer för AI

De senaste veckornas nyhetsrapportering om Google har handlat om hur ett stort antal av företagets anställda mer eller mindre gjort uppror mot ett samarbete med amerikanska försvarsdepartementet Pentagon. I det så kallade Project Maven har Google hjälpt Pentagon att utveckla ett AI-system för att lära militära drönare att känna igen olika objekt.

Varför denna upprördhet? Drönare som utan mänsklig inblandning kan utföra attacker mot utvalda mål är ett mardrömscenario av flera anledningar. Dels kan de orsaka skada på en enorm skala, dels vet vi att algoritmer felar och att fel personer kan angripas. Och än värre – när det inte finns en människa bakom avtryckaren, när beslutet om att döda någon flyttas längre bort från oss, så blir det lättare att ta till vapen.

En del AI-forskare är så oroade av den här möjliga utvecklingen att de producerat en kort film som visar vad utvecklingen av autonoma drönare skulle kunna få för konsekvenser. Det är skrämmande, och kan bli verklighet i en nära framtid:

Med anledning av det interna missnöjet och den dåliga publicitet det lett till gick Googles VD Sundar Pichai igår ut med ett meddelande om företagets nya AI-policy. Där framgår bland annat att man inte längre kommer vara inblandat i projekt som rör vapenteknologi. Gott så.

Intressant är annars att Google i texten uppger att de inte kommer att medverka till att utveckla ”technologies that gather or use information for surveillance violating internationally accepted norms”. Men vem bestämmer vad som är en internationellt gångbar norm? Nyss hemkommen från en affärsresa till Edinburgh kan jag konstatera att det finns en enorm skillnad mellan vad som betraktas som acceptabel övervakning i Sverige och i Storbritannien, där CCTV-kameror syns mer eller mindre överallt. För att inte tala om skillnaden mot Kina, där AI redan används i avancerad massövervakning. Vilken av dessa övervakningsnivåer är det Google syftar på?

Googles nya AI-policy är ett bra första steg, men luddiga formuleringar om massövervakning gör att de inte når hela vägen fram. Och i slutändan betyder de ingenting alls, så länge inte andra AI-jättar (som Microsoft, IBM, Facebook och Amazon) och internationella samfund kommer med liknande utfästelser.

AI upptäcker hudcancer

Jag har de senaste dagarna skrivit om svårigheter med att utveckla AI för medicinsk användning samt om problem som kan uppstå när medicinska AI-tekniker används för andra syften. Dags så för ett mer positivt exempel – Vetenskapsradion rapporterade igår om en ny artikel i tidskriften Annals of Oncology, där en tysk forskargrupp använt AI för att utifrån bilder på hudförändringar upptäcka hudcancer.

När diagnostiska metoder utvärderas finns det två mått som är särskilt intressanta:

  • Specificitet: hur stor andel av de sjuka patienter som diagnosticeras som sjuka – en metod med hög specificitet missar sällan sjuka patienter.
  • Sensitivitet: hur stor andel av de friska patienterna som inte får sjukdomsdiagnosen – en metod med hög sensitivitet ger sällan felaktigt patienter en diagnos.

Svårigheten med det här är att så metoder som har hög specificitet ofta har låg sensitivitet, och vice versa – ska man verkligen upptäcka alla sjuka patienter måste man ta med många tveksamma fall, och då fångar man automatiskt upp många friska patienter också.

De 58 dermatologer som användes som jämförelsegrupp i den tyska studien nådde en specificitet på 75,7 % och en sensitivitet på 88,9 %. AI:n nådde vid samma sensitivitet en specificitet på 82,5 % och presterade därmed bättre än dermatologerna. Ett fint resultat för AI inom medicin! Metoden som användes – faltningsnätverk, kallade convolutional neural networks på engelska – har under flera år rönt stora framgångar inom andra problem som går ut på att få information från bilder.

I en ganska nära framtid kommer vi att se den här sortens verktyg för privat bruk – exempelvis en app i telefonen som kan bedöma hudförändringar. I sådana sammanhang blir det väldigt intressant med ansvarsfrågor. Vem är egentligen ansvarig om din app inte lyckas upptäcka din hudcancer?