AI upptäcker hudcancer

Jag har de senaste dagarna skrivit om svårigheter med att utveckla AI för medicinsk användning samt om problem som kan uppstå när medicinska AI-tekniker används för andra syften. Dags så för ett mer positivt exempel – Vetenskapsradion rapporterade igår om en ny artikel i tidskriften Annals of Oncology, där en tysk forskargrupp använt AI för att utifrån bilder på hudförändringar upptäcka hudcancer.

När diagnostiska metoder utvärderas finns det två mått som är särskilt intressanta:

  • Specificitet: hur stor andel av de sjuka patienter som diagnosticeras som sjuka – en metod med hög specificitet missar sällan sjuka patienter.
  • Sensitivitet: hur stor andel av de friska patienterna som inte får sjukdomsdiagnosen – en metod med hög sensitivitet ger sällan felaktigt patienter en diagnos.

Svårigheten med det här är att så metoder som har hög specificitet ofta har låg sensitivitet, och vice versa – ska man verkligen upptäcka alla sjuka patienter måste man ta med många tveksamma fall, och då fångar man automatiskt upp många friska patienter också.

De 58 dermatologer som användes som jämförelsegrupp i den tyska studien nådde en specificitet på 75,7 % och en sensitivitet på 88,9 %. AI:n nådde vid samma sensitivitet en specificitet på 82,5 % och presterade därmed bättre än dermatologerna. Ett fint resultat för AI inom medicin! Metoden som användes – faltningsnätverk, kallade convolutional neural networks på engelska – har under flera år rönt stora framgångar inom andra problem som går ut på att få information från bilder.

I en ganska nära framtid kommer vi att se den här sortens verktyg för privat bruk – exempelvis en app i telefonen som kan bedöma hudförändringar. I sådana sammanhang blir det väldigt intressant med ansvarsfrågor. Vem är egentligen ansvarig om din app inte lyckas upptäcka din hudcancer?

AI inom medicin – en återvändsgränd?

Artificiell intelligens (AI) har under de senaste åren framställts som något som fullständigt kommer revolutionera sjukvården. Bland dem som leder hajpen märks Andrew Ng – Stanfordprofessor och ledande tänkare inom AI, med bakgrund på Google och Baidu:

Stämmer det som Ng säger – har radiologer snart gjort sitt inom vården? Nej, knappast. En närmare titt i Ngs artikel visar att deras AI-modell utan alltför stor marginal lyckats identifiera lunginflammation bättre än fyra radiologer i en studie med drygt 400 röntgenplåtar. Det betyder förstås inte att den är bättre än alla radiologer eller ens radiologer i allmänhet – och dessutom har stora problem med studien påpekats: radiologerna och AI:n verkar inte ha bedömt samma bilder (vilket försvårar jämförelsen) och i datamaterialet finns tveksamma gränsdragningar mellan närliggande diagnoser.

I förra veckan kom ett uppföljningsarbete där samma AI-system användes för att bedöma radiologiska bilder från andra delar av kroppen. Resultatet var att AI:n var sämre än alla de tre radiologer som också gjorde bedömningar utifrån bilderna. Så borde radiologer oroa sig för att ersättas av maskiner? Inte än på ett tag (och dessutom har de förstås långt fler arbetsuppgifter än att titta på bilder).

Förutom att de mycket uppmärksammade radiologiresultaten visat sig vara överdrivna kom i veckan också nyheten att IBM Watson Health tvingats avskeda 50-70 % av sin personal. IBMs Watson har länge setts som ledande inom medicinsk AI och precisionsmedicin, men nu visar det sig alltså inte gå så bra som man hoppats.

Det här leder förstås till en fråga – är AI inom medicin överhajpat? På kort sikt är svaret nog ja. På längre sikt är det nog nej. Men AI inom medicin är svårt. Det finns flera anledningar till det:

  • Dagens AI-system kräver stora mängder data för att nå bra resultat. För många sjukdomar finns det helt enkelt inte tillräckligt mycket data. Här finns förstås en stor potential för forskningsframsteg i de nordiska länderna, med våra stora nationella register.
  • Förutom kvantitet krävs också kvalitet – om AI:n matas med dåliga data (exempelvis data innehållandes feldiagnosticerade patienter) blir resultaten genast sämre.
  • Medicin är svårt och det är inte alltid lätt att på ett vettigt sätt dela in patienter i kategorier. Av den anledningen har man i flera AI-projekt valt att förenkla problemet genom att bara jämför fullt friska patienter med de allra svåraste fallen, vilket gör att man helt bortser från de mest svårbedömda (och därmed mest intressanta) fallen.

Framsteg inom medicin för AI kommer kräva nära samarbeten mellan AI-forskningen och vården – och inte minst en stor portion ärlighet. Det finns en enorm potential för användning av AI och maskininlärning inom vården, men vi måste också vara tydliga med de begränsningar som finns och inte överdriva hur långt vi redan har kommit.

  • Jag finns tillgänglig för att ge föredrag om AI inom medicin, där jag presenterar några aktuella exempel på framgångsrika försök (jodå, de finns också!), överdriven hajp, säkerhetsrisker och problem när artificiell intelligens används för diagnostiska syften. Kontakta mig för mer information.
  • Jag har sedan i vintras jobbat med det nederländska företaget Dairy Data Warehouse för att utveckla AI-drivna system inom veterinärmedicin. Mer om det projektet kommer på den här bloggen senare i år.

Verktyg för att analysera bakteriers tillväxt

Jag har under flera års tid hjälpt forskare vid Institutionen för medicinsk biokemi och mikrobiologi på Uppsala universitet att analysera data om bakterietillväxt. Ofta har det rört frågor om hur bakterier med olika gener växer under olika förhållanden, vilket är viktigt för att förstå hur antibiotikaresistens uppstår och fungerar.

De statistiska analyserna är rutinartade – kruxet är istället att det ofta är data från hundratals olika bakteriestammar som ska analyseras. Tidigare gjorde forskarna det ”för hand”, vilket tog några minuter för varje stam och ledde till många timmars monotont arbete framför datorn. Jag utvecklade ett skript som istället låter dem använda ett gränssnitt i sina webbläsare för att visualiserade bakteriernas tillväxt och automatiskt utföra den statistiska analysen, så att alla stammar kan analyseras inom loppet av några sekunder.

Skriptet, som finns beskrivet här, har idag använts av forskare från en rad olika länder. Förra året använde vi det i en artikel där vi kunde visa att E. coli-bakterier som i laboratorietester är resistenta mot antibiotikumet mecillinam i själva verket inte behöver vara antibiotikaresistenta när de lever i människokroppen. Mecillinam ges ofta mot urinvägsinfektioner i Sverige. Resultaten bidrar till att förklara varför den kliniska resistensutvecklingen mot just mecillinam har varit så låg och pekar på att de laboratorietester som idag används för att undersöka antiobiotikaresistens kan behöva utvecklas.