Statistiska modeller

När AI-koden kör fast: statistik handlar mer om ställda frågor än kod

Under det senaste året har en ny kategori av förfrågningar blivit allt vanligare i min inkorg. Det är forskare, analytiker och företagare som skickar över ett R-skript som uppvisar kryptiska felmeddelanden, ger orimliga resultat eller som de helt enkelt känner en växande osäkerhet inför. Gemensamt för nästan alla dessa fall är att koden från början skrivits av en AI-assistent.

Det råder ingen tvekan om att språkmodeller och AI-verktyg har förändrat hur vi kodar. Att snabbt få förslag på syntax, transformera om en datatabell eller felsöka ett ilsket kommatecken kan spara enormt mycket tid. Som ett komplement i vardagen är AI-assistenter fantastiska. Men när verktyget får ta över ratten helt utan att föraren kan vägens grundläggande regler uppstår snabbt problem.

För att skriva fungerande R-kod räcker det sällan med att bara be en chatbot generera ett skript. Du måste förstå den underliggande logiken för att kunna läsa koden, modifiera den och framför allt förstå varför den gör som den gör. När ett skript kraschar krävs det att du förstår datastrukturer, paketberoenden och funktionsargument för att leda AI:n rätt igen, snarare än att bara klistra in felmeddelandet i en evig loop. Denna grundläggande hantverksskicklighet är anledningen till att jag lägger så stor vikt vid fundamentet i mina kurser och i min bok Modern Statistics with R. Med en stabil grund blir AI-assistenten en kraftfull medhjälpare; utan den blir den en källa till subtila fel som kan ta dagar att upptäcka.

Men kodsyntaxen är i själva verket bara den första och lättaste tröskeln. Det djupare problemet uppstår när vi förväntar oss att AI-assistenten ska stå för den statistiska analysen.

En betydande del av mitt arbete som statistikkonsult handlar inte om att skriva kod överhuvudtaget. Det handlar om att ställa det som ibland kan verka som ”dumma frågor”. Hur samlades data in? Vad hände den där tisdagen då hälften av mätvärdena saknas? Är observationerna verkligen oberoende av varandra? Vilka undantag och märkligheter döljer sig bakom de städade kolumnnamnen?

AI-modeller saknar den domäninsikt och den kritiska skepticism som krävs för att genomskåda ett dataset. Tvärtom: de har förutfattat meningar utifrån gamla exempel de sett och lyckas inte upptäcka när data motsäger deras förväntningar. AI-modeller bygger på mönsterigenkänning från existerande text och kod, vilket ofta innebär att de rutinmässigt föreslår de mest välkända och standardiserade metoderna – oavsett om förutsättningarna för dem är uppfyllda eller inte.

När en kund kommer till mig med en idé om att köra en specifik standardanalys som AI:n rekommenderat, visar det sig mycket ofta efter en närmare granskning att vi måste välja en helt annan väg. Kanske har data en skev fördelning, en hierarkisk struktur eller mätfel som gör standardmodellen direkt missvisande. Att identifiera detta kräver statistisk intuition och erfarenhet – egenskaper som inte går att prompta fram.

AI kan hjälpa dig att skriva koden snabbare, men den kan inte ta ansvaret för att rätt modell används på rätt sätt för rätt fråga. Om du vill bygga en hållbar kompetens i R och statistik handlar det därför om att investera i förståelsen. När du behärskar grunderna blir AI:n precis vad den borde vara: en effektiv assistent, inte en osäker metodexpert.

Statistisk analys av biomarkörsdata

Ett problem som jag återkommit till många gånger genom åren, både som forskare och som konsult, är statistisk analys av biomarkörsdata. Biomarkörer är mätvärden från exempelvis blodprov, som beskriver mängden av till exempel olika proteiner eller molekyler. De är en viktig del av modern medicin, och används flitigt inom medicinsk forskning, där man letar efter biomarkörer som går att använda för att diagnosticera sjukdomar, ge prognoser för risken att drabbas av en sjukdom, eller för att förstås mekanismerna bakom olika åkommor.

Biomarkörsdata kännetecknas av en rad utmaningar: många variabler men få observationer, data som inte är normalfördelade, mätvärden som ligger under mätteknikens detektionsgräns. Det här kräver specialiserade statistiska metoder. Om det handlar ena dagen i min nya tvådagarskurs om medicinsk statistik. Den andra dagen fokuserar på överlevnadsanalys.

Intresserad av att lära dig mer om moderna statistiska metoder inom medicin? Ta en titt på årets kursdatum eller kontakta mig för att boka en kurs på plats hos er.

Ny utgåva av Modern Statistics with R

Den andra utgåvan av min bok Modern Statistics with R har nu släppts. Den handlar om allt från grundläggande statistiska koncept till R-programmering, avancerade regressionsmodeller och machine learning. Boken går att läsa gratis på nätet eller köpa i fysisk form i bokhandlar (utgiven internationellt av CRC Press).

Förutom att Modern Statistics with R används som kurslitteratur på universitet världen över så ligger den också till grund för de R-kurser jag ger i samarbete med Statistikakademin. Intresserad av att lära dig mer om R, statistik, machine learning eller AI? Ta en titt på höstens och vårens kursdatum eller kontakta mig för att boka en kurs på plats hos er.

Fotbollsoraklet i Oberhausen

Idag drar fotbolls-EM för herrar igång – ett år försenat. Många sitter nog just nu och försöker tippa resultaten. Somliga lusläser fotbollsstatistik, andra går på magkänslan, och någon kanske gör som jag gjorde för det svenska innebandyslutspelet förra året och tar fram en statistisk prediktionsmodell.

Men det finns en metod som är bättre än alla ovanstående: att låta en bläckfisk tippa resultaten. Bläckfisken Paul vid Sea Life Center i tyska Oberhausen blev en internationell kändis under fotbolls-VM 2010, då han tippade rätt i 8 av 8 matcher.

Hade Paul bara tur, eller var han ett tipsorakel av rang? Ett vanligt sätt att statistiskt utvärdera en hypotes är p-värden. De mäter hur starka bevisen för att en hypotes är felaktig är. Hypotesen som testas brukar kallas nollhypotesen. Om nollhypotesen inte stämmer så gäller istället en alternativhypotes. Den något torra definition av p-värdet är att det är sannolikheten för ett resultat som är minst lika extremt som det observerade, i riktning mot alternativhypotesen. Om p-värden hamnar under en på förhand bestämd gräns – ofta 0,05 – så säger man att resultatet är signifikant eller statistiskt säkerställt och anser sig ha belägg för att det är alternativhypotesen som stämmer.

I fallet med bläckfisken Paul så kan vi undersöka nollhypotesen att Paul bara gissade blint. Alternativhypotesen är att han på något sätt faktiskt kunde förutse resultaten i matcherna. Om vi även räknar in de matcher han tippade i EM 2008 (4 rätt på 6 matcher) så har vi att han tippade rätt i 12 matcher av 14 möjliga. p-värdet blir då sannolikheten att tippa minst 12 rätt (”ett resultat som är minst lika extremt som det observerade”) när man tippar 14 matcher. Om nollhypotesen stämmer så borde Paul ha samma chans att tippa rätt som man skulle få om man singlade slant. Vi kan då räkna ut p-värdet, som blir 0,0065. Det ligger långt under gränsen 0,05 och därmed är det alltså statistiskt säkerställt att Paul hade förmågan att förutse resultaten i fotbollsmatcher.

Det finns två slutsatser man kan dra av exemplet med Paul. Den första slutsatsen är att man aldrig ska nöja sig med en enda studie som visar att något är statistisk säkerställt. Det finns alltid en risk att p-värdet blir lågt av ren slump, datafel, felräkningar eller brister i försöksupplägget. Därför behövs nya försök och upprepningar av studier innan man kan säga något med säkerhet.

Den andra slutsatsen? Man ska aldrig underskatta en bläckfisk.

Vem tar SM-guldet?

Coronaviruset har påverkat alla delar av samhället – inklusive sportens värld. I Sverige fick bland annat innebandyns slutspel ställas in. Serievinnarna IKSU (dam) och Falun (herr) tilldelades SM-guldet. Men hur sannolikt är det egentligen att de faktiskt hade vunnit slutspelet?

Jag har för Innebandymagazinets räkning tagit fram en modell som förutspår hur innebandyns slutspel borde ha slutat. Modellen bygger på matchresultat från de senaste två säsongerna och tar med olika parametrar hänsyn till hur bra de olika lagen är, dels på hemmaplan och dels på bortaplan. Med hjälp av modellen kunde jag sedan simulera slutspelet 1 000 000 gånger, för att se hur troliga olika resultat var.

Det finns mycket som påverkar resultatet i en match, och allt kan inte sammanfattas med siffror. Men däremot är det fullt möjligt att skapa modeller som säger hur sannolikt det är att olika lag vinner, samt vilka resultat som är mest troliga. Och det fungerar faktiskt – när vi testade min modell på förra årets herrslutspel så prickade den in rätt vinnare i samtliga kvarts- och semifinaler.

Innebandymagazinet kommer att släppa resultatet som modellen förutspår dag för dag fram till det som skulle ha varit finaldagen – den 25e april. För egen del ser jag fram emot att läsa vad spelare och tränare tycker och tänker om modellens resultat. De första artiklarna finns uppe redan nu:

Intresserad av prognosmodeller? Jag erbjuder konsulttjänster, föredrag och utbildningar inom området. Kontakta mig för att få veta mer.