Niklas Altermark, statsvetare – ”Expertmetoden totalt olämplig för att bedöma omfattning av assistansfusk”

De siffror över assistansfusk som tagits fram av den sk Expertmetoden, Expert Elicitation, ligger till stor del bakom bilden av omfattande kriminalitet i personlig assistans. Niklas Altermark anser att metoden inte är lämplig för att bedöma assistansfusk och att den dessutom använts på ett sätt som strider mot vetenskaplig metodik.
– Lite tillspetsat kan man säga att det är som om man valt använda en våg för att mäta hur lång någon är.

Niklas Altermark och kollegan Hampus Nilsson på statsvetenskapliga Institutionen på Lunds universitet har i rapporten ”Det handlar om miljarder” - En metodanalys av hur assistansfusket bedöms av svenska myndigheter studerat hur expertmetoden använts för att göra uppskattningar av storleken av felaktiga utbetalningar i bland annat, personlig assistans. STIL publicerade rapporten på IL–dagen den 5 maj men Niklas Altermark vill poängtera att det är oberoende forskning som utförts vid Lunds universitet.
– Den kommer förhoppningsvis så småningom att publiceras i vetenskapliga tidskrifter. Vi har gjort en omfattande forskningsöversikt, där vi inkluderat mer eller mindre alla empiriska studier som använt eller utvärderat metoden. Det handlar om cirka 1 300 studier, där jag vågar lova att vi har detaljstuderat nästan alla centrala referenser.

Har använts i flera studier av assistansfusk

Expertmetoden har använts i FUT–Delegationen Vad kostar felen? Nov 2007, som bedömde omfattningen av felaktiga utbetalningar i personlig assistans till drygt 10 %. Ekonomistyrningsverkets (ESV:s) Samverkansuppdrag mot felaktiga utbetalningar i välfärdssystemen 2010 bedömde omfattningen till 12,2 %.
– Susanne Billums utredning Åtgärder mot fusk och felaktigheter med assistansersättning har korrigerat tidigare tillämpningar och satte omfattningen till 9-15 %. Alla dessa siffror har spelat en stor roll i debatten, säger Niklas Altermark.

Osäkra siffror blir sanningar

Att siffrorna har påverkat debatten om assistans kan man se i medierapporteringen, menar Niklas Altermark.
– Siffrorna i FUT-Delegationens och ESV:s på ”runt 10 procent eller mer” har blivit en förgivet taget sanning som hela tiden återkommer.
Expertmetoden kan inte skapa pålitliga siffror på detta sätt, istället är osäkerhetsintervallen det viktiga resultatet, menar Niklas Altermark.
– ESV:s rapport kom fram till att de felaktiga utbetalningarna låg mellan 2 och 28 procent, i runda slängar. Ett så brett intervall antyder att vi inte har en aning om volymen och att osäkerheten är extremt stor. Trots detta blev sanningen i debatten att det rörde sig om 12,2 procent, som om det vore fakta. Det var utifrån detta som Billum–utredningen tillsattes, vilket framgår av utredningsdirektiven.
Hur stor tror du att omfattningen av fusk är i personlig assistans?
– Jag har inte en aning och jag blir inte klokare av att läsa FUT–delegationen eller ESV:s rapport. Jag tycker det är viktigt att såväl myndigheter, regering som vi forskare baserar våra uttalanden på säker empirisk kunskap när det handlar om beslut som får så stor inverkan på människors liv.

Ger inte kunskap om hur det faktiskt ligger till

Expertmetoden tar alltså inte fram empirisk fakta om verkligheten, utan använder den fakta som finns för att generera uppskattningar med osäkerhetsintervall.
– Anledningen till att metoden används är att vi ibland måste göra bedömningar av frågor som inte går att besvara med hjälp av beprövade eller vetenskapliga metoder. Till exempel om hur radioaktivt avfall sprids efter en kärnkraftsolycka, det går ju inte att göra ett experiment där vi låter Barsebäck explodera.
Metoden väger samman olika experters informerade gissningar om frågor där säker kunskap är omöjlig, metoden är en sista utväg, säger Niklas Altermark.
– Om metoden används på ett korrekt sätt kan den ge någon slags uppfattning. Detta är dock helt centralt: metoden ger oss inte kunskap om hur det faktiskt ligger till, utan om hur experter resonerar utifrån ett oklart kunskapsläge.

Häpnadsväckande tillämpning

Niklas Altermark och Hampus Nilsson har jämfört de metodologiska rekommendationerna med hur expertmetoden använts inom assistans. Resultatet är häpnadsväckande säger Niklas Altermark.
– För det första saknas det evidens för att metoden ens går att tillämpa för att bedöma storlek på felaktiga utbetalningar i socialförsäkringssystem. För det andra strider tillämpningen i Sverige mot ett flertal fundamentala metodmässiga rekommendationer. Om man ska spetsa till det kan man säga att man valt använda en våg för att mäta hur lång någon är. Därefter har man struntat i centrala delar av instruktionsboken för hur vågen ska sättas samman och användas.

Bör inte användas vid brist på empiriskt material

Av de cirka 1 300 studier som finns tillgängliga av expertmetoden studerar ingen frågor av samhällsvetenskaplig karaktär berättar Niklas Altermark.
– Metodlitteraturen avråder från att använda metoden för att göra uppskattningar där det finns lite empiriskt material, eftersom metoden då lätt blir en gissningslek.
Expertmetoden är tvärtom beroende av att bra bakgrundsuppgifter att utgå från.
– I exemplet med Barsebäck kan det handla om klimat och vindsystem i västra Skåne, fakta om kärnkraftverkets konstruktion, eller vad det nu kan vara. Därefter gör experterna, utifrån sina olika uppskattningar, i bästa fall, ett konsensus kring ett osäkerhetsintervall inom vilket den samlade uppskattningen ligger.

Experterna ska inte vara direkt involverade själva

Niklas Altermark och Hampus Nilssons andra slutsats är att tillämpningen av expertmetoden inom assistans inte följer grundläggande vetenskapliga rekommendationer.
– Det handlar tex om att experterna bara kommer från Försäkringskassan eller statliga myndigheter, vilket ger en alldeles för homogen grupp med liknande erfarenheter. Dessutom kommer experterna sannolikt själva att påverkas i sin yrkesroll av de policybeslut som uppskattningarna ligger till grund för. Istället ska man forma en expertgrupp med olika kompetenser, där experterna inte själva är direkt involverade i, eller direkt påverkas av, de policybeslut som metoden ska leda fram till.

Hemmasnickrad variant

Niklas Altermark anser att man i bedömningen av personlig assistans inte tolkat resultaten på det sätt som vetenskaplig litteratur rekommenderar och att man ibland inte verkar förstå vad metoden ska mäta.
– När Billum–utredningen korrigerar osäkerhetsintervallen i ESV:s omfattningsstudie, blir det uppenbart att de inte greppar vad expertmetoden innebär.
På vilket sätt syns det?
– Ett exempel är att de korrigerar osäkerhetsintervallet på 2 – 28 % som ESV har tog fram, men behåller punktskattningen som säger att ca 12% består av felaktiga utbetalningar. Utifrån metoden expertuppskattning kan man inte göra så, det visar att man inte alls greppar detta.
Sättet expertmetoden använts på är enligt Niklas Altermark en hemmasnickrad variant som bryter mot alla tänkbara vetenskapliga rekommendationer.
– Jag vill tillägga att jag är kritisk till den politiska riktning som assistanspolitiken tagit, men de här resultaten handlar inte om mina åsikter. Metoden används inte som den ska och den har aldrig använts inom detta område förut.

Skolboksexempel på oreflekterad tillit

Thomas Falk på Försäkringskassan som deltog som expert i FUT–Delegationen sade i en intervju på Assistanskoll att han inte tror att tidsandan påverkar resultaten utan att resultatet baseras på kunskap och erfarenhet hos experterna som deltar. Detta uttalande är intressant ur ett metodologiskt perspektiv anser Niklas Altermark.
– En av de mest omskrivna svagheterna med expertmetoden är att experter tenderar att överskatta sina egna bedömningar och sin förmåga att förhålla sig objektiv – man tror att man vet mer än man faktiskt gör. Denna typ av kognitivt bias hos experter är väldokumenterad inom psykologin och något som finns hos oss alla gällande sånt vi har speciell kunskap om. Thomas Falks avfärdande av risker med hänvisning till sin egen och kollegors kunskap är ett skolboksexempel på oreflekterad tillit.
Enligt metodlitterauren ska tvärtom de experter som leder metodprocessen ha en förmåga att reflektera kring osäkerheten i sina egna bedömningar och se risker i att de kan påverkas, säger Niklas Altermark.
– Här kan var och en själva läsa vad Falk svarar och reflektera kring vad det säger om förmågan att reflektera kring de här riskerna. Utifrån forskningen är attityder av typen ”vi påverkas inte, för vi har så stor erfarenhet” bland det sista man vill se.
Thomas Falk försvarar metoden med att den använts i Norge…
– Ja, Norge har inspirerats av den svenska tillämpningen, men det stärker inte den vetenskapliga evidensen. Den norska tillämpningen förefaller däremot vara bättre utförd, enligt vetenskapliga rekommendationer.

Brå har riktat kritik mot metoden

Johanna Skinnari på Brå har tidigare sagt att hon är kritisk till hur metoden använts för att ge exakta bedömningar av fusk, och att tidsandan riskerar att påverka resultatet. Det är ett återkommande tema i metodlitteraturen och kallas för ”tillgänglighetsbias”, enligt Niklas Altermark.
– Det innebär att man tenderar att överskatta eller underskatta förekomsten av ett fenomen för att det figurerar mer eller mindre i vår närhet. Som universitetslärare i statsvetenskap överskattar jag säkert andelen ungdomar som bryr sig om politik. På motsvarande sätt är det möjligt att människor som i sin yrkesroll arbetar med bedömningar av assistansfusk överskattar hur vanligt detta är.
Detta handlar inte om att folk medvetet under– eller överdriver eller att de saknar analysförmåga utan om universella kognitiva mekanismer, menar Niklas Altermark.
– Mycket av forskningen om expertmetoden handlar om hur man hanterar och motverkar detta. Även här brister tillämpningarna i omfattningsstudierna av assistansfusk. I FUT–delegationen diskuteras visserligen risken för snedvridningar, men på ett otillräckligt sätt. ESV har ingen diskussion kring hur man hanterar detta.

Vilseledande om metoden fortsätter användas

Delegationen mot överutnyttjande av och felaktiga utbetalningar som leds av Sven Erik Österberg ska fram till 1 dec 2019 utreda omfattningen av fusk i socialförsäkringarna.
– Jag hoppas allvarligt talat att vår rapport gör det omöjligt att använda den här metoden på ett så pass oreflekterat sätt som vi har sett. Ur ett vetenskapligt perspektiv bidrar inte de tillämpningar vi sett med någon meningsfull kunskap.

Svårt se alternativa metoder

Vilka andra metoder skulle kunna användas? Det är metodologiskt oerhört svårt att bedöma mörkertal, säger Niklas Altermark.
– Stickprovskontroller kan ge en någotsånär rättvisande bild, men har andra negativa konsekvenser. Systematiska stickprov är dyrt och assistansen är lite för komplex för att man ska kunna lita på dess resultat. Dessutom kan det leda till oro hos assistansanvändare för oannonserade hembesök, vilket är problematiskt ur ett integritetsperspektiv.
Niklas Altermark beskriver även tekniker där man låter ett urval personer avskilt slå med tärningar och därefter svara på frågan om de själva tex överdrivit sina behov för att få större bidrag.
– Får de, säg, en etta eller sexa så har de instruerats att ljuga och vid övriga siffror ge ett sanningsenligt svar. Om man gör det här med tillräckligt många så kan man statistiskt säkra för att en viss andel ljuger och nå en skapligt korrekt siffra utan att någon enskild person behöver vara rädd för att pekas ut. För mig låter dock en sådan uppskattningsteknik som både spekulativ, etiskt tveksam och ganska märklig.
Men om du har svårt att se andra metoder, bör man då inte använda expertmetoden, och kanske följa metodreglerna bättre?
– Nej, eftersom det saknas evidens för att det är en bra metod vet vi inte hur vi ska värdera resultaten. Givet vilken betydelse resultaten får för debatten om assistans, och i förlängningen för de politiska besluten, tycker jag inte man kan luta sig mot en såhär halvkokt metod. Det verkar finnas en föreställning att det är bättre att uppskatta på ett dåligt sätt än inte uppskatta alls, men det resonemanget strider helt mot vetenskaplig metod.

Bakgrundsmaterialet på nätet

Niklas Altermark vill slutligen tillägga att mycket av bakgrundsmaterialet till hans och Hampus Nilssons rapport finns utlagd på nätet.
– En uppenbar angreppspunkt om man vill underminera våra resultat är att anklaga oss för att selektivt plocka citat och artiklar som passar våra slutsatser. För att visa att detta inte är fallet vill vi göra vår metod och analys så transparant som möjligt. Då kan alla se vad vi baserar våra bedömningar på och göra egna uppskattningar av rimligheten. Online finns referenser vi utgått från, fakta om hur vi genomfört litteratursökningar, citat från centrala artiklar och en del material vi klippt bort. Jag uppmanar alla som tror att våra resultat är snedvridna att titta på materialet och bilda sig en egen uppfattning, säger Niklas Altermark.

Niklas Altermark intervjuades av Kenneth Westberg 2017-05-05

Vidare läsning

”Det handlar om miljarder” - En metodanalys av hur assistansfusket bedöms av svenska myndigheter