Problemlösning - då, nu och i framtiden. Del 2: Matrigmas tillämpning i praktiken och Q&A 

När vi mäter problemlösning i yrkesmässiga sammanhang är det viktigare än någonsin att mätningen blir både korrekt och relevant. På Assessio mäter vi problemlösning i arbetslivet med syftet att kunna predicera framtida arbetsprestation, genom verktyget Matrigma, ett DNV-certifierat matristest.

Matrigma är ett av Assessios mest använda test, men få har koll på hur problemlösning och arbetsprestation faktiskt hänger ihop. Problemlösning, arbetsprestation och de vanligaste frågorna vi brukar få om Matrigma går vi därför igenom i detta inlägg. I del 1 i denna bloggsserie om problemlösning gick vi igenom en kondenserad version av den massiva bakgrunden till hur forskning kring mätningen av problemlösning har fortskridit genom historien. Parallellt med detta har det pågått ett gediget arbete med att undersöka vilken inverkan problemlösning har i vardagen och i arbetslivet.

Problemlösning, inlärning och arbetsprestation

En stor mängd studier har visat att problemlösningsförmåga kan förutsäga framgång i utbildning. T.ex. har studier då forskningspersoner testas under en längre tid visat att resultat på IQ-test hos 10-åringar har ett starkt samband med akademiska framgångar sex år senare (korrelationer på mellan 0.40-0.50) 1. Det är därför inte en överraskning att problemlösning även kan förutsäga inlärning på arbetet i vuxen ålder.

Hur snabbt en person lär sig ett jobb har ett samband med prestationen på intelligenstest mellan 0.54-0.68, och detta samband ökar dessutom med arbetets komplexitet . I jämförelse med andra metoder som används inom rekrytering och urval har mått på generell problemlösning överlägset högst träffsäkerhet i att förutsäga hur väl individer lyckas skaffa arbetsrelaterad kunskap på jobbet, kallat prediktiv validitet.

Ett liknande mönster syns även med generell arbetsprestation där intelligenstest kan förutsäga arbetsprestation mellan 0.45-0.60 2. Därför gäller oftast att ”ju högre resultat, desto bättre” när vi vill predicera en persons framtida arbetsprestation genom problemlösningstest. På samma sätt ökar dessutom den prediktiva validiteten i intelligenstest med arbetets komplexitet, från 0.39 för de minst komplexa yrkena till 0.73 för de mest komplexa 3.

Komplexitet

Ju mer komplex och krävande en roll och dess arbetsuppgifter är, desto viktigare blir alltså problemlösningsförmågan. Flera studier bekräftar att om rollen kräver att kandidaten kan förstå hur olika saker förhåller sig till varandra, behöver ha förmågan att peka ut en strategisk riktning och ta hänsyn till flera faktorer samtidigt (läs: en komplex ledarroll), så kommer problemlösningsförmågan att ha större inverkan 3Även fast rollen inte är komplex spelar problemlösningsförmågan fortfarande roll, men betydelsen av förmågan sjunker något. Detta försummar dock inte att en kandidat i en urvalsprocess med ett lägre resultat alltid löper en större risk för att inte prestera på framtida arbeten än en kandidat med ett högre resultat.

Malin

Korrelation mellan problemlösningsförmåga och arbetsprestation, utifrån olika grader av komplexitet i arbetsrollen (Hunter, Schmidt & Le, 2006).

I en pool av flera olika kandidater, för en komplex och krävande position, minskar alltså risken för felrekrytering om vi väljer den kandidat som har högst problemlösningsförmåga. Denna kandidat har sannolikt störst chans att snabbt komma in i sin nya roll och att snabbt kunna förstå sitt uppdrag och sina arbetsuppgifter. Kandidaten kommer generellt ha lättare för nya och komplexa situationer och kunna använda sin kunskap mer flexibelt än vad de andra kandidaterna skulle ha haft.

I realiteten är dock långt ifrån alla yrkesroller så pass komplexa att de skulle kräva en problemlösningsförmåga som är högre än genomsnittet, att individen ständigt lär sig nytt, effektivt tar beslut och samtidigt alltid har koll på helheten. Kraven behöver därför inte vara onödigt höga på en roll som är mindre komplex. Fokus bör alltid anpassas till kraven på rollen, vilket i vissa sammanhang kan innebära att istället hitta en kandidat med en genomsnittlig förmåga att lösa problem, som kan dra nytta av tydliga och redan beskrivna arbets- och beslutsmetoder.

Tolkning av testresultat

Oavsett rollens komplexitet blir flexibelt och självständigt arbete allt viktigare i dagens arbetsliv. En individs testpoäng ska dock alltid tolkas objektivt och i förhållande till den rollbeskrivning som finns.

Ett lågt resultat på Matrigma betyder inte att individen inte kommer att kunna ta beslut eller saknar förmåga att lära sig nya uppgifter. Ett lågt resultat indikerar istället att personen kan ha ett behov av en tydligare struktur eller mer beskrivna instruktioner, och därför kan ta mer tid på sig i ett arbete där denna tydlighet eller struktur saknas. En person med ett lågt resultat kan fortfarande prestera i roller som är tydliga, strukturerade och mindre komplexa.

Problemlösningsförmågan kan också påverka hur vi väljer att positionera de kandidater som ansöker för olika yrkesnivåer. Om rollen är högkomplex och därför svår att rekrytera till, kan vi i brist på kandidater hamna i läget att vi fyller positionen med en kandidat vars problemlösning inte matchar rollens krav. Detta kan leda till att vi positionerar kandidaten till att misslyckas i sitt framtida arbete, då den inte har resurser för att möta alla de utmaningar den står inför. Om problemlösningsförmågan inte håller för rollens krav bör vi sannolikt vänta tills vi hittar en kandidat som matchar de kraven som arbetsrollen kräver, och inte fylla positionen bara för att det behövs.

Detta stöds av det faktum att många ledare lyckas på en nivå men misslyckas på nästa, i enlighet med Peters princip. Innebörden av Peters princip är att medarbetare som är framgångsrika i sina roller kommer att befordras till nästa nivå eftersom de har visat sig vara bra på vad de gör. Till sist befordras de dock till en nivå som är över deras egen kompetens och misslyckas därför 4. Detta beror sannolikt på att problemlösningsförmågan matchar den nivå av problemlösning som rollen hade från början, men inte en högre.

Peters Princip

Illustration av Peters Princip.

På samma sätt bör en kandidat med en hög problemlösningsförmåga inte anställas till en alltför lågkomplex roll, då den sannolikt snabbare än de flesta andra kommer att lära sig uppgifterna och strukturen, och därför vilja stiga från positionen den anställdes till.

Frågor och svar om Matrigma

Trots många års forskning, DNV-certifieringar och exempel från verkligheten, finns fortfarande vissa återkommande frågor kring hur Matrigma fungerar och hur testpoängen kan tolkas. Vi tänkte därför ta upp och besvara några av de vanligaste frågorna som vi får.

1. Varför finns det så många olika sätt att mäta problemlösning på, om Matrigma är det bästa?

Det finns många olika sätt att mäta problemlösning på (se Matrigma. Del 1.), t.ex. kan vi använda oss av testbatterier som mäter flera olika förmågor samtidigt, såsom minne, ordförråd och beräkning, som vi sedan slår samman till en slutgiltig poäng som jämförs med resten av befolkningens. På detta sätt mäts bland annat intelligens inom kliniska sammanhang med syfte att ta reda på individers grundläggande kognitiva förmågor inom olika områden5 . Dessa mått fokuserar oftast på en mätning av både färdigheter och problemlösning samtidigt.

Matrigmas syfte är istället att fånga framtida arbetsprestation hos individer i en arbetsför befolkning, åtskilt från en individs tidigare kunskaper och färdigheter. Hur många rätt en person får på Matrigma jämförs alltså mot andra som också arbetar, och inte mot den generella befolkningen. Studier visar att fokuserade mått, såsom matristest, är det som bäst förutsäger arbetsprestation, och som är det ”renaste” måttet om vi vill fånga upp just framtida arbetsprestation 6. Syftet med testningen av problemlösning kan alltså skilja sig åt markant och därför används olika metoder för att fånga upp det som är av intresse för syftet.

2. Påverkar kön och ålder resultatet på Matrigma?

Det finns ingen dokumenterad skillnad mellan hur män och kvinnor presterar på Matrigma på gruppnivå, testet kan ses som jämlikt mellan könen 7. Vår generella kognitiva kapacitet begränsas med högre ålder, och därför borde en individ prestera högre på testet när den är yngre. Hur mycket vår kognitiva kapacitet begränsas beror dock både på individuella och miljömässiga aspekter 9.

Vad en individ har för medfödda förutsättningar men även på vilket sätt en individ använder sin kognitiva kapacitet under arbetet har i vissa studier visat spela roll för detta 10. En individ som oavsett sin nivå av kapacitet blir utmanad på sitt arbete, och fortsätter med detta även i äldre ålder, kommer sannolikt att ha lättare för att prestera på Matrigma även när den är äldre.

Det enkla svaret är därför att yngre kan ha en bättre förutsättning att prestera på Matrigma, givet att de faktiskt har en högre nivå av problemlösningsförmåga.

3. Påverkar språk vilket resultat en person får på Matrigma?

En av fördelarna med Matrigma är att testet är icke-verbalt och inte kräver någon specifik språkkunskap för att genomföras. Resultatet på Matrigma kan alltså jämföras mellan individer som har olika modersmål, förutsatt att individerna förstår instruktionen till testet innan det sätts igång. Matrigma är normerat i ett flertal länder och kan jämföras både landspecifikt och globalt.

4. Kan en kandidat lära sig uppgifterna utantill och därför prestera bättre nästa gång den utför Matrigma?

Matrigma finns i flera olika versioner som slumpmässigt administreras av testplattformen utan att kandidaten vet vilken version av testet den gör, eller vilket av alternativen som är rätt svar. Sannolikheten att kombinationen av två premisser a) att kandidaten har lärt sig varje testfråga och kommer ihåg dess rätta svar utantill och b) att den blir administrerad exakt samma version om den gör testet en gång till, är därför osannolik.

5. Är det något speciellt administratören bör tänka på när den administrerar Matrigma?

Ett professionellt förhållningssätt till testsituationen bör tillämpas oavsett vilket test det handlar om. Administratören ska skapa goda förutsättningar för testningen (ostörd miljö och stabil internetuppkoppling), förklara syftet med testet, beskriva testets utformning samt berätta hur lång tid kandidaten har på sig för att utföra testet. Kandidaten bör även få tid på sig att ställa frågor innan testtiden startar.

6. Jag var väldigt stressad/ hade jobbat natt dagen innan jag utförde Matrigma. Kan det ha påverkat mitt resultat?

Stress och trötthet påverkar i allra högsta grad vår kognitiva kapacitet och koncentrationsförmåga. Att vara alltför stressad eller trött kommer därför sannolikt också att påverka hur väl en person presterar på Matrigma. Administratören ska därför alltid rekommendera kandidaten att vara utvilad och att utföra testet i en ostörd miljö. Det är också kandidatens ansvar att se till att den utför testet med så goda personliga förutsättningar som möjligt.

7. En kollega som presterat väldigt väl på arbetet fick ett resultat som är lägre än genomsnittet när hen genomförde Matrigma. Betyder det att testet inte fungerar för denna roll? Jag ser ju att personen presterar bra på arbetet?

Matrigma är förknippat med samma mätfel som alla psykologiska test är förknippade med, kallat Standard Error of Measurement (SEM), på +/- 1 C-poäng. Teoretiskt sett kan kollegan kan ha fått ett resultat som är precis under gränsen till ett genomsnittligt resultat, men eftersom resultatet på grund av SEM kan differentiera med 1 C-poäng är det statistiskt möjligt att kollegan faktiskt har ett genomsnittligt resultat.

Matrigma är dock ett bättre mått på framtida arbetsprestation än nästan alla alternativ som finns tillgängliga på marknaden idag. Det betyder inte att mätningen alltid är 100% korrekt, men så korrekt som ett test kan vara. En sammanställning av Schmidt och Hunter (1998) påvisar att arbetsprov har högst validitet av alla mätningar, så om en ser att personen presterar väl på arbetet bör detta vägas in i bedömningen tillsammans med Matrigma 7. Detta förutsätter dock att kollegan sökt till sig en roll som är på samma nivå som rollen som kollegan har idag. Att kollegan klarar sig bra i sin nuvarande roll betyder inte att den automatiskt kommer att prestera lika bra i en högre roll som kräver mer komplex problemlösning.

8. Betyder ett lågt resultat att en kandidat aldrig kommer att hitta ett jobb?

Matrigma syftar till att mäta framtida arbetsprestation i en arbetsför befolkning, och inte att mäta problemlösning i den generella populationen. Testpoängen har byggts upp utifrån personer som antingen har ett arbete eller söker sig till ett nytt. Resultatet på Matrigma speglar därför inte hur testpersonen har svarat i förhållande till hela populationen utan i förhållande till den arbetande populationen, som sannolikt består av en hårdare grupp att mätas mot. En person med ett lågt resultat på Matrigma kan fortfarande prestera i olika typer av arbeten, men kan ha ett behov av en tydligare struktur eller mer beskrivna instruktioner.

9. Betyder ett högt resultat att personen kommer kunna utföra precis vilket arbete som helst?

Kort sagt är Matrigma ett av de bästa sätten att fånga upp framtida arbetsprestation på över yrken inom en rad olika områden, och kommer att ha bättre träffsäkerhet än andra verktyg. Testet minskar sannolikheten för att vi väljer en kandidat som oavsett tidigare kunskap inte kommer att prestera. Andra skallkrav och specifik kunskap bör dock också vägas in i processen, beroende på vilken roll som personen har sökt och vilka krav som finns på denna. Många roller har t.ex. idag ett specifikt krav på körkort. Ett högt resultat innebär inte att en person per se kan köra bil om den inte har övat på detta tidigare. Personen kommer dock sannolikt att kunna ta till sig specifik kunskap snabbt, och lära sig att köra bil snabbare än andra när den väl börjar öva.

10. Ökar svårighetsnivån på Matrigma med testets gång?

Frågorna på Matrigma Classic kan upplevas som att de successivt bli svårare med testets gång. Adaptiva Matrigma är uppbyggt så att frågorna speglar vilken svårighetsgrad av frågorna som testpersonen klarar av. Läs mer om Adaptiva Matrigma i vårt nästa inlägg.

 

Mot framtidens tester

Med ett så pass komplext begrepp som problemlösningsförmåga är det naturligt att många funderingar och frågor uppstår, och förhoppningsvis har några av dessa besvarats här. En hel del spännande utveckling är också på gång som vi ännu inte berört, vilket kan ge en indikation på hur framtidens tester av problemlösningsförmåga kommer att se ut. Vårt nya test, Adaptiva Matrigma, är uppbyggt utifrån sådan forskning. Detta, och mycket mer, går vi igenom i nästa inlägg!

Skrivet av Malin Lindqvist och Jakob Rådeborn

 

Referenser

1 Strenze, T. (2007). Intelligence and Socioeconomic Success: A Meta-analytic Review of Longitudinal Research. Intelligence, 35, 401–426.

2Hunter, J. E., & Hunter, R. F. (1984). Validity and Utility of Alternative Predictors of Job Performance. Psychological Bulletin, 96(1), 72–98.

3Hunter, J., Schmidt, F. L., & Le, H. (2006). Implications of Direct and Indirect Range Restriction for Meta- Analysis Methods and Findings. Journal of Applied Psychology, 91(3), 594–612.

4L. J, Peter. R, Hull (1969). The Peter Principle: Why Things Always Go Wrong. Souvenir. London.

5Wechsler, D (2008). WAIS-IV, Wechsler Adult Intelligence Scale. Technical and Interpretive Manual. 4th ed Pearson, Texas, USA.

6Orme, J. E. (1996). Hypothetically true norms for the Progressive Matrices test. Human Development, 9, 222 230.

7Mabon, H., Sjöberg, A. (2016). Matrigma. Technical Manual. 2016 ed. Assessio International AB.

8Schmidt, F. L. & Hunter, J. E. (1998) The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 85 Years of Research Findings. Psychological Bulletin, Vol. 124, No 2. 262-274.

9Flynn, J. (1987). Massive IQ Gains in 14 nations: What IQ Tests Really Measure. Psychological Bulletin, 101, 171-191.

10Nultey, Söderqvist, Bryde, Thorell, Humphreys, Klingberg. (2011). Gains in fluid intelligence after training non-verbal reasoning in 4-year-old children: a controlled, randomized study. Developmental Science, 14, 591-601.