Att mäta ett mått för motiverande samtal : Bristande interbedömarreliabilitet i MITI 4.2.1

Sammanfattning: Motiverande samtal (MI) är en populär samtalsmetod med fokus på motivations- och förändringsarbete. MI utgår från ett teoretiskt underbyggt förhållningssätt där rådgivaren och klienten tillsammans utforskar möjliga vägar till förändring. För att säkerställa att MI används på bästa sätt kan samtalsledarens skicklighet och förmåga observeras kodas enligt olika variabler. Dessa mätningar bör i sin tur besitta en hög interbedömarreliabilitet (IBR) för att ge tillförlitliga resultat. Absolut överensstämmelse i samtliga variabler ger maximal IBR, medan en låg IBR kan tyda på att mätinstrumentet är otydligt, att det finns brister hos bedömarna, eller på en kombination av detta. I den här uppsatsen undersöks IBR i The Motivational Interviewing Treatment Integrity Code (MITI), ett kodningsverktyg som tagits fram för att vara reliabelt och lätt att använda. Samtalssekvenser om tjugo minuter kodas enligt fjorton variabler. Fyra oberoende kodare har kodat tolv samtal enligt den senaste versionen av mätinstrumentet (MITI 4.2.1). Samtliga kodningar genomfördes inom ramen för en kodarutbildning som hålls av ett professionellt kodningslabb. Intraklasskorrelation (ICC), Krippendorffs α (Kalpha) samt Cronbachs α redovisas parallellt som mått på IBR. Flera variabler visar en otillfredsställande eller, beroende på vilken koefficient som används, oacceptabel IBR. De fyra kodarna visar en lägre samstämmighet i bedömningen av kvalitativa variabler samt variabler avseende beteenden ej förenliga med MI. ICC för fyra kodare ligger generellt på en måttlig men godkänd nivå, medan Kalpha genomgående ligger under gränsen för det godtagbara. Cronbachs α ligger överlag något över ICC vilket tyder på en viss systematik i kodarnas bristande överensstämmelse. En tänkbar orsak till en bitvis sviktande IBR är att de undersökta kodarna vid mättillfället var relativt oerfarna och skulle behövt mer praktisk träning i MITI 4.2.1. Vidare kan en bristande förståelse för instrumentets teoretiska grunder ha inverkat negativt på IBR. För att MITI ska kunna utvärderas korrekt i framtida forskning krävs ett enhetligt grepp för hur IBR ska mätas. En högre förståelse för metoderna bakom mätninga av IBR är önskvärd.