An evaluation paradox in social work? An empirical study of evaluation use in connection with temporary programmes in Swedish social work

Abstract

This article contributes to the debate on evaluation use by analysing temporary national programmes in Swedish social work. Previous empirical research shows a gloomy picture of evaluation use, thus supporting an evaluation paradox: evaluations are not used for learning and development, but are continually prioritised. The aim of this article is to study, through interviews and document analysis, how evaluations of temporary programmes in social work are designed and used. The results support the paradox and we found that it has two dimensions. First, evaluations are prioritised, but they function as a ritual, characterised by routine and unclear intentions, with limited relevance for professional learning and improvement. The second dimension is about limited use by those commissioning the evaluations, but the evaluators are using data for new purposes and in new contexts. This is, at best, a form of conceptual use, hopefully contributing indirectly to social work practice. The article ends in a discussion on how evaluations could be designed for learning and improvement by focusing on three normative models: utilisation-focused evaluation, responsive evaluation and evidence-based practice approach (EBP).

Föreliggande artikel bidrar till debatten om utvärderingsanvändning genom en analys av tidsbegränsade nationella projekt med relevans för socialt arbete i Sverige. Tidigare empirisk forskning ger en mörk bild av utvärderingsanvändning och stödjer därmed en utvärderingsparadox: utvärderingar används inte för lärande och utveckling, men prioriteras ändå kontinuerligt. Artikelns syfte är att genom intervjuer och dokumentanalys undersöka hur utvärderingar av tidsbegränsade projekt i socialt arbete utformas och används. Resultatet stödjer paradoxen och vi har funnit att den har två dimensioner. För det första, utvärderingar prioriteras men de fungerar som en ritual, karaktäriserade av rutin och oklara intentioner med begränsad relevans för professionellt lärande och utveckling. Den andra dimensionen handlar om begränsad användning av dem som beställer utvärderingen, medan utvärderarna själva använder materialet för nya syften och i nya sammanhang. Det här kan som bäst betraktas som en form av konceptuell användning, vilken förhoppningsvis bidrar indirekt till det sociala arbetets praktik. Artikeln avslutas med en diskussion om hur utvärderingar skulle kunna utformas för lärande och utveckling genom att fokusera på tre normativa modeller: Pattons modell för ‘utilisation-focused evaluation’, Guba och Lincolns modell för responsiv utvärdering samt EBP.

Keywords:

• social work
• evaluation design
• evaluation use
• evaluation paradox
• ritualised use

Nyckelord:

• Socialt arbete
• Utvärderingsdesign
• Utvärderingsanvändning
• Utvärderingsparadox
• Ritualiserad användning

Acknowledgements

We would like to express our very great appreciations to the anonymous reviewers for their valuable comments and suggestions on earlier versions of this article. We would also like to thank the participants at the higher seminars in Social work and Political Science at Örebro University for their constructive comments on earlier drafts of this article. We are particularly grateful for the comments given by Professor Lars Oscarsson, Professor Christian Kullberg and Ph.D. Erik Hysing.