Evaluation as learning: the collaboration between social work and research in cross-agency evaluation in Germany and Slovenia

Abstract

The current contribution focuses on evaluation research as a process of learning and development for practice, by looking at conditions of collaboration between practice and research in two examples. We exemplify that learning from evaluation in complex programme settings is related to the nature of the collaboration between social work agencies and researchers. Findings are based on two similar cases of evaluation research for interagency collaboration in Germany and Slovenia. Results show that a symbiotic collaboration between research and practice enhances the learning and development potential for practice, but also that the balance between organizing the collaboration process and leaving room for experimental and ad hoc decisions needs to be guarded. Both advantages and disadvantages of planning and stability need to be taken into account when doing practitioner evaluation research.

Der Beitrag hebt Evaluation als einen Prozess des Lernens und der Entwicklung in der Sozialen Arbeit hervor. Die Bedingungen der Kooperation zwischen Praxis und Forschung werden anhand von zwei Beispielen näher betrachtet. Es wird gezeigt, dass das Lernpotenzial der Evaluation eines komplexen Programms oder der Implementation eines Projekts in der Sozialen Arbeit von der Art der Zusammenarbeit zwischen den Praxisinstitutionen und dem Forschungsteam beeinflusst wird. Die Befunde basieren auf zwei ähnlichen Evaluationsbeispielen der interinstitutionellen Zusammenarbeit in Deutschland und Slowenien. Eine enge Beziehung beim Zusammenwirken von Forschung und Praxis fördert das Lern- und Entwicklungspotenzial der Sozialen Arbeit. Wünschenswert ist aber auch, eine Balance zu finden zwischen der Strukturierung des Kooperationsprozesses und dem Offenlassen des Prozesses für experimentelle sowie Ad-hoc-Entscheidungen. Die Chancen und Risiken von Planung und Stabilität sollten beachtet werden, wenn Praxis der Sozialen Arbeit evaluiert wird.

V prispevku opredeljujemo evalvacijsko raziskovanje kot poces učenja in razvijanja prakse na podlagi predpostavk za sodelovanje med praktičnim socialnim delom in raziskovanjem, ki smo jih izpeljali iz dveh konkretnih primerov. Učenje iz evalvacij v kompleksnem programskem okolju je povezano z značilnostmi sodelovanja med organizacijami, v katerih so zaposleni socialni delavci, in raziskovalci. Ugotovitve izhajajo iz dveh podobnih primerov evalvacijskega raziskovanja v Sloveniji in Nemčiji in kaejo, da tesno sodelovanje med raziskovanjem in prakso spodbuja monosti učenja za prakso in monosti razvoja prakse, vendar pa je potrebno ohranjati ravnoteje med stopnjo organiziranosti procesa sodelovanja in monostjo eksperimentalnih in ‘ad hoc’ odločitev. Pomembno je, da ob izvajanju evalvacijskih raziskav v praksi socialnega dela upoštevamo tako prednosti kot pomanjkljivosti natančnega načrtovanja in stabilnosti procesa.

In deze bijdrage wordt evaluatieonderzoek als een leer- en ontwikkelingsproces voor de praktijk benaderd. Hierbij ligt de focus op condities van samenwerking tussen praktijk en onderzoek. We tonen aan dat leren uit programma-evaluaties gerelateerd is aan de wijze van samenwerking tussen de praktijk en de onderzoekers. De manier van samenwerken gedurende het onderzoeksproces, is bepalend voor de mate waarin de praktijk leerervaringen puurt uit evaluatieonderzoek. Evaluatie krijgt in dat opzicht een ruimere betekenis dan verantwoording van financiering, waardoor een groter draagvlak bij praktijkwerkers voor evaluatie kan ontstaan. Twee gelijkaardige cases van evaluatieonderzoek uit Duitsland en Slovenië geven aan dat een symbiotische samenwerking tussen onderzoek en praktijk het ontwikkelings- en leerpotentieel voor de praktijk aanzienlijk verhoogt. De balans tussen het organiseren en plannen van het samenwerkingsproces en het voorzien van een vrije ongestructureerde beslissingsruimte om in te spelen op situaties is echter zeer belangrijk en dient te worden bewaakt.

Keywords:

• Learning Process
• Collaboration
• Social Work Research
• Evaluation Studies
• Multiple Agency Evaluation
• Development

Stichwort:

• Lernprozess
• Kooperation
• Sozialarbeitsforschung
• (Programm-) Evaluation
• Dialogfunktion der Evaluation
• Entwicklung

Kljucne beside:

• Proces Učenja
• Sodelovanje
• Raziskovanje v Socialnem Delu
• Evalvacije
• Evalvacije Različnih Organizacij
• Razvoj

Trefwoorden:

• Leerproces
• Samenwerking
• Collaboratie
• Sociaal Werk Onderzoek
• Evaluatieonderzoek
• Programma-evaluatie
• Ontwikkeling

Notes

1. The literature review on success factors for collaboration in a non-profit setting by Mattessich et al. (2001) might seem an unusual choice. Even though the report is intended to be a practical guide for collaboration and therefore sometimes reminds us of a manual on how to cooperate, it offers an interesting classification of elements. We will not use these factors as critical success factors for good cooperation, this would only lead us to a mere instrumental perspective. However, the disposition of the factors do provide us with initial concepts for the comparison of the cases on their manner of collaboration.

2. Mattessich et al. (2001) discern three supplementary dimensions of collaboration, i.e. environmental factors, resources and membership characteristics. We've included the membership characteristics under the aspect of ‘communication’. The factors pertaining to cultural and structural environment, and resources are out of the scope of this paper.

3. Recent work on learning is mainly focused on learning outcomes and on instruction and assessment of the procedures to reach the intended outcomes (cf. Frankland, 2007). We're rather interested in the nature of learning as a method of development.