Changing teachers’ self-efficacy, beliefs and practices through STEAM teacher professional development (Cambios en la autoeficacia, creencias y prácticas docentes en la formación STEAM de profesorado)

ABSTRACT

This article presents a STEAM education model based on the use of meaningful contexts for the integrated acquisition of key learning outcomes related to different subjects. The model combines inquiry and the use of socio-scientific issues to promote mathematics and science learning along with the development of critical thinking and the integration of cultural and fundamental values. The evaluation of an international teacher professional development programme using a pre/post-test research design shows the programme’s impact on secondary school teachers’ self-efficacy beliefs, and teaching practices related to the implemented pedagogical model. The qualitative analysis of the teachers’ reflections shows that the most appreciated aspects of the programme are transferability to practice, the pedagogical resources offered, the benefits of the model on students’ learning, the methodological transformation involved, as well as the opportunity to exchange ideas and practices with colleagues in a professional learning community. These results are of great interest since they reveal a powerful way to promote transformational teacher professional development in the STEAM environment.

RESUMEN

Se presenta un modelo de educación STEAM fundamentado en el uso de contextos significativos para trabajar de manera integrada resultados de aprendizaje relevantes para distintas materias. El modelo recurre a metodologías de indagación y al uso de controversias socio-científicas para combinar el aprendizaje de matemáticas y ciencias, con el desarrollo del pensamiento crítico y la integración de valores fundamentales y culturales. La evaluación pre-test/post-test de un programa internacional de formación de profesorado de educación secundaria muestra un impacto en la autoeficacia y prácticas docentes relacionadas con la implementación del modelo. El análisis cualitativo de las reflexiones docentes revela que los aspectos más valorados de la experiencia formativa han sido la transferencia a la práctica, la utilidad de los recursos didácticos, los beneficios para el alumnado, la transformación metodológica y la oportunidad de intercambiar experiencias e ideas con los docentes participantes, como parte de una comunidad profesional de aprendizaje. Estos resultados son de gran interés porque nos muestran hacia dónde ir en cuanto al desarrollo profesional docente en el ámbito STEAM para conseguir un desarrollo transformador.

KEYWORDS:

• STEAM education
• teacher professional development
• teacher beliefs
• self-efficacy
• teaching practices

PALABRAS CLAVE:

• educación STEAM
• formación de profesorado
• creencias docentes
• autoeficacia
• prácticas docentes

This study confronts three challenges referenced in the literature on teacher professional development. The first of these is the need to challenge teaching that is fundamentally transmissive, reductionist and contextualized in academic situations, and to then transform it into a learning experience that enables the comprehensive development of the individual and fosters critical thinking, creativity and problem-solving skills. The second challenge highlights the importance of conducting professional development programmes for teachers with the aim of generating a significant transformation in their teaching beliefs and practices. The third and final challenge deals with the need to ensure scientific rigour when selecting the contextual factors that determine the effectiveness of a development course, and in the measuring of the course’s impact by means of rigorous research (Herro & Quigley, 2017; Perignat & Katz-Buonincontro, 2019).

To respond to these three challenges, an integrative STEAM educational model is presented, together with the results from a teacher professional development programme focused on the implementation of that model. The present study, developed within the fold of an international project geared towards improving STEAM education, focuses on the Spanish context and aims to answer the following research questions:

1. Which of the programme’s characteristics favour the professional development of secondary education teachers?

2. What effect does the programme have on teachers’ self-efficacy, beliefs and teaching practices with the application of the STEAM education model?

Background and theoretical framework

The integration of STEAM disciplines has been addressed from the educational field as an opportunity to improve teaching and to rethink the desired learning outcomes, as well as the didactic methodologies leading to them. Accordingly, numerous proposals over how to integrate the STEAM approach into different contexts and educational levels have emerged in the specialized literature. Some of the most recent range from the interrelation of amino acids and musical notes for composing and protein sequencing, which integrates music and biochemistry lessons (Acan & Acan, 2019), to the use of artificial intelligence to improve reasoning and the quality of questions formulated for problem-solving in STEAM classes (How & Hung, 2019).

Given the great abundance and variety of studies, systematic reviews and rigorous research need to be carried out to allow us to establish generalizable conclusions about the underlying didactic models and their effects on learning. In this respect, a systematic review of the specialized literature (Martín‐Páez et al., 2019) shows that there are a variety of terms used, but without any definition. There is also an absence of an underlying theoretical framework. All of this significantly hinders a comparison of works, a contrast of results and, ultimately, an establishment of conclusions.

Conversely, different studies show that the possible benefits of an integrated approach depend largely on how it is carried out (National Academy of Sciences, 2014), recognizing teachers as a catalyst for the process (Margot & Kettler, 2019) and a key piece that, at times, is limited by the lack of specific and methodological training in this regard. In relation to the methodological aspects, Thibaut et al. (2018) concluded that collaborative work, interdisciplinarity, inquiry-based learning, problem-solving and design-based learning were the most used methodologies. However, the theoretical foundation for these proposals was not made clear.

The specialized literature is reviewed hereafter to discuss those STEAM education theoretical foundations and to define the STEAM education model supporting this study, as well as the professional development framework necessary for the implementation of these approaches in the classroom.

Theoretical foundations of STEAM education

STEAM education proposes integrating disciplines within the same learning experience, which according to cognitivism would generate more robust conceptual structures favouring information retrieval and understanding (National Academy of Sciences, 2014). Furthermore, it should coordinate the integration of disciplines that naturally appear when addressing real and complex situations. Most of the proposals described to date within this STEAM education framework rely on active and collaborative methodologies. These student-centred methodologies seek to solve contextualized problems, investigate or discuss controversial issues, searching for conclusions and possible solutions (Perignat & Katz-Buonincontro, 2019; Quigley et al., 2017; Sevian et al., 2018; Thibaut et al., 2018) and also offer room for the development of cognitive and creative skills, which is one of STEAM education’s biggest claims (Perignat & Katz-Buonincontro, 2019). This is true of inquiry-based learning and the classroom use of socio-scientific issues (current scientific topics with social, ethical or environmental repercussions that generate uncertainty, risk or controversy, thereby offering stimulating scenarios for promoting interdisciplinary learning).

It is known that the use of inquiry and socio-scientific issues as learning scenarios encourages students’ interest and involvement and favours the understanding of the nature of science and the development of critical thinking, as well as reasoning and informed decision-making (Ariza et al., 2017; Romero-Ariza, 2017). Therefore, our STEAM proposal, in addition to collaborative work and interdisciplinarity, includes inquiry-based learning and the use of relevant contexts and socio-scientific issues. It recognizes the need to include learning objectives, values, attitudes and skills from the social sciences and humanities and gives special importance to promoting a critical spirit, divergent thinking, reasoning skills and creativity in students,

STEAM education and teacher professional development

The implementation of the STEAM model requires specialized high-quality professional development programmes (Srikoom & Faikhamta, 2018) that draw from teachers’ real beliefs and needs. These programmes should lead them in challenging their reality and their abilities, so that they may acquire skills and strategies that allow them to develop a particular type of learning in students. However, the final impact of the professional development received will depend to a large extent on the influence it has had on the teachers’ beliefs and on their self-perception, as there is mutual interaction between what teachers do and what they think. (Fives & Buehl, 2012; García et al., 2019; De la Torre & Casanova, 2008). When teachers confirm in the classroom that the methodological change positively affects students, their beliefs are modified and their self-efficacy increases, which empowers them to continue to introduce changes in their teaching practice, which is the ultimate objective of any teacher professional development programme (García et al., 2019; Goddard et al., 2004). It is thus affirmed that beliefs about STEAM education affect its implementation (Herro & Quigley, 2017) and that the level of teachers’ self-efficacy is related to the perception of the need for specific training (Chen et al., 2021).

Taking into account all of the above, this article studies the impact that a STEAM education course for secondary education teachers has on their self-efficacy, beliefs and teaching practices. It additionally looks at the course’s characteristics that favour the professional development of teachers in a STEAM environment.

Method

A quantitative methodology was applied to measure the effect on teaching beliefs and practices, complemented by a qualitative approach for understanding the professional development programme’s key characteristics. Thus, the results from the quasi-experimental pre-test/post-test design were analysed together with the qualitative analysis of the participants’ assessments.

Study sample and context

The professional development programme was implemented nationwide with an intentional sample of 102 working teachers from different regions and specialities (see Table 1). This was offered as an online tutored course over several months (70 hours). The teachers were selected in a national call, following the usual selection process for these types of courses, and, therefore, the sample is considered representative of teachers who normally participate in these. Of the 102 participants, 78 took the pre-test questionnaire, 51 the post-test, and 43 of the 102 took both (paired sample). Similar data are observed between the global and paired samples in relation to teaching experience, with the global sample having a gender difference of less than 10% (Table 1).

Table 1. Sample description

	Gender	Teaching experience (years)		Subjects
Number of teachers	M F	5 < > 10		Mathematics	Science	Technology
Npre-test 78	32% 68%	38%	46%	35%	38%	27%
Npost-test 51	38% 62%	32%	46%	32%	40%	28%
Npaired 43	47% 53%	35%	44%	33%	40%	27%

The programme emerged from the adaptation of a professional development course prepared within the MaSDiV¹ project in which universities and ministries from different European countries participated, with the aim of improving STEAM education by using specific teacher training based on research evidence. The project stages included: (i) course design and development of instruments for its evaluation; (ii) course implementation and collection of information in six partner countries; (iii) systematic evaluation of the data collected and proposal for improvement.

In Spain, the course was implemented in collaboration with the Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF) (National Agency for Educational Technology and Teacher Development) between September and November 2019. It was designed to create a professional learning community among the participants, regardless of their speciality training, fostering reflection, debate and the exchange of experiences and resources associated with the implementation of the STEAM approach.

The course included three STEAM learning modules to: (1) address competence diversity using inquiry-based learning methodologies (25 h); (2) use relevant and meaningful learning contexts (25 h); (3) integrate fundamental values and cultural aspects (20 h). The modules offered concrete resources to promote critical and divergent thinking, creativity and argumentation skills in students, and highlighted the humanistic component in STEAM education (Perignat & Katz-Buonincontro, 2019). Each module began by connecting with the teachers’ previous experiences and asking them to question their teaching practice and skills. They were then offered concrete strategies and resources and invited to reflect on their potential in an interactive and shared way (see examples of classroom materials in the project repository http://www.fi.uu.nl/publicaties/subsets/masdiv_en/). Finally, they performed a series of tasks for the purpose of experimenting with certain methodologies and for developing different instructional products for direct application in their schools. The tutors were present throughout the entire process, providing personalized feedback and encouraging reflection and discussion among the teachers. Table 2 shows some examples of professional development activities carried out with the participating teachers.

Table 2. Examples of tasks associated with the online course’s three content modules

Module	Task	Brief description
1. STEAM and competence diversity	Experience the peer review technique.	Immersion task based on developing a strategy that will allow an estimation to be made of the number of different trees in a plot, without performing a direct count, and in the review of the strategy developed by ‘the peer’ assigned. This demonstrates the benefits of cooperative learning in addressing the diversity in students’ competences in STEAM classes.
2. Contexts and STEAM learning	Design your own didactic proposal.	Design of a task that responds to the STEAM disciplines, based in the IBL and contextualized in a controversial socio-scientific issue. This also involves self-assessment and co-assessment between the course participants. It seeks to increase the task’s educational potential in the development of teachers’ skills for producing didactic materials with real application in the classroom.
3. Cultural and social dimension in STEAM learning	Create different forms of representation.	Creation of a poster with a set of cards that encompasses different representations (symbolic, verbal, numerical) of the same concept or process related to STEAM disciplines. Its purpose is to respond to diversity in the students’ cultures and competences by relating meanings.

Instruments and methods of analysis

The pre-test/post-test study was performed with the Spanish version of the questionnaire developed ad hoc within the European project and validated with an intentional sample of teachers (N = 515) (Engeln, 2018; Langhans et al., 2019). This questionnaire represented the fundamental features of the STEAM education model and was divided into three large dimensions or scales: perception of self-efficacy (SEL), beliefs about teaching-learning (BLF) and teaching practices (PRA). Each of these three dimensions in turn contained additional fundamental features (subscales): competence diversity (DIV) and cultural diversity (CUL), use of contexts (CTX), investigation (INV), practical activities (PRA) and autonomous learning (AUT). A Likert-type scale was used for the teachers to express their level of agreement/disagreement (1 = ‘totally disagree’; 4 = ‘totally agree’) or frequency (1 = ‘never or almost never’; 4 = ‘in most classes’). Personal and academic information (gender, age, year of birth, subject, course, previous training and current professional development needs) were collected in the first section of the questionnaire.

Table 3 describes the different scales and subscales, including the alpha values calculated on our post-test sample, as well as examples of items.

Table 3. Scales and subscales from the questionnaire

Designation (Cronbach’s alpha)	No. of items	Brief description (scale type)	Example of item
SEL (.87)	12	Self-efficacy (Disagree/Agree)	I am convinced that …
SEL_IBL (.63)	5	… for attention to diversity through inquiry-based learning.	‘… I use investigative activities to involve all my students in learning’
SEL_CTX (.82)	4	… to use relevant contexts for society.	‘… I use inquiry-based learning to involve students in dealing with issues relevant to society’
SEL_CUL (.78)	3	… to respond to cultural diversity.	‘… I adjust my teaching so that it adapts to the different cultural contexts of the students’
BLF (.93)	12	Teaching/learning beliefs (Disagree/Agree)
BLF_IBL (.82)	5	… on the use of IBL to address diversity	‘The practical and adaptable activities are a learning opportunity for students with different learning abilities’
BLF_CTX (.84)	4	… on the use of contexts relevant to society.	‘Using contexts relevant to society allows students to develop a deeper learning’
BLF_CUL (.82)	3	… on attention to cultural diversity	‘Classroom activities should take the students’ different cultural contexts into account’
PRA (.93)	22	Teachers’ practices centred on the student, with investigative and multicultural traits. (Frequency: never/in most classes)	In my classes …
PRA_PRA (.70)	3	… practical activities centred on the student (they reach conclusions, carry out practices)	‘… the students spend time performing practical activities’
PRA_INV (.72)	3	… related to the design and implementation of research or experiments	‘… they have the opportunity to design and choose their own investigations’
PRA_CEN (.78)	3	… related to the students’ active roles (debate, explanation of ideas)	‘… the students get involved in class debates and discussions.
PRA_AUT (.70)	3	… you relate to the importance and authenticity	‘… I explain the relevance that this subject has in their daily life’
PRA_DIV (.71)	4	… related to diversity (competence, cultural…)	‘… I use a wide variety of contexts to involve students with different abilities’
PRA_CTX (.62)	3	… related to the use of relevant contexts (e.g., controversial socio-scientific issues)	‘… my students debate controversial issues of relevance to society’
PRA_CUL (.72)	3	… on cultural diversity aspects	‘… use of contexts from different cultures’

The questionnaire, distributed electronically through the course’s teletraining platform, was completed voluntarily and anonymously. The initial data processing, descriptive analysis and statistical tests were performed using SPSS v.24 statistical software. The parametric comparison of means test on the paired sample (43 individuals) showed significant differences in some of the dimensions. Given the small number of individuals and uncertainty regarding the sample’s normality assumption, the calculations were repeated using the corresponding non-parametric tests. Similar results were obtained, which ultimately led us to apply the Mann-Whitney test (unpaired) and Wilcoxon signed rank test (paired).

At the end of the course the participants were invited to indicate which aspects they had found particularly useful and would therefore keep and which, on the other hand, they would eliminate. They were asked to justify those opinions. Forty-eight participants shared their course evaluation and the open responses were analysed using QCAmap qualitative analysis software. The categories for analysis were established inductively by identifying recurring themes. Two of the researchers performed the reliability analysis, finding an interjudge agreement of 84%. Discrepancies were resolved by redefining the categories and carrying out new cycles of analysis until a consensus was reached (Silverman & Marvasti, 2008).

The following figures show the teachers’ previous training or professional development regarding the course’s key contents (Figure 1) and the perceived training needs before taking the course (Figure 2), showing that there is no direct relationship between the two.

Figure 1. Teachers’ professional development experience prior to the course

Figure 2. Teachers’ professional development needs related to the project’s central axes

Results

Figure 3 shows the gains detected in self-efficacy, beliefs and teaching practices. The effect after the intervention is quite easily observed. In general, values increased for all the scales, with the gains in self-efficacy and practice being more notable. However, as we will see later, not all of them were significant or had the same effect size.

Figure 3. Gains in the SEL (self-efficacy), BLF (Beliefs) and PRA (Practice) scales (for the paired sample)

Table 4 shows the main findings from the pre-test/post-test analysis for the paired sample. Data normalization was performed by taking into account the number of items for each of the scales defined in Table 3.

Table 4. Pre-test and post-test values for the study sample on the self-efficacy, beliefs, and practices (global and paired) scales and subscales

	Total sampleMean (SD)			Paired sample(SD)
Dimension	Pre (N = 78)	Post (N = 51)	Dimension	Pre (43)	Post (43)	d
SEL**	2.67 (0.38)	3.01 (0.38)	SEL**	2.72 (0.36)	3.01 (0.37)	0.79
SEL_IBL**	2.71 (0.37)	3.05 (0.37)	SEL_IBL**	2.72 (0.39)	3.07 (0.36)	0.93
SEL_CTX**	2.74 (0.50)	3.09 (0.47)	SEL_CTX **	2.81 (0.45)	3.09 (0.47)	0.60
SEL_CUL*	2.53 (0.51)	2.83 (0.55)	SEL_CUL*	2.57 (0.47)	2.81 (0.53)	0.48
BLF	3.44 (0.38)	3.53 (0.37)	BLF	3.44 (0.38)	3.53 (0.37)	0.23
BLF_IBL	3.47 (0.40)	3.55 (0.38)	BLF_IBL	3.46 (0.38)	3.55 (0.38)	0.23
BLF_CTX	3.48 (0.43)	3.60 (0.40)	BLF_CTX	3.49 (0.41)	3.60 (0.39)	0.27
BLF_CUL	3.34 (0.45)	3.41 (0.46)	BLF_CUL	3.34 (0.45)	3.40 (0.47)	0.13
PRA**	2.39 (0.41)	2.69 (0.46)	PRA*	2.40 (0.44)	2.69 (0.46)	0.64
PRA_PRA*	2.46 (0.58)	2.78 (0.58)	PRA_PRA*	2.43 (0.54)	2.78 (0.62)	0.60
PRA_INV	1.83 (0.65)	2.11 (0.68)	PRA_INV	1.89 (0.65)	2.12 (0.71)	0.34
PRA_CEN**	2.28 (0.56)	2.72 (0.64)	PRA_CEN*	2.32 (0.64)	2.72 (0.66)	0.61
PRA_AUT	2.86 (0.56)	3.02 (0.55)	PRA_AUT	2.84 (0.56)	3.00 (0.54)	0.29
PRA_DIV*	2.54 (0.50)	2.91 (0.53)	PRA_DIV*	2.59 (0.53)	2.91 (0.54)	0.60
PRA_CTX**	2.33 (0.57)	2.71 (0.57)	PRA_CTX*	2.36 (0.56)	2.70 (0.57)	0.60
PRA_CUL	2.36 (0.65)	2.53 (0.61)	PRA_CUL*	2.29 (0.44)	2.52 (0.53)	0.47

Note: Significant differences *p < .05, **p < .001

Mann-Whitney test (non-paired)

Wilcoxon signed-rank test (paired)

The self-efficacy and teaching practices scales contained the most relevant results with significant differences and medium effect sizes (0.50 ≤ d > 0.80).

Self-efficacy (SEL) showed significant differences in the scale itself and in the three subscales (inquiry-based learning, relevant contexts and cultural aspects), with all of them having a considerable effect size. The pre-test mean values were 2.72 and rose above 3 for self-efficacy on the global scale. The smallest effect size was observed in the SEL_CUL subscale (d = 0.48), while the largest corresponded to the SEL_IBL subscale, in which there was a significant and large change in terms of effect size (d = 0.93 > 0.80).

The beliefs scale (BLF) showed values greater than 3.00 in the pre-test, which could be deemed as high. These initial values might lead us to think that the post-test gains will not increase significantly given that the teachers began with a fairly informed view. Indeed, although there were slight gains in the post-test, they were not significant and presented a very low effect size.

The teaching practices dimension (PRA) showed gains between the pre-test and post-test results. In the pre-test, all this dimension’s scales presented values lower than 2.59 with the exception of the use of authentic contexts (PRA_AUT), for which the pre-test value was higher than the mean (M = 2.84) and rose to 3.00 in the post-test; however, this change was not significant and had a small effect size (d = 0.29). The initial value for PRA_INV (M = 1.89), which is related to practices that allow students to design investigations to test their own ideas, was especially low. However, it did increase slightly after the professional development course (M = 2.12). The significant gain in student-centred practices (PRA_CEN) and in the use of relevant contexts (PRA_CTX) should also be mentioned.

Figure 4 shows the gains in self-efficacy, beliefs and teaching practices that are related to the use of contexts and inquiry. The pattern seen in Figure 3 also occurred here; that is, there were gains in all three dimensions. However, they were only significant for self-efficacy and practices with medium effect sizes compared to the low effect size of gains observed for beliefs.

Figure 4. Gains in the contexts and inquiry-based learning sub-scales for self-efficacy, beliefs and practices

Table 5 displays the results from the content analysis of the course feedback voluntarily provided by 48 participants.

Table 5. Categories and frequencies in the qualitative analysis of teachers’ opinions about the course

Code	Category description	Examples	Frequency
B1	Course resources	‘… the contents and proposed activities have helped me to improve my classes’	22%
B2	Methodologic contributions	‘… helps the teacher design classes that are different from the lecture-type class’	19%
B3	Usefulness and transferability to the classroom	‘… mainly, I appreciate that the acquired knowledge has a direct application in my teaching practice’	24%
B4	Benefits for the students	‘… to facilitate the students’ motivation with respect to STEM subjects’	22%
B5	Exchange of teachers’ ideas and experiences	‘… to share experiences with the other teachers participating in the course …’	14%

The categories reflect the topics mentioned on a recurring basis and the relative frequency gives us an idea of the extent to which they were repeated. Thus, we can identify which of the course’s characteristics were especially valued by the teachers. In this respect, the possibility of transferring what has been learned to the classroom can be observed as being the aspect most frequently mentioned by teachers (24%), followed by the usefulness of the provided teaching resources (22%) and the implications of the STEAM approach on student motivation and learning (22%). These last two topics were matched in frequency. The course’s effect over the use of other methodologies in the classroom showed a frequency of 19%, while enrichment deriving from the exchange of experiences as part of a professional learning community had a 14% frequency.

Statements related to the integration of different subjects were also collected, although they were not listed in Table 5 due to their low frequency. In favour of interdisciplinarity, one participant states that he particularly values the opportunity to ‘… view different ideas, involving different areas of expertise’. However, to the contrary, the suggestion ‘would create groups by specialties and would try to delve a little deeper into aspects of the subject that each teacher is most interested in’ was made, and, along the same lines, another participant requested a traditional structuring in ‘more specific courses by subjects: physics and chemistry, biology, mathematics …’. These statements suggest that specialized training in independent knowledge areas presents an obstacle to the implementation of integrative approaches.

Finally, it should be highlighted that the qualitative analysis revealed an absence of explicit references to the cultural dimension and the integration of fundamental values. There was just one comment in appreciation of the usefulness of the course contents for understanding teaching-learning difficulties in multicultural classes, ‘I liked the reflection over the difficulties that my foreign students may encounter in the classroom’, and three positive comments regarding the teaching potential of using socio-scientific issues, such as ‘… I think it is a matter that has many positive aspects …’

Discussion and conclusions

In response to the first research question, which characteristics of the training programme favour the professional development of the teachers involved, the results show that the most mentioned aspect is the possibility of transferring what has been learned into the classroom, followed by the usefulness of teaching resources offered and the positive impact on student learning. Lastly, the teachers highlight the opportunity to exchange ideas and experiences with other participants. These results coincide with specialized research on effective teacher professional development (Bautista & Ortega-Ruiz, 2015) and are aligned with the course design principles, which emphasize the connection to the classroom, reflection over one’s own practice and the exchange of experiences with colleagues. Accordingly, teachers were asked to design and implement pedagogical resources adapted to their classroom and to share their reflections, in turn providing feedback to others and enabling exchange and communication between colleagues possessing different years of experience, a factor that influences levels of self-efficacy (Wolters & Daugherty, 2007).

By contrast, the little reference to interdisciplinarity and the integration of the cultural dimension in the teaching of mathematics and scientific-technological subjects suggests that these aspects must be reinforced if a greater impact on teaching beliefs and practices is sought.

Regarding the second research question, the programme’s effect on teachers’ self-efficacy, beliefs and teaching practices with the application of the STEAM education model, the comparison of the pre-test/post-test results shows that the work performed with the participating teachers has had a significant impact on their perception of their own ability (self-efficacy) to successfully implement the methodologies associated with the model. The effect size for teacher self-efficacy ranges from the lowest value of 0.48, associated with items related to the inclusion of cultural aspects in the teaching of science and mathematics, to the highest value of 0.93, in items related to the design and management of activities in which students are involved in investigating relevant topics.

The small effect size observed in self-efficacy with regard to responding to cultural diversity is also observed in the beliefs and practices scales. The challenges associated with teaching in multicultural groups (Ippolito, 2007) have been specifically addressed in module 3 of the STEAM education programme by offering specific strategies and spaces for shared reflection. However, the level of self-efficacy for teaching in multicultural groups is strongly influenced by the level of cooperation and support received from the schools (Sela-Shayovitz & Finkelstein, 2020), which suggests the need for these educational institutions to pay greater attention to these aspects.

Furthermore, the results show a positive impact on student-centred teaching practices (discussion and explanation of ideas, debates, etc.), the use of relevant contexts (e.g., socio-scientific issues) and the use of situations adapted to competence and cultural diversity (d ≥ 0.60). The smallest effect sizes (0.29 and 0.33) are observed in the authenticity and inquiry subscales. Previous studies in this regard reveal that teachers encounter various obstacles to the implementation of this type of methodology, such as the subject-established organization of the schools, the prevailing evaluation model and the lack of time and specialized teaching materials (Abril Gallego et al., 2014; García et al., 2019; Romero-Ariza et al., 2020).

Regarding teacher beliefs, the results show positive development on the part of teachers towards the STEAM education model defended in this article, although in this case, the differences between the initial and final scores are not significant and show smaller effect sizes with values between 0.13 and 0.27. These results are consistent with those available in specialized research, which show how belief systems are strongly ingrained and resistant to change (Löfström & Poom-Valickis, 2013), as well as the difficulty to advance teacher beliefs when the initial levels are high (De Coito & Myszkal, 2018). However, the identification of significant effect sizes on teachers’ self-efficacy and practices leads us to think that changes in beliefs may occur in the longer term, due to the close relationship between personal beliefs, professional practices and lived experiences (Guskey, 2020).

The present study reveals the complex relationships established between perceptions of teachers’ self-efficacy, beliefs and practices, and seems to show that, in the first instance, self-efficacy and classroom practices experience higher levels of development, while beliefs present greater resistance to change. According to our results, the course presented in this article causes teachers’ practices to evolve positively, likely because it has also had a positive influence on their self-efficacy levels. However, there is still work to be done in the area of beliefs. If, as indicated by Khader (2012), these are the key to motivating teachers to advance their practices towards more innovative ones, future work should be aimed at helping these beliefs evolve in the hope of having a more positive influence on educational practice and, ultimately, favouring STEAM learning in students.

Our position on STEAM education seeks to achieve authentic and integrated learning that takes the profile of each individual as a starting point and highlights the importance of a more humanistic education that brings together a balanced integration of knowledge, values and skills relevant in today’s world. For this reason, the STEAM educational model used in the online teacher professional development programme, the object of this study, is focused on the use of relevant and meaningful contexts as learning scenarios. These scenarios require students to develop investigative and critical thinking skills for use in problem-solving and informed decision-making (Romero-Ariza et al., 2017). In particular, inquiry into socio-scientific issues allows students to combine their understanding and application of scientific-technological content with consideration of social and ethical aspects that demonstrate divergent and creative thinking in decision-making (Levinson, 2018; Romero-Ariza et al., 2018).

The participating teachers’ limited training in adopting a multicultural approach to learning in classrooms that are diverse and inclusive of inquiry-based practices was one difficulty encountered in this study. An additional difficulty included the professional development needs expressed by the participants in relation to the central axes of the educational model promoted in the course. All of this reveals how important the online professional development course is in offering a set of experiences and resources with which to improve teachers’ self-efficacy, beliefs and teaching practices related to the implementation of the STEAM approach.

It is necessary to draw attention to the study’s limitations, to be clear that the results obtained are confined to an intentional sample that participated in a specific professional development programme. In any case, the results follow the same pattern as those obtained in the project’s other participating countries (Langhans et al., 2019), which seems to support the generalization of the conclusions.

In order to deepen understanding of the key factors involved in advancing teachers’ beliefs and practices towards a STEAM model, and to more accurately assess the extent to which the interventions prepare teachers to effectively apply these methodologies in their classrooms, research with participant case studies will be completed in the near future.

Finally, recognizing teachers as the key piece for successfully implementing innovative approaches, we consider the results presented as being of interest to those persons who believe that it is possible to use a different teaching approach in the classroom. We believe that the STEAM approach offers interesting possibilities with which to question the prevailing educational models and desired learning outcomes. It additionally invests in professional development that harmoniously integrates knowledge, skills and values, and adequately prepares individuals to confront current social and environmental challenges.

Cambios en la autoeficacia, creencias y prácticas docentes en la formación STEAM de profesorado

Este trabajo afronta tres retos mencionados en la literatura sobre formación de profesorado. El primero de ellos es la necesidad de cuestionar una enseñanza fundamentalmente transmisora, reduccionista y contextualizada en situaciones académicas, para transformarla en una experiencia de aprendizaje que permita el desarrollo integral del individuo y fomente el pensamiento crítico, la creatividad y las destrezas de resolución de problemas. El segundo reto está asociado con la importancia de llevar a cabo un desarrollo profesional de profesorado que genere una transformación significativa de sus creencias y prácticas docentes. El tercer y último reto se asocia con la necesidad de garantizar el rigor científico, tanto en la selección de los factores contextuales que determinan la eficacia de un proceso formativo, como en la medida del impacto del mismo a través de una investigación rigurosa (Herro & Quigley, 2017; Perignat & Katz-Buonincontro, 2019).

En un intento de responder a los tres retos, se presenta, por un lado, un modelo educativo STEAM integrador, y por otro, los resultados de un programa de desarrollo profesional del profesorado enfocado a la implementación del modelo. El presente trabajo, que se ha desarrollado en el seno de un proyecto internacional enfocado a la mejora de la educación STEAM, se centra en el contexto español y pretende dar respuesta a las siguientes preguntas de investigación:

1. ¿Qué características del programa formativo favorecen el desarrollo profesional del profesorado de Educación Secundaria?

2. ¿Cuál es el efecto del programa sobre la autoeficacia, creencias y prácticas docentes en la aplicación del modelo de educación STEAM?

Antecedentes y marco teórico

La integración de las áreas STEAM se ha abordado desde el ámbito educativo como una oportunidad para mejorar la enseñanza y replantear los resultados de aprendizaje perseguidos, así como las metodologías didácticas conducentes a ellos. En este sentido, son muchas las propuestas que han surgido en la literatura especializada sobre cómo integrar el enfoque STEAM en distintos contextos y niveles educativos. Algunas de las más actuales incluyen desde la interrelación de aminoácidos y notas musicales para trabajar composición y secuenciación de proteínas integrando aprendizajes de música y bioquímica (Acan & Acan, 2019), hasta la utilización de inteligencia artificial para mejorar el razonamiento y la calidad de las preguntas formuladas para la resolución de problemas en clases STEAM (How & Hung, 2019).

Ante la gran profusión y variedad de trabajos, surge la necesidad de llevar a cabo revisiones sistemáticas y estudios rigurosos que permitan establecer conclusiones generalizables sobre los modelos didácticos subyacentes y sobre sus efectos en el aprendizaje. En esta línea, una revisión sistemática de la literatura especializada (Martín‐Páez et al., 2019) muestra la variedad de términos utilizados y la falta de definición de los mismos, así como del marco teórico subyacente, lo que dificulta significativamente la comparación de trabajos, el contraste de resultados y, en última instancia, el establecimiento de conclusiones.

Por otro lado, diferentes estudios ponen de manifiesto que los posibles beneficios de un enfoque integrado dependen en gran medida de cómo este se lleve a cabo (National Academy of Sciences, 2014), reconociendo al profesorado como catalizador del proceso (Margot & Kettler, 2019) y pieza clave que, a veces, se ve limitada por la carencia de formación específica y metodológica en este ámbito. En este sentido, y en relación con aspectos metodológicos, Thibaut et al. (2018) concluyeron que las metodologías más utilizadas eran el trabajo colaborativo, la interdisciplinariedad, la indagación, la resolución de problemas y el aprendizaje basado en el diseño. Sin embargo, no se aclaraba cuál era el fundamento teórico de estas propuestas.

A continuación, se revisará la literatura especializada para discutir los fundamentos teóricos de la educación STEAM y definir el modelo de educación STEAM que sustenta este trabajo, así como el marco de desarrollo profesional del profesorado necesario para implementar en el aula dichos enfoques.

Fundamentos teóricos de la educación STEAM

La educación STEAM sugiere una integración de disciplinas en una misma experiencia de aprendizaje, lo que de acuerdo con el cognitivismo generaría estructuras conceptuales más robustas que favorecerían la recuperación de información y la comprensión (National Academy of Sciences, 2014). La educación STEAM debe de articular la integración de disciplinas que aparezcan de manera natural al hacer frente a situaciones reales y complejas. La mayoría de las propuestas descritas hasta la fecha en este marco de educación STEAM se apoyan en metodologías activas y colaborativas. Estas metodologías centradas en el estudiante buscan resolver problemas contextualizados, indagar, o discutir temas controvertidos buscando conclusiones y posibles soluciones (Perignat & Katz-Buonincontro, 2019; Quigley et al., 2017; Sevian et al., 2018; Thibaut et al., 2018) y ofrecen espacios para el desarrollo de destrezas cognitivas y creativas, uno de los grandes reclamos en educación STEAM (Perignat & Katz-Buonincontro, 2019). Este es el caso del aprendizaje por indagación y el basado en el uso de controversias socio-científicas en el aula (temas científicos de actualidad con repercusiones sociales, éticas o ambientales que generan incertidumbre, riesgo o controversia y que, por tanto, ofrecen estimulantes escenarios para promover el aprendizaje interdisciplinar).

En relación con el uso de la indagación y las controversias socio-científicas como escenarios de aprendizaje, se sabe que fomentan el interés y la implicación del alumnado, favorecen la comprensión de la naturaleza de la ciencia y el desarrollo del pensamiento crítico, así como la argumentación y la toma de decisiones fundamentada (Ariza et al., 2017; Romero-Ariza, 2017). Así pues, nuestra propuesta STEAM, además del trabajo colaborativo y la interdisciplinariedad, incluye la indagación, el uso de contextos relevantes y de controversias socio-científicas, al reconocer la necesidad de incluir objetivos de aprendizaje, valores, actitudes y destrezas propias de las ciencias sociales y las humanidades y conceder especial importancia a promover el espíritu crítico, el pensamiento divergente, la capacidad de argumentación y la creatividad en el alumnado.

Educación STEAM y desarrollo profesional del profesorado

La implementación del modelo de educación STEAM requiere programas de desarrollo profesional específicos de calidad (Srikoom & Faikhamta, 2018), que partan de las creencias y necesidades reales del profesorado y que lo acompañen en un cuestionamiento de su realidad y sus capacidades, adquiriendo destrezas y estrategias que le permitan articular un determinado tipo de aprendizaje en el alumnado. Sin embargo, el impacto final de la formación docente recibida, dependerá en gran medida de la influencia que esta haya tenido en las creencias del profesorado y en su autopercepción docente, ya que existe una interacción mutua entre lo que el profesorado hace y lo que piensa (Fives & Buehl, 2012; García et al., 2019; De la Torre & Casanova, 2008). Cuando el profesorado comprueba en el aula que, el cambio metodológico, afecta positivamente al alumnado se modifican sus creencias y aumenta su autoeficacia, capacitándolo para seguir introduciendo cambios en su práctica docente, objetivo último de cualquier programa de desarrollo profesional de profesorado (García et al., 2019; Goddard et al., 2004). En este sentido, se afirma que las creencias sobre enseñanza STEAM afectan a su puesta en práctica (Herro & Quigley, 2017), y que el nivel de autoeficacia docente se relaciona con la percepción de la necesidad de formación específica (Chen et al., 2021).

Teniendo en cuenta todo lo anterior, el presente trabajo estudia el impacto sobre la autoeficacia, creencias y prácticas docentes de un curso de educación STEAM para profesorado de Educación Secundaria, así como la comprensión de las características de dicho curso que favorecen el desarrollo profesional del profesorado en ese ámbito.

Método

Se aplica una metodología cuantitativa para medir el efecto en las creencias y prácticas docentes complementada con un abordaje cualitativo para entender las características clave del programa formativo. En este sentido, los resultados de un diseño cuasi-experimental pre-test/post-test se completan con el análisis cualitativo de las valoraciones expresadas por los participantes.

Muestra de estudio y contexto

El programa de desarrollo profesional se implementó a nivel nacional con una muestra intencional de 102 docentes en activo de distintas regiones y especialidades (ver Tabla 1), como curso tutorizado en línea a lo largo de varios meses (70 horas). El profesorado fue seleccionado en una convocatoria nacional, siguiendo el proceso selectivo habitual en estos cursos y, por tanto, la muestra se considera representativa del profesorado que suele participar en este tipo de cursos. De los 102 participantes, 78 realizaron el pre-test, 51 el post-test, y 43 de los 102 realizaron ambos cuestionarios (muestra pareada). Se observan datos similares entre la muestra global y pareada en relación con la experiencia docente y una diferencia de género de menos de un 10% con la muestra global (Tabla 1).

Tabla 1. Descripción de la muestra

	Sexo	Experiencia docente (años)		Asignaturas
Número profesores	H M	5 < > 10		Matemáticas	Ciencias	Tecnología
Npre-test 78	32% 68%	38%	46%	35%	38%	27%
Npost-test 51	38% 62%	32%	46%	32%	40%	28%
Npareada 43	47% 53%	35%	44%	33%	40%	27%

El programa surge de la adaptación de un curso de desarrollo profesional elaborado dentro del proyecto MaSDiV² en el que participan universidades y ministerios de distintos países europeos, con objeto de mejorar la educación STEAM a través de la formación específica de profesorado basada en evidencias de investigación. Las fases del proyecto fueron: i) diseño del curso y puesta a punto de instrumentos para su evaluación; ii) implementación del curso y recogida de información en seis países socios; iii) evaluación sistemática de los datos recogidos y propuesta de mejora.

En España, el curso se implementó en colaboración con el Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF) entre septiembre y noviembre de 2019. Fue diseñado para crear una comunidad profesional de aprendizaje entre los participantes, con independencia de su especialidad formativa, fomentando la reflexión, el debate y el intercambio de experiencias y recursos asociados a la implementación del enfoque STEAM promovido por el proyecto.

El curso incluye tres módulos de aprendizaje STEAM para: (1) atender a la diversidad competencial utilizando metodologías de indagación (25 h); (2) utilizar contextos de aprendizaje relevantes y significativos (25 h); (3) integrar valores fundamentales y aspectos culturales (20 h). Los módulos ofrecen recursos concretos para fomentar el pensamiento crítico y divergente, la creatividad y la capacidad de argumentación en el alumnado, poniendo en valor el componente humanístico en la educación STEAM (Perignat & Katz-Buonincontro, 2019). Cada módulo se inicia conectando con las experiencias previas del profesorado y haciéndole cuestionar su práctica y habilidades docentes. Seguidamente, se les ofrece estrategias y recursos concretos, invitándoles a reflexionar sobre su potencial de manera interactiva y compartida (ver ejemplos de materiales de aula en el repositorio del proyecto http://www.fi.uu.nl/publicaties/subsets/masdiv_en/). Finalmente, se les implica en la realización de una serie de tareas, orientadas a experimentar determinadas metodologías y a elaborar diferentes productos didácticos de aplicación directa en sus centros educativos. Los formadores acompañan todo el proceso aportando realimentación personalizada y fomentando la reflexión y discusión entre el profesorado. La Tabla 2 muestra algunas actividades de desarrollo profesional llevadas a cabo con el profesorado participante.

Tabla 2. Ejemplos de tareas asociadas a los tres módulos de contenidos del curso on-line

Módulo	Tarea	Breve descripción
1. STEAM y diversidad competencial	Experimenta la técnica de revisión entre iguales.	Tarea de inmersión basada en el desarrollo de una estrategia que permita estimar el número de árboles distintos de una parcela, sin llevar a cabo su conteo directo, y en la revisión de la estrategia desarrollada por ‘el igual’ asignado. Permite evidenciar los beneficios del aprendizaje cooperativo en atender a la diversidad competencial del alumnado en clases STEAM.
2. Contextos y el aprendizaje STEAM	Diseña tu propia propuesta didáctica.	Diseño de una tarea que atienda a las disciplinas STEAM, basada en el IBL y contextualizada en una controversia socio-científica. Implica también la autoevaluación y coevaluación entre los participantes del curso. Busca incrementar el potencial formativo de la tarea en el desarrollo de habilidades docentes relacionadas con la elaboración de productos didácticos de aplicación real en el aula.
3. La dimensión cultural y social en el aprendizaje STEAM	Crea diferentes formas de representación.	Elaboración de un póster con un conjunto de tarjetas que engloben diferentes representaciones (simbólicas, verbales, numéricas) de un mismo concepto o proceso relacionado con las disciplinas STEAM. Tiene como finalidad atender a la diversidad cultural y competencial del alumnado a través de la relación de significados.

Instrumentos y métodos de análisis

El estudio pre-test/post-test se llevó a cabo con la versión en español del cuestionario desarrollado ad-hoc en el seno del proyecto europeo y validado con una muestra intencional de profesorado (N = 515) (Engeln, 2018; Langhans et al., 2019). El cuestionario refleja los rasgos fundamentales del modelo de educación STEAM y está estructurado en tres grandes dimensiones: percepción de autoeficacia (AUT), creencias sobre enseñanza-aprendizaje (CRE) y prácticas docentes (PRA). Cada una de estas dimensiones refleja los rasgos fundamentales del modelo STEAM: diversidad competencial (DIV) y cultural (CUL), uso de contextos (CTX), indagación (INV), actividades prácticas (PRA) y aprendizaje autónomo (AUT). Se utiliza una escala tipo Likert con la que el profesorado expresa su grado de acuerdo/desacuerdo (1 = ‘totalmente en desacuerdo’; 4 = ‘totalmente de acuerdo’) o frecuencia (1 = ‘nunca o casi nunca’; 4 = en la mayoría de las clases’). En la primera parte del cuestionario, se recogen datos personales y académicos (sexo, edad, año de nacimiento, asignatura, curso, formación previa y necesidades formativas actuales).

La Tabla 3 describe las diferentes escalas y sub-escalas, incluyendo los valores de alfa calculados sobre nuestra muestra post-test, así como ejemplos de ítems.

Tabla 3. Escalas y sub-escalas del cuestionario

Denominación (alfa de Cronbach)	Nº de ítems	Breve descripción (tipo de escala)	Ejemplo de ítem
AUT (.87)	12	Autoeficacia (Desacuerdo/Acuerdo)	Estoy convencido de que …
AUT_IBL (.63)	5	… para la atención a la diversidad a través de la indagación.	‘… uso actividades de indagación para involucrar a todos mis alumnos/as en el aprendizaje’
AUT_CTX (.82)	4	… para utilizar contextos relevantes para la sociedad.	‘.uso el aprendizaje por indagación para involucrar al alumnado en el tratamiento de cuestiones relevantes para la sociedad’
AUT_CUL (.78)	3	… para atender la diversidad cultural.	‘… adecúo mi enseñanza para que se adapte a los diferentes contextos culturales del alumnado’
CRE (.93)	12	Creencias enseñanza/aprendizaje (Desacuerdo/Acuerdo)
CRE_IBL (.82)	5	… sobre la utilización del IBL para atender la diversidad	‘Las actividades prácticas y adaptables son una oportunidad de aprendizaje para el alumnado con diferentes capacidades de aprendizaje’
CRE_CTX (.84)	4	… sobre el uso de contextos relevantes para la sociedad.	‘Usar contextos relevantes para la sociedad permite al alumnado desarrollar un aprendizaje más profundo’
CRE_CUL (.82)	3	… sobre la atención a la diversidad cultural	‘Las actividades en clase deben tener en cuenta los diferentes contextos culturales del alumnado’
PRA (.93)	22	Prácticas docentes centradas en el estudiante, con rasgos de indagación y multiculturales. (Frecuencia; nunca/en la mayoría de las clases	En mis clases …
PRA_PRA (.70)	3	… actividades prácticas centradas en el estudiante (obtienen conclusiones, realizan prácticas)	‘… los/as alumnos/as dedican tiempo a realizar actividades prácticas’
PRA_INV (.72)	3	… relacionadas con el diseño e implementación de investigaciones o experimentos	‘… tienen la oportunidad de diseñar y elegir sus propias investigaciones’
PRA_CEN (.78)	3	… relacionadas con un papel activo del alumnado (debate, explicación de ideas)	‘… el alumnado se involucra en los debates y discusiones de clase.
PRA_AUT (.70)	3	… relacionas con la importancia y autenticidad	‘… explico la relevancia que esta asignatura tiene en su vida diaria’
PRA_DIV (.71)	4	… relacionadas con la diversidad (competencial, cultural …)	‘… uso una gran variedad de contextos para involucrar al alumnado con diferentes capacidades’
PRA_CTX (.62)	3	… relacionadas con el uso de contextos relevantes (e.g., controversias socio científicas)	‘… mi alumnado debate sobre temas controvertidos de relevancia para la sociedad’

El cuestionario, distribuido electrónicamente a través de la plataforma de teleformación del curso, fue cumplimentado de forma voluntaria y anónima. El procesamiento inicial de los datos, el análisis descriptivo y las pruebas estadísticas se han llevado a cabo utilizando el paquete estadístico SPSS v.24. La prueba paramétrica de comparación de medias sobre la muestra pareada (43 individuos) mostró diferencias significativas en algunas de las dimensiones analizadas. Teniendo en cuenta el número pequeño de individuos y ante la incertidumbre sobre los requisitos de normalidad de la muestra, se repitieron los cálculos utilizando las correspondientes pruebas no paramétricas, obteniendo resultados similares, lo que nos llevó finalmente a aplicar la prueba de Mann-Whitney (no pareada) y rangos con signo de Wilcoxon (pareada).

Al finalizar el curso se invitó a los participantes a señalar qué aspectos habían encontrado especialmente útiles y mantendrían y cuáles por el contrario eliminarían, justificando su opinión. Cuarenta y ocho participantes compartieron su evaluación del curso y las respuestas abiertas fueron. analizadas utilizando el software de análisis cualitativo QCAmap. Las categorías de análisis se establecieron de manera inductiva identificando los temas recurrentes. La confiabilidad del análisis llevado a cabo por dos investigadoras arrojó un grado de acuerdo entre jueces del 84%. Las discrepancias se resolvieron por redefinición de las categorías y nuevos ciclos de análisis hasta alcanzar el consenso (Silverman & Marvasti., 2008).

Las siguientes figuras muestran la formación previa del profesorado sobre contenidos clave del curso (Figura 1) y las necesidades formativas percibidas antes de la realización del mismo (Figura 2), mostrando que no existe una relación directa entre ambas.

Figura 1. Experiencia formativa del profesorado previa al curso

Figura 2. Necesidades formativas del profesorado relacionadas con los ejes centrales del proyecto

Resultados

En la Figura 3 se muestran las ganancias detectadas en autoeficacia, creencias y prácticas docentes, pudiéndose percibir a simple vista el efecto tras la intervención. En líneas generales, hay un aumento de los valores para todas las escalas, siendo más notables las ganancias en autoeficacia y práctica. Sin embargo, como veremos más adelante, no todas ellas son significativas ni con el mismo tamaño del efecto.

Figura 3. Ganancias en las escalas AUT (autoeficacia), CRE (Creencias) y PRA (prácticas) (para la muestra pareada)

La Tabla 4 muestra los principales resultados del análisis pre-test/post-test para la muestra pareada. Los datos se han normalizado teniendo en cuenta el número de ítems para cada una de las escalas definidas en la Tabla 3.

Tabla 4. Valores pre-test y post-test para la muestra de estudio en las escalas y sub-escalas de autoeficacia, creencias y prácticas (global y pareada)

	Muestra globalMedia (SD)			Muestra pareadaMedia (SD)
Dimensión	Pre (N = 78)	Post (N = 51)	Dimensión	Pre (43)	Post (43)	d
AUT**	2.67 (0.38)	3.01 (0.38)	AUT**	2.72 (0.36)	3.01 (0.37)	0.79
AUT_IBL**	2.71 (0.37)	3.05 (0.37)	AUT_IBL**	2.72 (0.39)	3.07 (0.36)	0.93
AUT_CTX**	2.74 (0.50)	3.09 (0.47)	AUT_CTX*	2.81 (0.45)	3.09 (0.47)	0.60
AUT_CUL*	2.53 (0.51)	2.83 (0.55)	AUT_CUL*	2.57 (0.47)	2.81 (0.53)	0.48
CRE	3.44 (0.38)	3.53 (0.37)	CRE	3.44 (0.38)	3.53 (0.37)	0.23
CRE_IBL	3.47 (0.40)	3.55 (0.38)	CRE_IBL	3.46 (0.38)	3.55 (0.38)	0.23
CRE_CTX	3.48 (0.43)	3.60 (0.40)	CRE_CTX	3.49 (0.41)	3.60 (0.39)	0.27
CRE_CUL	3.34 (0.45)	3.41 (0.46)	CRE_CUL	3.34 (0.45)	3.40 (0.47)	0.13
PRA**	2.39 (0.41)	2.69 (0.46)	PRA*	2.40 (0.44)	2.69 (0.46)	0.64
PRA_PRA*	2.46 (0.58)	2.78 (0.58)	PRA_PRA*	2.43 (0.54)	2.78 (0.62)	0.60
PRA_ INV	1.83 (0.65)	2.11 (0.68)	PRA_ INV	1.89 (0.65)	2.12 (0.71)	0.34
PRA_CEN**	2.28 (0.56)	2.72 (0.64)	PRA_CEN*	2.32 (0.64)	2.72 (0.66)	0.61
PRA_AUT	2.86 (0.56)	3.02 (0.55)	PRA_AUT	2.84 (0.56)	3.00 (0.54)	0.29
PRA_DIV*	2.54 (0.50)	2.91 (0.53)	PRA_DIV*	2.59 (0.53)	2.91 (0.54)	0.60
PRA_CTX**	2.33 (0.57)	2.71 (0.57)	PRA_CTX*	2.36 (0.56)	2.70 (0.57)	0.60
PRA_CUL	2.36 (0.65)	2.53 (0.61)	PRA_CUL*	2.29 (0.44)	2.52 (0.53)	0.47

Nota: Diferencias significativas *p < .05, **p < .001

Prueba de Mann-Whitney (no pareadas)

Prueba de rangos con signo de Wilcoxon (pareadas)

Los resultados más relevantes con diferencias significativas y tamaños de efecto medios (0.50 ≤ d > 0.80) están relacionados con las escalas de autoeficacia y prácticas docentes.

La autoeficacia (AUT) muestra diferencias significativas en la propia escala y en las tres sub-escalas (indagación, contextos relevantes y aspectos culturales), con un tamaño de efecto considerable en todas ellas. Los valores medios del pre-test se sitúan en 2.72, evolucionando por encima del 3 en la escala global sobre autoeficacia. El menor tamaño de efecto se observa en la sub-escala AUT_CUL (d = 0.48), mientras que el mayor corresponde a la sub-escala AUT_IBL, en el que se produce un cambio significativo y grande, en términos de tamaño del efecto (d = 0.93 > 0.80).

La escala de creencias (CRE) muestra valores superiores a 3.00 en el pre-test, los cuales pueden ser considerados como elevados. Estos valores de partida podrían llevarnos a inducir que las ganancias percibidas en el post-test no se van a ver significativamente incrementadas, ya que el profesorado parte de una visión bastante informada. Efectivamente, aunque se han producido ligeras ganancias en el post-test, estas no son significativas y presentan un tamaño de efecto muy bajo.

En la dimensión sobre prácticas docentes (PRA) se aprecian ganancias entre los resultados del pre-test y del post-test. En el pre-test todas las escalas de esta dimensión presentaban valores inferiores a 2.59 a excepción de la relacionada con el uso de contextos auténticos (PRA_AUT), para la cual el valor pre-test se sitúa por encima de la media (M = 2.84) y evoluciona a 3.00 en el post-test; sin embargo, este cambio no es significativo y presenta un tamaño de efecto pequeño (d = 0.29). Es especialmente bajo el valor de partida de PRA_INV (M = 1.89), relacionado con prácticas que permiten al alumnado diseñar investigaciones para testar sus propias ideas, el cual aumenta ligeramente tras la intervención (M = 2.12). También, cabe mencionar la ganancia significativa en las prácticas centradas en el alumnado (PRA_CEN), y en el uso de contextos relevantes (PRA_CTX).

La Figura 4 muestra las ganancias en autoeficacia, creencias y prácticas relacionadas con el uso de contextos y la indagación. Aparece el mismo patrón que el reflejado en la Figura 3, es decir, existen ganancias en las tres dimensiones, pero, solo es significativa para la autoeficacia y las prácticas con tamaños de efecto medios frente al bajo efecto de ganancia observado para las creencias.

Figura 4. Ganancias en las sub-escalas de contextos e indagación para autoeficacia, creencias y prácticas

La Tabla 5 muestra los resultados del análisis de contenido de la retroalimentación sobre el curso aportada de manera voluntaria por 48 participantes.

Tabla 5. Categorías y frecuencias en el análisis cualitativo de las opiniones docentes sobre el curso

Código	Descripción de la categoría	Ejemplos	Frecuencia
B1	Recursos del curso	‘… los contenidos y actividades propuestas me han ayudado a mejorar mis clases’	22%
B2	Aportaciones metodológicas	‘… ayuda al profesor a diseñar clases distintas a la magistral’	19%
B3	Utilidad y transferencia al aula	‘… sobre todo, valoro que los conocimientos adquiridos tengan una aplicación directa en mi práctica docente’	24%
B4	Beneficios para el alumnado	‘… para facilitar la motivación del alumnado con las materias STEM’	22%
B5	Intercambio de ideas y experiencias docentes	‘… compartir experiencias con el resto de profesores participantes en el curso …’	14%

Las categorías reflejan los temas mencionados de manera recurrente y la frecuencia relativa nos da idea de en qué medida se repiten, permitiéndonos identificar qué características del curso han sido especialmente valorados por el profesorado. En este sentido, se puede observar que la posibilidad de trasladar lo aprendido al aula ha sido el aspecto mencionado con más frecuencia por el profesorado (24%), seguido de la utilidad de los recursos didácticos aportados (22%) y de las implicaciones del enfoque STEAM sobre la motivación y el aprendizaje del alumnado (22%), estas dos últimas temáticas igualadas en frecuencia. El efecto del curso sobre la utilización de otras metodologías en el aula aparece con una frecuencia del 19%, mientras que el enriquecimiento derivado del intercambio de experiencias como parte de una comunidad profesional de aprendizaje, surge con una frecuencia del 14%.

Por otro lado, y aunque no hayan sido recogidas en la Tabla 5 por su baja frecuencia, se han recogido afirmaciones relacionadas con la integración de distintas asignaturas. A favor de la interdisciplinariedad, un participante afirma que valora especialmente la oportunidad de ‘… ver diferentes ideas, involucrando a diferentes áreas de especialidad’. Sin embargo, en sentido contrario, se ha recogido la sugerencia ‘haría grupos por especialidades e intentaría profundizar un poco más en aspectos de la materia que nos interesa más a cada docente’ y, en la misma línea, otro participante demanda una estructuración tradicional en ‘cursos más concretos por asignaturas: física y química, biología, matemáticas …’. Estas afirmaciones sugieren que la formación especializada en ámbitos de conocimiento independientes supone un obstáculo para la implementación de enfoques integradores.

Por último, indicar que, el análisis cualitativo muestra la ausencia de referencias explícitas a la dimensión cultural y la integración de los valores fundamentales. Únicamente se recoge un comentario apreciando la utilidad de los contenidos del curso para entender las dificultades de enseñanza-aprendizaje en clases multiculturales ‘me ha gustado la reflexión sobre las dificultades que pueden encontrar mis alumnos extranjeros en el aula’ y tres comentarios positivos sobre el potencial didáctico del uso de controversias socio-científicas, como por ejemplo ‘… considero que es un tema que puede dar mucho de sí …’.

Discusión y conclusiones

En respuesta a la primera pregunta de investigación, qué características del programa formativo favorecen el desarrollo profesional del profesorado implicado, los resultados muestran que el aspecto más mencionado es la posibilidad de trasladar lo aprendido al aula, seguido de la utilidad de los recursos docentes ofrecidos y el impacto positivo sobre el aprendizaje el alumnado. Por último, el profesorado destaca la oportunidad de intercambiar ideas y experiencias con otros participantes. Estos resultados coinciden con la investigación especializada sobre formación eficaz de profesorado (Bautista & Ortega-Ruiz, 2015) y se alinean con los principios de diseño del curso, que enfatizan la conexión con el aula, la reflexión sobre la propia práctica y el intercambio de experiencias con otros docentes. En esta línea, se pedía al profesorado que diseñara e implementara recursos didácticos adaptados a su aula y que compartiera sus reflexiones, aportando a su vez retroalimentación a otros y posibilitando el intercambio y la comunicación entre docentes con distintos años de experiencia, factor que influye en los niveles de autoeficacia (Wolters & Daugherty, 2007).

Por el contrario, la escasa referencia a la interdisciplinariedad y a la integración de la dimensión cultural en la enseñanza de las matemáticas y las materias científico-tecnológicas sugieren que estos aspectos han de ser reforzados si se busca un mayor impacto sobre las creencias y prácticas docentes.

Enlazando con la segunda pregunta de investigación (efecto del programa sobre la autoeficacia, creencias y prácticas docentes relacionadas con la aplicación del modelo de educación STEAM), la comparación de los resultados pre-test/post-test pone de manifiesto que el trabajo llevado a cabo con el profesorado participante ha tenido un impacto significativo en la percepción acerca de su propia capacidad (autoeficacia) para implementar con éxito las metodologías asociadas al modelo educativo promovido. El tamaño del efecto, en el caso de la autoeficacia docente, oscila entre el valor más bajo de 0.48, asociado a ítems relacionados con la inclusión de aspectos culturales en la enseñanza de las ciencias y las matemáticas, hasta el valor más alto de 0.93, en ítems relacionados con el diseño y gestión de actividades que implican al alumnado en la investigación de temas relevantes.

El reducido tamaño de efecto observado en la dimensión de autoeficacia para atender a la diversidad cultural también se reproduce en las escalas de creencias y prácticas. Los retos asociados a la enseñanza en grupos multiculturales (Ippolito, 2007) han sido tratados de manera específica en el módulo 3 del programa de educación STEAM, ofreciendo estrategias específicas y espacios para la reflexión compartida. No obstante, el nivel de autoeficacia docente para la enseñanza en grupos multiculturales se ve fuertemente influenciado por el nivel de cooperación y apoyo recibido de las instituciones educativas (Sela-Shayovitz & Finkelstein, 2020), lo que sugiere la necesidad de prestar una mayor atención a estos aspectos desde los centros escolares.

Por otro lado, los resultados muestran un impacto positivo sobre las prácticas docentes centradas en el estudiante (discusión y explicación de ideas, debates, etc.), la utilización de contextos relevantes (e.g., controversias socio-científicas) y el empleo de situaciones adaptadas a la diversidad competencial y cultural (d ≥ 0.60). Los tamaños de efecto menores (0.29 y 0.33) se observan en la sub-escalas de autenticidad e indagación. Estudios anteriores en esta línea ponen de manifiesto que el profesorado encuentra diversos obstáculos para la puesta en práctica de este tipo de metodología, como la organización escolar establecida en asignaturas, el modelo evaluativo imperante y la falta de tiempo y de materiales didácticos especializados (Abril Gallego et al., 2014; García et al., 2019; Romero-Ariza et al., 2020).

En el caso de las creencias docentes, los resultados ponen de manifiesto una evolución positiva por parte del profesorado hacia el modelo de educación STEAM defendido en este trabajo, aunque en este caso, las diferencias entre las puntuaciones iniciales y finales no son significativas y se muestran tamaños de efecto menores comprendidos entre 0.13 y 0.27. Estos resultados son coherentes con los disponibles en la investigación especializada, que muestran cómo el sistema de creencias está fuertemente arraigado y es resistente al cambio (Löfström & Poom-Valickis, 2013), así como la dificultad de promover las creencias docentes cuando los niveles de partida son elevados (De Coito & Myszkal, 2018). Sin embargo, la identificación de tamaños de efectos importantes sobre la autoeficacia y las prácticas docentes nos lleva a pensar que se pueden producir cambios en las creencias a más largo plazo, debidos a la estrecha relación entre las creencias personales, las prácticas profesionales y experiencias vividas (Guskey, 2020).

El presente estudio revela las complejas relaciones que se establecen entre las percepciones de autoeficacia, creencias y prácticas docentes, y parece mostrar que, en primera instancia, la autoeficacia y prácticas en el aula experimentan unos mayores niveles de desarrollo, mientras que las creencias son las que presenta una mayor resistencia a cambio. Según nuestros resultados, el curso que presentamos hace evolucionar positivamente las prácticas docentes, probablemente por haber influido también positivamente en el nivel de autoeficacia del profesorado. Sin embargo, aún queda trabajo por hacer en el ámbito de las creencias; si tal y como se indica en Khader (2012) éstas son la clave de la motivación docente para cambiar sus prácticas hacia unas más innovadoras, futuros trabajos deberían ir encaminados a hacer evolucionar dichas creencias, esperando así influir más positivamente en la práctica escolar y en última instancia, favorecer el aprendizaje STEAM en el alumnado.

Nuestro posicionamiento frente a la educación STEAM persigue alcanzar un aprendizaje auténtico e integrador que tome como punto de partida el perfil de cada individuo, destacando la importancia de una educación más humanística que integre de forma equilibrada conocimiento, valores y destrezas relevantes en el mundo actual. Por ello, el modelo educativo STEAM trabajado en el programa de desarrollo profesional docente implementado a través de un curso on-line, objeto de este estudio, está enfocado al uso de contextos relevantes y significativos como escenarios de aprendizaje, que requieren del alumnado competencias de investigación y desarrollo de pensamiento crítico para la resolución de problemas y la toma fundamentada de decisiones (Romero-Ariza et al., 2017). En particular, la indagación sobre controversias socio-científicas permite al alumnado conjugar la comprensión y aplicación de contenidos científico-tecnológicos, con la consideración de aspectos sociales y éticos que evidencian el pensamiento divergente y creativo durante la toma de decisiones (Levinson, 2018; Romero-Ariza et al., 2018).

Las dificultades encontradas se reflejan en la escasa formación del profesorado participante para adoptar un enfoque multicultural del aprendizaje en aulas diversas e integrador de prácticas de indagación, así como en la demanda formativa expresada por los participantes en relación con los ejes centrales del modelo educativo promovido en el curso. Todo ello, muestra la relevancia del curso on-line de formación docente para ofrecer un conjunto de experiencias y recursos con los que mejorar la autoeficacia, creencias y prácticas docentes relacionadas con la implementación del enfoque STEAM.

Es necesario llamar la atención sobre las limitaciones del estudio, dejando claro que los resultados obtenidos se circunscriben a una muestra intencional sometida a un programa de desarrollo profesional específico. En cualquier caso, los resultados siguen el mismo patrón que los obtenidos en el resto de países participantes en el proyecto (Langhans et al., 2019), lo que parece apoyar la generalización de conclusiones.

Con objeto de profundizar en la comprensión de los factores clave implicados en el cambio de creencias y prácticas docentes hacia un modelo STEAM, y valorar con más precisión hasta qué punto las intervenciones preparan al profesorado para la aplicación eficaz de estas metodologías en el aula, en un futuro próximo se completará la investigación con estudios de caso de los participantes.

Finalmente, reconociendo al profesorado como la pieza clave para implementar con éxito enfoques innovadores, consideramos que los resultados presentados pueden resultar de interés para aquellos/as que creen que otra manera de trabajar en el aula es posible. Entendemos que la aproximación STEAM ofrece interesantes posibilidades para cuestionar los modelos educativos imperantes y los resultados de aprendizaje perseguidos, apostando por una formación que integre de manera armónica conocimiento, habilidades y valores, y prepare adecuadamente a las personas para afrontar los actuales retos sociales y ambientales.

Acknowledgements / Agradecimientos

This research was carried out within the MaSDiV project [582943-EPP-1-2016-2-DE-EPPKA3-PI-POLICY] subsidized by the European Community. / Esta investigación se ha realizado dentro del proyecto MaSDiV [582943-EPP-1-2016-2-DE-EPPKA3-PI-POLICY] subvencionado por la Comunidad Europea.

Disclosure statement / Conflicto de intereses

No potential conflict of interest was reported by the author. / Los autores no han referido ningún potencial conflicto de interés en relación con este artículo.

Notes

1. https://icse.eu/international-projects/masdiv/

1. https://icse.eu/international-projects/masdiv/