A more transparent science: recommendations to increase the informative value of articles submitted to the Revista de Psicología Social / Una ciencia más transparente: recomendaciones para aumentar el valor informativo de los artículos enviados a la Revista de Psicología Social

Abstract

In this article we present a series of suggestions that those submitting articles to the Revista de Psicología Social can follow with the goal of increasing the rigour and informative value of the articles submitted. Specifically, we discuss and present three general recommendations: the first on increasing the transparency of the methodological description; the second on increasing the statistical power of the studies; and the third on the distinction between confirmatory and exploratory analyses. We also offer several additional recommendations aimed at making social psychology a more open science. Summing up, we believe that these recommendations can help to increase the quality of research in social psychology and, in particular, the quality of the research published in this journal.

Resumen

En este artículo presentamos, con el objetivo de aumentar el rigor y el valor informativo de los artículos enviados a la Revista de Psicología Social, una serie de sugerencias que quienes envíen artículos a la revista podrán seguir. En concreto, se discuten y se presentan tres recomendaciones generales: la primera sobre el aumento de la transparencia en la descripción metodológica, la segunda sobre el aumento de la potencia estadística de los estudios, y la tercera acerca de la diferenciación entre análisis confirmatorios y exploratorios. También se presentan algunas recomendaciones adicionales para que la psicología social se vuelva una ciencia más abierta. En suma, creemos que estas recomendaciones podrán ayudar a mejorar la calidad de las investigaciones en psicología social y, en particular, de las que se publiquen en esta revista.

Keywords:

• data analysis
• research methodology
• research transparency
• presentation of results

Palabras clave:

• análisis de datos
• metodología de la investigación
• transparencia en la investigación
• presentación de resultados

In recent years, social psychology — just like other areas of psychology — has dealt with numerous challenges that have prompted a major shift in the discipline. This change was spurred by numerous factors, but perhaps one of the most important ones was the publication of the article by Darly Bem in the Journal of Personality and Social Psychology. This article suggested, and scientifically proved, that human beings are capable of predicting the future (Bem, 2011).

The publication of these results led to the argument that it is possible to find significant results for any effect and publish them following the standards that were assumed to be the strictest at the time (LeBel & Peters, 2011). Indeed, that same year, Simmons, Nelson, and Simonsohn (2011) empirically proved that this was possible: their data showed that listening to Beatles music makes one younger — not to feel younger, but to actually be chronologically younger. The authors argued that these results were obtained through p-hacking: different analytical strategies that increase the likelihood of finding false positives.

Many journals in the discipline have reported on this situation and suggested a variety of initiatives to prevent p-hacking and other major analytical and methodological issues. Along these lines, examples of a variety of recommendations and standards have been established by Psychological Science (Eich, 2014), the Journal of Personality and Social Psychology (Kitayama, 2017), the Journal of Experimental Social Psychology (2014), Personal Relationships (Campbell, Loving, & LeBel, 2014) and the journals of the Society for Personality and Social Psychology (Funder et al., 2014; Kashy, Donnellan, Ackerman, & Russell, 2009).

In its attempt to promote best research practices, the Revista de Psicología Social is joining these new criteria. Below, using the aforementioned recommendations as a point of reference, we shall outline a series of recommendations that we hope will increase the rigour and informative value of the articles (see Table 1).

Table 1. General recommendations for authors.

1. We recommend indicating in the method section: that the number of participants or the rule for ending data collection was determined a priori; that all the variables that were measured and all the manipulations performed are presented (and if they are not, why). Likewise, if covariables or filters were used, we also suggest that the results be presented without these covariables or filters.

2. We recommend presenting an analysis and discussion of the statistical power (and if it is impossible to do this, explain why).

3. We recommend clearly distinguishing in the article between exploratory and confirmatory analyses.

Greater transparency in methods reporting

Simmons et al. (2011) analysed different analytical practices which they called p-hacking. These practices all share one feature: they increase the likelihood of committing a Type-I error (i.e., concluding that there is an effect when actually there is not). P-hacking encompasses strategies such as including many measures and only presenting those for which significant results were found — including several experimental conditions or groups and only presenting those conditions or comparisons where there are significant results — or analysing the data every time new participants are added. These practices make it more likely that significant results will be found, even when the effect being studied is not real (Bakker, van Dijk, & Wicherts, 2012; Simmons et al., 2011).

To lower the likelihood that false positive results are presented in the articles published in the Revista de Psicología Social, we ask authors to follow the four recommendations (adapted from Simmons et al., 2011) below and explicitly state in the article that they were followed.

1. It is essential to establish a priori the number of participants to be included in the study, or the rule for ending data collection (see next section). Alternatively, authors have to explain why this has not been done.

2. All the variables included in the study must be mentioned. This information can be included in the method or in an online repository as supplementary material. If the authors do not analyse all the variables they use, they must justify why not.

3. All the experimental manipulations performed or the different groups included in the design must be mentioned (e.g., if the authors run a study using both men and women, but they only present the results for women, the article must mention that men also participated in the study and explain why these data were not included in the article).

4. If the data are analysed with different covariables, or if different filters are included when analysing the data (e.g., some observations from the study are excluded), we recommend that the article presents — in a footnote or within the text itself — what the results would be without including these covariables or without excluding these participants.

In short, we believe that these four recommendations could help to decrease the likelihood of finding false positives. Research teams who submit their articles to the Revista de Psicología Social are recommended to explicitly state in the article — in the Method section, for example — that they are fulfilling these four criteria.

Increasing statistical power

As stated above, it is important to determine the sample size — or the rule for ending data collection — in advance. However, it is also important to compute and consider the statistical power that could be reached with this sample size. Statistical power refers to the likelihood of finding an effect, of a given size or larger, that truly exists (Cohen, 1992). It is usually expected to be equal to or higher than .80 (or 80%), which is crucial in order to effectively test the hypothesis. In fact, another of the recent criticisms of psychology is its low statistical power: Bakker et al. (2012) suggest that the mean power in psychological studies stands at around .35 (or 35%), which could have major consequences on the credibility of the results (see Ioannidis, 2005).

Consequently, we strongly recommend trying to increase the statistical power of the studies submitted to the Revista de Psicología Social. This can be achieved by using larger samples, but this is not the only way. The power can also be increased, for example, by using more reliable measures, controlling for the effect of similar measures, or using designs with repeated measures (for a recommendation on other ways of increasing statistical power, see Mackinnon, 2013).

In the articles submitted to the Revista de Psicología Social, the authors should describe in the Participants section why a given sample size was chosen, and an a priori power analysis should be performed. If the conventional level of statistical power is not reached (i.e., equal to or higher than .80), the authors must justify why not.

The G*Power tool can be used to calculate the statistical power (Faul, Erdfelder, Lang, & Buchner, 2007); it can also be calculated using the Pwr package for R (Champely et al., 2017). Different examples of how to present a calculation of an a priori power analysis are included in Table 2.

Table 2. Different examples of presenting an analysis of statistical power a priori.

1. Given that we have no previous information on the effect size we are researching, we used the article by Richard, Bond, and Stokes-Zoota (2003) as a point of reference; these authors estimated that the mean size of the studies performed in social psychology (in the 100 years prior to the publication of the article) was r = .21. An a priori power analysis — for a bivariate correlational analysis — showed that to detect this effect size with a power of .80 and an alpha level of .05, 175 participants would be needed.

2. When analysing the literature related to our study, we found effect sizes that range between d = .70 and d = .45. This variability led us to be conservative, so we decided to estimate an effect size of d = .45. An a priori power analyses — for a t-test of independent samples — showed that to detect this effect size with a power of .80 and an alpha level of .05, 79 participants per condition would be needed.

3. Given that we have no previous information on the effect size we are researching, we used the minimum effect size that could be theoretically interesting to detect as a point of reference. Therefore, we performed an a priori power analysis — for a t-test of independent samples — which showed that to detect a d = .30 with a power of .80 and an alpha level of .05, 176 participants per group would be needed.

4. In a meta-analysis it was estimated that the effect size of the relation we are researching was r = .26. An a priori power analysis — for a bivariate correlational analysis — showed that to detect this effect size with a power of .80 and an alpha level of .05, 113 participants would be needed.

Distinction between exploratory vs. confirmatory analyses

In addition to p-hacking and low statistical power, some methodological issues are also deeply rooted in our discipline. One of them is called HARKING (Hypothesizing After Results are Known; see Kerr, 1998). This practice consists of analysing the data in different ways and later presenting the significant results obtained — regardless of what they are — as if they had been predicted in advance. To avoid this practice, it has been recommended that the analyses presented be clearly divided into those that are exploratory and those that were truly predicted (e.g., Campbell et al., 2014). For example, the authors can add a brief section called ‘exploratory analyses’. These results may be also interesting and can be discussed in the conclusion, but it has to be clear that they were not predicted and that they have to be treated with caution.

A more open science

Another way to increase the informative quality of studies is by promoting a more open science (Nosek et al., 2015). In this sense, it is important to make the materials used while performing the studies available through an online repository (e.g., the Open Science Framework: osf.io). For example, all the instruments, scenarios or instructions used in the study can be uploaded there, and so can the laboratory log that records the problems that emerged while performing the study, the exclusion of participants, etc. The data from the study (with enough information for the analyses to be replicated) can also be uploaded into this repository.

Likewise, given the importance of distinguishing between exploratory and confirmatory analyses (see previous point), it is also important to preregister the hypothesis and the data analysis plan before performing the studies (or before beginning to analyse the data); that is, the expected results should be clearly defined in advance. This is important because not only does it increase the scientific community’s confidence that the results were truly predicted, but it also prevents researchers from fooling themselves — and as the famous quote by Richard Feynman (1974) states, it is easier to fool yourself than others.

The Open Science Framework (osf.io), or other specific pages designed for this purpose, such as Aspredicted.org, can be used to preregister the hypotheses.

Conclusion

In this article, we have presented several recommendations for authors submitting articles to the Revista de Psicología Social. The three main recommendations are presented in Table 1. We also presented additional recommendations — preregistering the hypotheses and uploading the databases and materials used (e.g., the research protocol) into an online repository. Finally, we have also included, in Appendix 1, several suggestions that can help ensure a better presentation of the results.

We want the recommendations included in this article to serve as a guide for researchers submitting articles to the Revista de Psicología Social, and the editorial team plans to apply them flexibly and gradually. More than discouraging interested authors, our goal is the opposite: to encourage them and help improve our work. It is well known that so far, few journals have similar requirements, and while others have begun to apply them, they have not made them explicit. For a given period, the Revista de Psicología Social will continue to publish studies that were performed, submitted and/or accepted before these recommendations were made public.

In conclusion, we hope that this article can help improve the rigour and informative value of social psychology research and, in particular, of the studies published in this journal.

Una ciencia más transparente: recomendaciones para aumentar el valor informativo de los artículos enviados a la Revista de Psicología Social

En los últimos años la Psicología Social — al igual que otras áreas de la psicología — se ha enfrentado a numerosos retos que han provocado un importante cambio en la disciplina. Este cambio vino impulsado por diversos factores, pero quizás uno de los más importantes fue la publicación del famoso artículo de Darly Bem en el Journal of Personality and Social Psychology. En este artículo se proponía, y se demostraba científicamente, que los seres humanos somos capaces de predecir el futuro (Bem, 2011).

La publicación de estos resultados llevó a argumentar que es posible encontrar resultados significativos para cualquier efecto y publicarlos de acuerdo con los estándares que, al menos en esos años, supuestamente eran los más estrictos (LeBel & Peters, 2011). De hecho, ese mismo año Simmons, Nelson, y Simonsohn (2011) demostraron empíricamente que esto era posible: sus datos mostraron que escuchar música de los Beatles te hace ser más joven; no sentirte más joven, sino ser cronológicamente más joven. Los autores argumentaron que obtuvieron estos resultados a través del p-hacking: diversas estrategias analíticas que aumentan las posibilidades de encontrar falsos positivos.

Muchas revistas de la disciplina ya se han hecho eco de esta situación y han propuesto diferentes iniciativas para prevenir que se comentan p-hacking y otros importantes errores analíticos y metodológicos. En este sentido, y a modo de ejemplo, diversas recomendaciones y estándares han sido establecidos por Psychological Science (Eich, 2014), el Journal of Personality and Social Psychology (Kitayama, 2017), el Journal of Experimental Social Psychology (2014), Personal Relationships (Campbell, Loving, & LeBel, 2014) o en las revistas de la Society for Personality and Social Psychology (Funder et al., 2014; Kashy, Donnellan, Ackerman, & Russell, 2009).

La Revista de Psicología Social, en su intento de promover mejores prácticas en investigación, se suma a estos nuevos criterios. A continuación detallaremos, utilizando las recomendaciones citadas anteriormente como punto de referencia, una serie de recomendaciones (véase Tabla 1). Esperamos que éstas ayuden a aumentar el rigor y el valor informativo de los artículos.

Tabla 1. Recomendaciones generales para los autores/as.

1. Se recomienda aumentar la transparencia en la descripción del método; es decir, se recomienda indicar: que el número de participantes o la regla para terminar la recogida de datos ha sido decidido a priori; que se presentan todas las variables que se han medido y todas las manipulaciones que se han realizado (y si no se presentan decir por qué). Asimismo, si se utilizan covariables o filtros se sugiere que también se presenten los resultados sin esas covariables o filtros.

2. Se recomienda presentar un análisis de la potencia estadística (y si no es posible realizarlo se debe decir por qué).

3. Se recomienda diferenciar claramente en el artículo entre análisis exploratorios y confirmatorios.

Mayor transparencia en la descripción metodológica

Simmons y colaboradores (2011) analizaron diversas prácticas analíticas a las que llamaron p-hacking. Estas prácticas tienen una característica en común: incrementan la posibilidad de cometer un error Tipo I (i.e., concluir que existe un efecto cuando en realidad no existe). El p-hacking abarca estrategias como incluir muchas medidas y sólo presentar aquellas en las que se ha obtenido un resultado significativo; incluir varias condiciones experimentales o grupos y sólo presentar aquellas condiciones o comparaciones en las que existen resultados significativos; o analizar los datos cada vez que se añaden nuevos participantes. Estas prácticas pueden llevar a que, aunque el efecto que se investiga no sea real, sea más probable encontrar resultados significativos (Bakker, van Dijk, & Wicherts, 2012; Simmons et al., 2011).

Para disminuir las posibilidades de que en los artículos publicados en la Revista de Psicología Social se presenten falsos positivos pedimos a los/as autores/as que sigan estas cuatro recomendaciones (adaptadas de Simmons et al., 2011), y que explícitamente mencionen en el artículo que lo están haciendo.

1. Se deberá establecer a priori cuál es el número de participantes que incluirán en sus estudios o la regla para terminar la recolección de datos (véase el apartado siguiente). Alternativamente, se deberá explicar por qué no se ha hecho.

2. Se deberán mencionar todas las variables que se han incluido en el estudio. La información se puede incluir en el método o en algún repositorio online como material suplementario. En caso de que no se analicen todas las variables utilizadas, se deberá argumentar por qué.

3. Se deberán mencionar todas las manipulaciones experimentales que se han realizado o los distintos grupos incluidos en su diseño (e.g., si se pasa un estudio con hombres y mujeres, y sólo se presentan resultados para el grupo de mujeres, se deberá indicar que también los hombres participaron en el estudio y por qué no se incluyeron estos datos en el artículo).

4. Si se analizan los datos con distintas covariables, o si se incluyen diversos filtros a la hora de analizar los datos (e.g., se excluyen algunas observaciones del estudio), se recomienda que se presenten — en un pie de página o en el texto del artículo — cuáles son los resultados sin incluir esas covariables o sin excluir a esos participantes.

En suma, creemos que siguiendo estas cuatro recomendaciones se disminuyen (aunque no se eliminan, por supuesto) las posibilidades de encontrar falsos positivos. Se recomienda por tanto a los equipos de investigación que envíen artículos a la Revista de Psicología Social que indiquen explícitamente en el artículo — en el apartado del método, por ejemplo — que lo están haciendo.

Aumento de la potencia estadística

Es importante, como hemos manifestado anteriormente, determinar el tamaño muestral — o la regla para finalizar la recolección de los datos — a priori. Pero también es importante calcular y considerar la potencia estadística que se alcanza con dicho tamaño muestral. La potencia estadística se refiere a la probabilidad de encontrar un efecto — de un determinado tamaño o mayor — que realmente existe (Cohen, 1992). Normalmente se espera que ésta sea igual o mayor a .80 (u 80%), lo que es crucial para poder contrastar eficazmente las hipótesis. De hecho, otra de las críticas recientes que ha sufrido la psicología es su baja potencia estadística: Bakker y colaboradores (2012) sugieren que la potencia media de los estudios psicológicos se sitúa alrededor de .35 (o 35%), lo que puede tener importantes consecuencias sobre la credibilidad de los resultados (véase Ioannidis, 2005).

Por consiguiente, se recomienda encarecidamente que se intente aumentar la potencia estadística de las investigaciones enviadas a la Revista de Psicología Social. Esto puede lograrse mediante el uso de muestras más grandes; pero no solamente: la potencia también se pueden incrementar, por ejemplo, utilizando medidas más fiables, controlando por el efecto de variables parecidas, o utilizando diseños de medidas repetidas (para una recomendación de otras formas de incrementar la potencia estadística, véase Mackinnon, 2013).

En los artículos enviados a la Revista de Psicología Social, en el apartado de participantes, se debe describir por qué se seleccionó un determinado tamaño muestral y se ha de realizar un análisis a priori de la potencia estadística. En caso de que no se alcance el nivel convencional de potencia (i.e., igual o mayor a .80), ha de argumentarse por qué no se ha conseguido.

Para el cálculo de la potencia estadística se puede utilizar el programa G*Power (Faul, Erdfelder, Lang, & Buchner, 2007); también se puede calcular a través del paquete Pwr para R (Champely et al., 2017). Distintos ejemplos de presentación de un cálculo de potencia estadística se incluyen en la Tabla 2.

Tabla 2. Distintos ejemplos de presentación de un análisis de potencia estadística a priori.

1. Dado que no tenemos información previa sobre el tamaño del efecto que investigamos se utilizó como referencia el artículo de Richard y colaboradores (2003); estos autores mostraron que el tamaño medio de los estudios realizados en psicología social (durante los 100 años anteriores a la publicación del artículo) fue de r = .21. Un análisis a priori de la potencia — para un análisis correlacional bivariado — mostró que para detectar este tamaño del efecto con una potencia de .80, y un nivel alfa de .05, son necesarios 175 participantes.

2. Al analizar la literatura relacionada con nuestra investigación encontramos tamaños del efecto que oscilan entre una d = .70 y una d = .45. Esta variabilidad ha hecho que fuéramos conservadores, por lo que se decidió estimar un tamaño del efecto de d = .45. Un análisis a priori de la potencia — para una prueba t de muestras independientes — mostró que para detectar este tamaño del efecto con una potencia de .80, y un nivel alfa de .05, son necesarios 79 participantes por condición.

3. Dado que no tenemos información previa sobre el tamaño del efecto investigado se utilizó como referencia el tamaño del efecto mínimo que podría ser teóricamente interesante detectar. Por tanto, se realizó un análisis a priori de la potencia — para una prueba t para muestras independientes — que mostró que para detectar una d = .30 con una potencia de .80, y un nivel alfa de .05, son necesarios 176 participantes por grupo.

4. En un meta-análisis se ha examinado el tamaño del efecto de la relación que investigamos, y se ha encontrado un tamaño del efecto medio de r = .26. Un análisis a priori de la potencia — para un análisis correlacional bivariado — mostró que para detectar este tamaño del efecto con una potencia de .80, y un nivel alfa de .05, son necesarios 113 participantes.

Distinción entre análisis exploratorios vs. confirmatorios

Además del p-hacking y de la baja potencia estadística, también existen otros problemas metodológicos fuertemente arraigados en nuestra disciplina. Uno de ellos es el llamado HARKING (Hypothsizing After Results are Known; véase Kerr, 1998). Esta práctica consiste, como indica su nombre en inglés, en analizar los datos de diferentes formas y luego presentar los resultados significativos obtenidos — cualesquiera que sean — como si se hubiesen predicho de antemano. Para evitar esta práctica se ha recomendado dividir claramente los análisis presentados entre aquellos que son exploratorios y aquellos que no (e.g., Campbell et al., 2014). Se puede añadir, por ejemplo, una pequeña sección llamada ‘análisis exploratorios’. Estos resultados podrían ser interesantes y podrán ser discutidos en la conclusión del artículo. Pero tiene que estar claro que no han sido predichos y que deben ser tratados con cautela.

Una ciencia más abierta

Otra forma de aumentar la calidad informativa de las investigaciones es a través de la promoción de una ciencia más abierta (Nosek et al., 2015). En este sentido, es importante hacer accesible, a través de un repositorio online (e.g., en el Open Science Framework: osf.io), el material que se ha utilizado durante la realización de los estudios. Se pueden subir, por ejemplo, todos los instrumentos, escenarios o instrucciones que se utilizaron en el estudio; el registro del laboratorio en donde se especifican los problemas surgidos durante la realización; la exclusión de participantes, etc. En ese mismo repositorio también se podrán incluir los datos del estudio (con suficiente información para que los análisis puedan ser reproducidos).

Asimismo, dada la importancia de dividir entre análisis exploratorios y análisis confirmatorios (véase punto anterior), es importante pre-registrar las hipótesis y el plan de análisis de los datos antes de realizar los estudios (o antes de comenzar a analizar los datos); es decir, se pueden definir claramente a priori cuáles son los resultados que se esperan obtener. Esto es importante porque, además de aumentar la confianza de la comunidad científica en que los resultados realmente han sido predichos, también evita que los investigadores e investigadoras se engañen a sí mismos — y como indica la famosa cita de Richard Feynman (1974), es más fácil engañarse a sí mismo que engañar a los demás.

Para pre-registrar las hipótesis se puede utilizar el Open Science Framework (osf.io) o algunas otras páginas específicas diseñadas para ello, como Aspredicted.org.

Conclusión

En este artículo hemos presentado algunas recomendaciones para quienes envíen artículos a la Revista de Psicología Social. Las tres recomendaciones principales se presentan en el Tabla 1. Asimismo, presentamos diversas recomendaciones adicionales, como pre-registrar las hipótesis o subir las bases de datos y el material utilizado (e.g., el protocolo de investigación) a un repositorio online. Finalmente, hemos incluido, en el Apéndice 1, algunas sugerencias que pueden facilitar la presentación de los resultados.

Pretendemos que las indicaciones incluidas en este artículo sean una guía para quienes envíen artículos a la Revista de Psicología Social y el equipo editorial las irá aplicando de una manera flexible y paulatina. Nuestra pretensión, más que desanimar a los autores y autoras interesados, es la contraria: animar y contribuir a que nuestro trabajo mejore. Como es bien sabido, hasta el momento actual muchas revistas no disponen de requisitos similares y otras, aunque los han comenzado a aplicar, no los han hecho explícitos. La propia Revista de Psicología Social continuará, durante un tiempo, publicando trabajos que fueron elaborados, enviados y/o aceptados sin que se hubieran hecho públicas estas recomendaciones.

En conclusión, esperamos que este artículo pueda ayudar a mejorar el rigor y el valor informativo de las investigaciones en psicología social y, en particular, de las que se publiquen en esta revista.

Disclosure statement

No potential conflict of interest was reported by the authors. / Los autores no han referido ningún potencial conflicto de interés en relación con este artículo.

Appendix 1

Recommendations for presenting results

Finally, we shall provide a few recommendations on how to present the results; these pointers have been gleaned from those published by other journals (Journal of Experimental Social Psychology, 2014; Kashy et al., 2009). Specifically, we will discuss the four most common types of analyses that are usually used in social psychology studies: ANOVAs, multiple regressions, exploratory factor analyses and structural equation analyses.

These recommendations do not replace, but instead complement, those that appear in the latest edition of the American Psychological Association (APA) manual. More than anything else, the authors submitting their papers to the Revista de Psicología Social must ensure that their articles meet all the criteria established by the APA for presenting results.

ANOVAs

• Present the means, standard deviations and ns of all the cells when using experimental designs.

• Present all the correlations among variables when using multivariate designs.

• Present all the effect sizes (for both main effects, interaction and post-hoc comparisons), regardless of whether or not results are significant.

Multiple regression

• Clearly specify what variables are included in the analysis and why: if categorical variables are used, the article must outline how they were coded.

• If a hierarchical regression analysis was performed, the article must clearly explain why the variables were ordered the way they were.

• If moderator or mediator analyses are performed, the use of Process Macro for SPSS is recommended; in this sense, authors may follow the recommendations by the author of this macro when presenting these analyses (Hayes, 2013).

• If the independent or predictive variable is multi-categorical, authors may follow the recommendations of Hayes and Preacher (2014).

• The choice of the moderator or mediator models must be theoretically justified; if several models are tested in an exploratory fashion, this must also be explicitly mentioned.

• We recommend exercising caution when interpreting the results from a mediator analysis as causal (see Fiedler, Schott, & Meiser, 2011; Kline, 2015).

Exploratory factor analysis

• Justify why a factor analysis or a main components analysis was used.

• Given that the Kaiser criterion (used by default in SPSS) is not considered the best strategy for deciding on the number of factors that should be retained, we recommend using parallel analysis (Russell, 2002). To do so, the Macro for SPSS or the R package created by O’Connor (2000, 2017) can be used.

• Mention and discuss why a given rotation procedure is used (e.g., oblimin vs. varimax).

Structural equation models

• To present analyses of structural equations — and confirmatory factor analyses — authors may follow the recommendations of McDonald and Ho (2002).

• Present the means, standard deviations and correlations for all the variables used in the analysis.

• Theoretically justify the choice of the model used; it is also important to compare this model with several theoretical alternatives.

• Present the results of the model in a figure (or a table). The n and the different fit statistics should also be presented within the text of the article (e.g., Chi-square and degrees of freedom, RMSEA, TLI, CFI and SRMR).

• Explain and justify the estimation strategy used (e.g., maximum likelihood).

• Present and discuss whether there are important modification indices.

• If the multi-group equivalence of an instrument is examined, authors may follow the recommendations of Byrne (2008).

Apéndice 1

Recomendaciones para presentar los resultados

Finalmente, haremos algunas recomendaciones para la presentación de los resultados, que surgen a partir de las hechas por otras revistas (Journal of Experimental Social Psychology, 2014; Kashy et al., 2009). En concreto, hablaremos de los cuatro tipos de análisis más comunes que se suelen utilizar en los estudios de psicología social: ANOVAs, Regresiones Múltiples, Análisis Factoriales Exploratorios y Análisis de Ecuaciones Estructurales.

Estas recomendaciones no sustituyen, sino que complementan, las hechas por el Manual de la American Psychological Association (APA) en su última edición. Los equipos de investigación que envíen sus artículos a la Revista de Psicología Social deberán de asegurarse, antes de nada, de que sus artículos cumplen con todos los criterios establecidos por la APA para la presentación de los resultados.

ANOVAs

• Presentar las medias, las desviaciones típicas y ns de todas las celdas cuando se utilicen diseños experimentales.

• Presentar todas las correlaciones entre las variables cuando se utilicen diseños multivariados.

• Presentar todos los tamaños del efecto (tanto para los efectos principales, interacciones y comparaciones a posteriori), independientemente de que los resultados sean significativos o no.

Regresión múltiple

• Especificar claramente cuáles son las variables que se incluyen en el análisis y por qué; si se utilizan variables categóricas debe especificarse cómo han sido codificadas.

• Si se realiza un análisis de regresión jerárquica debe explicarse claramente por qué se ordenan las variables de determinada manera.

• Si se realizan análisis de moderación o mediación se recomienda que se utilice el Macro Process para SPSS; en este sentido, para presentar estos análisis se podrán seguir las recomendaciones hechas por el autor de dicho macro (Hayes, 2013).

• Si la variable independiente o predictora es multicategorial se podrán seguir las recomendaciones hechas por Hayes y Preacher (2014).

• La elección de los modelos de moderación o mediación que se prueban debe estar justificada teóricamente; si se prueban diversos modelos de forma exploratoria esto también ha de mencionarse explícitamente.

• Se recomienda cierta cautela al interpretar como causales los resultados obtenidos en un análisis mediacional (véase Fiedler, Schott, & Meiser, 2011; Kline, 2015).

Análisis factorial exploratorio

• Justificar por qué se utiliza un análisis factorial o un análisis de componentes principales.

• Dado que el criterio de Kaiser (utilizado por defecto en el SPSS) no se considera la mejor estrategia para decidir el número de factores que se deben retener, se recomienda utilizar el análisis en paralelo (Russell, 2002). Para esto se puede utilizar el Macro para SPSS o el paquete para R creado por O’Connor (02000, 2017).

• Mencionar y discutir por qué se utiliza un determinado procedimiento de rotación (e.g., oblimin vs. varimax).

Modelos de ecuaciones estructurales

• Para presentar análisis de ecuaciones estructurales — y análisis factoriales confirmatorios — se podrán seguir las recomendaciones hechas por McDonald y Ho (2002).

• Presentar las medias, desviaciones típicas y correlaciones para todas las variables utilizadas en el análisis.

• Justificar teóricamente la elección del modelo elegido; también es importante comparar este modelo con algunas alternativas teóricas.

• Presentar los resultados del modelo en una figura (o en una tabla). También se habrán de presentar, en el texto del artículo, la n y los diferentes estadísticos de ajuste (e.g., Chi cuadrado y grados de libertad, RMSEA, TLI, CFI y SRMR).

• Especificar y justificar la estrategia de estimación utilizadas (e.g., máxima verosimilitud).

• Presentar y discutir si existen índices de modificación de importancia.

• Si se examina la equivalencia multigrupal de un instrumento se podrán seguir las recomendaciones hechas por Byrne (2008).