Testing homogeneity of effect sizes in pooling 2x2 contingency tables from multiple studies: a comparison of methods

Figures & data

Table 1. Parameter values used for a simulation model

Number of studies	$m$	5 ; 10 ; 15 ; 20
Poisson distribution parameter for a number of participants per study	$\lambda$	100 ; 200
Overdispersion on a number of participants	$a_0=b_0$	1
Mean age	${\alpha }_0$	65
Between-study variance in age	${\tau }_s^2$	10
Within-study variance in age	${\tau }_{a(s)}^2$	15
Heterogeneity in treatment effect	$\rho$	1 ; 0.3 ; 0.6
Allocation proportion of treatment	$p$	0.3 ; 0.5
Overall risk intercept	$\alpha$	−6
Age effect on risk	${\alpha }_a$	0.05
Gender effect on risk	${\alpha }_g$	0.1
Treatment effect	$\beta$	0 ; 2
Age-treatment interaction effect	${\beta }_a$	0 ; 0.01
Between-study variance on risk for treatment $h$	${\sigma }_h^2$	0.2 ; 0.5

Table 2. Results of meta-analysis on the pharmacokinetic variability hypothesis for ADR and failure of antituberculosis therapy

	Test statistic	DF	P-value
FE	33.31	21	0.124
RE	5.33	2	0.035
Q	29.92	21	0.094
B	29.32	21	0.107
$I^2$	[0 ; +58.30]	—	>0.05
BD	32.23	21	0.055
Z	32.27	21	0.055
$T_2$	32.24	21	0.055
$T_R$	32.28	21	0.055
P	31.73	21	0.062

Note that we could not reject the heterogeneity in treatment effects with $I^2$, as the authors suggested. This did not change when we included the four studies and changed the cell counts with 0.5.

Table 3. Type I error rate for $m=5$, $a_a=0.05$, $a_g=0.1$

$\lambda$	$\beta$	${\sigma }_{\mathit{h}}^{\mathbf{2}}$	$p$	FE	RE	Q	B	$I^2$	BD	Z	${\mathit{T}}_{\mathbf{2}}$	${\mathit{T}}_{\mathit{R}}$	P
100	0	0.2	0.3	0.060	0.024	0.028	0.027	0.020	0.045	0.044	0.045	0.045	0.042
			0.5	0.060	0.033	0.039	0.037	0.025	0.054	0.054	0.054	0.054	0.050
		0.5	0.3	0.060	0.059	0.020	0.015	0.010	0.040	0.040	0.040	0.041	0.036
			0.5	0.064	0.054	0.030	0.024	0.014	0.050	0.050	0.050	0.050	0.046
	2	0.2	0.3	0.056	0.035	0.022	0.021	0.014	0.044	0.044	0.040	0.044	0.005
			0.5	0.045	0.032	0.032	0.028	0.021	0.037	0.038	0.037	0.039	0.019
		0.5	0.3	0.059	0.082	0.014	0.012	0.007	0.046	0.044	0.044	0.043	0.003
			0.5	0.052	0.086	0.031	0.028	0.019	0.044	0.045	0.043	0.044	0.015
200	0	0.2	0.3	0.057	0.023	0.044	0.043	0.024	0.050	0.050	0.050	0.050	0.050
			0.5	0.045	0.025	0.034	0.031	0.022	0.040	0.040	0.040	0.040	0.039
		0.5	0.3	0.051	0.070	0.032	0.031	0.020	0.043	0.043	0.043	0.043	0.042
			0.5	0.049	0.099	0.034	0.033	0.023	0.048	0.048	0.048	0.048	0.047
	2	0.2	0.3	0.055	0.036	0.037	0.032	0.014	0.045	0.045	0.045	0.045	0.004
			0.5	0.036	0.040	0.028	0.028	0.017	0.031	0.034	0.033	0.033	0.017
		0.5	0.3	0.052	0.106	0.031	0.030	0.015	0.046	0.050	0.049	0.050	0.008
			0.5	0.050	0.111	0.037	0.032	0.020	0.043	0.043	0.043	0.043	0.013

Table 4. Statistical power for $\rho =0.3$, $m=5$, $l=100$, $a_a=0.05$, $a_g=0.1$

$\beta$	${\beta }_{\mathit{a}}$	${\sigma }_{\mathit{h}}^2$	$\mathit{p}$	FE	RE	Q	B	$I^2$	BD	Z	${\mathit{T}}_{\mathbf{2}}$	${\mathit{T}}_{\mathit{R}}$	P
0	0	0.2	0.3	0.234	0.154	0.174	0.160	0.135	0.223	0.224	0.223	0.225	0.222
			0.5	0.269	0.153	0.225	0.210	0.173	0.258	0.258	0.258	0.258	0.250
		0.5	0.3	0.501	0.367	0.359	0.344	0.299	0.481	0.481	0.481	0.480	0.460
			0.5	0.556	0.429	0.469	0.444	0.402	0.547	0.547	0.547	0.547	0.532
	0.01	0.2	0.3	0.252	0.158	0.192	0.172	0.142	0.237	0.242	0.241	0.242	0.186
			0.5	0.315	0.193	0.272	0.255	0.206	0.301	0.302	0.304	0.302	0.274
		0.5	0.3	0.520	0.423	0.417	0.401	0.347	0.498	0.500	0.500	0.500	0.400
			0.5	0.589	0.465	0.522	0.512	0.465	0.578	0.577	0.577	0.577	0.548
2	0	0.2	0.3	0.264	0.167	0.203	0.188	0.158	0.258	0.267	0.263	0.255	0.116
			0.5	0.323	0.210	0.284	0.275	0.234	0.315	0.318	0.315	0.316	0.212
		0.5	0.3	0.540	0.451	0.419	0.407	0.357	0.510	0.520	0.517	0.520	0.334
			0.5	0.626	0.511	0.570	0.550	0.514	0.617	0.623	0.621	0.621	0.499
	0.01	0.2	0.3	0.255	0.161	0.205	0.188	0.153	0.260	0.266	0.264	0.264	0.110
			0.5	0.303	0.190	0.276	0.260	0.221	0.301	0.306	0.304	0.307	0.173
		0.5	0.3	0.536	0.405	0.418	0.403	0.363	0.507	0.521	0.518	0.520	0.343
			0.5	0.628	0.503	0.575	0.560	0.514	0.623	0.629	0.652	0.624	0.467

Table 5. Statistical power for $r=0.6$, $m=5$, $l=100,$$a_a=0.05$, $a_g=0.1$

$\beta$	${\beta }_{\mathit{a}}$	${\sigma }_{\mathit{h}}^{\mathbf{2}}$	$\mathit{p}$	FE	RE	Q	B	$I^2$	BD	Z	${\mathit{T}}_{\mathbf{2}}$	${\mathit{T}}_{\mathit{R}}$	P
0	0	0.2	0.3	0.166	0.092	0.118	0.111	0.087	0.159	0.158	0.158	0.159	0.158
			0.5	0.181	0.097	0.140	0.128	0.106	0.165	0.165	0.165	0.165	0.161
		0.5	0.3	0.352	0.245	0.229	0.213	0.175	0.337	0.337	0.337	0.336	0.330
			0.5	0.383	0.265	0.290	0.273	0.232	0.356	0.356	0.355	0.357	0.344
	0.01	0.2	0.3	0.176	0.097	0.121	0.113	0.086	0.159	0159	0.159	0.159	0.117
			0.5	0.203	0.129	0.169	0.157	0.127	0.193	0.194	0.193	0.193	0.174
		0.5	0.3	0.351	0.288	0.246	0.235	0.195	0.336	0.337	0.337	0.337	0.255
			0.5	0.422	0.309	0.350	0.331	0.292	0.401	0.402	0.402	0.402	0.362
2	0	0.2	0.3	0.179	0.093	0.118	0.106	0.082	0.164	0.167	0.166	0.165	0.047
			0.5	0.209	0.123	0.173	0.162	0.127	0.199	0.200	0.200	0.199	0.115
		0.5	0.3	0.369	0.300	0.254	0.243	0.208	0.339	0.347	0.346	0.347	0.183
			0.5	0.458	0.328	0.391	0.376	0.318	0.442	0.446	0.444	0.443	0.301
	0.01	0.2	0.3	0.180	0.093	0.121	0.110	0.083	0.174	0.178	0.177	0.177	0.046
			0.5	0.182	0.107	0.157	0.145	0.121	0.172	0.175	0.175	0.174	0.089
		0.5	0.3	0.370	0.276	0.250	0.239	0.208	0.330	0.342	0.340	0.341	0.191
			0.5	0.442	0.312	0.380	0.367	0.324	0.427	0.435	0.432	0.432	0.255

Table 6. Type I error and statistical power for $a_a=a_g={\sigma }^2=0$, $m=5$, $l=100$

$\rho$	$\beta$	${\sigma }_{\mathit{h}}^{\mathbf{2}}$	$\mathit{p}$	FE	RE	Q	B	${\mathit{I}}^{\mathbf{2}}$	BD	Z	${\mathit{T}}_{\mathbf{2}}$	${\mathit{T}}_{\mathit{R}}$	P
1	0	0.2	0.3	0.047	0.072	0.041	0.035	0.024	0.048	0.048	0.048	0.048	0.047
			0.5	0.050	0.084	0.045	0.041	0.028	0.049	0.049	0.049	0.049	0.046
		0.5	0.3	0.048	0.135	0.035	0.034	0.018	0.041	0.041	0.041	0.041	0.039
			0.5	0.046	0.142	0.038	0.035	0.024	0.043	0.043	0.043	0.043	0.042
	2	0.2	0.3	0.054	0.035	0.030	0.028	0.018	0.045	0.047	0.046	0.046	0.056
			0.5	0.058	0.041	0.026	0.023	0.011	0.049	0.052	0.050	0.051	0.004
		0.5	0.3	0.058	0.073	0.030	0.025	0.019	0.049	0.048	0.048	0.048	0.059
			0.5	0.058	0.084	0.027	0.021	0.017	0.042	0.044	0.044	0.044	0.011
0.3	0	0.2	0.3	0.596	0.471	0.583	0.570	0.531	0.595	0.595	0.595	0.595	0.588
			0.5	0.656	0.510	0.646	0.632	0.585	0.651	0.651	0.651	0.651	0.645
		0.5	0.3	0.828	0.774	0.821	0.807	0.785	0.828	0.829	0.829	0.828	0.821
			0.5	0.876	0.791	0.869	0.864	0.839	0.874	0.874	0.874	0.874	0.869
	2	0.2	0.3	0.443	0.252	0.390	0.370	0.320	0.432	0.437	0.437	0.435	0.422
			0.5	0.425	0.299	0.341	0.330	0.272	0.401	0.411	0.408	0.410	0.211
		0.5	0.3	0.726	0.587	0.659	0.641	0.596	0.716	0.718	0.716	0.717	0.699
			0.5	0.727	0.602	0.626	0.607	0.568	0.706	0.712	0.710	0.710	0.534
0.6	0	0.2	0.3	0.428	0.314	0.408	0.392	0.346	0.426	0.426	0.426	0.426	0.416
			0.5	0.479	0.336	0.461	0.438	0.393	0.471	0.471	0.471	0.471	0.464
		0.5	0.3	0.697	0.623	0.680	0.663	0.630	0.695	0.695	0.695	0.695	0.695
			0.5	0.761	0.659	0.752	0.741	0.711	0.758	0.758	0.758	0.758	0.750
	2	0.2	0.3	0.301	0.162	0.248	0.235	0.193	0.281	0.284	0.284	0.284	0.276
			0.5	0.277	0.187	0.210	0.200	0.164	0.254	0.262	0.260	0.260	0.111
		0.5	0.3	0.553	0.404	0.475	0.456	0.408	0.534	0.539	0.536	0.535	0.514
			0.5	0.553	0.420	0.457	0.441	0.396	0.535	0.540	0.536	0.537	0.359