A robust Spearman correlation coefficient permutation test

Figures & data

Table 1. Type I error rate of testing $H_0:{\rho }_s=0$ versus $H_0:{\rho }_s>0.$

Distribution	n	t test	Fisher’s Z	Fisher-Yates	Asymp Norm	Permute	Stu Permute
MVN	10	0.0498	0.0420	0.0479	0.1223	0.0495	0.0457
	25	0.0501	0.0444	0.0499	0.0811	0.0494	0.0487
	50	0.0512	0.0473	0.0509	0.0639	0.0508	0.0525
	100	0.0529	0.0484	0.0527	0.0596	0.0530	0.0518
	200	0.0479	0.0438	0.0493	0.0525	0.0487	0.0496
Exponential	10	0.0707	0.0623	0.0813	0.1300	0.0715	0.0479
	25	0.0744	0.0689	0.0914	0.0804	0.0741	0.0492
	50	0.0795	0.0724	0.1061	0.0680	0.0798	0.0509
	100	0.0772	0.0706	0.0975	0.0561	0.0774	0.0497
	200	0.0789	0.0735	0.0998	0.0549	0.0785	0.0509
$t_{4.1}$	10	0.0625	0.0531	0.0693	0.1275	0.0606	0.0489
	25	0.0631	0.0574	0.0846	0.0768	0.0629	0.0480
	50	0.0631	0.0579	0.0910	0.0614	0.0628	0.0457
	100	0.0677	0.0611	0.1082	0.0567	0.0672	0.0491
	200	0.0728	0.0675	0.1149	0.0572	0.0731	0.0521
Circular	10	0.0124	0.0095	0.0041	0.0907	0.0124	0.0514
	25	0.0052	0.0040	0.0004	0.0620	0.0048	0.0474
	50	0.0031	0.0024	0.0001	0.0575	0.0030	0.0487
	100	0.0021	0.0015	<0.0001	0.0537	0.0024	0.0497
	200	0.0016	0.0009	<0.0001	0.0489	0.0020	0.0482
MVT	10	0.0582	0.0502	0.0626	0.1305	0.0584	0.0497
	25	0.0596	0.0543	0.0726	0.0825	0.0602	0.0496
	50	0.0542	0.0489	0.0700	0.0608	0.0553	0.0456
	100	0.0584	0.0535	0.0740	0.0566	0.0574	0.0496
	200	0.0590	0.0539	0.0852	0.0527	0.0590	0.0496
MVN 1	10	0.0541	0.0458	0.0499	0.1271	0.0531	0.0534
	25	0.0484	0.0451	0.0490	0.0777	0.0482	0.0498
	50	0.0481	0.0428	0.0478	0.0631	0.0484	0.0492
	100	0.0497	0.0452	0.0520	0.0564	0.0498	0.0497
	200	0.0495	0.0462	0.0523	0.0529	0.0493	0.0488
MVN 3	10	0.0547	0.0467	0.0539	0.1341	0.0544	0.0497
	25	0.0557	0.0514	0.0607	0.0814	0.0551	0.0516
	50	0.0571	0.0498	0.0607	0.0686	0.0562	0.0508
	100	0.0530	0.0473	0.0651	0.0561	0.0544	0.0497
	200	0.0529	0.0468	0.0603	0.0517	0.0508	0.0473
MVN 6	10	0.0648	0.0555	0.0740	0.1328	0.0643	0.0461
	25	0.0694	0.0624	0.0880	0.0832	0.0686	0.0526
	50	0.0658	0.0606	0.0917	0.0638	0.0650	0.0494
	100	0.0706	0.0644	0.0988	0.0590	0.0694	0.0498
	200	0.0678	0.0615	0.1034	0.0527	0.0667	0.0496
MVN 9	10	0.0944	0.0843	0.1173	0.1405	0.0924	0.0573
	25	0.0932	0.0865	0.1276	0.0829	0.0913	0.0502
	50	0.0965	0.0891	0.1414	0.0662	0.0948	0.0519
	100	0.0997	0.0928	0.1425	0.0593	0.0994	0.0498
	200	0.0950	0.0882	0.1531	0.0536	0.0953	0.0494
MVN 45	10	0.0564	0.0467	0.0487	0.1301	0.0547	0.0515
	25	0.0492	0.0444	0.0480	0.0791	0.0491	0.0482
	50	0.0481	0.0445	0.0507	0.0634	0.0482	0.0512
	100	0.0492	0.0447	0.0498	0.0557	0.0497	0.0488
	200	0.0521	0.0468	0.0492	0.0552	0.0509	0.0519

Figure 1. Contour plots for the density of a synthetic data set (n = 10, 000) for each simulation distribution.

Figure 2. Type I error rate of testing $H_0:{\rho }_s=0$ versus $H_1:{\rho }_s>0.$

Table 2. Power of testing $H_0:{\rho }_s=0$ versus $H_0:{\rho }_s>0$ under bivariate normal distributions.

	n	t test	Fisher’s Z	Fisher-Yates	Asymp Norm	Permute	Stu Permute
ρs = 0.3	10	0.2130	0.1848	0.2076	0.3909	0.2087	0.1824
	25	0.4402	0.4202	0.4502	0.5248	0.4397	0.4143
	50	0.7036	0.6861	0.7282	0.7434	0.6996	0.6870
	100	0.9339	0.9264	0.9489	0.9406	0.9305	0.9285
	200	0.9965	0.9961	0.9983	0.9968	0.9964	0.9965
ρs = 0.6	10	0.5821	0.5461	0.5794	0.7599	0.5774	0.5090
	25	0.9376	0.9313	0.9502	0.9587	0.9356	0.9215
	50	0.9981	0.9977	0.9995	0.9986	0.9979	0.9973
	100	> 0.9999	> 0.9999	> 0.9999	> 0.9999	> 0.9999	> 0.9999
	200	> 0.9999	> 0.9999	> 0.9999	> 0.9999	> 0.9999	> 0.9999

Figure 3. Scatter plot of log-transformed TP53 versus FGFR1 abundance for TCGA data (a), and age versus $-\hspace{0.17em}\text{log}\hspace{0.17em}(\text{PSA})$ for the PSA data (b).

Table 3. Results of testing $H_0:{\rho }_s=0$ versus $H_1:{\rho }_s>0$ for TCGA breast cancer data and PSA data.

Tests	p value (TCGA)	p value (PSA)
t test	0.047	< 0.001
Fisher’s Z	< 0.001	< 0.001
Fisher-Yates	< 0.001	< 0.001
Asymp Norm	0.039	< 0.001
Permute	0.033	< 0.001
Stu Permute	0.081	< 0.001