Results

There are some reproduced model results using unKR.

CN15K

Confidence prediction

Type	Model	MSE	MAE
Normal	BEUrRE	0.11656	0.28259
	PASSLEAF_ComplEx	0.23095	0.39970
	PASSLEAF_DistMult	0.21575	0.37923
	PASSLEAF_RotatE	0.09375	0.24801
	UKGElogi	0.24635	0.40864
	UKGElogiPSL	0.24630	0.40881
	UKGErect	0.20166	0.36380
	UKGErectPSL	0.19988	0.36206
	UKGsE	0.10274	0.25564
	UPGAT	0.14933	0.30796
Few-shot	GMUC	0.01700	0.10400

Link prediction

All test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.030	0.127	0.248	0.103	1041.157	0.112	916.689
	FocusE	0.090	0.168	0.288	0.154	1760.524	0.168	1629.575
	GTransE	0.043	0.112	0.207	0.098	1114.496	0.105	978.835
	PASSLEAF_ComplEx	0.058	0.131	0.262	0.122	1175.950	0.136	1099.126
	PASSLEAF_DistMult	0.057	0.126	0.244	0.117	1203.598	0.131	1092.162
	PASSLEAF_RotatE	0.029	0.126	0.252	0.103	1020.154	0.112	832.611
	UKGElogi	0.056	0.116	0.209	0.106	1616.041	0.142	1467.336
	UKGElogiPSL	0.052	0.114	0.210	0.104	1581.759	0.116	1446.819
	UKGErect	0.048	0.105	0.196	0.097	1919.389	0.106	1765.940
	UKGErectPSL	0.044	0.104	0.203	0.095	1840.382	0.105	1690.639
	UKGsE	0.002	0.006	0.020	0.010	1949.594	0.011	1769.067
	UPGAT	0.037	0.108	0.226	0.098	1199.503	0.110	1060.366
Few-shot	GMUC	0.128	0.166	0.232	0.172	78.768	0.168	79.024

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.039	0.175	0.285	0.128	1026.465	0.138	905.267
	FocusE	0.164	0.254	0.349	0.228	1740.288	0.250	1613.610
	GTransE	0.050	0.129	0.223	0.110	1101.196	0.118	968.446
	PASSLEAF_ComplEx	0.086	0.223	0.340	0.175	1157.334	0.196	1084.497
	PASSLEAF_DistMult	0.078	0.178	0.296	0.151	1185.329	0.170	1077.809
	PASSLEAF_RotatE	0.037	0.167	0.288	0.125	1005.764	0.137	821.435
	UKGElogi	0.072	0.146	0.234	0.128	1598.388	0.118	1481.233
	UKGElogiPSL	0.065	0.142	0.238	0.124	1564.019	0.138	1432.869
	UKGErect	0.060	0.132	0.221	0.115	1902.673	0.127	1752.800
	UKGErectPSL	0.053	0.133	0.229	0.113	1823.650	0.124	1677.477
	UKGsE	0.002	0.006	0.020	0.010	1936.439	0.012	1758.790
	UPGAT	0.078	0.168	0.281	0.146	1177.974	0.165	1042.695
Few-shot	GMUC	0.128	0.167	0.232	0.173	77.695	0.171	77.926

Only high-confidence test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.011	0.130	0.280	0.100	891.065
	FocusE	0.081	0.175	0.319	0.157	1691.038
	GTransE	0.016	0.108	0.226	0.087	957.610
	PASSLEAF_ComplEx	0.058	0.146	0.303	0.134	1146.749
	PASSLEAF_DistMult	0.057	0.141	0.281	0.128	1111.191
	PASSLEAF_RotatE	0.010	0.131	0.289	0.101	761.389
	UKGElogi	0.053	0.127	0.237	0.113	1515.951
	UKGElogiPSL	0.049	0.124	0.240	0.111	1483.428
	UKGErect	0.045	0.112	0.223	0.102	1773.141
	UKGErectPSL	0.039	0.109	0.231	0.099	1702.366
	UKGsE	0.002	0.007	0.021	0.011	1719.269
	UPGAT	0.042	0.121	0.262	0.111	1082.818
Few-shot	GMUC	0.002	0.008	0.056	0.028	96.915

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.017	0.188	0.317	0.125	881.970
	FocusE	0.169	0.274	0.380	0.242	1678.487
	GTransE	0.026	0.129	0.243	0.101	949.356
	PASSLEAF_ComplEx	0.093	0.255	0.383	0.196	1135.032
	PASSLEAF_DistMult	0.083	0.204	0.340	0.169	1099.705
	PASSLEAF_RotatE	0.018	0.182	0.329	0.127	752.461
	UKGElogi	0.074	0.164	0.266	0.139	1504.807
	UKGElogiPSL	0.064	0.160	0.271	0.135	1472.255
	UKGErect	0.059	0.146	0.250	0.124	1762.605
	UKGErectPSL	0.049	0.144	0.260	0.119	1691.795
	UKGsE	0.002	0.007	0.022	0.011	1711.308
	UPGAT	0.094	0.196	0.323	0.170	1067.621
Few-shot	GMUC	0.002	0.008	0.057	0.029	95.806

NL27K

Confidence prediction

Type	Model	MSE	MAE
Normal	BEUrRE	0.08920	0.22194
	PASSLEAF_ComplEx	0.02434	0.05176
	PASSLEAF_DistMult	0.02309	0.05107
	PASSLEAF_RotatE	0.01949	0.06253
	UKGElogi	0.02861	0.05967
	UKGElogiPSL	0.02868	0.05966
	UKGErect	0.03344	0.07052
	UKGErectPSL	0.03326	0.07015
	UKGsE	0.12202	0.27065
	UPGAT	0.02922	0.10107
Few-shot	GMUC	0.01300	0.08200
	GMUC+	0.01300	0.08600

Link prediction

All test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.086	0.237	0.358	0.186	937.320	0.212	745.028
	FocusE	0.373	0.518	0.646	0.469	515.363	0.480	473.365
	GTransE	0.137	0.245	0.353	0.211	2014.542	0.232	1749.638
	PASSLEAF_ComplEx	0.373	0.508	0.626	0.463	222.988	0.483	204.159
	PASSLEAF_DistMult	0.369	0.502	0.622	0.458	214.093	0.478	198.758
	PASSLEAF_RotatE	0.365	0.499	0.610	0.453	122.398	0.478	109.474
	UKGElogi	0.343	0.479	0.599	0.434	253.241	0.458	226.282
	UKGElogiPSL	0.347	0.477	0.599	0.435	265.915	0.459	240.235
	UKGErect	0.349	0.484	0.607	0.440	220.598	0.463	192.629
	UKGErectPSL	0.348	0.480	0.602	0.438	217.576	0.460	191.070
	UKGsE	0.030	0.058	0.108	0.057	3022.769	0.061	2690.496
	UPGAT	0.339	0.467	0.586	0.426	166.169	0.452	141.358
Few-shot	GMUC	0.287	0.409	0.536	0.375	71.484	0.375	71.447
	GMUC+	0.299	0.448	0.582	0.401	49.418	0.401	49.107

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.117	0.307	0.442	0.238	874.380	0.272	683.223
	FocusE	0.761	0.884	0.946	0.829	459.719	0.849	420.153
	GTransE	0.179	0.308	0.425	0.265	1957.772	0.291	1692.880
	PASSLEAF_ComplEx	0.586	0.703	0.801	0.662	172.645	0.708	157.040
	PASSLEAF_DistMult	0.553	0.676	0.783	0.633	163.501	0.676	151.543
	PASSLEAF_RotatE	0.580	0.706	0.782	0.656	71.203	0.715	61.337
	UKGElogi	0.462	0.597	0.730	0.555	203.508	0.593	179.867
	UKGElogiPSL	0.461	0.600	0.734	0.555	216.391	0.594	194.006
	UKGErect	0.452	0.595	0.733	0.548	173.215	0.580	148.744
	UKGErectPSL	0.444	0.583	0.726	0.540	170.104	0.571	147.006
	UKGsE	0.031	0.062	0.113	0.060	2973.236	0.064	2641.840
	UPGAT	0.530	0.654	0.765	0.611	115.004	0.658	93.692
Few-shot	GMUC	0.344	0.462	0.592	0.430	67.920	0.432	67.813
	GMUC+	0.371	0.505	0.638	0.463	45.874	0.465	45.495

Only high-confidence test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.115	0.295	0.436	0.232	549.564
	FocusE	0.393	0.537	0.659	0.487	436.373
	GTransE	0.168	0.287	0.407	0.250	1434.634
	PASSLEAF_ComplEx	0.405	0.544	0.662	0.496	184.430
	PASSLEAF_DistMult	0.399	0.537	0.658	0.491	184.246
	PASSLEAF_RotatE	0.407	0.545	0.664	0.498	97.364
	UKGElogi	0.382	0.522	0.645	0.475	198.500
	UKGElogiPSL	0.385	0.520	0.644	0.476	212.782
	UKGErect	0.388	0.527	0.650	0.480	167.922
	UKGErectPSL	0.386	0.523	0.647	0.477	167.543
	UKGsE	0.035	0.067	0.124	0.066	2378.456
	UPGAT	0.379	0.520	0.645	0.473	114.658
Few-shot	GMUC	0.281	0.400	0.540	0.368	62.005
	GMUC+	0.290	0.420	0.573	0.438	45.774

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.156	0.385	0.543	0.299	488.051
	FocusE	0.814	0.918	0.957	0.870	384.471
	GTransE	0.222	0.366	0.493	0.316	1377.564
	PASSLEAF_ComplEx	0.669	0.786	0.876	0.741	138.808
	PASSLEAF_DistMult	0.627	0.754	0.856	0.707	138.781
	PASSLEAF_RotatE	0.687	0.816	0.884	0.762	50.776
	UKGElogi	0.526	0.670	0.805	0.622	153.632
	UKGElogiPSL	0.525	0.673	0.812	0.623	168.029
	UKGErect	0.509	0.662	0.807	0.609	126.011
	UKGErectPSL	0.500	0.647	0.800	0.599	125.233
	UKGsE	0.038	0.073	0.130	0.069	2329.501
	UPGAT	0.618	0.751	0.862	0.701	69.120
Few-shot	GMUC	0.335	0.465	0.592	0.425	58.312
	GMUC+	0.338	0.486	0.636	0.438	45.774

PPI5K

Confidence prediction

Type	Model	MSE	MAE
Normal	BEUrRE	0.03662	0.15800
	PASSLEAF_ComplEx	0.00346	0.02273
	PASSLEAF_DistMult	0.00336	0.02163
	PASSLEAF_RotatE	0.00350	0.02773
	UKGElogi	0.00357	0.02300
	UKGElogiPSL	0.00356	0.02295
	UKGErect	0.00366	0.02218
	UKGErectPSL	0.00366	0.02220
	UKGsE	0.00769	0.05156
	UPGAT	0.00319	0.02704

Link prediction

All test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.000	0.025	0.137	0.053	46.498	0.059	41.783
	FocusE	0.032	0.087	0.238	0.105	37.083	0.118	34.157
	GTransE	0.001	0.026	0.107	0.043	197.177	0.058	141.143
	PASSLEAF_ComplEx	0.031	0.081	0.228	0.102	40.756	0.127	35.730
	PASSLEAF_DistMult	0.031	0.084	0.227	0.102	40.709	0.128	35.639
	PASSLEAF_RotatE	0.023	0.069	0.207	0.090	42.595	0.113	35.458
	UKGElogi	0.029	0.082	0.234	0.101	42.224	0.125	38.202
	UKGElogiPSL	0.029	0.082	0.233	0.101	42.041	0.125	38.115
	UKGErect	0.034	0.088	0.239	0.106	53.766	0.135	44.890
	UKGErectPSL	0.033	0.089	0.238	0.106	54.403	0.135	45.163
	UKGsE	0.013	0.037	0.127	0.060	85.703	0.082	63.271
	UPGAT	0.034	0.088	0.236	0.106	36.820	0.132	30.896

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR	WMRR	WMR
Normal	BEUrRE	0.000	0.790	0.948	0.408	7.780	0.431	6.082
	FocusE	0.932	0.985	0.994	0.959	4.389	0.966	4.731
	GTransE	0.013	0.150	0.313	0.121	164.695	0.179	112.057
	PASSLEAF_ComplEx	0.546	0.827	0.957	0.702	7.862	0.733	7.668
	PASSLEAF_DistMult	0.533	0.820	0.953	0.693	7.779	0.726	7.552
	PASSLEAF_RotatE	0.268	0.597	0.821	0.470	9.671	0.521	7.334
	UKGElogi	0.580	0.902	0.984	0.745	9.354	0.744	10.281
	UKGElogiPSL	0.582	0.901	0.984	0.746	9.173	0.745	10.196
	UKGErect	0.685	0.913	0.982	0.805	21.005	0.820	17.076
	UKGErectPSL	0.685	0.913	0.982	0.805	21.615	0.821	17.315
	UKGsE	0.232	0.398	0.624	0.359	53.152	0.418	35.539
	UPGAT	0.862	0.949	0.986	0.910	3.662	0.938	2.759

Only high-confidence test data

Raw

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.000	0.043	0.223	0.075	27.476
	FocusE	0.060	0.155	0.400	0.166	26.964
	GTransE	0.008	0.094	0.318	0.109	41.449
	PASSLEAF_ComplEx	0.092	0.219	0.467	0.214	23.295
	PASSLEAF_DistMult	0.091	0.217	0.460	0.211	23.743
	PASSLEAF_RotatE	0.070	0.187	0.440	0.188	16.425
	UKGElogi	0.078	0.221	0.474	0.205	29.939
	UKGElogiPSL	0.080	0.219	0.473	0.206	29.963
	UKGErect	0.112	0.242	0.495	0.234	31.370
	UKGErectPSL	0.109	0.246	0.486	0.232	31.390
	UKGsE	0.047	0.133	0.387	0.151	26.827
	UPGAT	0.088	0.227	0.488	0.215	15.170

Filter

Type	Model	Hits@1	Hits@3	Hits@10	MRR	MR
Normal	BEUrRE	0.001	0.956	0.992	0.479	2.354
	FocusE	0.956	0.991	0.995	0.974	7.710
	GTransE	0.106	0.605	0.814	0.390	24.670
	PASSLEAF_ComplEx	0.533	0.989	0.996	0.762	8.932
	PASSLEAF_DistMult	0.530	0.989	0.996	0.760	9.272
	PASSLEAF_RotatE	0.318	0.940	0.989	0.638	2.034
	UKGElogi	0.402	0.992	0.996	0.696	15.925
	UKGElogiPSL	0.404	0.992	0.996	0.698	15.961
	UKGErect	0.671	0.991	0.994	0.832	17.512
	UKGErectPSL	0.675	0.992	0.995	0.834	17.482
	UKGsE	0.358	0.790	0.898	0.591	12.219
	UPGAT	0.957	0.997	0.999	0.978	1.074