LTSF-Benchmark.md

January 7, 2024 · View on GitHub

Features

To facilitate the follow-up research, we have provided the method comparison results under commonly used datasets, and the follow-up methods will continue to be updated.
Support recent SOTA and traditional but popular methods.
Any Pull requests are welcome!

Multivariate long-term series forecasting results on four ETT datasets with best input length and prediction length O ∈{96, 192, 336, 720}

Methods	Dataset	ETTH1				ETTH2				ETTm1				ETTm2
	Metric	96	192	336	720	96	192	336	720	96	192	336	720	96	192	336	720
Linear	MSE	0.375	0.418	0.479	0.624	0.288	0.377	0.452	0.698	0.308	0.340	0.376	0.440	0.168	0.232	0.320	0.413
	MAE	0.397	0.429	0.476	0.592	0.352	0.413	0.461	0.595	0.352	0.369	0.393	0.435	0.262	0.308	0.373	0.435
NLinear	MSE	0.374	0.408	0.429	0.440	0.277	0.344	0.357	0.394	0.306	0.349	0.375	0.433	0.167	0.221	0.274	0.368
	MAE	0.394	0.415	0.427	0.453	0.338	0.381	0.400	0.436	0.348	0.375	0.388	0.422	0.255	0.293	0.327	0.384
DLinear	MSE	0.375	0.405	0.439	0.472	0.289	0.383	0.448	0.605	0.299	0.335	0.369	0.425	0.167	0.224	0.281	0.397
	MAE	0.399	0.416	0.443	0.490	0.353	0.418	0.465	0.551	0.343	0.365	0.386	0.421	0.260	0.303	0.342	0.421
FEDformer-f	MSE	0.376	0.420	0.459	0.506	0.346	0.429	0.496	0.463	0.379	0.426	0.445	0.543	0.203	0.269	0.325	0.421
	MAE	0.419	0.448	0.465	0.507	0.388	0.439	0.487	0.474	0.419	0.441	0.459	0.490	0.287	0.328	0.366	0.415
FEDformer-w	MSE	0.395	0.469	0.530	0.598	0.394	0.439	0.482	0.500	0.378	0.464	0.508	0.561	0.204	0.316	0.359	0.433
	MAE	0.424	0.470	0.499	0.544	0.414	0.445	0.480	0.509	0.418	0.463	0.487	0.515	0.288	0.363	0.387	0.432
Autoformer	MSE	0.449	0.500	0.521	0.514	0.358	0.456	0.482	0.515	0.505	0.553	0.621	0.671	0.255	0.281	0.339	0.433
	MAE	0.459	0.482	0.496	0.512	0.397	0.452	0.486	0.511	0.475	0.496	0.537	0.561	0.339	0.340	0.372	0.432
Informer	MSE	0.865	1.008	1.107	1.181	3.755	5.602	4.721	3.647	0.672	0.795	1.212	1.166	0.365	0.533	1.363	3.379
	MAE	0.713	0.792	0.809	0.865	1.525	1.931	1.835	1.625	0.571	0.669	0.871	0.823	0.453	0.563	0.887	1.338
Pyrafromer	MSE	0.664	0.790	0.891	0.963	0.645	0.788	0.907	0.963	0.543	0.557	0.754	0.908	0.435	0.730	1.201	3.625
	MAE	0.612	0.681	0.738	0.782	0.597	0.683	0.747	0.783	0.510	0.537	0.655	0.724	0.507	0.673	0.845	1.451
LogTrans	MSE	0.878	1.037	1.238	1.135	2.116	4.315	1.124	3.188	0.600	0.837	1.124	1.153	0.768	0.989	1.334	3.048
	MAE	0.740	0.824	0.932	0.852	1.197	1.635	1.604	1.540	0.546	0.700	0.832	0.820	0.642	0.757	0.872	1.328
Reformer	MSE	0.837	0.923	1.097	1.257	2.626	11.120	9.323	3.874	0.538	0.658	0.898	1.102	0.658	1.078	1.549	2.631
	MAE	0.728	0.766	0.835	0.889	1.317	2.979	2.769	1.697	0.528	0.592	0.721	0.841	0.619	0.827	0.972	1.242
Linear-I	MSE	0.378	0.415	0.447	0.489	0.408	0.575	0.643	1.075	0.286	0.330	0.372	0.428	0.196	0.281	0.380	0.484
	MAE	0.397	0.422	0.441	0.488	0.415	0.500	0.543	0.711	0.334	0.361	0.387	0.419	0.284	0.347	0.406	0.475
DLinear-I	MSE	0.377	0.420	0.448	0.486	0.399	0.483	0.686	1.039	0.286	0.327	0.366	0.427	0.182	0.298	0.423	0.799
	MAE	0.396	0.426	0.443	0.486	0.409	0.458	0.553	0.700	0.335	0.358	0.380	0.416	0.274	0.352	0.434	0.580
NLinear-I	MSE	0.383	0.414	0.438	0.451	0.287	0.345	0.371	0.416	0.288	0.330	0.371	0.431	0.163	0.218	0.273	0.369
	MAE	0.402	0.421	0.436	0.459	0.347	0.387	0.413	0.445	0.336	0.360	0.383	0.418	0.251	0.290	0.326	0.384

Methods	Dataset	Electricity				Exchange Rate				Traffic				Weather				ILI
	Metric	96	192	336	720	96	192	336	720	96	192	336	720	96	192	336	720	24	36	48	60
Linear	MSE	0.140	0.153	0.169	0.203	0.082	0.167	0.328	0.964	0.410	0.423	0.436	0.466	0.176	0.218	0.262	0.326	1.947	2.182	2.256	2.390
	MAE	0.237	0.250	0.268	0.301	0.207	0.304	0.432	0.750	0.282	0.287	0.295	0.315	0.236	0.276	0.312	0.365	0.985	1.036	1.060	1.104
DLinear	MSE	0.141	0.154	0.171	0.210	0.089	0.180	0.331	1.033	0.410	0.423	0.435	0.464	0.182	0.225	0.271	0.338	1.683	1.703	1.719	1.819
	MAE	0.237	0.248	0.265	0.297	0.208	0.300	0.415	0.780	0.279	0.284	0.290	0.307	0.232	0.269	0.301	0.348	0.858	0.859	0.884	0.917
NLinear	MSE	0.140	0.153	0.169	0.203	0.081	0.157	0.305	0.643	0.410	0.423	0.436	0.466	0.176	0.220	0.265	0.323	2.215	1.963	2.130	2.368
	MAE	0.237	0.249	0.267	0.301	0.203	0.293	0.414	0.601	0.282	0.287	0.296	0.315	0.237	0.282	0.319	0.362	1.081	0.963	1.024	1.096
FEDformer-f	MSE	0.193	0.201	0.214	0.246	0.148	0.271	0.460	1.195	0.587	0.604	0.621	0.626	0.217	0.276	0.339	0.403	3.228	2.679	2.622	2.857
	MAE	0.308	0.315	0.329	0.355	0.278	0.380	0.500	0.841	0.366	0.373	0.383	0.382	0.296	0.336	0.380	0.428	1.260	1.080	1.078	1.157
FEDformer-w	MSE
	MAE
Autoformer	MSE	0.201	0.222	0.231	0.254	0.197	0.300	0.509	1.447	0.613	0.616	0.622	0.660	0.266	0.307	0.359	0.419	3.483	3.103	2.669	2.770
	MAE	0.317	0.334	0.338	0.361	0.323	0.369	0.524	0.941	0.388	0.382	0.337	0.408	0.336	0.367	0.395	0.428	1.287	1.148	1.085	1.125
Informer	MSE	0.274	0.296	0.300	0.373	0.847	1.204	1.672	2.478	0.719	0.696	0.777	0.864	0.300	0.598	0.578	1.059	5.764	4.755	4.763	5.264
	MAE	0.368	0.386	0.394	0.439	0.752	0.895	1.036	1.310	0.391	0.379	0.420	0.472	0.384	0.544	0.523	0.741	1.677	1.467	1.469	1.564
Pyraformer	MSE	0.386	0.386	0.378	0.376	0.376	1.748	1.874	1.943	2.085	0.867	0.869	0.881	0.896	0.622	0.739	1.004	1.420	7.394	7.551	7.662
	MAE	0.449	0.443	0.443	0.445	1.105	1.151	1.172	1.206	0.468	0.467	0.469	0.473	0.556	0.624	0.753	0.934	2.012	2.031	2.057	2.100
LogTrans	MSE	0.258	0.266	0.280	0.283	0.968	1.040	1.659	1.941	0.684	0.685	0.734	0.717	0.458	0.658	0.797	0.869	4.480	4.799	4.800	5.278
	MAE	0.357	0.368	0.380	0.376	0.812	0.851	1.081	1.127	0.384	0.390	0.408	0.396	0.490	0.589	0.652	0.675	1.444	1.467	1.468	1.560
Repeat	MSE	1.588	1.595	1.617	1.647	0.081	0.167	0.305	0.823	2.723	2.756	2.791	2.811	0.259	0.309	0.377	0.465	6.587	7.130	6.575	5.893
	MAE	0.946	0.950	0.961	0.975	0.196	0.289	0.396	0.681	1.079	1.087	1.095	1.097	0.254	0.292	0.338	0.394	1.701	1.884	1.798	1.677
Linear-I	MSE	0.134	0.148	0.164	0.201	0.090	0.241	0.336	1.658	0.425	0.438	0.452	0.482	0.146	0.188	0.242	0.317	2.161	2.204	2.240	2.424
	MAE	0.230	0.245	0.263	0.297	0.218	0.370	0.445	1.033	0.298	0.304	0.312	0.330	0.212	0.256	0.302	0.359	1.014	1.010	1.025	1.102
DLinear-I	MSE	0.134	0.148	0.164	0.201	0.099	0.782	0.676	1.499	0.426	0.438	0.452	0.483	0.144	0.187	0.240	0.317	1.999	2.142	2.203	2.475
	MAE	0.230	0.245	0.263	0.297	0.232	0.639	0.651	0.940	0.298	0.304	0.312	0.330	0.209	0.254	0.298	0.359	0.945	0.977	1.011	1.096
NLinear-I	MSE	0.134	0.150	0.167	0.206	0.096	0.209	0.358	1.133	0.423	0.435	0.447	0.476	0.144	0.187	0.240	0.318	1.686	1.619	1.679	1.821
	MAE	0.229	0.243	0.260	0.293	0.214	0.325	0.429	0.785	0.294	0.299	0.305	0.322	0.193	0.236	0.278	0.333	0.798	0.777	0.818	0.866

Univariate long-term series forecasting results on four ETT datasets with input length I = 96 and prediction length O ∈{96, 192, 336, 720}

Methods	Dataset	ETTh1				ETTh2				ETTm1				ETTm2				Paper	Pub.
	Metric	96	192	336	720	96	192	336	720	96	192	336	720	96	192	336	720
Linear	MSE	0.189	0.078	0.091	0.172	0.133	0.176	0.213	0.292	0.028	0.043	0.059	0.080	0.066	0.094	0.120	0.175	https://arxiv.org/pdf/2205.13504.pdf	AAAI23
	MAE	0.359	0.212	0.237	0.340	0.283	0.330	0.371	0.440	0.125	0.154	0.180	0.211	0.189	0.230	0.263	0.320
NLinear	MSE	0.053	0.069	0.081	0.080	0.129	0.169	0.194	0.225	0.026	0.039	0.052	0.073	0.063	0.090	0.117	0.170
	MAE	0.177	0.204	0.226	0.226	0.278	0.324	0.355	0.381	0.122	0.149	0.172	0.207	0.182	0.223	0.259	0.318
DLinear	MSE	0.056	0.071	0.098	0.189	0.131	0.176	0.209	0.276	0.028	0.045	0.061	0.080	0.063	0.092	0.119	0.175
	MAE	0.180	0.204	0.244	0.359	0.279	0.329	0.367	0.426	0.123	0.156	0.182	0.210	0.183	0.227	0.261	0.320
FEDformer-f	MSE	0.079	0.104	0.119	0.142	0.128	0.185	0.231	0.278	0.033	0.058	0.084	0.102	0.067	0.102	0.130	0.178	https://arxiv.org/pdf/2201.12740.pdf	ICML22
	MAE	0.215	0.245	0.270	0.299	0.271	0.330	0.378	0.420	0.140	0.186	0.231	0.250	0.198	0.245	0.279	0.325
FEDformer-w	MSE	0.080	0.105	0.120	0.127	0.156	0.238	0.271	0.288	0.036	0.069	0.071	0.105	0.063	0.110	0.147	0.219
	MAE	0.214	0.256	0.269	0.280	0.306	0.380	0.412	0.438	0.149	0.206	0.209	0.248	0.189	0.252	0.301	0.368
Autoformer	MSE	0.071	0.114	0.107	0.126	0.153	0.204	0.246	0.268	0.056	0.081	0.076	0.110	0.065	0.118	0.154	0.182	https://arxiv.org/pdf/2106.13008.pdf	NeurIPS21
	MAE	0.206	0.262	0.258	0.283	0.306	0.351	0.389	0.409	0.183	0.216	0.218	0.267	0.189	0.256	0.305	0.335
Informer	MSE	0.193	0.217	0.202	0.183	0.213	0.227	0.242	0.291	0.109	0.151	0.427	0.438	0.088	0.132	0.180	0.300	https://arxiv.org/pdf/2012.07436.pdf	AAAI21
	MAE	0.377	0.395	0.381	0.355	0.373	0.387	0.401	0.439	0.277	0.310	0.591	0.586	0.225	0.283	0.336	0.435
LogTrans	MSE	0.283	0.234	0.386	0.475	0.217	0.281	0.293	0.218	0.049	0.157	0.289	0.430	0.075	0.129	0.154	0.160
	MAE	0.468	0.409	0.546	0.629	0.379	0.429	0.437	0.387	0.171	0.317	0.459	0.579	0.208	0.275	0.302	0.321
Reformer	MSE
	MAE
S4	MSE	0.316	0.345	0.825	0.19	0.381	0.332	0.655	0.63	0.651	0.19	0.428	0.254	0.153	0.183	0.204	0.482	https://openreview.net/pdf?id=uYLFoz1vlAC	ICLR22
	MAE	0.49	0.516	0.846	0.355	0.501	0.458	0.67	0.662	0.733	0.372	0.581	0.433	0.318	0.35	0.367	0.567
FILM	MSE	0.055	0.072	0.083	0.09	0.127	0.182	0.204	0.241	0.029	0.041	0.053	0.071	0.065	0.094	0.124	0.173	https://arxiv.org/pdf/2205.08897.pdf	NeurIPS 2022
	MAE	0.178	0.207	0.229	0.24	0.272	0.335	0.367	0.396	0.127	0.153	0.175	0.205	0.189	0.233	0.274	0.323
ARIMA	MSE	0.058	0.073	0.086	0.103	0.273	0.315	0.367	0.413	0.033	0.049	0.065	0.089	0.211	0.237	0.264	0.31
	MAE	0.184	0.209	0.231	0.253	0.407	0.446	0.488	0.519	0.136	0.169	0.196	0.231	0.34	0.371	0.396	0.441