Modelverificatie temperaturen De Bilt deze lente: AIFS scoort het best

Met behulp van de Open-Meteo API en de uurgegevens van het KNMI heb ik even snel een verificatie van een twaalftal modellen gemaakt voor de temperaturen in De Bilt deze lente.

De waarden laten de MAE (gemiddelde absolute fout) per model zien, voor verschillende 'lead times'. Hoe lager, hoe beter uiteraard. In principe worden alle uurlijkse metingen in De Bilt vergeleken met de modeloutput, voor sommige modellen echter 3-uurlijkse of 6-uurlijkse waarden (bijvoorbeeld ECMWF en AIFS). Verder wordt het dichtstbijzijnde gridpunt gebruikt. Het 'aantal dagen vooruit' is bij Open-Meteo ietwat onduidelijk gedefinieerd, maar het komt erop neer dat voor 0 dagen vooruit de meest recente run wordt gebruikt, en voor 1 dag vooruit de meest recente run met minimaal een lead time van 24 uur.

Opvallend genoeg presteert het hele grove en globale AIFS zelfs op dag '0' het beste, met een gemiddelde absolute afwijking van 0,68 graden. Het model wordt gevolgd door de fijnmazige modellen ICON-D2, HARMONIE-NL en UKMO-UK. Het is op zich logisch dat de fijnmazige modellen goede prestaties laten zien tot 1 à 2 dagen vooruit, dus dat AIFS er gemiddeld het best op zit is dan toch opvallend. GFS is met afstand (ook bij andere statistieken zoals de RMSE) het slechtst presterende model voor de dag zelf wat betreft de temperatuur.

Voor 1 dag vooruit presteert AIFS nog steeds het beste, gevolgd door ICON-D2 en daarna opvallend genoeg het AI-model GraphCast met GFS-input. De twee AI-modellen blijven ook voor dag 2 t/m 7 beter presteren dan alle traditionele globale modellen. Dat geeft aan dat deze modellen tegenwoordig niet alleen grootschalig (luchtdruk), maar ook wat betreft lokale(re) parameters heel goed lijken te scoren.