Elk model geeft een voorspelling die je (achteraf) naast de realisatie kunt leggen. Volgens mij zijn twee vragen daarbij van belang:
- Op basis van welke outputreeks ga je het model toetsen? Pak je de concrete vertaling van AIFS op de temperatuur voor een specifiek meetpunt (het ene extreem), of beoordeel je het model op basis van (afwijkingen van) de voorspelde geopotentiële waarde voor een groot aantal meetpunten (ander extreem). Beide keuzes zijn natuurlijk te verdedigen, maar zelf zou ik zeggen dat je het model moet toetsen op de doelgrootheden van het model zelf. Niet dat ik die weet voor AIFS, maar ik kan me voorstellen dat zo'n model zich richt op het juist voorspellen van de synoptische situatie.
- Welke waarde hecht je aan grote voorspelfouten? De fouten zullen een bepaalde verdeling hebben en de vraag daarbij is dan wat erger is. Meestal een zeer accurate voorspelling met af en toe een flinke misser, of voorspellingen die gemiddeld minder accuraat zijn maar dan zonder grote missers. Ik denk dat dat een arbitraire keuze is.
Jelmer heeft volgens mij al een paar keer mooie grafiekjes laten zien waarop duidelijk is dat de machine learning modellen (waaronder het AIFS) het structureel beter doen (gegeven de onderliggende criteria van die plaatjes, natuurlijk).
Quote selectie