Om eens te kijken hoe goed het op de fora veelgebruikte GFS model het doet wat betreft de temperatuur, heb ik een simpele verificatie uitgevoerd voor het station De Bilt. Ik heb alle 00Z modelruns genomen van 17 mei t/m 24 augustus en de etmaaltemperatuur voor dag 1 tot en met 5 uitgerekend. Het model heeft uitvoer om de 3 uur dus voor dag 1 heb ik de tijdstappen +24 t/m +45 genomen, voor dag 2 dus +48 t/m 69, enzovoorts. Deze verwachtingen zijn vergeleken met geverifieerde data van het KNMI.
Voor elke dag zijn er vijf verwachtingen en dus ook vijf afwijkingen berekend. De gemiddelde afwijking wordt de bias genoemd. Ook de standaardafwijking van de bias heb ik berekend. Tot slot heb ik de Root Mean Squared Error berekend, dit is per verwachtingsdag elke afwijking gekwadrateerd, daar de som van en gedeeld door het aantal. Tot slot wordt daar nog weer de wortel uit genomen. De RMSE wordt veel gebruikt voor modelverificatie en heeft als belangrijkste voordeel dat structurele fout (bias) en willekeurige fout (standaardafwijking) beiden kwadratisch doorwerken in de 'totale' fout.
Een heel verhaal maar je kan rustig stellen dat een lagere RMSE een betere verwachting betekent. Om te kijken hoe het model relatief presteert heb ik ook de scores berekend van een tweetal artificiële verwachtingen: allereerst de persistentie, dit is niets anders dan aannemen dat de etmaalgemiddelde temperatuur voor dag X gelijk is aan vandaag. De tweede verwachting is de klimatologie, dat wil zeggen je vult voor elke verwachtingsdag de normaalwaarde (over 1971-2000) voor die periode in.
Voor elk van deze drie verwachtingen zijn de verificatiescores berekend voor dag 1 t/m 5. De eerdergenoemde RMSE score, zeg maar de 'totaalscore', is onderaan grafisch afgebeeld. De structurele fout, de bias, is hieronder in tabelvorm afgebeeld.
P.S. de negatieve bias bij de klimatologische verwachting geeft feitelijk de temperatuurafwijking over deze periode aan t.o.v. normaal, die is 0,8 graden (17,0 tegenover 16,2 normaal).
Gr. Ben
Voor elke dag zijn er vijf verwachtingen en dus ook vijf afwijkingen berekend. De gemiddelde afwijking wordt de bias genoemd. Ook de standaardafwijking van de bias heb ik berekend. Tot slot heb ik de Root Mean Squared Error berekend, dit is per verwachtingsdag elke afwijking gekwadrateerd, daar de som van en gedeeld door het aantal. Tot slot wordt daar nog weer de wortel uit genomen. De RMSE wordt veel gebruikt voor modelverificatie en heeft als belangrijkste voordeel dat structurele fout (bias) en willekeurige fout (standaardafwijking) beiden kwadratisch doorwerken in de 'totale' fout.
Een heel verhaal maar je kan rustig stellen dat een lagere RMSE een betere verwachting betekent. Om te kijken hoe het model relatief presteert heb ik ook de scores berekend van een tweetal artificiële verwachtingen: allereerst de persistentie, dit is niets anders dan aannemen dat de etmaalgemiddelde temperatuur voor dag X gelijk is aan vandaag. De tweede verwachting is de klimatologie, dat wil zeggen je vult voor elke verwachtingsdag de normaalwaarde (over 1971-2000) voor die periode in.
Voor elk van deze drie verwachtingen zijn de verificatiescores berekend voor dag 1 t/m 5. De eerdergenoemde RMSE score, zeg maar de 'totaalscore', is onderaan grafisch afgebeeld. De structurele fout, de bias, is hieronder in tabelvorm afgebeeld.
dag 1 dag 2 dag 3 dag 4 dag 5Het valt gelijk op dat de bias van GFS groter is dan zowel de persistentie- als klimaatverwachting. Ook valt op dat de afwijking negatief is, het model onderschat dus de etmaalgemiddelden en wel met zo'n 0,8 tot 1,1 graad. Bekijken we echter de standaardafwijking, een graadmeter voor de spreiding in de fouten, dan verandert het beeld:
pers -0,06 -0,13 -0,16 -0,19 -0,23
clima -0,79 -0,79 -0,79 -0,79 -0,79
gfs -0,79 -0,95 -1,03 -1,06 -0,90
dag 1 dag 2 dag 3 dag 4 dag 5GFS blijkt dus een structurele fout te hebben maar de willekeurige fout is duidelijk kleiner dan die van de andere twee, artificiële verwachtingen. Corrigeer je voor de structurele afwijking in de GFS verwachting, dan wordt de RMSE gelijk aan de standaardafwijking en komt de 'totaalscore' neer op zo'n 1,3 tot 1,9 graden.
pers 1,88 2,55 2,81 3,12 3,22
clima 2,56 2,56 2,56 2,56 2,56
gfs 1,26 1,50 1,27 1,63 1,87
P.S. de negatieve bias bij de klimatologische verwachting geeft feitelijk de temperatuurafwijking over deze periode aan t.o.v. normaal, die is 0,8 graden (17,0 tegenover 16,2 normaal).
Gr. Ben
