Naar aanleiding van een discussie op 2 augustus had ik de model-uitvoer van het EPS Ensemble voor De Bilt gedownload via het KNMI. Daarnaast heb ik de waarnemingen van de temperatuur om 02, 08, 14 en 20 uur genoteerd voor de gehele tijdreeks.
Ik heb de 'prestaties' per berekening op twee manieren berekend:
- De totale, absolute afwijking. Dus stel dat op een bepaald tijdstip een temperatuur van 20,4 graden werd berekend en het in werkelijkheid 20,1 graden was, bedraagt de absolute afwijking 0,3 graden. Die afwijking wordt dan opgesomd over alle tijdstippen (60).
- De gemiddelde afwijking per tijdstip. Dus hier opnieuw het voorbeeld met een berekening van 20,4 graden en een meting van 20,1 graden. Dan is de afwijking -0,3 graden. Het gemiddelde van al die afwijkingen wordt genomen om de totale afwijking over de gehele periode te bepalen.
Het meest opvallend is misschien wel dat de controle-run absoluut gezien het beste presteerde. Het gemiddelde is uitgekomen op een 18e plek van de in totaal 52 berekeningen. De OPER staat er niet tussen omdat deze slechts 10 dagen vooruit gaat.
Ook wat betreft de gemiddelde afwijking scoort de controle-run hoog (8e plek) met een afwijking van -1,0 graden. Overigens zaten alle ensemble-leden gemiddeld te laag (we hadden natuurlijk ook te maken met een hittegolf, zo bleek achteraf). Het gemiddelde komt daar uit op een 27e plek. Niet bepaald spectaculair dus.
Conclusie: Het gemiddelde is zeker niet "heilig" en zat dit keer niet eens bij de top-10 beste "leden". Dat kan per run natuurlijk verschillen, maar het is dus niet zo dat het gemiddelde steevast het dichtstbij de waarheid zit
Leuk dat je dit hebt uitgezocht. Dit zijn wel de resultaten van 1 modelrun, toch? Je zou dit eigenlijk over enkele jaren moeten bekijken om er iets meer over te zeggen. Daarbij vervalt dan de nummering van de ensembleleden, omdat de perturbaties (verstoringen) elke keer weer anders zijn. Je kan dus nooit een enkel lid aanwijzen dat gemiddeld 'het beste' is.
Verder is het lastig om te bepalen wat het beste ensemblelid is, als afwijkingen dicht bij elkaar liggen. Zeker in de eerste dagen met weinig spreiding kan je moeilijk stellen dat een ensemblelid dat 1 tiende kleinere afwijking had, de beste was, als de totale spreiding hooguit 5/10e graad was. Je zou daartoe eerst kunnen kijken of je 'clusters' van oplossingen kan vinden en dan kijken hoe vaak het ensemblegemiddelde, de controlerun en de operationele run in het juiste cluster zaten.
Overigens... vooruitzicht: volgend jaar gaat ECMWF van 50 naar 100 ensembleleden, waarbij het ensemble op dezelfde resolutie rekent als de operationele run. Daarmee worden operationele run en controlerun in wezen gelijk. De controlerun vervalt daardoor. Verder zal het model elke dag bij de 00 UTC run tot 46 dagen vooruit rekenen, in plaats van nu nog tweemaal per week.
Gr. Ben