Voor een juiste interpretatie van modeluitvoer, voor zover überhaupt gesproken kan worden over één 'juiste' manier, is het mijns inziens vooral cruciaal dat er enige kennis is van de prestaties van de modellen en hun zwakheden. Ik wil in deze posting even kort een aantal van deze dingen aangeven voor het GFS en ECMWF model. Niet alleen gaat het over de operationele modellen maar ook over de ensembles. Vragen, opmerkingen, ze zijn allemaal welkom 
.
Algemene prestatie voor 500 hPa
Hoewel het weer bij ons in de grenslaag (de onderste 1-1,5 kilometer van de atmosfeer) hoofdzakelijk wordt bepaald door de druksystemen op zeeniveau, speelt de grootschalige atmosferische circulatie zich op grotere hoogte af. Het meest gangbare niveau wat genomen wordt voor de operationele meteorologie, en ook voor modelverificatie, is 500 hPa. Uiteraard wordt dan het geopotentiaal genomen.
Verificatie voor de luchtdruk op zeeniveau laat zien dat de scores al na dag 3 of 4 te wensen over gaan laten en na dag 5 praktisch gezien onbruikbaar zijn. De ruimtelijke en deterministische fout is dan danig groot, d.w.z. een druksysteem kan >200 km van plaats veranderen en de fout in de drukwaarden is nabij of groter dan de klimatologische spreiding, dat er niet meer gesproken kan worden over een zinnige verwachting voor dit element. Uiteraard speelt de grilligheid van de evolutie van het weer in de grenslaag ook een grote rol bij de beperkte voorspellingshorizon van de luchtdruk op zeeniveau.
Maar zoals gezegd speelt de grootschalige atmosferische circulatie zich vooral op grotere hoogte af. Voor modelverificatie van het 500 hPa geopotentionaal wordt doorgaans gebruik gemaakt van ruimtelijke anomaliecorrelaties, d.w.z. in hoeverre 'matcht' het berekende patroon van afwijking in het 500 hPa patroon t.o.v. normaal (immers een model dat puur klimatologie berekent is géén model, de meerwaarde zit in de juiste berekening van de afwijkingen), met de waargenomen afwijkingen. Een correlatiescore van 0,95 wil ruwweg zeggen dat in 90% van de gevallen het patroon 'matchte'. In de operationele meteorologie wordt een grenswaarde van 0,6 gehanteerd, wat overeenkomt met een match van zo'n 35%, voor wat nog bruikbaar is en wat niet.
In onderstaand diagram is de modelverificatie van GFS, ECMWF, UKMO, NOGAPS en GEM weergegeven voor het noordelijk halfrond over de maand december 2007.
Het eerste wat uiteraard opvalt is dat de score slechter wordt naar mate je verder vooruit kijkt, zoals je mag verwachten. De score voor de eerste 4-5 dagen is uitstekend te noemen: GFS en ECMWF weten meer dan 85% van de afwijkingen goed te berekenen, alleen NOGAPS en GEM lopen dan alleen wat achter. Het best presterende model is ECMWF, gevolgd door UKMO en dan GFS.
Na dag zes treden interessante verschillen op. Het ECMWF, en ook UKMO, gaat sneller minder presteren dan GFS, waardoor beide modellen op dag 7 en daarna een vergelijkbare of slechtere prestatie neerzetten dan GFS. Tot slot zien we ook waar de voorspellingshorizon ligt voor 500 hPa op dit moment: op dag 8. Dit is tijdstap +192 uur. Gemiddeld gezien over een maand, de afgelopen maand, kon je met de operationele uitvoer dus nog wel zinnige dingen zeggen over het verloop van het 500 hPa patroon tot en met +192. Daarna was het praktisch gezien onbruikbaar.
Blokkades
Er is echter één belangrijke 'maar' en dat heeft te maken met één overheersende probleemfactor waar zowel GFS als ECMWF mee te maken hebben: de opkomst en afbraak van blokkades. Klimatologisch en ook meteorologisch gezien zijn blokkades de grootst mogelijke afwijkingen die je maar kunt verzinnen. Ruwweg gezien is namelijk de atmosferische circulatie op de gematigde breedten het hele jaar door een (variant op de) westelijke stroming. Een volledig tegengestelde stroming, van oost naar west, is dus een compleet tegendraadse situatie. Het is dan ook niet zo verwonderlijk dat de modellen hier veel moeite mee hebben.
Dat blijkt onder andere uit experimenten die zijn uitgevoerd met het reproduceren van blokkades in het verleden. In diverse studies met als uitgangspunt het GFS1, het ECMWF2 en het EPS van ECMWF3 is bekeken hoe goed de modellen de klimatologische blokkeringsfrequentie op diverse lentegraden (op 45 NB) kunnen nabootsen. Voor ECMWF zie je hieronder een grafiek van de resultaten.
Het blijkt dat het model de blokkeringsfrequentie rond 120 WL en 60-70 OL heel aardig kan reproduceren, maar dat het de hoeveelheid blokkades onderschat ten westen van 120 WL t/m 120 OL (dus bijna 60 lentegraden aan weerszijden van de datumgrens), maar ook precies rond de lentegraad die voor ons van belang is: de nulmeridiaan.
Verder moet nog opgemerkt worden dat dit de prestaties weergeeft voor de aanwezigheid van blokkades. Uit andere studies blijkt weer dat de modellen sowieso problemen hebben met grootschalige veranderingen in het stromingsregime en dus in het bijzonder de opkomst en afbraak van blokkades. Met name het laatste geval is het grootste struikelblok: de modellen hebben altijd de neiging terug naar de klimatologie te werken en die is nu eenmaal een westcirculatie en geen blokkade met soms retrograde stroming. Als er dus éénmaal een blokkade op onze lengtegraad aanwezig is, is het verstandig om niet elke initiële neiging naar een westcirculatie serieus te nemen. Pas als meerdere modellen en ensembles langere tijd de evolutie weergeven, kan er meer waarde aan gehecht worden. Anders gesteld: een trend naar blokkadeafbraak moet pas veel later serieus genomen worden dan als er sprake is van een westcirculatie en de modellen evolueren naar varianten daarop (sterk ZZW of NNW bijv.).
Ensembles
De ensembles van zowel NCEP als ECMWF zijn danig ontworpen dat zij een zo betrouwbaar mogelijk beeld geven van de 'spreiding' in de verwachtingsmogelijkheden, terwijl zij tegelijkertijd wel neutraal blijven in de zin dat de leden een evenredige kans op uitkomst weergeven. Dit wordt o.a. gecontroleerd door diagrammen te maken met de individuele scores van de leden, als blijkt dat vooral leden 1 t/m 5 het juist hebben en leden 6 t/m 20 zelden, dan geeft het ensemble duidelijk geen goede waarschijnlijkheidsweergave. Het doel is dat de ensembleleden zoveel mogelijk van elkaar afwijken maar tegelijkertijd over langere tijd gezien evenveel uitkomstkans hebben. Pas dan kunnen uit een ensemble echt kansen gedestilleerd worden.
Hieronder een vergelijkbare grafiek met de scores van GFS aan het begin van deze post, alleen nu een vergelijking tussen het operationele GFS model en de control van het ensemble en de score van het ensemblegemiddelde. Omdat het ensemble op een lagere resolutie draait dan het operationele model, bestaat er de kans dat het verschil in resolutie al een onzekerheidsfout introduceert die niet genegeerd kan worden. Om te kijken of ook over langere tijd het verschil in resolutie uitmaakt, wordt in deze grafiek dus ook de control weergegeven. De periode is alleen dit keer afgelopen winter (een grafiek van december 2007 is er niet, maar ik wou wel dezelfde periode in het jaar tonen. Veel maakt het niet uit).
Het is te zien dat de controlerun niet of nauwelijks afwijkt van de operationele run, over het hele winterseizoen bekeken. Het verschil in resolutie introduceert dus geen extra systematische fout. Kijken we dan naar de score van het ensemblegemiddelde dan komt de feitelijke waarde van het ensemble naar boven: daar waar de operationele run van het GFS al onbruikbaar wordt op dag 8 (+192), heeft het ensemblegemiddelde nog nut tot dag 9,5 (+228).
Als het dus gaat om modelduiding en dan vooral hoe de grootschalige atmosferische circulatie zich gaat ontwikkelen, is het handigste om allereerst te kijken naar de operationele modeluitvoer voor het 500 hPa geopotentiaal tot en met dag 6-7. Daarna kan je nog kijken naar het ensemble en in hoeverre de trend daarin overeenkomt met die van het operationele model aan het einde van zijn betrouwbare periode (dag 7-8, +168 t/m +192). Wel moet er opgelet worden of er tijdens de beginsituatie al sprake is van een blokkade of dat deze aan het begin van de periode gevormd wordt, want dit heeft grote invloed op de voorspelbaarheidshorizon. Die wordt bij blokkades, afhankelijk van de berekende evolutie (bij geprognotiseerde afbraak redelijk, bij geen afbraak nauwelijks), effectief bekort.
Gr. Ben
Bronnen
- Literatuur:
[1] Evaluation of blocking performance in ensemble seasonal integrations, Casado, M. J.; Doblas-Reyes, F. J.; Pastor, M. A., EGS - AGU - EUG Joint Assembly, Abstracts from the meeting held in Nice, France, 6 - 11 April 2003, abstract #951
[2] Systematic errors of the atmospheric circulation in the ECMWF forecasting system, Jung, Thomas, Quarterly Journal of the Royal Meteorological Society, vol. 131, Issue 607, p.1045-1073
[3] Q J R Meteorol Soc Pelly JL,Hoskins BJ (2003) How well does the ECMWF Ensemble Prediction System predict blocking?. Quarterly Journal of the Royal Meteorological Society 129(590): 1683.
- diverse ECMWF newsletters
- NCEP operational bulletins
.Algemene prestatie voor 500 hPa
Hoewel het weer bij ons in de grenslaag (de onderste 1-1,5 kilometer van de atmosfeer) hoofdzakelijk wordt bepaald door de druksystemen op zeeniveau, speelt de grootschalige atmosferische circulatie zich op grotere hoogte af. Het meest gangbare niveau wat genomen wordt voor de operationele meteorologie, en ook voor modelverificatie, is 500 hPa. Uiteraard wordt dan het geopotentiaal genomen.
Verificatie voor de luchtdruk op zeeniveau laat zien dat de scores al na dag 3 of 4 te wensen over gaan laten en na dag 5 praktisch gezien onbruikbaar zijn. De ruimtelijke en deterministische fout is dan danig groot, d.w.z. een druksysteem kan >200 km van plaats veranderen en de fout in de drukwaarden is nabij of groter dan de klimatologische spreiding, dat er niet meer gesproken kan worden over een zinnige verwachting voor dit element. Uiteraard speelt de grilligheid van de evolutie van het weer in de grenslaag ook een grote rol bij de beperkte voorspellingshorizon van de luchtdruk op zeeniveau.
Maar zoals gezegd speelt de grootschalige atmosferische circulatie zich vooral op grotere hoogte af. Voor modelverificatie van het 500 hPa geopotentionaal wordt doorgaans gebruik gemaakt van ruimtelijke anomaliecorrelaties, d.w.z. in hoeverre 'matcht' het berekende patroon van afwijking in het 500 hPa patroon t.o.v. normaal (immers een model dat puur klimatologie berekent is géén model, de meerwaarde zit in de juiste berekening van de afwijkingen), met de waargenomen afwijkingen. Een correlatiescore van 0,95 wil ruwweg zeggen dat in 90% van de gevallen het patroon 'matchte'. In de operationele meteorologie wordt een grenswaarde van 0,6 gehanteerd, wat overeenkomt met een match van zo'n 35%, voor wat nog bruikbaar is en wat niet.
In onderstaand diagram is de modelverificatie van GFS, ECMWF, UKMO, NOGAPS en GEM weergegeven voor het noordelijk halfrond over de maand december 2007.
Het eerste wat uiteraard opvalt is dat de score slechter wordt naar mate je verder vooruit kijkt, zoals je mag verwachten. De score voor de eerste 4-5 dagen is uitstekend te noemen: GFS en ECMWF weten meer dan 85% van de afwijkingen goed te berekenen, alleen NOGAPS en GEM lopen dan alleen wat achter. Het best presterende model is ECMWF, gevolgd door UKMO en dan GFS.
Na dag zes treden interessante verschillen op. Het ECMWF, en ook UKMO, gaat sneller minder presteren dan GFS, waardoor beide modellen op dag 7 en daarna een vergelijkbare of slechtere prestatie neerzetten dan GFS. Tot slot zien we ook waar de voorspellingshorizon ligt voor 500 hPa op dit moment: op dag 8. Dit is tijdstap +192 uur. Gemiddeld gezien over een maand, de afgelopen maand, kon je met de operationele uitvoer dus nog wel zinnige dingen zeggen over het verloop van het 500 hPa patroon tot en met +192. Daarna was het praktisch gezien onbruikbaar.
Blokkades
Er is echter één belangrijke 'maar' en dat heeft te maken met één overheersende probleemfactor waar zowel GFS als ECMWF mee te maken hebben: de opkomst en afbraak van blokkades. Klimatologisch en ook meteorologisch gezien zijn blokkades de grootst mogelijke afwijkingen die je maar kunt verzinnen. Ruwweg gezien is namelijk de atmosferische circulatie op de gematigde breedten het hele jaar door een (variant op de) westelijke stroming. Een volledig tegengestelde stroming, van oost naar west, is dus een compleet tegendraadse situatie. Het is dan ook niet zo verwonderlijk dat de modellen hier veel moeite mee hebben.
Dat blijkt onder andere uit experimenten die zijn uitgevoerd met het reproduceren van blokkades in het verleden. In diverse studies met als uitgangspunt het GFS1, het ECMWF2 en het EPS van ECMWF3 is bekeken hoe goed de modellen de klimatologische blokkeringsfrequentie op diverse lentegraden (op 45 NB) kunnen nabootsen. Voor ECMWF zie je hieronder een grafiek van de resultaten.
Het blijkt dat het model de blokkeringsfrequentie rond 120 WL en 60-70 OL heel aardig kan reproduceren, maar dat het de hoeveelheid blokkades onderschat ten westen van 120 WL t/m 120 OL (dus bijna 60 lentegraden aan weerszijden van de datumgrens), maar ook precies rond de lentegraad die voor ons van belang is: de nulmeridiaan.
Verder moet nog opgemerkt worden dat dit de prestaties weergeeft voor de aanwezigheid van blokkades. Uit andere studies blijkt weer dat de modellen sowieso problemen hebben met grootschalige veranderingen in het stromingsregime en dus in het bijzonder de opkomst en afbraak van blokkades. Met name het laatste geval is het grootste struikelblok: de modellen hebben altijd de neiging terug naar de klimatologie te werken en die is nu eenmaal een westcirculatie en geen blokkade met soms retrograde stroming. Als er dus éénmaal een blokkade op onze lengtegraad aanwezig is, is het verstandig om niet elke initiële neiging naar een westcirculatie serieus te nemen. Pas als meerdere modellen en ensembles langere tijd de evolutie weergeven, kan er meer waarde aan gehecht worden. Anders gesteld: een trend naar blokkadeafbraak moet pas veel later serieus genomen worden dan als er sprake is van een westcirculatie en de modellen evolueren naar varianten daarop (sterk ZZW of NNW bijv.).
Ensembles
De ensembles van zowel NCEP als ECMWF zijn danig ontworpen dat zij een zo betrouwbaar mogelijk beeld geven van de 'spreiding' in de verwachtingsmogelijkheden, terwijl zij tegelijkertijd wel neutraal blijven in de zin dat de leden een evenredige kans op uitkomst weergeven. Dit wordt o.a. gecontroleerd door diagrammen te maken met de individuele scores van de leden, als blijkt dat vooral leden 1 t/m 5 het juist hebben en leden 6 t/m 20 zelden, dan geeft het ensemble duidelijk geen goede waarschijnlijkheidsweergave. Het doel is dat de ensembleleden zoveel mogelijk van elkaar afwijken maar tegelijkertijd over langere tijd gezien evenveel uitkomstkans hebben. Pas dan kunnen uit een ensemble echt kansen gedestilleerd worden.
Hieronder een vergelijkbare grafiek met de scores van GFS aan het begin van deze post, alleen nu een vergelijking tussen het operationele GFS model en de control van het ensemble en de score van het ensemblegemiddelde. Omdat het ensemble op een lagere resolutie draait dan het operationele model, bestaat er de kans dat het verschil in resolutie al een onzekerheidsfout introduceert die niet genegeerd kan worden. Om te kijken of ook over langere tijd het verschil in resolutie uitmaakt, wordt in deze grafiek dus ook de control weergegeven. De periode is alleen dit keer afgelopen winter (een grafiek van december 2007 is er niet, maar ik wou wel dezelfde periode in het jaar tonen. Veel maakt het niet uit).
Het is te zien dat de controlerun niet of nauwelijks afwijkt van de operationele run, over het hele winterseizoen bekeken. Het verschil in resolutie introduceert dus geen extra systematische fout. Kijken we dan naar de score van het ensemblegemiddelde dan komt de feitelijke waarde van het ensemble naar boven: daar waar de operationele run van het GFS al onbruikbaar wordt op dag 8 (+192), heeft het ensemblegemiddelde nog nut tot dag 9,5 (+228).
Als het dus gaat om modelduiding en dan vooral hoe de grootschalige atmosferische circulatie zich gaat ontwikkelen, is het handigste om allereerst te kijken naar de operationele modeluitvoer voor het 500 hPa geopotentiaal tot en met dag 6-7. Daarna kan je nog kijken naar het ensemble en in hoeverre de trend daarin overeenkomt met die van het operationele model aan het einde van zijn betrouwbare periode (dag 7-8, +168 t/m +192). Wel moet er opgelet worden of er tijdens de beginsituatie al sprake is van een blokkade of dat deze aan het begin van de periode gevormd wordt, want dit heeft grote invloed op de voorspelbaarheidshorizon. Die wordt bij blokkades, afhankelijk van de berekende evolutie (bij geprognotiseerde afbraak redelijk, bij geen afbraak nauwelijks), effectief bekort.
Gr. Ben
Bronnen
- Literatuur:
[1] Evaluation of blocking performance in ensemble seasonal integrations, Casado, M. J.; Doblas-Reyes, F. J.; Pastor, M. A., EGS - AGU - EUG Joint Assembly, Abstracts from the meeting held in Nice, France, 6 - 11 April 2003, abstract #951
[2] Systematic errors of the atmospheric circulation in the ECMWF forecasting system, Jung, Thomas, Quarterly Journal of the Royal Meteorological Society, vol. 131, Issue 607, p.1045-1073
[3] Q J R Meteorol Soc Pelly JL,Hoskins BJ (2003) How well does the ECMWF Ensemble Prediction System predict blocking?. Quarterly Journal of the Royal Meteorological Society 129(590): 1683.
- diverse ECMWF newsletters
- NCEP operational bulletins
Bericht laatst bijgewerkt: 14-01-2008 17:04