Ik heb de moeite genomen eens de vijftiendaagse voor De Bilt over de afgelopen maanden te verifiëren. Daarvoor heb ik alle 00Z en 12Z ensembles genomen van 14 juli 00Z t/m 27 december 00Z. Voor elke verwachtingstijd en ensemblelid is de afwijking t.o.v. de waarneming berekend, vervolgens zijn alle afwijkingen per verwachtingstijd gemiddeld. De resultaten hiervan zijn hieronder weer uitgezet in een grafiek, links de x-as de verwachtingstijd vooruit (0 t/m 360 uur) en langs de y-as de gemiddelde afwijking.
Zoals je kunt zien zit het ensemble constant te laag, al hoewel niet veel: gemiddeld 0,6°C. We zien ook een kleine sprong na +240 uur, naar een iets kleinere afwijking. Dit is de overgang in resolutie van het EPS van 50 km naar 78 km. Deze cijfers zeggen iets over de structurele afwijkingen, maar het zegt nog niets over de structuur van het ensemble: is de spreiding van de leden te klein, te groot, en is de hele waaier misschien verschoven t.a.v. de waarheid (het laatste hebben we eigenlijk al hierboven berekend). Om daar antwoord op te krijgen maken de statistici gebruik van een zogenaamd rank-histogram of Talagrand diagram. Dit diagram werkt als volgt:
Je sorteert voor een gegeven verwachtingstijd en modelrun alle ensembleleden van laag naar hoog in waarde. Vervolgens ken je aan elk interval tussen de waarden een nummer toe: 2 voor het koudste lid t/m het een-na-koudste lid, enzovoorts, tot 50 voor het een-na-warmste lid t/m het warmste lid. Tot slot kijk je naar de waarneming en kijk je welk interval die in viel. Als de waarneming kouder was dan het koudste lid, wordt die toegekend aan nr. 1, als hij warmer was dan het warmste lid, wordt die toegekend aan nr. 51.
Voorbeeld: we hebben een ensemble met 10 leden. Die zijn gesorteerd van laag naar hoog:
Er is altijd één bakje meer dan het aantal leden. In het ensemble van ECMWF zijn er 50 leden, dus er zijn 51 bakjes. Als we nu voor elke modelrun bekijken in welk bakje de waarneming viel voor verwachtingstijd x, en vervolgens tellen hoeveel keren de waarneming in elk bakje viel, kunnen we bekijken hoe goed de kansverdeling was van het ensemble.
Als het ensemble goed is opgesteld, zullen we (bij voldoende gegevens) zien dat elk bakje ongeveer evenveel gevuld is. Als het ensemble te koud is, zullen de bakjes met hoog nummer veel meer gevuld zijn dan de bakjes met laag nummer, en als het ensemble te warm is precies omgekeerd. We kunnen ook bekijken of het ensemble misschien te veel spreiding of te weinig geeft: als er teveel spreiding is, dan zullen we zien dat vooral de bakjes rond het midden veel gevuld zijn en daarbuiten veel minder. Omgekeerd, als de spreiding te klein is, zullen juist de buitenste bakjes allebei veel meer gevuld zijn dan de anderen.
Ik heb voor verschillende verwachtingstijden een rank-histogram opgesteld. De eerste die ik wil laten zien is die voor +24.
We zien een aantal dingen: de uiteinden van het histogram zijn torenhoog, er komt dus relatief heel veel voor dat de waarneming hoger of lager was dan het respectievelijk warmste of koudste lid van het ensemble. De spreiding is dus te klein. Verder zien we, met een beetje fantasie, dat er relatief meer leden zijn over bakjes 42 t/m 51 dan over 1 t/m 10: 24,6% over 1-10 en 51,8% over 42-51. Hieruit kunnen we concluderen dat de verwachting voor +24 dus ook ietsje te koud is, maar dat hadden we ook al geconcludeerd uit de gemiddelde afwijkingen in het eerste plaatje.
Ok, dus op +24 is het ensemble iets te koud maar vooral veel te smal. De spreiding is veel groter dan het ensemble suggereert. Volgens mij heeft dit in ieder geval een tweetal oorzaken: de meetfout wordt onderschat en de analysefout wordt gedempt. Elk model heeft een begintoestand nodig, in principe wordt daarbij de best mogelijk analyse gemaakt. Maar we weten nooit helemaal zeker de begintoestand. Er is dus een zekere analysefout, een onzekerheid voortkomend uit interpolatie, afleidingen, et cetera. Daarnaast heb je nog de meetfout: elk instrument heeft een bepaalde meetfout. Gemiddeld is die fout, hopelijk, 0, maar hij is nooit exact 0. Volgens mij onderschat het EPS, maar eigenlijk elk ensemble, de meetfout. Daarnaast wordt de fout die ontstaat door interpolatie en dergelijke door het ensembleproces weer uitgemiddeld en dus in wezen gedempt. Op de langere termijn spelen deze dingen minder een rol, zoals we zometeen gaan zien.
We gaan iets verder vooruit kijken, naar 144 uur vooruit (6 dagen).
Deze verdeling lijkt een stuk beter. Er zijn geen grote uitschieters meer, de verdeling lijkt vrij evenredig. Maar schijn bedriegt, want als we kijken hoeveel procent van de waarneming in de warme en koude helft terecht kwamen, blijkt dat de warmte helft 65% van de waarnemingen bevatte en de koude helft slechts 35%. Het ensemble is dus niet helemaal evenwichtig, het heeft de neiging wat naar de koude kant te neigen. Dat zagen we ook al in de gemiddelde afwijking. We gaan nu een stuk verder, naar 240 uur vooruit (10 dagen).
De situatie is al beter, de verdeling koude/warme kant is nu 45/55%. Bijna helemaal gelijk dus. We zien ook geen rare uitschieters. Het ensemble is dus breed genoeg en kent nauwelijks nog een afwijking. Tot slot dag 15, 360 uur vooruit.
Opnieuw: vrijwel egale verdeling, maar nu weer meer naar de te koude kant neigend: 40% in de koude helft en 60% in de warme helft.
Conclusie
De vijftiendaagse pluim van De Bilt is geverifiëerd over 334 runs tussen 14 juli en 27 december. Over het algemeen scoort het ensemble heel goed, de structurele afwijkingen zijn klein (0,5 graad te laag, heel consistent). We zien dat de spreiding de eerste 72 uur over het algemeen veel te klein is, de waarnemingen vallen te vaak buiten de bandbreedte van het ensemble. Dit komt vermoedelijk door een onderschatting van de meetfout en door het dempen van de analysefout. Op langere termijn is het ensemble nagenoeg vrij van afwijking, het heeft ietsje de neiging naar de koude kant te hellen, maar dit is nauwelijks significant. Het ensemble is niet te breed of te smal, dus we kunnen stellen dat het alle mogelijkheden afdoende afdekt. Dit is belangrijk, omdat daarmee vrij veilig gesteld kan worden dat één ensemblelid inderdaad zo'n 2% kans vertegenwoordigd.
Vragen en opmerkingen zijn van harte welkom.
Groeten, Ben
Zoals je kunt zien zit het ensemble constant te laag, al hoewel niet veel: gemiddeld 0,6°C. We zien ook een kleine sprong na +240 uur, naar een iets kleinere afwijking. Dit is de overgang in resolutie van het EPS van 50 km naar 78 km. Deze cijfers zeggen iets over de structurele afwijkingen, maar het zegt nog niets over de structuur van het ensemble: is de spreiding van de leden te klein, te groot, en is de hele waaier misschien verschoven t.a.v. de waarheid (het laatste hebben we eigenlijk al hierboven berekend). Om daar antwoord op te krijgen maken de statistici gebruik van een zogenaamd rank-histogram of Talagrand diagram. Dit diagram werkt als volgt:
Je sorteert voor een gegeven verwachtingstijd en modelrun alle ensembleleden van laag naar hoog in waarde. Vervolgens ken je aan elk interval tussen de waarden een nummer toe: 2 voor het koudste lid t/m het een-na-koudste lid, enzovoorts, tot 50 voor het een-na-warmste lid t/m het warmste lid. Tot slot kijk je naar de waarneming en kijk je welk interval die in viel. Als de waarneming kouder was dan het koudste lid, wordt die toegekend aan nr. 1, als hij warmer was dan het warmste lid, wordt die toegekend aan nr. 51.
Voorbeeld: we hebben een ensemble met 10 leden. Die zijn gesorteerd van laag naar hoog:
5,6 6,1 6,2 6,5 7,2 7,5 7,7 7,9 8,1 8,2We hebben nu de volgende vakjes:
1 2 3 4 5 6 7 8 9 10 11De intervallen zijn x tot x+1. Stel dat de waarneming 6,3°C was, die komt in ons voorbeeld in bakje 4: interval 6,2-7,5.
< 5,6 5,6-6,1 6,1-6,2 6,2-6,5 6,5-7,2 7,2-7,5 7,5-7,7 7,7-7, 7,9-8,1 8,1-8,2 >8,2
Er is altijd één bakje meer dan het aantal leden. In het ensemble van ECMWF zijn er 50 leden, dus er zijn 51 bakjes. Als we nu voor elke modelrun bekijken in welk bakje de waarneming viel voor verwachtingstijd x, en vervolgens tellen hoeveel keren de waarneming in elk bakje viel, kunnen we bekijken hoe goed de kansverdeling was van het ensemble.
Als het ensemble goed is opgesteld, zullen we (bij voldoende gegevens) zien dat elk bakje ongeveer evenveel gevuld is. Als het ensemble te koud is, zullen de bakjes met hoog nummer veel meer gevuld zijn dan de bakjes met laag nummer, en als het ensemble te warm is precies omgekeerd. We kunnen ook bekijken of het ensemble misschien te veel spreiding of te weinig geeft: als er teveel spreiding is, dan zullen we zien dat vooral de bakjes rond het midden veel gevuld zijn en daarbuiten veel minder. Omgekeerd, als de spreiding te klein is, zullen juist de buitenste bakjes allebei veel meer gevuld zijn dan de anderen.
Ik heb voor verschillende verwachtingstijden een rank-histogram opgesteld. De eerste die ik wil laten zien is die voor +24.
We zien een aantal dingen: de uiteinden van het histogram zijn torenhoog, er komt dus relatief heel veel voor dat de waarneming hoger of lager was dan het respectievelijk warmste of koudste lid van het ensemble. De spreiding is dus te klein. Verder zien we, met een beetje fantasie, dat er relatief meer leden zijn over bakjes 42 t/m 51 dan over 1 t/m 10: 24,6% over 1-10 en 51,8% over 42-51. Hieruit kunnen we concluderen dat de verwachting voor +24 dus ook ietsje te koud is, maar dat hadden we ook al geconcludeerd uit de gemiddelde afwijkingen in het eerste plaatje.
Ok, dus op +24 is het ensemble iets te koud maar vooral veel te smal. De spreiding is veel groter dan het ensemble suggereert. Volgens mij heeft dit in ieder geval een tweetal oorzaken: de meetfout wordt onderschat en de analysefout wordt gedempt. Elk model heeft een begintoestand nodig, in principe wordt daarbij de best mogelijk analyse gemaakt. Maar we weten nooit helemaal zeker de begintoestand. Er is dus een zekere analysefout, een onzekerheid voortkomend uit interpolatie, afleidingen, et cetera. Daarnaast heb je nog de meetfout: elk instrument heeft een bepaalde meetfout. Gemiddeld is die fout, hopelijk, 0, maar hij is nooit exact 0. Volgens mij onderschat het EPS, maar eigenlijk elk ensemble, de meetfout. Daarnaast wordt de fout die ontstaat door interpolatie en dergelijke door het ensembleproces weer uitgemiddeld en dus in wezen gedempt. Op de langere termijn spelen deze dingen minder een rol, zoals we zometeen gaan zien.
We gaan iets verder vooruit kijken, naar 144 uur vooruit (6 dagen).
Deze verdeling lijkt een stuk beter. Er zijn geen grote uitschieters meer, de verdeling lijkt vrij evenredig. Maar schijn bedriegt, want als we kijken hoeveel procent van de waarneming in de warme en koude helft terecht kwamen, blijkt dat de warmte helft 65% van de waarnemingen bevatte en de koude helft slechts 35%. Het ensemble is dus niet helemaal evenwichtig, het heeft de neiging wat naar de koude kant te neigen. Dat zagen we ook al in de gemiddelde afwijking. We gaan nu een stuk verder, naar 240 uur vooruit (10 dagen).
De situatie is al beter, de verdeling koude/warme kant is nu 45/55%. Bijna helemaal gelijk dus. We zien ook geen rare uitschieters. Het ensemble is dus breed genoeg en kent nauwelijks nog een afwijking. Tot slot dag 15, 360 uur vooruit.
Opnieuw: vrijwel egale verdeling, maar nu weer meer naar de te koude kant neigend: 40% in de koude helft en 60% in de warme helft.
Conclusie
De vijftiendaagse pluim van De Bilt is geverifiëerd over 334 runs tussen 14 juli en 27 december. Over het algemeen scoort het ensemble heel goed, de structurele afwijkingen zijn klein (0,5 graad te laag, heel consistent). We zien dat de spreiding de eerste 72 uur over het algemeen veel te klein is, de waarnemingen vallen te vaak buiten de bandbreedte van het ensemble. Dit komt vermoedelijk door een onderschatting van de meetfout en door het dempen van de analysefout. Op langere termijn is het ensemble nagenoeg vrij van afwijking, het heeft ietsje de neiging naar de koude kant te hellen, maar dit is nauwelijks significant. Het ensemble is niet te breed of te smal, dus we kunnen stellen dat het alle mogelijkheden afdoende afdekt. Dit is belangrijk, omdat daarmee vrij veilig gesteld kan worden dat één ensemblelid inderdaad zo'n 2% kans vertegenwoordigd.
Vragen en opmerkingen zijn van harte welkom.
Groeten, Ben
Bericht laatst bijgewerkt: 02-01-2010 00:07