Het ECMWF ensemble staat erom bekend dat het betrouwbare kansverdelingen levert, zowel voor de korte als de middellange termijn. Dat wil zeggen dat er geen onder- of overschatting is.
Voor verificatie wordt gebruik gemaakt van een zogenaamd rank-histogram of Talagrand diagram (zie figuur voor voorbeeld). Dit diagram werkt als volgt:
Je sorteert voor een gegeven verwachtingstijd en modelrun alle ensembleleden van laag naar hoog in waarde. Vervolgens ken je aan elk interval tussen de waarden een nummer toe: 2 voor het koudste lid t/m het een-na-koudste lid, enzovoorts, tot 50 voor het een-na-warmste lid t/m het warmste lid. Tot slot kijk je naar de waarneming en kijk je welk interval die in viel. Als de waarneming kouder was dan het koudste lid, wordt die toegekend aan nr. 1, als hij warmer was dan het warmste lid, wordt die toegekend aan nr. 51.
Er is altijd één bakje meer dan het aantal leden. In het ensemble van ECMWF zijn er 50 leden, plus een controlerun en operationele run, dus er zijn 53 bakjes. Als we nu voor elke modelrun bekijken in welk bakje de waarneming viel voor verwachtingstijd x, en vervolgens tellen hoeveel keren de waarneming in elk bakje viel, kunnen we bekijken hoe goed de kansverdeling was van het ensemble.
Als het ensemble goed is opgesteld, zullen we (bij voldoende gegevens) zien dat elk bakje ongeveer evenveel gevuld is. Als het ensemble te koud is, zullen de bakjes met hoog nummer veel meer gevuld zijn dan de bakjes met laag nummer, en als het ensemble te warm is precies omgekeerd. We kunnen ook bekijken of het ensemble misschien te veel spreiding of te weinig geeft: als er teveel spreiding is, dan zullen we zien dat vooral de bakjes rond het midden veel gevuld zijn en daarbuiten veel minder. Omgekeerd, als de spreiding te klein is, zullen juist de buitenste bakjes allebei veel meer gevuld zijn dan de anderen.
Het feit is dat het 'rank histogram' zowel voor dag 2, dag 5, dag 10 als dag 15, nagenoeg een egale verdeling vertoont. Elke berekening, inclusief de operationele run, maakt dus inderdaad nagenoeg even veel kans om uit te komen, plus dus nog de kans (aan beide kanten) op een uitbijter. Dit leidt ertoe dat je echt kan zeggen dat 1 ensemblelid 1/53ste ~ 1,89% kans heeft.
Gr. Ben
