Als de ensemble cluster van model A die zich uiteindelijk realiseert door 70% van de leden ondersteund wordt en bij model B de corresponderende winnende cluster slechts uit 5% van de leden bestaat, dan is toch duidelijk dat model A glansrijk beter is gebleken?
Het voert een beetje ver om hier uitgebreid op in te gaan, want dan gaan we praten over de eigenaardigheden van driedimensionale faseruimte. Het punt is, dat je die conclusie over 'beter' pas kan trekken als je 50 of 100 vergelijkbare situaties hebt gehad met bijhorende modelkansverdelingen. Je gaat er namelijk vanuit dat de realiteit altijd ook het meest waarschijnlijke was. Maar onwaarschijnlijke dingen gebeuren ook. We zien bij topsporters ook zo vaak, dat sporter #1 meest waarschijnlijk wint, maar dat sporter #2 aan het langste eind trekt. Was achter dan kandidaat #1 niét de waarschijnlijkste winaaar? Natuurlijk niet. Het gaat soms gewoon om toeval.
We kijken nu naar de realisatie uit één geschatte kansverdeling. Het is goed mogelijk, in de genoemde faseruimte, dat er twee aantrekkingsrichtingen waren (zeg maar afsplitsingen in een rivier). In het ensemble van ECMWF komt de eerste richting vooral naar voren, bij GFS vooral de tweede. De realiteit belandt in de eerste. Maar hoe waarschijnlijk was nu daadwerkelijk die richting? Dat is niet te schatten uit één situatie. Alleen door vele vergelijkbare situaties te vergelijken, of over vele jaren te kijken, kan je zien welk model meestal de juiste kansverdelingen geeft.
We hebben in het verleden ook wel eens gezien dat een hele waaier binnen een dag aanzienlijk verschoof. Dat komt dan vermoedelijk omdat het ensemble een duidelijke aantrekrichting 'mist'. Het ensemble heeft dan niet de gehele kansverdeling en is te smal.
Mijn raad is in elk geval: het ensemble geeft de aannemelijke kansverdeling, maar je moet ervoor waken dat 1) de kansverdeling niet juist kan zijn en 2) dat de realiteit gewoon onderaan of bovenaan in een ensemble kan eindigen. Als de realiteit hoog in ensemble #1 zat, en middenin ensemble #2, kan dat betekenen dat ensemble #2 beter was, óf dat ensemble #2 een flink deel van de kansverdeling mistte (namelijk die lager was). Wees dus voorzichtig met waardeoordelen op grond van N=1.