Re: Leuk sneeuwgrafiekje van Jelmer, maar met foutieve aanname, want..

Het is niet zo omdat er 50 (51) members zijn, iedere member 'dus' een kans heeft van 2% om op te treden (= 100% totaal). Zelfs als de computer alle mogelijke ontwikkelingen juist weergeeft, kan het best zo zijn dat de vijf sneeuwrijkste members bij elkaar opgeteld bijvoorbeeld maar een kans hebben van 3% om op te treden, terwijl één sneeuwloze member een kans kan hebben van 10% om op te treden (al hoop ik natuurlijk dat het andersom is!)

Bekijk het ook zo: stel dat de computer door een storing maar 25 members heeft kunnen berekenen (we halen de helft van de members dus weg), dan is het niet zo dat hierdoor de overgebleven members plots van een 2% kans, nu opeens een kans hebben van 4% om op te treden (= ook 100%). Nee het totaal telt dan op tot een (veel?) lager percentage, er is dus een kans dat het werkelijke weerbeeld anders uitpakt dan wordt berekend, iets wat op de (mid) lange termijn best nog wel eens af en toe voorkomt. 

Je mag hopen dat in de pluim ieder van die 50 members ongeveer een gelijke kans heeft om op te treden en dus vlak in de buurt van die 2% zit (daar gaan de meeste grafieken wel van uit), maar de werkelijkheid is dat dit een schot in totale duisternis is, niemand weet dat met redelijke zekerheid.

Ik heb in het verleden meermalen deskundigen hierover kritische vragen gesteld en ook doorgezaagd en het resultaat was dat ze uiteindelijk met hun mond vol tanden stonden en geen enkel bewijs konden overleggen. Hun commentaar valt samen te vatten met: "We weten het eigenlijk niet, we hopen / vermoeden het maar..." 

Hoi Tom,

Ik post hier nauwelijks meer, maar even mijn twee eurocentjes:

1) De meest basale kansverwachtingen die je ziet op basis van het ECMWF EPS, veronderstellen een a priori kans van ±2% per ensemblelid. Dit is vanuit de aanname dat het ensemble geen structurele fout vertoont en de spreiding rechtevenredig met de onzekerheid is (los van de skill, kom ik zo op). Het waarschijnlijkheidspercentage in dit ideale uitgangspunt is p=N+2, omdat er ook nog een kans is dat de werkelijkheid buiten het ensemble valt. Voor een goed gekalibreerd ensemble met 50 ensembleleden verwacht je dit ±3,8% van de tijd.

Uit verificatie blijkt dat voor de meest gangbare parameters, zoals windsnelheid en temperatuur, het ECMWF EPS geen structurele fout heeft en de spreiding ook goed schaalt met de onzekerheid. Dit leidt ertoe dat een verwachting met een (ensemble)kans van 10% ook gemiddeld ongeveer 1 op de 10 keer optreedt. Het uitgangspunt is daarmee op zich valide. Tot zover dit algemene verhaal.

2) Waar jouw punt over gaat, is dat je vooraf niet weet of het ensemble ook in een individuele situatie de werkelijke kansverdeling reflecteert. Er zijn ook geen indicatoren voor. Zelfs achteraf beoordelen of de kansen fout of goed waren, is lastig, omdat je a posteriori kans geschat moet worden uit 1 realisatie. Er is geen manier om de werkelijke kansverdeling te bepalen. Alleen uit grotere verzamelingen steekproeven kan bepaald worden of het ensemble gemiddeld wel een juiste kansschatting geeft. Voor die ene situatie waarin je geïnteresseerd bent, schiet je daar echter niets mee op.

Er is een kleine uitweg waardoor je vooraf tóch iets kunt zeggen over in elk geval de kans op een grote fout van de deterministische verwachting. Het basale uitgangspunt is dat spreiding schaalt met onzekerheid. Maar de spreiding in een accuraat ensemble schaalt ook evenredig met de spreiding in de fout (niet de fout zelf). Dat wil zeggen: met grotere spreiding neemt de kans op grotere fouten toe, maar de uiteindelijke fout kan nog steeds klein zijn. Dat komt neer op 'toeval'. De mate van spreiding in het ensemble is daarmee een indicator van de kans op een grote misser van de operationele run. Klinkt als een open deur, maar uit verificatie blijkt het dus ook echt op te gaan. Kleine opmerking: voor de maximumtemperatuur blijkt de foutspreiding niet helemaal evenredig te schalen met de spreiding in het ensemble. Een tweemaal grotere spreiding vertaalt zich naar een ±1,8x grotere spreiding in de fout.

Mijn persoonlijke tip is om de ensembleleden niet als losse lijntjes te zien, maar er proberen een kansverdeling uit te vissen. Dat is optisch heel lastig te doen, maar met nabewerking wel. Je komt dan uit op een gefitte kansdichtheidsfunctie. Daarmee vang je ook de 'gaten' in het ensemble op. In de praktijk blijkt dat je met 50 ensembleleden zo'n functie al heel aardig kan fitten. Met 100 ensembleleden worden de gaten vrijwel weggewerkt, boven de 500 ensembleleden wordt de kansdichtheidsfunctie nog maar zeer marginaal (kwalitatief) beter.

Groeten, Ben

Grafiek: kansdichtheidsfunctie bij 20 tot 16.000 ensembleleden. Bron: Ensemble size: How suboptimal is less than infinity?, Leutbecher, 2019.