Fijnmazige modellen Tx verwachting: conclusies (30-daagse analyse)

Bericht van: Kevin (Almere) , 23-08-2019 16:28 

Eind juli ben ik begonnen met het bijhouden van de verwachtingen van de fijnmazige modellen (WRF, COSMO, HIRLAM, HARMONIE36, AROME, ALARO) voor de Tx van de volgende dag. Uitgebreide informatie hierover is te vinden in mijn originele bericht. Aangezien die draad al een beetje is weggevallen plaats ik de conclusies van mijn 'onderzoek' in dit nieuwe bericht. Informatie over hoe de analyse plaatsvond is allemaal in het originele bericht te lezen. In de originele draad is ook nog een 14-daagse tussenstand te vinden. Dit bericht zal minder tabellen bevatten met verschillende coëfficiënten dan de tussenstand, aangezien het de bedoeling is dat duidelijk is hoe men zelf simpel dit systeem kan gebruiken, in plaats van het gebruiken van tientallen coëfficiënten in verschillende lagen berekeningen. Het bericht over de 14-daagse tussenstand bevat dus wel meer inzicht in hoe de benadering tot stand is gekomen, voor wie daarin geïnteresseerd is.

Opmerking: 17 augustus

Er is een dag die ik van tevoren wil toelichten: 17 augustus. Op die dag bleef (voor de modellen onverwacht) een neerslagsysteem precies boven De Bilt hangen in de middag tussen 15:00 en 18:00, waardoor de Tx precies in De Bilt significant lager werd dan verwacht werd (1.8 graden lager dan verwacht). Dit toont aan dat op lokale regendagen dit combinatiemodel (maar ook elk losstaand weermodel) soms significant kan afwijken als er sprake is van hangende regenbuien. Natuurlijk is het niet toegestaan om data die je niet leuk vind zomaar te verwijderen, maar toch zal ik deze dag niet meerekenen in alle resultaten later in dit bericht. Dit vanwege het feit dat deze ene dag de hele meetreeks 'vertroebeld' als het ware, waardoor het vrijwel onmogelijk is om verschillende methoden goed te vergelijken. De consistente vergelijkingen tussen methoden gedurende 29 dagen worden volledig overhoop gehaald door deze dag, omdat de formule als het ware probeert deze enorme uitschieter toch nog te verklaren door de coëfficiënten dan maar volledig te veranderen. Dus daarom meld ik in deze paragraaf de aanwezigheid van afwijkingen door hangende regenbuien, zodat ik deze dag later niet mee hoef te nemen in de meetreeks en de conclusies een stuk duidelijker zijn.

De twee methoden

Ik ben tot twee verschillende methodes gekomen. Een methode gebruikt alle technieken beschreven in de eerdere berichten voor alle dagen in de analyse. De tweede methode splitst de dagen op in droge dagen en regenachtige dagen. Bij mijn analyse bleek namelijk dat de kwaliteit van modellen op regenachtige dagen significant verschilt van droge dagen. Bij het gebruik van alle dagen (dus zonder onderscheid tussen droge en regenachtige dagen) zijn dit de uiteindelijke formules. HIR staat voor HIRLAM, HAR voor HARMONIE36, AR voor AROME en AL voor ALARO. DB staat voor De Bilt en NL voor Nederland.

TX_DB = 0.149*WRF + 0.183*COSMO + 0.111*HIR + 0.098*HAR + 0.267*AR + 0.196*AL + 0.275  

TX_NL = 0.110*WRF + 0.210*COSMO + 0.160*HIR + 0.087*HAR + 0.259*AR + 0.178*AL + 0.604

Bij het opsplitsen in droge dagen en regenachtige dagen zijn dit de uiteindelijke formules:

TXDROOG_DB = 0.129*WRF + 0.199*COSMO + 0.099*HIR + 0.109*HAR + 0.209*AR + 0.256*AL + 0.250 

TXDROOG_NL = 0.093*WRF + 0.224*COSMO + 0.143*HIR + 0.099*HAR + 0.201*AR + 0.241*AL + 0.549

TXREGEN_DB = 0.172*WRF + 0.221*COSMO + 0.070*HIR + 0.062*HAR + 0.391*AR + 0.097*AL + 0.182

TXREGEN_NL = 0.146*WRF + 0.239*COSMO + 0.103*HIR + 0.055*HAR + 0.385*AR + 0.085*AL + 0.401

Modelprestaties

Hierboven staan de formules, maar hoe goed presteren ze? Zijn de echt beter dan de losstaande modellen? Daarvoor is hieronder een tabel (de enige tabel deze keer 😉) te zien die de bias en standaarddeviatie (=spreiding) van de verschillende individuele weermodellen laat zien en van de 2 combinatiemodellen (alles bij elkaar + regen en droog verschillende formules).

Weermodel Bias DB Bias NL STDEV DB STDEV NL STDEV Totaal
WRF -1.51 -2.52 0.98 1.51 1.37
COSMO +0.52 +0.51 1.04 0.85 0.94
HIRLAM -0.44 -1.21 1.15 0.79 1.01
HARMONIE36 -0.72 -1.00 1.25 1.43 1.34
AROME -0.61 -1.11 0.63 0.67 0.69
ALARO +0.49 -0.11 0.81 0.93 0.91
COMBINATIE +0.13 +0.06 0.35 0.44 0.39
COMBINATIE (droog + regen los) 0.00 -0.10 0.32 0.43 0.38

De bias van een model is makkelijk te corrigeren door dit getal van de verwachting af te halen. Aan de spreiding door de standaarddeviatie is echter niet echt iets te doen en dit laat de werkelijke nauwkeurigheid van de modellen zien. De laatste kolom laat de spreiding zien voor zowel De Bilt and Nederland bij elkaar. Opvallend is dat AROME met afstand het beste model is. Een standaarddeviatie van 0.69 betekent dat als je eenmaal de verwachting hebt aangepast mbt de bias je er statistisch gezien 68% zeker van kan zijn dat de Tx binnen 0.69 graden van jouw originele verwachting ligt. Niet slecht, maar het geeft nog steeds een range van +/- 0.88 graden aan, ofwel een totaal onzekerheidsgebied van 1.77 graden voor de 80% marge (1.2815 standaarddeviaties) die bijvoorbeeld vaak in de weerpluimen is te zien. Na AROME zijn ALARO en COSMO de beste modellen qua Tx, op een kleine afstand gevolgd door HIRLAM. HIRLAM is dus niet de slechtste, maar nog steeds 46% slechter dan AROME. Het is echter nog steeds een stuk beter dan WRF en HARMONIE36, die duidelijk de twee minst exacte modellen zijn qua Tx.

De combinatiemodellen hebben vrijwel geen bias meer en hebben een significant lagere spreiding. Een voorbeeld: laten we voor nu even bias negeren en stel je een statistsich gemiddelde dag voor waar de Tx in De Bilt 27 graden is en in Nederland 29 graden. De 80% spreiding van KNMI (HIRLAM) zou dan 25.5 - 28.5 graden zijn voor De Bilt en 28.0 - 30.0 voor Nederland. AROME doet het iets beter met 26.2 - 27.8 graden voor De Bilt en 28.1 - 29.9 voor Nederland. Maar het combinatiemodel (droog + regen los) zou 26.6 - 27.4 graden voor De Bilt 28.5 - 29.5 voor Nederland hebben als 80% marge. Als je die laatste getallen eens vergelijkt met de spreiding bij HIRLAM zie je dus hoe significant de verbetering in Tx verwachtingen is bij het combinatiemodel. Als je meer van percentages houdt: de spreiding van het droog/regen combinatiemodel is 36% kleiner dan die van AROME en 46% kleiner dan die van HIRLAM voor De Bilt. Voor de Tx in Nederland is de verbetering nog groter: 45% kleiner dan die van AROME en 62% kleiner dan die van HIRLAM. Een standaarddeviatie van 0.32 is zo klein dat bij zonnige zomerdagen de kans dat het model meer dan 1.0 graden van de werkelijkheid af zit, geschat wordt op 0.105% (ongeveer 1 op 1000).

Het is ook belangrijk om te melden dat het model sinds de 20e dag van de analyse vrijwel volledig stabiel is gebleven. Dit houdt in dat we nu niet in de situatie dat we de Tx goed verwachten 'omdat we zoveel coëfficiënten te kiezen hebben in de formules dat je elke random set van getallen wel kan benaderen', maar dat dit echt vrij dicht in de buurt komt van de meest optimale combinatie coëfficiënten is om de Tx te bepalen.

Tekortkomingen en overige opmerkingen

Helaas, maar ook logisch, heeft het combinatiemodel natuurlijk tekortkomingen. Alle conclusies hierboven zijn ten eerste alleen op basis van deze 30-daagse periode. Er zou zomaar een periode van een aantal dagen langs kunnen komen waar het model er volledig naast zit en dan kunnen de conclusies hierboven weer weg. De informatie hierboven klopt dus alleen zolang het tegendeel niet wordt bewezen (een beetje zoals alles in de wetenschap in het algemeen). Hangende regenbuien heb ik ook al genoemd en zullen altijd een probleem blijven, behalve als er modellen komen die met extreme nauwkeurigheid kunnen aangeven waar, wanneer en hoeveel het precies gaat regenen. Belangrijker is misschien nog het feit dat deze analyse alleen plaatsvond gedurende eind juli en augustus. Het splitsen in droge dagen en regenachtige dagen toont aan dat de modellen duidelijk plus- en minpunten hebben met betrekking tot specifieke weersituaties. Hieruit volgt logischerwijs dat andere weersomstandigheden (kortere zonperioden in de winter, stormachtig weer, Tx op een sneeuwlaag etc.) waarschijnlijk andere verhoudingen van modellen zal hebben waarbij de Tx optimaal kan worden berekend. Zo kan één model misschien beter omgaan met de Tx berekenen wanneer er al sneeuw op de grond ligt. Dus ook al is er natuurlijk geen verbod op het gebruik van deze formules in andere jaargetijden, denk ik dat deze formules gespecialiseerd zijn op lente- en zomerweer of meer specifiek de maanden juli en augustus.

Bericht laatst bijgewerkt: 24-08-2019 12:15

Fijnmazige modellen Tx verwachting: conclusies (30-daagse analyse)   ( 827)
Kevin (Almere) -- 23-08-2019 16:28
Excel bestand om zelf de Tx van morgen mee te berekenen   ( 279)
Kevin (Almere) -- 23-08-2019 19:23
Lijst met toekomstige Tx verwachtingen   ( 437)
Kevin (Almere) -- 24-08-2019 12:36
Interessant en waardevol   ( 112)
Martijn (Hoogvliet) -- 13-09-2019 13:32