Tussenstand analyse na 14 dagen

Mijn project loopt nu 14 dagen en heeft al erg interessante resultaten geleverd. Als mensen de gehele opzet van dit onderzoek willen zien dan is dat te lezen in het originele bericht van deze draad. De formules die ik gebruik bestaan uit de volgende onderdelen:

TX = A1*LSS + A2*NNLS + A3*SB

A1, A2, A3 zijn vaste constanten die zijn berekend door middel van een non-negative least squares solution van de componenten LSS, NNLS en SB. LSS is de temperatuur berekend door een least squares solution van de 6 gebruikte modellen (WRF, COSMO, HIRLAM, HARMONIE, AROME, ALARO). NNLS is hetzelfde, maar dan gebruik makend van een non-negative least squares solution direct op de modellen. SB maakt gebruik van de spreiding en bias van modellen en is verder toegelicht in het originele bericht. De huidige waarden van de constanten zijn, A1 = 0.00, A2 = 0.402, A3 = 0.596. Duidelijk is te zien dat de standaard least squares solution eigenlijk verworpen wordt. Dit lijkt me persoonlijk logisch, aangezien deze methode ook negatieve gewichten gebruikt, wat zou inhouden dat weermodellen het tegenovergestelde aangeven van de werkelijkheid. Ik mag hopen dat weermodellen in het echt niet zo slecht zijn (en deze analyse bevestigd ook dat dit niet het geval is). Alle overige gewichten om LSS, NNLS en SB respectievelijk te berekenen:

SB bestaat zowel uit gewichten en een bias voor De Bilt en Nederland (nogmaals, originele bericht bevat meer informatie). Er wordt dagelijks nog een beetje geschoven in de gewichten, vooral bij AROME en ALARO (en soms ook COSMO), maar daar het om verschuivingen rond de 0.01 per dag in de grote constanten A1, A2 en A3. In grote lijnen is het combinatiemodel de afgelopen dagen redelijk stabiel gebleven. Hoe scoren de modellen tot nu toe? Er zijn 2 manieren om dit vast te stellen. Je kan gebruik maken van het huidige model om alle vorige dagen te berekenen (dus achteraf) of je kan gebruik maken van de werkelijke verwachtingen die ik een dag van tevoren maakte, dus de echte prestaties van het model. Het is een beetje de theoretisch vs. praktijk performance. Eerst de theoretische 'achteraf' performance. In de rijen met de '3' erachter is het meetpunt 3 augustus verwijderd. Vanwege lokale zware regen kwam de verwachting toen een stuk anders uit. Natuurlijk geen excuus, maar deze rijen geven beter de prestaties weer als we kijken naar standaard zonnige dagen.

Ik bombardeer dit bericht eigenlijk met getallen, dus wat betekent dit allemaal? Ten eerste is het belangrijk dat de standard deviation bij zowel de praktijk als de theoretisch ongeveer gelijk is. Voor De Bilt is het zelfs nog een stuk lager bij Praktijk-3, maar de sample size van 14 is nu nog iets te klein om daar definitieve conclusies over te trekken. Wat wel duidelijk is, is dat het model nu in een redelijk 'stabiele fase' zit. Aangezien theorie hetzelfde scoort in praktijk zitten we nu niet meer in de situatie dat we de Tmax goed verwachten 'omdat we zoveel constanten te kiezen hebben dat je elke random set van getallen wel kan benaderen'. Het model laat nu ook in de praktijk zien te werken voor het berekenen van de Tmax van morgen. Maar is dit combinatiemodel dan ook echt beter dan de andere modellen? Om dit te beantwoorden hieronder een tabel met de bias en standard deviations van de 6 modellen (laatste tabel, ik beloof het). De bias stond ook al in tabel 1, maar herhaal ik nu om het iets overzichtelijk in één tabel te hebben. Voor de rijen 'combinatiemodel' heb ik theoretisch en theoretisch-3 genomen.

Dit laat duidelijk zien dat het combinatiemodel significant beter presteert dan de individuele modellen. De bias is vrijwel volledig verdwenen voor De Bilt. Bij Nederland is deze wel iets groter (-0.104 en -0.194), maar ook significant kleiner dan de individuele modellen. Het combinatiemodel kan dus nog verder worden verbeterd door ze te verschuiven met de aangegeven bias, maar ik wacht nog even met het aanbrengen van nog een 'shell' of laag aan het combinatiemodel tot het einde van mijn onderzoek. Belangrijker is de standard deviation. Voor De Bilt is de spreiding (=standard deviation) met 44% afgenomen tov het best scorende model en zelfs met 71% tov het HIRLAM model van KNMI. Voor Nederland is de spreiding met 14% - 48% (afhankelijk van of je het normale combinatiemodel of combinatiemodel-3 gebruikt) afgenomen tov het best scorende model en met 51% - 71% tov van het HIRLAM model van KNMI. Hoewel het onderzoek nog loopt, is deze tussenstand hoopvol en lijkt aan te tonen dat het combinatiemodel significant beter is dan elk individueel model om de Tx te berekenen. Ik zal het onderzoek dagen latenopen (aangezien ik daarna minder tijd heb), dus we zijn bijna halverwege. Een laatste opmerking is dat, net als eerder kleiner onderzoek al leek aan te tonen), AROME en ALARO de best scorende modellen zijn qua Tx, gevolgd door COSMO.