Waarom gaat het zo vaak mis met het inschatten van kansen op de weerkaarten, voornamelijk aan de hand van de ensembles? Waardoor ontstaat de frustratie met de kaarten? Voor een deel kan dit komen door een gebrek aan kennis (informatie) over de ensembles, maar ook voor een deel door cognitieve afwijkingen. In dit bericht wil ik daar even bij stil staan.
Na een enquête onder gebruikers van het EPS van ECMWF bleek dat de voornaamste redenen waarom kansverwachtingen vaak niet serieus genomen worden zijn:
- De verwachtingen zijn ‘niet nauwkeurig’ genoeg
- Afwisseling in succesvolle verwachtingen
- Tegenstrijdige of onvolledige informatie uit de verwachting
- Geschiedenis van eerdere verwachtingen niet bekend
- De waarde van de verwachting is niet aangetoond
Daarnaast wordt vaak op irrationele wijze gedacht of zorgen cognitieve illusies ervoor dat niet optimaal gebruik wordt gemaakt van kansverwachtingen. Immers:
- De capaciteit van de mens om complexe problemen op te lossen is beperkt, vergeleken met de omvang van die problemen
- Er is een gebrek aan objectief, rationeel gedrag in de echte wereld
- Veel gebruik van ‘vuistregels’ om het maken van beslissingen te versimpelen
Al met al ligt hier dus een uitdaging voor de modelmakers en de meteoroloog om met een goede presentatie te komen waardoor de juiste conclusies getrokken kunnen worden en goede beslissingen genomen kunnen worden.
De illusie van zekerheid
…of hoe bepaal je zekerheid uit diverse onzekerheden?
Zijn de vorm en het oppervlak van deze twee tafels gelijk?
Het is belangrijk om te weten hoe mensen met onzekerheden in de echte wereld omgaan. Er zijn veel bekende cognitieve percepties die een rol spelen:
- Bij het formuleren van een probleem: kansen versus frequenties, het ‘fra ming-effect’ (leidt de formulering je tot een bepaald antwoord), ‘het anker-effect’ (je teveel baseren op één gegeven)
- Het onderwaarderen van de basisfrequentie
- Achteraf kansen hoger inschatten en zoeken naar kansen die eigen vermoedens bevestigen
- Selectief onthouden zoals het Primacy effect (het begin van een lijst onthoud je beter dan het middelste deel)
- Meer waarde hechten aan recente dan oudere informatie
- Groepsbevestiging en wroeging
Conditionele kansen zijn vaak een groot probleem voor mensen om goed in te schatten. Neem als voorbeeld een screening naar borstkanker:
De kans dat een vrouw tussen 40 en 50 jaar oud borstkanker heeft is 0,8%. Als een vrouw borstkanker heeft, is de kans dat het ontdekt wordt bij de screening 90%. Als een vrouw geen borstkanker heeft, is de kans dat de screening positief uitvalt 7%.
Stel nu dat een vrouw een positieve uitkomst van de screening heeft. Hoe groot is de kans dat zij borstkanker heeft? Het antwoord is 9%, volgens het theorema van Bayes: [ 0,008 * 0,90) ] / [ 0,008 * 0,80 + 0,992 * 0,07 ] ~ 0,09
Het framing-effect
De manier waarop een verwachting of probleem wordt geformuleerd beïnvloed hoe hij begrepen wordt of de beslissingen die daarop op gebaseerd worden. Stel dat Amsterdam getroffen zal worden epidemie waarbij naar verwachting 600 mensen zullen omkomen. Er worden twee remedies voorgesteld:
Remedie A: 200 mensen worden gered
Remedie B: 1/3de kans dat 600 mensen gered worden en 2/3de kans dat niemand gered wordt
Welke remedie kies je? Stel nu dat de formulering als volgt is:
Remedie A: 400 mensen zullen sterven
Remedie B: 1/3de kans dat niemand sterft, 2/3de kans dat 600 mensen zullen sterven
Welke remedie kies je nu? Uit onderzoek blijkt dat >70% van de ondervraagden bij de eerste vraagstelling voor remedie A zou kiezen (risico-ontwijkend) en bijna 80% bij de tweede vraagstelling voor remedie B (risico-nemend).
Dat het framing effect in het echte leven een ‘probleem’ vormt, blijkt zelfs in de medische wereld onder professionals nog wel eens. Informatie voor een dokter over twee medicijnen: de sterfkan s is 7% binnen 5 jaar (weinig aanbeveling), de overlevingskans na 5 jaar is 93% (sterke aanbeveling).
Voor weersverwachtingen impliceert dit dat mensen anders reageren op een waarschijnlijkheid van zacht weer als een niet-waarschijnlijkheid van normaal weer. Daarbij speelt ook nog een rol of je zaken verwoord in cijfers of woorden:
11% van de mensen vind de verwachting ‘regen is waarschijnlijk’ slecht als het niet regende, maar 37% vond de verwachting ‘70% kans op regen’ slecht als het niet regende, terwijl zij tegelijkertijd een kans van 70% associëren met ‘waarschijnlijk’.
Onderwaarderen van de basis frequentie
Voorbeeld: een klimaatmodel met 90% nauwkeurigheid verwacht een hittegolf. Historisch gezien is de kans op een hittegolf 10%. Wat is de kans dat er deze zomer een hittegolf optreedt? Antwoord: 50%.
De uitdaging voor modelmakers en meteorologen zit hem erin om de mensen er van te overtuigen wat de nauwkeurigheid van het model is en wat de werkelijke kans was. Nog een voorbeeld: hetzelfde klimaatmodel met de 90% nauwkeurigheid berekend een 50% kans op een zomer die warmer is dan normaal. Hoe groot is de werkelijke kans op een zomer warmer dan normaal? Antwoord: 90%.
Achteraf kansen hoger inschatten en bevestigingsbias
,,Mannen markeren wat zij geraakt hebben, niet wat zij gemist hebben’’ – Jevens (1958), The Principles of Science: A Treatise on Logic and Scientific Method
Mensen hebben de neiging achteraf kansen hoger in te schatten. Oftewel nadat iemand te horen krijgt of iets is opgetreden of niet, heeft die persoon de neiging om de kans dat zij het goed konden verwachten te overschatten. Uitkomsten lijken hierdoor minder verrassend achteraf dan vooraf.
Praktisch voorbeeld: de El Niño van 1997 werd door de NOAA als een ‘daverend succes’ voor de modellen beschreven, doch slechts één model had in maart van dat jaar een lichte Nino conditie verwacht. Een aantal van de belabberde verwachtingen zijn dus simpelweg genegeerd.
Zo is er ook ruimschoots bewijs dat mensen de neiging hebben bewijs te negeren (en er ook niet naar zoeken) dat niet bevestigend is voor hun eigen ideeën.
Meer waarde hechten aan recente dan oudere informatie
Mensen hebben de neiging om bepaalde gegevens die het meest recent worden gepresenteerd als betrouwbaarder te achten. Neem twee lijstjes die iemand beschrijven:
1. Intelligent, nijver, impulsief, kritisch, koppig, afgunstig
2. Afgunstig, koppig, kritisch, impulsief, nijver, intelligent
Persoon 1 zal bij de meeste mensen ‘beter’ voorkomen.
Hoe nu verder?
Het is aan de modelmakers en aan meteorologen om ervoor te zorgen dat de rol van cognitieve percepties beperkt blijft, zodat de informatie op een zo juist mogelijk wijze de doelgroep bereikt. Er moet voor gewaakt worden dat de media bepaalde verwachtingen relativeert aan de hand van extreme verschijnselen, proberen zoveel mogelijk cijfers voor woorden te laten gaan (in ruwe numerieke vorm, of grafisch in de vorm van kaarten, tijdreeksen, et cetera) en het vermijden van ‘intuïtief’ combineren van verwachtingen als er ook een objectieve aanpak .
Suggesties voor de dagelijkse ensemblesleur
Onzekerheden in de verwachting zijn een resultaat van een onvolledige begintoestand (we weten simpelweg niet de temperatuur, vochtigheid en luchtdruk op elke vierkante meter van de planeet), de modellen zelf (parameterisaties, resolutie) en de grens van voorspelbaarheid hangt verder af van het stromingspatroon conform het 3D chaos model van Lorenz.
Het is dus belangrijk om in te schatten waar de onzekerheden vandaan komen. Zijn zij het resultaat van werkelijke atmosferische onzekerheid, de modellering of onze gelimiteerde kennis van de begintoestand (‘de waarheid’)? In de pluim van de EPS kan je bekijken of de resolutie van het model een rol speelt in de gesimuleerde onzekerheid, door te kijken of de controle en operationele run uiteenlopen. In hoeverre de oplossingen in de eerste paar dagen uiteenlopen kan een goede aanwijzing zijn voor hoe bepalend de begintoestand is.
Het belangrijkste is denk ik om meer informatie te krijgen uit het ensemble over het stromingspatroon, vooral op grotere hoogte (500 hPa) aangezien de evolutie daar doorwerkt naar het aardoppervlak. Op dit moment laten de kaartjes van Meteociel en WetterZentrale enkel de gemiddelde oplossing zien (onbruikbaar als je een bifurcatie hebt in de stromingsoplossingen) en losse leden (hoogte 500 hPa en gronddruk combineren is zinloos na dag 5). Interessanter om te bekijken zijn de kaarten rechtstreeks van de NOAA die in ruimtelijke zin de kans op significant warmere of koudere T850 laten zien. Ook heel bruikbaar zijn de kaarten met het gemiddelde 500 hPa patroon en de standaardafwijking. Hiermee kan je zien of de ensembleleden vooral uiteenlopen in de positie van een trog of rug (de fase in het stromingspatroon) of de sterkte ervan (amplitude).
Wat nog nergens verkrijgbaar is van het NCEP ensemble, maar wat wel erg bruikbaar zou zijn, zijn kaartjes van identieke stromingspatronen. Dergelijke clusterplaatjes (zie hieronder) worden van het ECMWF EPS wel gemaakt bij het KNMI, maar zijn niet openbaar beschikbaar. Ze zijn ontzettend handig om te bekijken welke varianten in het stromingspatroon in het ensemble zitten, zonder verloren te raken in de spaghetti van losse leden. Met de clusterplaatjes kan je ook beter inschatten welk stromingspatroon het meest waarschijnlijk is.
Gr. Ben
P.S. de antwoorden op een aantal vragen in dit bericht staan in het wit achter de vraag. Je kan het bekijken door met de muis de tekst selecteren.
Bronnen
- Dit verhaal is een integrale vertaling van de presentatie van Renate Hagedorn van het ECMWF. De presentatie is hier te vinden.
- William Stanley Jevons (1873, 1877), The Principles of Science: a treatise on logic and scientific method, Dover edition p.li with a new preface by Ernest Nagel (1958), hier te vinden (60 mb!)
- Kaartjes NCEP ensemble zijn van het Earth System Research Laboratory (ESRL), onderdeel van NOAA
Na een enquête onder gebruikers van het EPS van ECMWF bleek dat de voornaamste redenen waarom kansverwachtingen vaak niet serieus genomen worden zijn:
- De verwachtingen zijn ‘niet nauwkeurig’ genoeg
- Afwisseling in succesvolle verwachtingen
- Tegenstrijdige of onvolledige informatie uit de verwachting
- Geschiedenis van eerdere verwachtingen niet bekend
- De waarde van de verwachting is niet aangetoond
Daarnaast wordt vaak op irrationele wijze gedacht of zorgen cognitieve illusies ervoor dat niet optimaal gebruik wordt gemaakt van kansverwachtingen. Immers:
- De capaciteit van de mens om complexe problemen op te lossen is beperkt, vergeleken met de omvang van die problemen
- Er is een gebrek aan objectief, rationeel gedrag in de echte wereld
- Veel gebruik van ‘vuistregels’ om het maken van beslissingen te versimpelen
Al met al ligt hier dus een uitdaging voor de modelmakers en de meteoroloog om met een goede presentatie te komen waardoor de juiste conclusies getrokken kunnen worden en goede beslissingen genomen kunnen worden.
De illusie van zekerheid
…of hoe bepaal je zekerheid uit diverse onzekerheden?
Zijn de vorm en het oppervlak van deze twee tafels gelijk?
Het is belangrijk om te weten hoe mensen met onzekerheden in de echte wereld omgaan. Er zijn veel bekende cognitieve percepties die een rol spelen:
- Bij het formuleren van een probleem: kansen versus frequenties, het ‘fra ming-effect’ (leidt de formulering je tot een bepaald antwoord), ‘het anker-effect’ (je teveel baseren op één gegeven)
- Het onderwaarderen van de basisfrequentie
- Achteraf kansen hoger inschatten en zoeken naar kansen die eigen vermoedens bevestigen
- Selectief onthouden zoals het Primacy effect (het begin van een lijst onthoud je beter dan het middelste deel)
- Meer waarde hechten aan recente dan oudere informatie
- Groepsbevestiging en wroeging
Conditionele kansen zijn vaak een groot probleem voor mensen om goed in te schatten. Neem als voorbeeld een screening naar borstkanker:
De kans dat een vrouw tussen 40 en 50 jaar oud borstkanker heeft is 0,8%. Als een vrouw borstkanker heeft, is de kans dat het ontdekt wordt bij de screening 90%. Als een vrouw geen borstkanker heeft, is de kans dat de screening positief uitvalt 7%.
Stel nu dat een vrouw een positieve uitkomst van de screening heeft. Hoe groot is de kans dat zij borstkanker heeft? Het antwoord is 9%, volgens het theorema van Bayes: [ 0,008 * 0,90) ] / [ 0,008 * 0,80 + 0,992 * 0,07 ] ~ 0,09
Het framing-effect
De manier waarop een verwachting of probleem wordt geformuleerd beïnvloed hoe hij begrepen wordt of de beslissingen die daarop op gebaseerd worden. Stel dat Amsterdam getroffen zal worden epidemie waarbij naar verwachting 600 mensen zullen omkomen. Er worden twee remedies voorgesteld:
Remedie A: 200 mensen worden gered
Remedie B: 1/3de kans dat 600 mensen gered worden en 2/3de kans dat niemand gered wordt
Welke remedie kies je? Stel nu dat de formulering als volgt is:
Remedie A: 400 mensen zullen sterven
Remedie B: 1/3de kans dat niemand sterft, 2/3de kans dat 600 mensen zullen sterven
Welke remedie kies je nu? Uit onderzoek blijkt dat >70% van de ondervraagden bij de eerste vraagstelling voor remedie A zou kiezen (risico-ontwijkend) en bijna 80% bij de tweede vraagstelling voor remedie B (risico-nemend).
Dat het framing effect in het echte leven een ‘probleem’ vormt, blijkt zelfs in de medische wereld onder professionals nog wel eens. Informatie voor een dokter over twee medicijnen: de sterfkan s is 7% binnen 5 jaar (weinig aanbeveling), de overlevingskans na 5 jaar is 93% (sterke aanbeveling).
Voor weersverwachtingen impliceert dit dat mensen anders reageren op een waarschijnlijkheid van zacht weer als een niet-waarschijnlijkheid van normaal weer. Daarbij speelt ook nog een rol of je zaken verwoord in cijfers of woorden:
11% van de mensen vind de verwachting ‘regen is waarschijnlijk’ slecht als het niet regende, maar 37% vond de verwachting ‘70% kans op regen’ slecht als het niet regende, terwijl zij tegelijkertijd een kans van 70% associëren met ‘waarschijnlijk’.
Onderwaarderen van de basis frequentie
Voorbeeld: een klimaatmodel met 90% nauwkeurigheid verwacht een hittegolf. Historisch gezien is de kans op een hittegolf 10%. Wat is de kans dat er deze zomer een hittegolf optreedt? Antwoord: 50%.
De uitdaging voor modelmakers en meteorologen zit hem erin om de mensen er van te overtuigen wat de nauwkeurigheid van het model is en wat de werkelijke kans was. Nog een voorbeeld: hetzelfde klimaatmodel met de 90% nauwkeurigheid berekend een 50% kans op een zomer die warmer is dan normaal. Hoe groot is de werkelijke kans op een zomer warmer dan normaal? Antwoord: 90%.
Achteraf kansen hoger inschatten en bevestigingsbias
,,Mannen markeren wat zij geraakt hebben, niet wat zij gemist hebben’’ – Jevens (1958), The Principles of Science: A Treatise on Logic and Scientific Method
Mensen hebben de neiging achteraf kansen hoger in te schatten. Oftewel nadat iemand te horen krijgt of iets is opgetreden of niet, heeft die persoon de neiging om de kans dat zij het goed konden verwachten te overschatten. Uitkomsten lijken hierdoor minder verrassend achteraf dan vooraf.
Praktisch voorbeeld: de El Niño van 1997 werd door de NOAA als een ‘daverend succes’ voor de modellen beschreven, doch slechts één model had in maart van dat jaar een lichte Nino conditie verwacht. Een aantal van de belabberde verwachtingen zijn dus simpelweg genegeerd.
Zo is er ook ruimschoots bewijs dat mensen de neiging hebben bewijs te negeren (en er ook niet naar zoeken) dat niet bevestigend is voor hun eigen ideeën.
Meer waarde hechten aan recente dan oudere informatie
Mensen hebben de neiging om bepaalde gegevens die het meest recent worden gepresenteerd als betrouwbaarder te achten. Neem twee lijstjes die iemand beschrijven:
1. Intelligent, nijver, impulsief, kritisch, koppig, afgunstig
2. Afgunstig, koppig, kritisch, impulsief, nijver, intelligent
Persoon 1 zal bij de meeste mensen ‘beter’ voorkomen.
Hoe nu verder?
Het is aan de modelmakers en aan meteorologen om ervoor te zorgen dat de rol van cognitieve percepties beperkt blijft, zodat de informatie op een zo juist mogelijk wijze de doelgroep bereikt. Er moet voor gewaakt worden dat de media bepaalde verwachtingen relativeert aan de hand van extreme verschijnselen, proberen zoveel mogelijk cijfers voor woorden te laten gaan (in ruwe numerieke vorm, of grafisch in de vorm van kaarten, tijdreeksen, et cetera) en het vermijden van ‘intuïtief’ combineren van verwachtingen als er ook een objectieve aanpak .
Suggesties voor de dagelijkse ensemblesleur
Onzekerheden in de verwachting zijn een resultaat van een onvolledige begintoestand (we weten simpelweg niet de temperatuur, vochtigheid en luchtdruk op elke vierkante meter van de planeet), de modellen zelf (parameterisaties, resolutie) en de grens van voorspelbaarheid hangt verder af van het stromingspatroon conform het 3D chaos model van Lorenz.
Het is dus belangrijk om in te schatten waar de onzekerheden vandaan komen. Zijn zij het resultaat van werkelijke atmosferische onzekerheid, de modellering of onze gelimiteerde kennis van de begintoestand (‘de waarheid’)? In de pluim van de EPS kan je bekijken of de resolutie van het model een rol speelt in de gesimuleerde onzekerheid, door te kijken of de controle en operationele run uiteenlopen. In hoeverre de oplossingen in de eerste paar dagen uiteenlopen kan een goede aanwijzing zijn voor hoe bepalend de begintoestand is.
Het belangrijkste is denk ik om meer informatie te krijgen uit het ensemble over het stromingspatroon, vooral op grotere hoogte (500 hPa) aangezien de evolutie daar doorwerkt naar het aardoppervlak. Op dit moment laten de kaartjes van Meteociel en WetterZentrale enkel de gemiddelde oplossing zien (onbruikbaar als je een bifurcatie hebt in de stromingsoplossingen) en losse leden (hoogte 500 hPa en gronddruk combineren is zinloos na dag 5). Interessanter om te bekijken zijn de kaarten rechtstreeks van de NOAA die in ruimtelijke zin de kans op significant warmere of koudere T850 laten zien. Ook heel bruikbaar zijn de kaarten met het gemiddelde 500 hPa patroon en de standaardafwijking. Hiermee kan je zien of de ensembleleden vooral uiteenlopen in de positie van een trog of rug (de fase in het stromingspatroon) of de sterkte ervan (amplitude).
Wat nog nergens verkrijgbaar is van het NCEP ensemble, maar wat wel erg bruikbaar zou zijn, zijn kaartjes van identieke stromingspatronen. Dergelijke clusterplaatjes (zie hieronder) worden van het ECMWF EPS wel gemaakt bij het KNMI, maar zijn niet openbaar beschikbaar. Ze zijn ontzettend handig om te bekijken welke varianten in het stromingspatroon in het ensemble zitten, zonder verloren te raken in de spaghetti van losse leden. Met de clusterplaatjes kan je ook beter inschatten welk stromingspatroon het meest waarschijnlijk is.
Gr. Ben
P.S. de antwoorden op een aantal vragen in dit bericht staan in het wit achter de vraag. Je kan het bekijken door met de muis de tekst selecteren.
Bronnen
- Dit verhaal is een integrale vertaling van de presentatie van Renate Hagedorn van het ECMWF. De presentatie is hier te vinden.
- William Stanley Jevons (1873, 1877), The Principles of Science: a treatise on logic and scientific method, Dover edition p.li with a new preface by Ernest Nagel (1958), hier te vinden (60 mb!)
- Kaartjes NCEP ensemble zijn van het Earth System Research Laboratory (ESRL), onderdeel van NOAA
Bericht laatst bijgewerkt: 14-12-2008 17:04