Ik zou het liefste het programma gewoon beschikbaar maken voor iedereen. Het probleem is dat het een overkill aan data verkeer oplevert.
Elk HDF5 bestand is 1.5-2 MB en bevat voor 1 radar alle (14?) elevatie scans (voor 1 tijdstip) voor Z, V, W en uZ.
95% van de tijd gebruik je denk ik alleen de onderste 2 Z scans en de andere 5% wil je een lage V scan erbij hebben. Als ik die specifieke data uit de HDF5 haal en zelf weer inpak, blijft er iets van 200kb over per radar site.
Dus uiteindelijk zou ik zo iets willen:
- Ergens draait een HDF5 downloader/processor
- Die haalt elke 5 minuten de nieuwe data op
- Haalt daar de onderste scans uit
- En zet die in een los bestand per elevatie en scan type ergens neer
De client zelf haalt dan niet meer het volledige HDF5 bestand bij het KNMI op, maar de losse 'preprocessed' scans.
De preprocessor moet dan dus 24/7 draaien en de data moet op een ftp server met unlimited bandwidth komen, die bestand is tegen flinke bursts van anonymous downloads elke 5 minuten, zeker tijdens onweerssituaties.
Elk HDF5 bestand is 1.5-2 MB en bevat voor 1 radar alle (14?) elevatie scans (voor 1 tijdstip) voor Z, V, W en uZ.
95% van de tijd gebruik je denk ik alleen de onderste 2 Z scans en de andere 5% wil je een lage V scan erbij hebben. Als ik die specifieke data uit de HDF5 haal en zelf weer inpak, blijft er iets van 200kb over per radar site.
Dus uiteindelijk zou ik zo iets willen:
- Ergens draait een HDF5 downloader/processor
- Die haalt elke 5 minuten de nieuwe data op
- Haalt daar de onderste scans uit
- En zet die in een los bestand per elevatie en scan type ergens neer
De client zelf haalt dan niet meer het volledige HDF5 bestand bij het KNMI op, maar de losse 'preprocessed' scans.
De preprocessor moet dan dus 24/7 draaien en de data moet op een ftp server met unlimited bandwidth komen, die bestand is tegen flinke bursts van anonymous downloads elke 5 minuten, zeker tijdens onweerssituaties.
Karma police arrest this man, he talks in math...
