HET PROBLEEM
Geen inzicht in verbruiksgegevens
Willen leveranciers en consumenten verduurzamen dan is het vastleggen van meetgegevens noodzakelijk om als basis te dienen voor analyses rondom inkoop en besparingsmogelijkheden.
Ons doel met het ontwikkelen van deze datahub was daarom om een platform te creëren waarin meetgegevens van elektriciteitsgebruik, gasgebruik, maar ook zaken als watergebruik of eventueel opgewekte energie worden vastgelegd voor zowel huishoudens als bedrijven.
DE OPDRACHT
Data van decentrale energie bundelen, vasthouden, en verrijken
Onze opdracht was om een datahub te bouwen, waarin zeer grote hoeveelheden tijdreeksdata kunnen worden opgeslagen, welke met grote snelheden aangeboden kunnen worden. Waarbij de EDH een zeer belangrijk component is die ingezet kan worden als onderdeel van een totaaloplossing waarbij een systeem nodig is voor opslag van meetgegevens.
De oplossing moest robuust zijn, veilig en flexibel. Ook moest het zeer grote hoeveelheden data met hoge snelheid op kunnen slaan. Belangrijke randvoorwaarde is uiteraard dat het AVG-proof moest zijn. Dit betekende een krachtige versleuteling toepassen, wat niet ten koste mocht gaan van de snelheid en robuustheid van de oplossing.
ONZE AANPAK
Met een klein team van experts gingen we aan de slag. De architectuur werd vastgelegd in een document, waarin schaalbaarheid, robuustheid, maar ook security en privacy expliciet een belangrijke invloed hadden op de gekozen oplossingsrichting. De architectuur zetten we vanaf scratch op, gebruikmakend van bewezen best practices en jarenlange ervaring met andere projecten. Daarin werden zeer hoge eisen werden gesteld aan zowel non-functionals als betrouwbaarheid, schaalbaarheid en veiligheid.
De functionele kant werd vooral bepaald door onderzoek van de markt. Wat voor soort gegevens moeten er opgeslagen worden? Wat voor soort bewerkingen moeten er uitgevoerd kunnen worden op die gegevens en welke partijen zijn daarbij betrokken? De antwoorden op deze vragen leidden tot een architectuur met verschillende componenten, waarbij de verschillende componenten verschillende partijen bedienen (aanbieders van data, afnemers van data, beheerders voor aanmaken accounts e.d.).
DE OPLOSSING
Energy Data Hub in Java voor grootschalig gegevens verzamelen
We ontwikkelden de EDH in Java . Vanwege de extreme performance-eisen ontwikkelden we tevens een eigen opslagmechanisme ten behoeve van snelle real-time dataopslag (op basis van shared memory technology). De meetdata zelf wordt opgeslagen in onze eigen ontwikkelde storage solution.
Tevens maakten we gebruik van Cassandra (een NoSQL database voor opslaan van grote hoeveelheden data) om aangeleverde tijdreeksen voor hele dagen compact en efficiënt op te kunnen slaan.
RESULTAAT
Optimalisatie van energieverbuik
- De EDH ontvangt de meetgegevens van potentieel miljoenen leveranciers en afnemers van energie en zorgt voor een betrouwbare en veilige opslag van deze gegevens. Het is dus AVG proof.
- Het verzorgt de “schoonmaak” van de ruwe data zodat meetfouten of ontbrekende gegevens worden gecorrigeerd. Menselijke fouten worden daardoor uitgesloten.
- De EDH biedt de mogelijkheid om die data te verrijken met bijvoorbeeld meteorologische of geografische gegevens. Dit geeft een hogere mate van accuratesse aan de analyses omdat de meetgegevens rekening houden met afwijkende omstandigheden.
- De data kan voor verschillende doeleinden worden bewerkt en beschikbaar worden gesteld aan verschillende afnemers (bijvoorbeeld energiecorporaties of netwerkbedrijven)
- Eindgebruikers kunnen de gegevens gebruiken om gedetailleerd inzicht in hun energieverbruik te krijgen en mogelijkheden tot besparing te ontdekken.
- De EDH is eenvoudig in te passen in eigen applicaties en apps voor smartphones en tablets. Zo is inzicht in de meetgegevens makkelijk en gebruikersvriendelijk.
