Een plek voor al je data met een data lakehouse
Analyseer semi- en ongestructureerde data met een data lakehouse en maak stappen naar machine learning en data science met behulp van een data lakehouse.
Data lakehouse
Het beste van 2 werelden
In de wereld van data solutions kom je steeds vaker de term data lakehouse tegen. Een data lakehouse brengt het traditionele datawarehouse en de gestructureerde, semigestructureerde en ongestructureerde data uit een datalake samen, en het lost daarmee een aantal problemen op.
Wat is een data lakehouse?
De term data lakehouse is een samentrekking van het bekende datawarehouse en het datalake, en is een onderdeel van de zogenaamde modern data stack. Waar je in het datawarehouse alleen gestructureerde data hebt, zie je in het datalake juist semi- en ongestructureerde data. Voeg je deze 2 samen, dan open je de deur naar data science en machine learning.
Inspired by Databricks
Ook zij hebben een data lakehouse
Welke problemen lost het data lakehouse op?
Plek voor al je data
Het komt regelmatig voor dat je semi- en ongestructureerde data moet analyseren en toe zou willen voegen aan je datawarehouse. Helaas is dat niet mogelijk, omdat alleen gestructureerde data in een datawarehouse terecht kan komen. Met een data lakehouse krijgt al je data een plek, en hoef je dus niet meer te schuiven met data. Bovendien wordt alle data beheerd vanuit 1 plek en 1 architectuur.
Eerste stap naar machine learning & data science
De tools die je nodig hebt om machine learning en data science toe te passen, zijn een stuk sneller toe te passen als je gebruikmaakt van een data lakehouse in de cloud. Dat komt onder andere omdat alle benodigde bronnen bij elkaar staan, en omdat je dev-omgeving gelijk is aan productie. Bovendien worden ruwe gegevens tegen lage kosten voor onbepaalde tijd bewaard, zodat je ze in de toekomst kunt gebruiken voor bijvoorbeeld machine learning.
Data lakehouse is minder kostbaar
Een datawarehouse staat altijd aan en kost dus altijd geld. Een data lakehouse in de cloud werkt vraaggestuurd en draait alleen als je om iets vraagt. Deze loskoppeling van opslag en rekenkracht is goedkoper en efficiënter. Bovendien hoeft de beschikbare rekenkracht niet verdeeld te worden, waardoor je elkaar niet in de weg zit.
Voor een van onze klanten, Kabelnoord, hebben een dataplatform met een datalakehouse van databricks gemaakt. Benieuwd naar deze klantcase? Lees hem hier.
Ontdek hoe je data betrouwbaar maakt in deze tijden van versnippering.
Techniek & software
We zetten onder meer deze technieken en software in
Hoe we met jou tot een data lakehouse komen
Stap 1: platform en cloudprovider kiezen
Het ligt voor de hand om je data lakehouse in de cloud te bouwen. Of je nu al met AWS, Azure of een andere cloudprovider werkt: wij passen ons aan. Heb je nog geen cloudprovider op het oog, dan liggen partijen als AWS en Azure zeker voor de hand.
Stap 2: Architectuur data lakehouse bepalen
Grote partijen als AWS en Microsoft bieden referentiearchitectuur aan voor een data lakehouse. We kunnen deze architectuur als uitgangspunt nemen bij de ontwikkeling van jouw oplossing.
Stap 3: data lakehouse opzetten
Simpel gezegd is het nu een kwestie van het opzetten van de gekozen componenten en het maken van koppelingen tussen componenten en databronnen. Het inlezen en verwerken van ruwe data noemen we een data pipeline.
Stap 4: data verbeteren
In deze stap kijken we naar je wensen op het gebied van data: wat wil je weten, wat wil je zien en met welk doel? Op basis daarvan gaan we aan de slag met het verbeteren van de data uit de verschillende bronnen in het data lakehouse, zodat jij de informatie krijgt die je nodig hebt. Stap 3 en 4 kunnen we in principe tot het einde der tijden blijven herhalen, of totdat je alles weet wat je wilt weten.
Meer weten?
Wil je hier meer over weten? Neem dan eens vrijblijvend contact met ons op.
