Data virtualisatie is de trend op het gebied van data warehousing. Een oplossing die snel, flexibel en near real-time data biedt. Hoe zit dat precies? En wat zijn de voor- en nadelen?
Traditioneel
Traditionele data warehouses hebben organisaties veel gebracht en zijn al jaren gemeengoed. Toch is er één probleem dat we vaak tegenkomen; beschikbaarheid van de data. Specifieker: real-time beschikbaarheid van de data. Traditioneel verversen data warehouses één keer per nacht en loopt informatie dus een dag achter. Mede om dit probleem op te lossen, is het concept data virtualisatie geïntroduceerd.
Virtueel
Bij data virtualisatie ontbreekt de onnodige fysieke kopieslag van data vanuit bronsystemen richting de eindgebruiker. De logica die nodig is om tot een dashboard te komen wordt zoveel mogelijk virtueel gemaakt, oftewel real-time op te vragen. Hierbij is dus niet opslag van gegevens leidend, maar rekenkracht om de data op te kunnen halen als dit nodig is. Dit maakt een data warehouse wendbaar en de data snel beschikbaar.
Toch heeft een virtueel data warehouse ook nadelen die een traditioneel data warehouse niet had. U kunt hierbij denken aan de enorme belasting op bronsystemen waardoor operationele processen vertraging oplopen. Of wat als een van uw operationele servers down is? Dan heeft u meteen geen beschikking meer over uw stuurinformatie. En wat als u een trend wilt rapporteren over de afgelopen periode, maar het operationele systeem houdt geen historie vast? Ook de licentiekosten van een data virtualisatie platform zijn niet gering.
Dash Data Platform
Wat als we nu al het goede van een data virtualisatie en traditionele oplossing combineren? Dus een oplossing die snel, flexibel en near real-time data biedt, waar operationele processen geen last van hebben en waar geen hoge licentiekosten aan verbonden zijn?
Dash Data heeft een oplossing ontwikkeld die hier gehoor aan geeft. Een concept waarin u zelf aan de knoppen kunt draaien. Het biedt een centrale informatie laag waarin u zelf kunt bepalen of bepaalde informatie near real-time beschikbaar moet zijn, of dat er bijvoorbeeld historie moet worden opgebouwd omdat uw bronsysteem hier niet in voorziet. Ook is het mogelijk om alleen data te verversen die is gewijzigd en kunnen informatie stromen parallel worden bijgewerkt.
Deze architectuur bestaat uit drie hoofdcomponenten: Data, Aansturing en Ondersteunende services.
Aansturing
De aansturingscomponent bestaat uit alles wat nodig is om de processen in het data platform geautomatiseerd en soepel te laten verlopen. Hierbij kunt u denken aan procedures, metadata, Azure data factory etc.
Data
De datacomponent bestaat uit alle gegevens die van ruwe data tot informatie worden gevormd. Dit wordt gedaan in drie stappen: select, combine en access.
In de eerste stap (select) wordt er bepaald welke data er nodig is uit bepaalde bronsystemen. In de tweede stap (combine) worden de verschillende bronnen geïntegreerd tot een bedrijfsinformatiemodel. En in de derde stap wordt de data voorbereid op rapportage doeleinden.
Voor elk object in deze 3 stappen kan er met een druk op de knop ingesteld worden of het object virtueel blijft, dat er moet worden gecachet of dat er historie moet worden bijgehouden.
Ondersteunende services
Naast de aansturing en de data zelf zijn soms ook additionele tools handig om bijvoorbeeld data security te waarborgen of om de producten te kunnen uitrollen in de organisatie. Hierbij kunt u denken aan Azure Key Vault, Azure DevOps etc.
Wilt u meer weten over hoe dit precies werkt of bent u benieuwd hoe uw organisatie hier gebruik van kan maken? Neem contact met ons op.
