Dataverbinding zonder vermenging

Automatiseringstrajecten of digitale transformatie tot een succes maken begint met een duidelijke definitie van de toegevoegde waarde. Dit is in het geval van datacentralisatie en connectiviteit niet anders. Het antwoord op de vraag waarom bepaalde datastromen samen moet worden gebracht bepaalt vrijwel elke stap die volgt. Hoewel het voor sommigen wellicht niet als een verassing komt dat een dataconnectie tussen webwinkel en boekhoudpakket anders is dan tussen ERP pakket en rapportages, is het belangrijk te weten waarom dit zo is. Immers sla je ook geen spijker in de muur met een schroevendraaier.

Snel of complex?

In de regel onderscheiden we twee typen datastromen; transactioneel en analytisch. Een connectie om voorraad tussen een WMS en een webwinkel te synchroniseren, is typisch transactioneel. Hierbij gaat het om kleine hoeveelheden relatief simpele data in hoge frequentie, immers moet een gebruiker op de webwinkel altijd een zo actueel mogelijk beeld hebben van de te verkopen voorraad.

De datastromen om de maandelijkse rapportages van een manager te vullen is per “brok” groter en complexer van aard, en komt vaak uit meerdere systemen. Hierbij is het ook belangrijk dat de data op gezette tijden zijn verzameld, echter is het interval groter. Dit is maar goed ook, want de rekenkracht die nodig is om het rapport te maken is meestal ook groter dan bijvoorbeeld een voorraad update. Datastromen als deze noemen we analytisch.

Een data-engineer zal afhankelijk hiervan dus ook ander gereedschap inzetten om de stromen zo dicht mogelijk bij de businessvraag te brengen en daarbij betrouwbaarheid te borgen.

Of beide?

Met het gemak en de snelheid waarmee data vandaag de dag verzameld kunnen worden, en impact heeft op onze keuzes, begint de harde scheidingslijn tussen transactionele en analytische data deels te vervagen. Hoewel de doelstellingen van deze soorten stromen niet zozeer veranderen, zie je vooral een verschuiving in het interval; ook analytische data moeten steeds sneller verwerkt kunnen worden op basis van steeds grotere brokken. Denk bijvoorbeeld aan fabrieksmachines die steeds sneller en grotere hoeveelheden informatie door kunnen geven over hun performance. Om meerdere van deze machines goed op elkaar af te stemmen om zo maximaal effectief te kunnen zijn als keten, vraagt het verzamelen, verwerken en duiden van enorme hoeveelheden informatie in een liefst zo kort mogelijke tijd.

Gelukkig beschikken we tevens over steeds meer gereedschap waarmee we ook met deze zogenaamde “Big Data”, de verschillende businessvragen kunnen beantwoorden. Zorgen dat de échte vraag op tafel komt, en constante kennisontwikkeling van de beschikbare technieken en gereedschappen is hierdoor belangrijker dan ooit.

Tijs van der Velden
Cloud solution architect en data engineer bij SIENN