Wat is data lineage, en waarom heb dat nodig?

Eerst deden we een stap terug om de context te beschrijven waarin data lineage zinvol is.

Bij het bedienen van je klanten krijg je bepaalde inputs, zoals bouwplannen. Vervolgens lever je bepaalde outputs: zoals een gebouw. Om van de inputs naar de outputs te gaan doorloop je een reeks stappen om daar te komen. Dit zijn je bedrijfsprocessen. 

Om deze outputs op een efficiënte manier te leveren, gebruik je software systemen om ze te ondersteunen. Deze systemen kunnen ERP systemen zijn om bestellingen en voorraad bij te houden, of financiële systemen om je boekhouding te doen, of CRM systemen om klantcontacten en verkoopkansen bij te houden. Deze systemen bevatten wat ik kleine data noem. Het kunnen grote datasets zijn, maar ze worden op een zeer gestructureerde manier opgeslagen in de onderliggende databases van de transactionele systemen. Er zijn ook zeer waardevolle use cases te ontwikkelen met big data, maar laten we die nu even terzijde leggen.

Xudo's motto is: zet eerst je small data op orde, voordat je begint met big data.