Wouter stelde een pragmatische data architectuur voor op maat van onze specifiek situatie

Relational databases zijn niet goed geschikt om dashboards aan te koppelen.

Om van je business application naar een analytics oplossing te gaan, is meestal een tussenstap nodig. De relational database van een ERP systeem is niet erg goed geschikt om je dashboards direct aan te koppelen. Dit type database is gebouwd om de verschillende stappen in je productieproces, project planning of financiële transacties op te slaan, en heeft meestal een groot aantal veel verschillende tabellen om dit zo efficient mogelijk te doen. Dit grote aantal tabellen in een relationele database is het resultaat van het normaliseren van de data. Dit normaliseren is bedoeld om het aantal keren dat dezelfde informatie wordt opgeslagen te beperken. Het vinden van een goede balance tussen te veel en te weinig normalisering is een kunst die alleen een ervaren database designer onder de knie heeft. Als je je relationele database over-normalizeert wordt ze moeilijk om te onderhouden of uit te breiden.

De-normaliseer je data voordat je een data viz dashboard koppelt

Data visualization dashboards zijn bedoeld om trends in je business te ontdekken. Maar ze zijn moeilijk om direct te koppelen aan een relationele database met veel verschillende tabellen. Ze volgen een verschillende logica, wat betekent dat het data model gedenormalized moet worden. We geven het idee op om informatie slechts één keer op te slaan, en allow for duplicates om visualizations te faciliteren. Denk aan de manier waarop je data structureert die je wilt gebruiken in een Excel pivot table. Daar allow je ook for doubles in je data source om de pivot table aan te koppelen. Een data warehouse is gebouwd voor dit soort de-normalized data models. In general zijn er twee soorten: dimensional models en data vault models. Lees hier meer over data warehouses.

Assumpties die vervuld waren in het geval van Verhofste

In het geval van Verhofste was geen data warehouse aanwezig. Het bouwen van een nieuwe DWH heeft significante kosten en doorlooptijd. In de plaats hiervan adviseerden we om de data die nodig was om de vereiste analyses uit te voeren te de-normalizeren als views in de database van het ERP. In deze context bedoelen we met views de technische term voor queries opgeslagen als tabellen. Er waren een paar veronderstelling vervuld die dit mogelijk onde maken bij Verhofsté: er is een good contact met de ERP ontwikkelaar die een developer kon vrijmaken om de views te bouwen, alle data die nodig was voor de analyses was aanwezig in het ERP, een unieke key om de ERP data te linken aan de boekhouding bestond al, geen historizatie of snapshots van de data waren in scope.