Hoe ik AI gebruik in data engineering (en wat ik zelf hou)

39 QlikView-apps migreren naar Qlik Sense Cloud betekende vroeger weken expressies overtypen. Vandaag leest een script elke QlikView-projectmap, haalt de expressies eruit en stelt master measures voor. Ik kijk ze na.

AI heeft mijn job de voorbije twee jaar meer veranderd dan eender welke tool in de twintig jaar daarvoor. Doen alsof dat niet zo is, zou oneerlijk zijn.

Maar “ik gebruik AI” zegt niets. Iedereen zegt het. Zo ziet het er in de praktijk uit.

Eerst requirements, dan code

AI schrijft snel code. Het schrijft ook snel de verkeerde code.

Dus het werk begint waar het altijd begon: wat moet de business zien, uit welke bron, op welk detailniveau, hoe vaak. Dat schrijf ik uit voor er één lijn code bestaat. Hoe scherper de requirements, hoe beter de code die AI ermee maakt.

Dat deel is niet sneller geworden. Het is belangrijker geworden.

Herhaalbare scripts, geen losse chats

Ik vraag AI niet om je data te transformeren. Ik vraag AI om me te helpen het script te schrijven dat je data transformeert.

Een chatantwoord is elke keer anders. Een Python-script doet op maandag hetzelfde als op vrijdag. Je kan het versioneren, testen, volgend kwartaal opnieuw draaien en overdragen aan je eigen team.

Voorspelbaar wint van slim. Zeker als finance de cijfers moet aftekenen.

Bewezen recepten, sneller gebouwd

Ik begin zelden van nul. Open-source packages en gedocumenteerde API’s lossen het meeste zware werk al op. Iemand anders schreef de connector, de parser, de deploytool al.

Wat veranderd is: hoe snel ik die stukken samenzet. AI bedient de tools via hun API of command line, zodat mijn tijd naar de delen gaat die specifiek zijn voor jouw bedrijf.

Vier voorbeelden

ABC Engines: van QlikView naar Qlik Sense Cloud. 39 apps, 73 brontabellen uit de Infor LN data lake. Python-scripts sturen de Qlik command line aan: QlikView-expressies uitlezen, master measures en variabelen genereren, apps deployen, brondata vergelijken met wat er geland is. Zelfs de sheet-thumbnails zijn nu een script. Dertig sheets waren vroeger een halfuur screenshots nemen.

In The Pocket: een dataplatform op BigQuery. 12 bronsystemen, uitgerold met Terraform en GitLab CI. Ik bouwde mijn eigen AI-tooling (Claude Code skills en MCP-connectoren) voor het repetitieve deel van data engineering. Zo bleef er tijd over voor het datamodel en voor de automatische kwaliteitschecks die de rapportage consistent hielden tijdens een platformmigratie.

StaticShift: een product naast het consultancywerk. Snelle statische websites voor advocaten en notarissen. Hugo, een open-source sitegenerator, doet het zware werk. AI hielp me bouwen wat errond zit: een scanner die de website van een prospect scoort en een prijsconfigurator.

Prima Materials: bouwmaterialen classificeren. Een prijsdatabank voor architecten. Materialen worden geclassificeerd met de Claude API en een lokaal open-weight model (Gemma via Ollama). Een model lokaal draaien houdt gevoelige data in huis waar dat nodig is.

Wat ik niet aan AI geef

De visie.

Welke vraag er voor jouw bedrijf toe doet. Welke KPI echt een beslissing stuurt. Wat je eerst bouwt, en wat je beter helemaal niet bouwt. AI zit niet in je managementoverleg. Het weet niet dat sales de cijfers niet meer vertrouwt sinds de laatste reorganisatie.

Goed datawerk is een cyclus: business case, data, dashboard, en terug naar de business case. AI versnelt het midden. Het begin en het einde zijn van mij.

Wat dit voor jou betekent

Hetzelfde resultaat in minder dagen. Je betaalt voor oordeel en architectuur, niet voor typwerk.

En je data blijft waar ze hoort. AI werkt op code, schema’s en metadata. Waar de klantdata zelf verwerkt moet worden, kies ik liefst voor modellen die lokaal draaien.

Welk deel van je datawerk draait vandaag nog elke week op handwerk?