Agile werken in Data Analytics omgevingen – the way to go?

Expertises

Sinds een aantal jaar kun je er niet meer om heen. Binnen organisaties worden steeds vaker Agile methodieken voor software ontwikkeling toegepast. Het is een uitstekend principe. Werken in korte iteraties waarin je snel waarde kunt leveren aan de klant en waar door middel van korte feedback-loops het eindproduct snel aangepast kan worden.

Ook in de wereld van Data Analytics heeft de Agile manier van werken zijn intrede gedaan. Organisaties hebben de signalen opgepikt vanuit de markt, worden enthousiast en implementeren deze manier van werken binnen afdelingen waar met data wordt gewerkt.

Toch merk je dat de uit te voeren opdrachten met betrekking tot data in veel gevallen niet zo verlopen als de methodiek voorschrijft. Het blijkt vaak complexer te zijn, omvangrijker en de verwachtingen vanuit de business zijn anders dan in eerste instantie gedacht.

Waar ligt dat aan en welke (data gerelateerde) maatregelen kun je nemen om hier op in te spelen?

Allereerst wil ik een voorbeeld geven wat in mijn optiek het verschil is met ‘gewone’ Agile software ontwikkeling. De volgende vergelijking vind ik altijd erg treffend: het bouwen van een website of bijvoorbeeld het ontwikkelen van een app voor de mobiele telefoon. Bij dit soort opdrachten heb je een concreet en visueel doel voor ogen, zijn de taken relatief eenvoudig op te delen in behapbare stukken werk en kun je snel beginnen met het maken van een Minimum Viable Product (MVP) om dat vervolgens per sprint stap voor stap uit te breiden. Precies volgens het principe van Agile werken.

Zet je dit af tegen data gerelateerde projecten waarbij een complex en allesomvattend data warehouse betrokken is dat nagenoeg de hele organisatie en externe partijen voorziet van (management) informatie, dan zijn de resultaten op korte termijn in de meeste gevallen veel minder zichtbaar en minder tastbaar voor de eindgebruiker. Ook het feit dat de informatiebehoefte van de eindgebruiker in het beginstadium nog niet volledig is, maakt het lastig om de Agile manier van werken toe te passen.

Is Data Analytics in combinatie met Agile werken dan wel een goede combinatie?

Om deze vraag te beantwoorden wil ik eerst een aantal aandachtspunten benoemen die naar mijn mening op alle omgevingen waar op een Agile manier gewerkt wordt van toepassing zijn. En dus ook op data georiënteerde omgevingen. Zonder onderstaande punten in acht te nemen in een Agile omgeving wordt het een uitdaging om überhaupt deze manier van werken toe te passen.

 –          Creëer draagvlak in de hele organisatie

 Zonder draagvlak te creëren in de hele organisatie is het ontzettend lastig, zo niet onmogelijk om de Agile manier van werken op een goede manier toe te passen. Zorg dat de hele organisatie het principe van Agile werken omarmd en deze ook toepast. Alleen dan zullen projecten die vaak specialismes van verschillende afdelingen vragen een grotere kans van slagen hebben.

 –          Blijf met regelmaat communiceren

 Met name in een transitie fase is het cruciaal om te communiceren. In het begin van dit traject, maar zeker ook gedurende het proces. Ik zie dit als een van de belangrijkste taken van het management om dit te (blijven) doen en te faciliteren. Teams dienen op de hoogte te zijn wat er speelt en er dient een duidelijke visie te zijn vanuit het management om de Agile manier van werken goed te implementeren in de organisatie.

 –          Maak (tussen)resultaten zichtbaar

Het is vooral in het begin extra belangrijk om de betrokkenen mee te nemen, aan te tonen welke acties er zijn uitgevoerd en welke successen er geboekt zijn. Door snel de eerste resultaten zichtbaar te maken creëer je begripsvorming. Ook kun je op die manier inzicht geven in de complexiteit en zul je uiteindelijk meer draagvlak krijgen bij de stakeholders.

Wat zijn dan wel typische zaken om rekening mee te houden en welke zogenoemde ‘best practices’ zorgen dat de Agile manier van werken een goede kans van slagen heeft in data gerelateerde omgevingen. Kortom:

Welke aandachtspunten maken de Agile manier van werken in Data Analytics omgeving dan cruciaal?

 –          Houd de architectuur simpel of vereenvoudig hem

Met name in grotere organisaties zie je dat er al jarenlang gebruik wordt gemaakt van legacy systemen. Hierbij kan gedacht worden aan een mainframe systeem of een backoffice systeem wat vele processen regelt binnen de organisatie. Dit zijn allesomvattende systemen die volledig zijn geïntegreerd in de bedrijfsprocessen.

Deze legacy systemen bevatten echter wel cruciale data die benodigd is in het data warehouse om hier vervolgens informatie uit te halen waarop gestuurd kan worden. Om de data vanuit zo’n legacy systeem (en de vele overige systemen) te ontsluiten in het data warehouse dient een data model ontwikkeld te worden. Vaak is dit complexe logica en de absolute uitdaging daarbij is om het nieuwe model wat gebaseerd is op het legacy systeem zo eenvoudig mogelijk te houden.

Op die manier houdt je het flexibel en ben je instaat om op een Agile manier het data model uit te breiden, er nieuwe bronnen in de toekomst op aan te sluiten of verbeteringen door te voeren. Een simpele architectuur van je data warehouse is dus cruciaal om snel op veranderende omstandigheden in te springen. Iets wat dan weer prima aansluit op de Agile manier van werken.

 –          Zorg dat je met elkaar hetzelfde praat over data

Dezelfde begripsvorming en interpretatie van de data in een organisatie is ontzettend belangrijk. Het komt nog erg vaak voor dat er bij verschillende afdelingen op een andere manier gepraat wordt over data. Wat is het, wat betekent het en voor welke doeleinden wordt het gebruikt?

Door dit helder te hebben en personen er verantwoordelijk voor te maken kan er voorkomen worden dat wanneer data ontsloten wordt in een data warehouse er bij de uitlevering nog discussies ontstaan over de terminologie. Dit proces, deze verduidelijking draagt bij aan een goede governance binnen het data domein en vervolgens ook aan de procesmatige uitvoer van data gerelateerde projecten en het beheer.

De duidelijkheid en transparantie die je hier mee creëert zijn van waarde wanneer er op een Agile manier door ontwikkelt wordt aan het data warehouse. Niet alleen op de data afdeling maar in de gehele organisatie. Je zorgt er op die manier voor dat het data warehouse en de projecten die daar aan gekoppeld zijn van toegevoegde waarde zijn voor de hele organisatie.

–          Creëer een data virtualisatie laag

Het opzetten en door ontwikkelen van een data warehouse is tijdrovend. De data behoefte is in het begin niet altijd even duidelijk en voordat de ontwikkeling in een data warehouse volledig is afgerond ben je een paar sprints verder.

Niet zozeer vanwege het ontwikkelwerk want dat kan onder andere door datawarehouse automatisering en het genereren van ETL code beperkt worden maar puur vanwege de afstemming, het volgen van de juiste processen en het coördineren van de werkzaamheden. Om vervolgens de data uit te leveren naar de eindgebruiker wordt in veel gevallen nog gekozen voor een data mart. Een voor een afdeling specifiek ontwikkelde database waarin ook weer een datamodel en veel logica in wordt opgenomen.

Dit is wederom tijdrovend en om de eindgebruiker snel en op een flexibele manier te voorzien van de juiste informatie is het beschikbaar stellen van een data virtualisatie laag een goede oplossing. Dit zorgt er voor dat de eindgebruiker op een toegankelijke en toch snelle manier beschikt over de data. Iets wat dus ingezet kan worden als ‘best practice’ in een Agile omgeving.

Zijn bovenstaande punten nu de sleutel tot succes?

Niet voor het volledige succes natuurlijk maar ze zullen er absoluut aan bij dragen om de Agile way of working  in data omgevingen een grotere kans van slagen te bieden. Feit is dat Data Analytics omgevingen zeer complex en zeer omvangrijk kunnen zijn. Er zal vooraf goed nagedacht moeten worden over de architectuur, over de governance, over de inrichting van het ontwikkelproces, de samenwerking met de data warehouse beheerders etc. Dat is tijdrovend maar wel cruciaal.

Zoals eerder al aangegeven heb je te maken met veel bronnen die draaien op verschillende technologieën. Dit zal allemaal op elkaar aan moeten sluiten. Qua tooling is dat tegenwoordig geen probleem maar voordat hier een keuze in is gemaakt, evenals de opzet, de uitbreidbaarheid en de beheersbaarheid van de data warehouse omgeving zijn we vaak vele politieke discussies verder.

Feit blijft dat het wel een succes kan worden maar dat is dan wel sterk afhankelijk van onder andere de hierboven genoemde omstandigheden. Wanneer met name de randvoorwaarden goed worden ingericht is de eerste stap gezet. Daarna begint het met discipline, communiceren, draagvlak creëren en een heldere visie uit een zetten die door alle betrokkenen wordt gedeeld.

 

Gerelateerde berichten