Datalake, een ‘party-pooper’?

inmon-data-lake-arch-coverNou hebben we net alles een beetje op orde in Business Intelligence (BI) land en dan komt er weer iets de pret bederven: ‘Datalake’.

In nog geen 25 jaar hebben we de BI industrie volwassen zien worden met volwassen tools, prachtige databases en datawarehouses.

Er is met Datalake een ‘new kid on the block’ en als je daar al je data in stopt – maakt niet uit wat – dan bereik je het Walhalla. Althans, dat staat in de folder.

Met gepaste twijfel kijken we door onze BI bril naar dit nieuwe fenomeen. Een beetje angstig wellicht. Zijn we BI bejaarden geworden? Horen we er straks niet meer bij?

De vraag hebben we j.l. onderzocht op 3 november tijdens onze Architect meets Architect workshop. Samen met key architecten van onze relaties hebben we het Datalake fenomeen bestudeerd. Met als thema ‘Datawarehouse versus Datalake’.  Graag deel ik met u de opgedane inzichten.

  • Een Datalake is een file-systeem waarin je iedere vorm van data kan opslaan zonder vastlegging van samenhang. Die samenhang bepaal je zelf afhankelijk van de vraag. Een Information Directory zou wel handig zijn (of vereiste).
  • Ongestructureerde data bestaat niet. Een JPEG heeft structuur, een .DOCX bestand heeft structuur. Tenzij het alleen een bosje nullen en enen zijn zonder betekenis. Gooi maar in het meer.
  • Met een Datalake ga je terug in de tijd. Je hebt meer dan 10 tools nodig en 6 talen om er wat zinvols mee te doen. Het staat nog in de kinderschoenen. Overigens zeiden ze dat 25 jaar geleden ook van BI…
  • Het schaalt wel lekker, zeker in de cloud. Met een prijskaartje.
  • Zonder ingerichte Data Governance / Data Management heb je weinig aan een Datalake.
  • Leuk voor Data Scientists, minder geschikt voor stuurinformatie en rapportage.
  • Ook met een Datalake zal een Data Scientist nog altijd (te)veel tijd besteden aan data preparatie.
  • Kijk eerst eens naar welk ‘pattern’ (Forrester) je als organisatie kiest voordat je een Datalake aanzet.

Een voorzichtige conclusie: Datalake; het is daar en het zal een plek krijgen. Hoogst waarschijnlijk als instrument voor beleid en strategievorming. Of sjiek gezegd:  a management tool supporting evidence-based/fact-based policy making.

Nu nog er voor zorgen dat het management het aandurft beslissingen te nemen op basis van algoritmes en modellen. Is toch wat anders dan op basis van data uit transactionele systemen, datawarehouses en huidige BI oplossingen. Die vormen wel een prima basis voor een stap naar vraagstukken ondersteund door een Datalake concept.

Mijn advies: zoek de samenwerking langs de as van Data Management. Dan hebben we allen een mooie(re) toekomst. En als je dat op een speelse manier wilt ervaren, maak dan kennis met ons Datapoly spel.

Spelenderwijs datamanagement verkennen met Datapoly

datapoly

Wat begon als een wild idee is nu werkelijkheid. Vandaag is het spel Datapoly gelanceerd. Met dit spel maak je spelenderwijs kennis met de dynamiek en uitdagingen van datamanagement.

Organisaties willen wendbaarder worden en meer informatie gestuurd werken. Naast een goede data architectuur is datamanagement een randvoorwaarde voor informatie gestuurd werken.

Dat is makkelijk gesteld. Dat gaat niet vanzelf. De uitdaging is je management mee te krijgen en je collega’s die al op onderdelen van datamanagement actief zijn.

Het Datapoly spel is gebaseerd op het vier kwadrantenmodel van Ronald Damhof, een ideaal hulpmiddel voor het bespreekbaar maken van datamanagement. Als variant op Monopoly reis je langs de kwadranten en met de algemeen fonds en kanskaarten wordt je geprikkeld. Met de inzet van Datacoins werk je aan business value.

Datapoly is uitermate geschikt voor informatie voorziening professionals en hun directe (interne) klanten. Het helpt je in het professionaliseren van je dienstverlening. Ideaal voor workshops voor het aanwakkeren van bewustzijn of als energizer in een CxO overleg.

Vandaag is met gepaste trots het eerste exemplaar aan Ronald Damhof overhandigd.

Deel dit bericht en maak kans op een eigen exemplaar! Een tweetje naar @dataliberator daarna volstaat.

Het is maar een spelletje…

ronald-damhof-datapoly

Let’s play Datapoly?

monopolyWe zijn allemaal bekend met het spel Monopoly. Een competitief spel waarin je straten verzamelt en kan toewerken naar een machtsblok.

Dit doet mij denken aan het strijdtoneel wat ik tegenkom als ik over datamanagement bij relaties in gesprek kom. Iedereen wil z’n eigen straatje hebben met zijn eigen spelregels. Niet echt bevorderlijk voor het samen boeken van resultaten.

Op zich heel begrijpelijk. En des te meer als je in een taakgerichte organisatie werkt. Eerst je eigen straatje op orde. Logisch, want daar word je op afgerekend. En praktisch: met een taakfocus heb je minder gedoe en voel je je veiliger.

Dat is ok als de wereld om je heen niet al te snel verandert. Maar ja, als dat wel zo is, hoe kan je dan als organisatie relevant blijven en overleven? En je baan behouden…

Als organisatie ben je geen verzameling van taken maar dien je een doel wat je met goed ingeregelde processen wilt realiseren.  Het inzicht dat je onderdeel bent van een keten helpt enorm, zeker als je datamanagement wilt professionaliseren binnen je organisatie.

datamanager_bigStel dat procesdenken al goed geland is binnen je organisatie dan merk je dat datamanagement steeds meer een dingetje wordt. Het is randvoorwaardelijk.

Hoe krijg je datamanagement op een hoger nivo?  Datamanagement moet je volgens mij beleven voordat je er naar gaat handelen. Het is net zoals procesdenken een mindset en dat vraagt om het ontwikkelen van bewustzijn, er mee aan de slag gaan en continu verbeteren.

Zou het een idee zijn om voor het vergroten van het bewustzijn een management game te ontwikkelen a-la Monopoly? Een spel voor bestuurders en informatie managers. Ik denk ’t wel.

Als werknaam kies ik Datapoly.  Tips? Meedenken?  Op woensdag  13 juli organiseer ik een Meetup voor een brainstorm. Schrijf in als je zin hebt.

 

Dataverloskundige, what’s in a name?

datababyEnkele jaren geleden ben ik geïnspireerd door Guido Thys die zich ‘bedrijfsverloskundige’ noemt. Wat mij prikkelde is zijn drive om mensen uit de wurggreep van hun bedrijfscultuur te verlossen en aan te zetten tot innoveren.

Wij noemen ons ‘The Data Liberation Company’, we bevrijden data. De brug naar data verlossen uit de wurggreep van hun datacultuur is snel gelegd. Ik ben Dataliberator en dan vertaald naar Guido’s term een ‘dataverloskundige’.

Datacultuur is te omschrijven als ‘zo hebben we het altijd al gedaan’, zeg maar de comfortzone. Lekker warm en veilig data in complexe datawarehouses stoppen. En dat is ok, totdat de wereld ineens harder verandert dan je bij kan houden. Dat overkomt bedrijven, en ook data. Dan hebben we het over disruptie, omdat het ons schijnbaar ineens overkomt. Als bedrijf ben je ineens minder relevant. Je bent te lang in je comfortzone gebleven. En naar data; deze is minder relevant en waardevol. Jammer, maar helaas. Je zit er wel mooi mee in je maag, je komt en niet zomaar vanaf.

Data moet leven en relevant blijven. Dan is er sprake van toegevoegde waarde en heeft data een mooie toekomst.

images-2Als dataverloskundige gun je de data baby een mooie toekomst. Je wilt de data baby gezond en sterk in de wereld zetten. En ze in handen geven van goede data ouders. Data ouders die beseffen dat data aandacht nodig heeft en dat data kan puberen en het huis kan verlaten, en van een mooie oude dag mag genieten. Er is overigens een mooie term ‘Data Life Cycle Management‘ die daarop aansluit.  Zo origineel is dataverloskundige ook weer niet.

Back to reality; wat heeft u aan deze invalshoek? Ik hoop dat het u prikkelt, en laat nadenken over waar u het verschil kunt maken met data. Met als resultaat dat u een nog trotsere ouder wordt.

En in lijn met de presentatiewijze waarop Guido zijn publiek graag prikkelt: Laat ons u inspireren met een wervelende en inspirerende data liberation workshop.  Twitter naar @dataliberator, reageer op deze post of stuur een SMS-je naar 0653156269. Ik sta klaar voor een volgende data bevalling!

Data ontgijzeling

Aaaarg!

Stel je bent informatiemanager en je wordt heen en weer geslingerd tussen managers met onvoorspelbare informatievragen en applicaties van leveranciers vol met ontoegankelijke data. Wat is dan wijsheid? Je weet al dat het vinden van antwoorden op iedere ad hoc informatievraag een stroperig proces wordt. Het antwoord komt te laat, is onvolledig en roept nieuwe vragen op. Een proces wat je reputatie niet echt goed doet. En ook je humeur niet.

Hoe kom je uit deze wurggreep? Ik kan zo een hele lijst van opties geven zoals een cultuur veranderingstraject, een change procedure implementeren, aanschaf van een handig self-service reporting tool, een nieuw datawarehouse project en ga zo maar door. Alleen dat is gedoe, en daar zitten de meeste managers niet op te wachten.

Als Dataverloskundige ben ik voorstander van het verlossen – ontgijzelen – van de data uit de wurggreep van de applicaties. En als die data eenmaal vrij is, dan moet je voorkomen dat je het opslaat in een volgende ‘datajail’.

Sla de data bij voorkeur op zonder transformatie met een handige structuur of index zodat je bij iedere informatievraag in kortstondige scrum sprints deze vraag kan beantwoorden.

Qua structuur leent een datavault model zich daar prima voor. Een ander optie is een datalake met een handige metadata tagging en index voorziening zoals Waterlinedata.

Potje Data Darten?

datadartHoe overtuig je bestuurders dat er achter een simpele vraag als ‘maak voor mij een KPI’ een hele wereld schuil gaat?
Een Datamanagement wereld waarin aspecten als bijvoorbeeld goede data vastlegging, data definities en security van belang zijn.
Je kan dan niet aankomen met uitgebreide verhalen over stoere frameworks, of je frustratie uiten over het gebrek aan data eigenaarschap. Wat helaas vaak wel het geval is…

Laten we een potje Data Darten. Data Darten is een op speelse wijze vergroten van het bewustzijn rond Datamanagement. Niet om je gelijk te halen, maar om een indruk te geven wat er bij komt kijken om betrouwbare KPI’s op te leveren.

Het duurt nog geen half uur, en de regels zijn simpel. Koop een dartbord (10-20 Euro) en plak daar het best-practice Datamanagement DAMA-BOK diagram op (misschien even vertalen). Zet een te realiseren KPI symbolisch in het midden in de ‘bullseye’. En geef de bestuurders dan ieder een pijltje.

Stel na een korte toelichting dan de vraag; wat zou er nodig zijn om te komen tot betrouwbare KPI’s? De bestuurders mogen om de beurt een pijl prikken op het dartbord. En laat ze persoonlijk hun keuze toelichten. Daar begint het besef en dat het meer is dan alleen techniek. Er moet ook iets gebeuren in de organisatie. En dat besef is winst.

Een volgende stap kan zijn dat je aanbiedt een inventarisatie uit te voeren om te bezien wat de huidige stand van zaken is, en op basis daarvan een advies neerlegt voor een stapsgewijze invulling van een robuust Datamanagement. En vertel er dan bij dat je een paar KPI’s al wilt opleveren, die mogelijk nog niet zo robuust zijn.

Gaat uw Datawarenhuis failliet?

faillietSteeds meer grote warenhuizen gaan failliet, of moeten besluiten flink af te slanken. Ze zijn ontstaan in tijden dat mensen naar winkels toegingen, en het gemak boden in het vinden en kopen van producten uit een breed assortiment.

De tijden zijn veranderd. Mensen vinden producten op een andere manier, en kopen zonder bezoek aan de fysieke winkels. Shoppen moet een beleving worden met herkenbare onderscheidende formules voor specifieke doelgroepen. Het alles omvattende warenhuis (‘enterprise datawarehouse’) heeft geen toekomst.

Sla deze parallel eens door naar het datawarenhuis. Het is ook een gebouw met een groot assortiment aan informatie producten. Sommige producten zijn snellopers, andere liggen stoffig in het schap.

En ook een datawarenhuis kan alleen open blijven met voldoende personeel. En dat is kostbaar. En dan moeten de klanten wel blijven komen. Door de toename van BI self-service en zogenaamde ‘shadow-it’ lopen klanten de deur voorbij. Ze vervullen op een andere manier hun informatie behoefte.

Wat is nu wijsheid? Wachten totdat u het datawarenhuis moet sluiten? De praktijk heeft uitgewezen dat je kunt overleven als je sneller en flexibeler op de wijzigende behoeften kunt inspelen.

60108

Hoe dan?  Enkele suggesties:

  • Bouw een magazijn op met alle feiten.
  • Organiseer kwaliteitscontrole bij ontvangst.
  • Stel ‘on-demand’ informatie producten samen met deze feiten.
  • Minimaliseer investeringen in het oude datawarenhuis.
    • Staak (door)ontwikkeling en besteed het beheer uit.

En een ‘open deur’: begin er aan voordat het te laat is..