De uitdaging

Een solide data warehouse is voor een Fintech-organisatie, die dus onder toezicht van de AFM staat, van cruciaal belang. Als data die wordt opgevraagd of weergegeven niet klopt, heeft dat veel impact op heel veel mensen. Het bestaande data warehouse van BUX was on-premise gebouwd en begon te verouderen. Vernieuwingen toepassen zou een zeer kostbare aangelegenheid worden en sloot bovendien niet aan op de cloud-first strategy van BUX.

De oplossing

Na een oriëntatiefase, waarin BUX de voor- en nadelen van de verschillende cloud providers op een rijtje heeft gezet, besloot BUX de volledige data stack over te plaatsen naar Google Cloud Platform. Het paradepaardje BUX Zero draaide al op GCP, en men was daar erg tevreden over en vertrouwd mee. Bovendien sluit de culturele fit van Google  – waarin onder andere open source en keuzevrijheid hoog in het vaandel staan – ook nog het beste aan bij de visie van BUX. Al met al was het dan ook een logische keuze om de BI-omgeving van BUX naar het Cloud Platform van Google te verplaatsen.

De keuze voor het data warehouse is gevallen op Snowflake. BigQuery zou – aangezien het een product van Google zelf is – wellicht logischer lijken, maar bleek voor het vraagstuk van BUX niet helemaal geschikt (lees meer over Snowflake vs BigQuery).

BUX heeft g-company ingeschakeld om te helpen met het overzetten van de data uit de verschillende databronnen. Hierbij heeft g-company de basis gelegd van een goede infrastructuur voor de nieuwe data stack. Dit was een vrij complex project, waarbij allereerst het volledige netwerk moest worden uitgedacht en uitgetekend. Vervolgens is het applicatielandschap gebouwd met Kubernetes waar AirFlow op draait (een scheduler voor data pipelines). Alles is aan elkaar verbonden, zodat BUX alleen nog maar de data pipelines hoeft te schrijven.

Het is vrij uniek dat er zo zwaar wordt ingezet op het moderniseren van de infrastructuur waar het in de basis om een data project gaat. Maar voor een modern bedrijf dat opereert op de schaal van BUX was het essentieel om alles direct goed te doen, vanaf de fundamenten.

In de tussentijd heeft BUX zelf twee data engineers in dienst genomen en heeft g-company de kennis overgedragen naar BUX, zodat zij zelf de touwtjes in handen hebben. Alle code die g-company heeft geschreven, hebben de engineers inmiddels helemaal zichzelf eigen gemaakt.

Het resultaat

BUX heeft nu een infrastructuur die het mogelijk maakt om al hun data pipelines op een schaalbare, testbare, herhaalbare en beheersbare manier op te zetten. Er zijn drie Kubernetes clusters gemaakt – voor ontwikkeling, testen en productie –  waarmee BUX alle datastromen in een ontwikkelstraat kunnen zetten. Alles draait op dezelfde manier middels infrastructure-as-code, wat het geheel ook zeer onderhoudbaar maakt.

Kortom: de hele data stack is herhaalbaar en schaalbaar, wat vrij uitzonderlijk is.