CitM VII : Real-time fast data in een microservice architectuur

Hoe zorg je ervoor dat in een e-commerce omgeving waarin heel veel data wordt gegenereerd en geconsumeerd, data (near) real-time wordt getransporteerd en gedistribueerd? En dit met zo min mogelijk afhankelijkheden en 'coupling'. Hier ontmoeten software-architectuur en data-architectuur elkaar.

Mark van Gool, data architect en product owner bij Wehkamp, vertelt het verhaal achter de technologie van Nederlands grootste fashion-retailer Wehkamp. Denk hierbij aan microservices, Kafka, (big) data processing en data lakes. En met een beetje geluk lukt het om een deel van deze data-architectuur te demonstreren door zijn eigen multi-core distributed streaming data processing cluster mee te nemen en te tonen.

Mark van Gool
Na vele jaren werkzaam te zijn geweest als ontwikkelaar en software architect, heeft Mark zijn interesse en aandacht verlegd naar data, data-architecturen en dataplatformen. Deze moeten in staat zijn om data te serveren, te integreren, te transporteren en te verwerken voor andere systemen, microservices, maar ook analytics, intelligence, data science en externe partijen. In de rol van technisch product owner van het ‘tech data’ team bij Wehkamp is hij verantwoordelijk hiervoor.