Reinforcement learning voor optimalisatie bedrijfsvoering Vitens

Het drinkwaterbedrijf Vitens voorziet 5,6 miljoen zakelijke en particuliere klanten van kraanwater via een distributienetwerk van 49.000 kilometer en 96 productielocaties. Om aan deze watervraag te kunnen blijven voldoen, moet het bedrijf anticiperen op veranderingen in de wereld om haar heen. Zo zorgen bijvoorbeeld vaker voorkomende periodes met hoge temperaturen door klimaatverandering en een toenemend verbruik van drinkwater door particulieren en bedrijven voor een toenemende druk op de drinkwatervoorziening. Daarom staat besparing van drinkwater bij klanten inmiddels hoog op de agenda bij Vitens. Daarnaast wordt er voortdurend gewerkt aan verdere optimalisatie en verduurzaming van de bedrijfsvoering. Dit alles kan uiteraard alleen door voortdurend te blijven onderzoeken en ontwikkelen. De afdeling Business Development coördineert binnen Vitens de Innovatie & Onderzoek agenda en initieert o.a. onderzoeken en (pilot)projecten naar de toepassing van nieuwe technologieën en technieken. De inzet van data science is hier een belangrijk onderdeel van.  

Eén van de recent gestarte pilotprojecten richt zich op het verkennen van de mogelijke toepassing van reinforcement learning bij de verdere optimalisatie van de productie en distributie van drinkwater. (Meer informatie over reinforcement learning vind je hieronder.) 

In een solution design fase verkenden we gezamenlijk met Vitens de eerste ideeën. Dit leverde twee concrete en mogelijke toepassingen van reinforcement learning op. De uiteindelijk gekozen casus richt zich op ‘de optimale inzet van distributiepompen’. De uitdaging is: voor ieder debiet, bepaal de optimale selectie van beschikbare pompen om met zo min mogelijk energie (zo hoog mogelijk rendement) aan de watervraag te voldoen.

Reinforcement learing

Reinforcement learning is een data science-techniek en valt onder de categorie: machine learning. Reinforcement learning heeft een zelflerend vermogen. Het zelf leren heeft als doel: het ideale gedrag ontdekken voor de best haalbare prestaties.

Het algoritme zal, door interactie te hebben met zijn omgeving, van alles proberen om uitkomsten te verzamelen. Precies zoals een opgroeiend kind dit doet wanneer het zich stoot tegen een steen: een negatieve uitkomst om van te leren. De computer wordt niet aan de hand genomen met voorbeelden, maar leert zelf door te doen. Op deze manier versloeg Google’s AlphaGo-algoritme, na ontzettend veel oefenen, de wereldkampioen Go. Of leren zelfrijdende auto’s voldoende afstand te houden op voorliggers. Op deze afbeelding is schematisch weergegeven hoe een agent leert van interactie met zijn omgeving en daar zijn acties aan aanpast.

 

Multidisciplinaire kick-off: gezamenlijk op zoek naar optimalisatieruimte

Het is belangrijk om te beginnen met het vertalen van business problemen van stakeholders naar potentiële data science-oplossingen. (Meer over hoe waarde toe te voegen met data science vind je hier). In een multidisciplinaire kick-off doorliepen we de productieketen en bespraken we waar mogelijk ruimte is voor verdere optimalisatie. Zowel aan de voorkant van het productieproces, bij het winnen van water uit winputten, als op het moment van het distribueren van drinkwater door het netwerk, bleken optimalisatiemogelijkheden te zijn.

Voor beide onderdelen van het proces heeft Vitens eerder verschillende analyses uitgevoerd met data van hoge kwaliteit en inmiddels zelf al veel expertise ontwikkeld. Een relatief nieuwe techniek als reinforcement learning was echter nog niet onderzocht. Vandaar dat na gesprekken met Micha van Aken (Business Development Manager, Vitens) werd besloten om een project te starten om de mogelijkheden van reinforcement learning te verkennen. Reinforcement learning is een onderdeel van AI waarbij virtuele ‘agenten’ in een simulatie/ testomgeving al doende leren van ondernomen acties, omdat ze daar beloningen voor krijgen. Het resultaat is een model dat geleerd heeft hoe een optimale regeling eruit zou moeten zien. Door onze eerder opgedane kennis over reinforcement learning waren we in staat om de juiste vragen te stellen om te toetsen of deze optimalisatievraagstukken aansluiten bij deze data science-techniek. Een van de belangrijkste onderdelen van reinforcement learning is het creëren van een simulatieomgeving. Al snel bleek dat het productie- en distributieproces van drinkwater complex is en dat het van toegevoegde waarde was om een productielocatie te bezoeken.

Het samenbrengen van de datawereld met de waterwereld

Bart en ik bezochten een moderne productielocatie van Vitens om samen met de procesoperator door het productieproces heen te lopen. Een ideaal startpunt om een simulatieomgeving op te gaan baseren. Bijkomend voordeel van het samenbrengen van de “datawereld” en “waterwereld” is dat het ook een rol kan spelen bij het creëren van draagvlak bij de potentiële eindgebruiker. De simulatieomgeving bestaat uit een mix van data, domeinkennis en rekenregels. Deze rekenregels komen goed tot hun recht omdat we daarmee kunnen toetsen of historische data, als input, resulteert in de historisch gemeten output waarde.

Data boven water halen

Met de opgedane kennis over het productieproces konden we naar de volgende stap in de solution design fase, namelijk: het onderzoeken van de technische haalbaarheid van de mogelijke oplossing. Samen met de betrokken (technische) experts van Vitens stelden we vast welke data nodig is om de casussen vorm te geven. Deze data is onmisbaar voor het bouwen van de simulatieomgeving waarop je een model volgens de principes van reinforcement learning kan gaan laten draaien.

Binnen Vitens zijn veel data en modellen beschikbaar. De beschikbare data is van hoge kwaliteit en meer dan toereikend om een simulatieomgeving op te baseren. Op basis van deze conclusie konden we samen met de experts ook al verkennende gesprekken voeren over de randvoorwaarden van het reinforcement learning model. Denk hierbij aan ‘Waar moet ik mijn model voor belonen?’ En ‘Waar moet ik mijn model op afstraffen?’ ‘Aan welke harde eisen moet ik voldoen en waar zit optimalisatieruimte?’

Doorstromen naar de PoC-fase

Met deze input konden we voor beide casussen een rapport opstellen, waarin we de genomen stappen van de solution design fase beschrijven. Hierin komen voor beide casussen de kansen en risico’s aan bod. Dit rapport vormt de basis om weer samen te komen in het multidisciplinaire team, om samen de impact en haalbaarheid van beide casussen te bespreken. Op basis van de opgedane kennis hadden Bart en ik hier al een goed beeld van gekregen, maar samen met de domeinexperts konden we concluderen dat de case over het optimaal benutten van distributiepompen de hoogste potentie heeft, mede door de schaalbaarheid van de oplossing. Tijd voor de volgende fase: een Proof-of-Concept.

Wil jij je ook een solution design fase doorlopen om gezamenlijk tot een businessvraagstuk te komen die haalbaar is en toegevoegde waarde levert, op de korte termijn of voor de toekomst? Neem dan contact op! Binnenkort laten we tevens zien we hoe we dit in een Proof-of-Concept fase uitwerken.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *