Potentieel van data en machine learning onderbenut

Nicolas Vandeput omschrijft zichzelf als een gepassioneerde supply chain data scientist, gespecialiseerd in demand forecasting en voorraadoptimalisering. Onder de noemer SupChains staat hij bedrijven bij in de ontwikkeling en optimalisering van hun vraagvoorspellingstechnieken. “Ik stel vast dat het belang van forecasting en voorraadoptimalisering nog toeneemt”, steekt hij van wal. “Bedrijven hebben het vandaag lastig om de impact van de prijszetting op de klantenvraag in te schatten. Ze begrijpen dat wie erin slaagt het effect nauwkeurig in te schatten, meteen een belangrijke stap zet richting supply chain optimalisering.”
 
Het eerste boek van Nicolas Vandeput had als titel ‘Data science for supply chain forecasting’. In hoeverre treedt het aspect data science op de voorgrond? “Data zijn cruciaal”, vertelt hij. “Wie data van promoties bijvoorbeeld optimaal aanwendt, kan tot tien procent aan voorspellingsnauwkeurigheid winnen. Wanneer ik bedrijven bezoek, geven ze vaak aan dat ze promoties in hun voorspellingsmodel meenemen. Helaas blijken ze amper over historische data over het effect van die acties te beschikken. Veel organisaties kijken ook maar drie jaar terug in de tijd, terwijl een horizon van vijf jaar doorgaans betere resultaten oplevert.”

​Machine learning

Onderzoeks- en adviesbureau Gartner voorspelde in 2019 dat intelligente algoritmen en artificiële intelligentie tegen 2023 een ingebouwde of toegevoegde component zouden vormen binnen een kwart van alle supply chain technologieoplossingen. “Hoewel veel bedrijven beweren machine learning toe te passen in hun forecastingmodellen, blijkt dat in realiteit tegen te vallen”, zegt Nicolas Vandeput. “Nochtans biedt het veel mogelijkheden om aan nauwkeurigheid te winnen en de menselijke inbreng te reduceren. Naar mijn mening heb je geen nood aan een leger van planners. Machine learning modellen genereren een grote waarde uit data over verkoop, promotie en prijs. De toegevoegde waarde van de menselijke inbreng situeert zich vooral op het vlak van voeling met de business. De planners gaan de dialoog aan met de klanten en leveranciers, een vaardigheid die machine learning niet bezit. Ze merken het best wat binnen de markt leeft en signaleren bijvoorbeeld of een product furore maakt op sociale media. Het detecteren van die uitzonderingen en afwijkingen biedt een waardevolle aanvulling op de softwaremodellen.”

Bewuste onderschatting

Nicolas Vandeput adviseert het voorspellingsmodel niet nodeloos ingewikkeld te maken. “Het heeft geen nut vijftig macro-economische variabelen toe te wijzen voor een inschatting van de ijsjesverkoop voor de volgende week”, meent hij. “Ik raad ook aan waakzaam te blijven voor vooringenomenheid. Het is fijn dat medewerkers hun inzichten willen delen, maar je moet wel altijd nagaan welke toegevoegde waarde die bieden. Soms krijgen verkopers bijvoorbeeld een bonus wanneer ze een bepaald cijfer overtreffen. Die mensen zullen hun voorspelling bewust laag zetten om op die manier hun doel te bereiken, wat in het vakjargon ‘intentional bias’ heet. De financiële afdeling heeft dan weer vooral oog voor de budgettaire huishouding. Veel profielen kunnen de voorspellingen dus in een bepaalde richting duwen. Let wel, ik vind dat je betrokkenheid in het forecastproces zeker mag aanmoedigen, maar je monitort best eerst de waarde van die inbreng, alvorens die ook daadwerkelijk toe te passen.”
 
Nicolas Vandeput geeft aan dat veel bedrijven er niet in slagen de voorspellingsnauwkeurigheid correct te beoordelen. “Uit hun dashboards leiden ze bijvoorbeeld af dat hun accuraatheid zeventig procent bedraagt. Dat cijfer zegt op zich weinig, aangezien de waarde van die score afhankelijk is van de producten die je verhandelt en de markten die je bedient.” Veel bedrijven gebruiken volgens Nicolas Vandeput nog altijd de gemiddelde absolute procentuele fout of ‘mean absolute percentage error’ (MAPE) als KPI voor hun forecastmodel. Die geeft aan in hoeverre een forecastmethode een consistente afwijking vertoont ten opzichte van de reële waarden en heeft tot doel de voorspelfout te beoordelen over verschillende artikelgroepen heen.
N. Vandeput: “Ik raad organisaties af MAPE als KPI te hanteren, aangezien de methodiek een voorspellingsonderschatting van de vraag beloont. Dat staat haaks op de ambitie om een neutraal beeld te creëren dat zowel een te optimistische als een te negatieve kijk weert.”

Aanbevolen KPI’s

Onze gesprekspartner ziet meer heil in de combinatie van twee technieken, namelijk bias en ‘mean absolute error’ (MAE). Bias vertegenwoordigt de algemene richting van de historische gemiddelde fout. Het meet of vraagprognoses gemiddeld te hoog of te laag waren. “Aangezien een positieve fout op een item een ​​negatieve fout op een ander item mogelijk compenseert, kan een prognosemodel een zeer lage bias bereiken en tegelijkertijd niet nauwkeurig zijn. Bias alleen volstaat dus niet om de precisie van een prognose te evalueren. Maar een sterk vertekende voorspelling wijst er al op dat er iets fout zit in het model”, aldus Nicolas Vandeput.
 
Mean absolute error is, zoals de naam al doet vermoeden, het gemiddelde van de absolute fouten. De absolute fout is de absolute waarde van het verschil tussen de voorspelde waarde en de werkelijke waarde. Die methodiek vertelt ons hoe groot de fout is die we gemiddeld van de voorspelling kunnen verwachten.
N. Vandeput: “MAE is niet geschaald naar de gemiddelde vraag. Als iemand je vertelt dat de MAE 10 is voor een bepaald item, kun je niet weten of dat goed of slecht is. Bij een gemiddelde vraag van 1000 scoor je uitstekend. Maar als de gemiddelde vraag 1 is, schort er iets aan je voorspellingen. Om dat op te lossen, is het gebruikelijk MAE te delen door de gemiddelde vraag.”
 
Hoe je MAE en bias combineert, illustreert Nicolas Vandeput aan de hand van een voorbeeld. “Stel dat je over een dataset van 10.000 producten beschikt. De mean absolute error bedraagt 150.000 euro, met een bias van -35.000, wat betekent dat je forecast te laag lag. Als je eenmaal over die twee waarden beschikt, kun je ze blijven opvolgen en nagaan of die bias zich blijft manifesteren.” Daarbij raadt Nicolas Vandeput aan de voorspellingsnauwkeurigheid uit te drukken in euro’s, eerder dan in eenheden.

​Toegevoegde waarde als beoordelingscriterium

De prestaties beoordelen, gebeurt volgens Nicolas Vandeput het best aan de hand van de toegevoegde waarde. “Mogelijk voorspelt een planner de vraag binnen een stabiele markt, terwijl de andere dat doet in een uiterst volatiele regio. Dan is het niet correct om uniforme doelstellingen op het vlak van voorspellingsaccuraatheid te formuleren. De planner in de volatiele regio presteert met een nauwkeurigheid van zestig procent misschien wel beter dan een collega met tachtig procent in een stabiele regio.”
 
Nicolas Vandeput meent dat je een forecastmodel in onstabiele tijden niet noodzakelijk volledig hoeft om te gooien. “Wanneer de vraag drastisch verandert, zal het model daar aan de hand van machine learning op anticiperen. Ik heb nog geen scenario meegemaakt waarbij de wijzigingen zo fundamenteel waren dat we het forecastmodel opnieuw moesten uitwerken”, zegt hij.
 
Het eerste boek van Nicolas Vandeput bevatte code voor developers. “Ik heb het boek vanuit mijn passie geschreven. Het moedigt de lezer aan om er zelf mee aan de slag te gaan. Ik raad aan de code aan de hand van kleine datasets te implementeren. Wie de smaak te pakken heeft, kan die code als een soort bouwblok gebruiken en stap voor stap een eigen forecastmodel ontwikkelen.”