Welke methode moet je kiezen?

Niels De Smet bekeek voor zijn scriptie het bestaande aanbod van technieken en onderzocht hoe de interactie tussen die methodes tot een beter resultaat kan leiden. Hij keek op een holistische manier naar het hele forecastingproces en maakte zich los van het traditionele onderzoek dat heel erg gefocust blijft op de afzonderlijke elementen van het proces. Hij was nooit van plan nieuwe en nog complexere meetsystemen en forecastingmethodes te ontwikkelen.
N. De Smet: “Ik heb me gefocust op de foutenlast van de bestaande forecastmethodes; in hoeverre wijkt de realiteit af van de forecast? In de literatuur is er heel wat te doen over de meetmethode die die afwijking beoordeelt, de Mean Absolute Percentage Error of MAPE. Die geeft aan in hoeverre een forecastmethode een consistente afwijking vertoont ten opzichte van de reële waarden. Een over- of onderschatting dus. Maar die methode vertoont problemen met het behandelen van de nulwaarde (wanneer er geen vraag is). Daarnaast behandelt MAPE een te hoge en te lage forecast op een andere manier, hij is dus asymmetrisch. Ik heb voor mijn scriptie onderzocht in hoeverre een andere rekenmethode – Scale-free Bias Adjusted Mean Absolute Error (SBAMAE) – een valabel alternatief is voor de klassieke MAPE.”

​Theorie en praktijk

Die theoretische problematiek staat soms ver af van de dagelijkse praktijk van planners in de bedrijven.
N. De Smet: “Het is ook mijn bedoeling geweest die verschillen tussen onderzoekers en praktijkmensen te overbruggen. Een deel van mijn scriptie maakte ik tijdens een stage bij Solventure in samenwerking met een groot chemisch bedrijf. Daardoor kon ik over een dataset met reële gegevens beschikken.”
Daar maakte Niels De Smet de vergelijking tussen een vereenvoudigde aanpak die mensen uit de praktijk hanteren en de allernieuwste technieken en methodes waarvan academici gebruik maken. Zo kon hij een gestructureerde roadmap ontwikkelen die de beste elementen uit de praktijk combineert met de laatste inzichten uit de onderzoekswereld. “De case die in zijn scriptie wordt beschreven laat zien hoe die holistische aanpak betere resultaten kan voorleggen dan bestaande methoden, zowel van praktijkmensen als van academici”, schrijft professor Sofie Verbrugge, promotor van de scriptie, in het voorwoord.
 
Die praktische aanpak is in de eerste plaats gericht op de keuze van de juiste forecastmethode. “Maar je kunt ook een combinatie maken van verschillende methodes”, gaat Niels De Smet verder. “Er zijn dus twee opties. Of je test de methodes, controleert hun accuraatheid en neemt dan de beste. Of je maakt een combinatie van een aantal methodes en neemt hun gemiddelde. Ik heb op basis van de gegevens en de procedures in mijn stagebedrijf kunnen aantonen dat het beter is om een combinatie te maken van de drie beste forecastmethodes. Helaas is het voor de mensen in de praktijk heel moeilijk om die combinatiemethode te gebruiken omdat hun software dat niet toelaat. Ik heb dat nu zelf in mijn stagebedrijf geprogrammeerd en heb kunnen aantonen dat dat slechts enkele dagen werk kost. Het is in ieder geval veel makkelijker dan een nieuwe forecastmethode in het planningssysteem introduceren. Een gemiddelde van bestaande forecasts maken, is dan een vrij eenvoudige oplossing die in zeer veel bedrijven effect kan hebben. In de Arkieva-software die Solventure ondersteunt, is dat intussen wél geïmplementeerd.”
 
Niels De Smet wijst er wel op dat er ook nadelen zijn aan het gebruiken van een gemiddelde. “Het heeft altijd tot gevolg dat de pieken worden uitgevlakt. Verkopers hebben dat niet graag, zij willen liever de pieken zien en daarop kunnen inspelen.”
Overschakelen van een meer sporadische forecast naar een uitgemiddelde forecast kan enerzijds een kleine investering op het vlak van change management vragen, maar anderzijds de kosten voor alle spelers in de supply chain significant drukken. Volgens Solventure wegen de baten sterk op tegen de kosten. 

​Wisselen tussen aggregatieniveaus

Nog voor zijn scriptie verrichte Niels De Smet onderzoek naar de performantie van hiërarchisch forecasten, waarbij verschillende aggregatieniveaus binnen een zelfde forecast worden gebruikt. “Het gaat dan bijvoorbeeld over verkoopcijfers van individuele points of sales die op een steeds hoger niveau worden geaggregeerd per streek, per provincie en voor heel het land. De forecast is het meest accuraat op het hoogste aggregatieniveau, maar bedrijven willen toch graag forecasts op een lager niveau. Ik heb kunnen aantonen dat een gecombineerd gebruik van aggregatie en disaggregatie een beter resultaat oplevert. Het komt erop neer dat bijvoorbeeld een algemene trend voor de hele groep ook van toepassing zal zijn op elke individuele winkel.”
 
Bram Desmet, CEO van Solventure en professor aan de Vlerick Business School: “De aanpak van Niels past in een algemene trend onder econometristen, statistici en data scientists om af te stappen van één aanpak voor alle mogelijke situaties. One size fits all is niet meer van deze tijd. Het is nodig om aangepaste oplossingen te kiezen in functie van verschillende mogelijke vraagpatronen, gebruik makend van verschillende aggregatieniveaus. Planners willen graag de meest recente technieken gebruiken, maar verliezen zich dan in een wildgroei aan informatie. Of ze missen de voordelen van hiërarchisch forecasten wanneer een dataset verschillende aggregatieniveaus bevat. Het zijn slechts enkele voorbeelden van situaties waarin de oplossing van Niels een groot voordeel kan zijn. Het zal planners helpen betere beslissingen te nemen.”
 
De methode die Niels De Smet heeft uitgewerkt, werd toegepast op een reële dataset van zijn stagebedrijf uit de chemische sector met een jaaromzet van 500 miljoen dollar. Daar is hij erin geslaagd het foutenpercentage met 13 à 38 procent te verminderen in vergelijking met het bestaande forecastproces en afhankelijk van het vraagpatroon. “Een vermindering in de foutenlast van die grootteorde kan leiden tot een aanzienlijke winststijging door een betere afstemming van de vraag op het aanbod”, weet Bram Desmet. 

​Hypes voorspellen

Gylian Verstraete onderzocht voor zijn scriptie of het mogelijk is hypes te detecteren in de sociale media en die mee te nemen in een accurate forecast. Hij kreeg de medewerking van een speelgoedketen die zijn forecast wilde verbeteren. Gylian Verstraete focuste zich volledig op Twitterberichten. “Ik heb gewerkt met een set van meer dan honderd miljoen tweets over twintig onderwerpen en in de eerste plaats heb ik me gefocust op een analyse van die berichten”, begint hij. “Bedoeling was de juiste zoektermen te vinden om zo de relevante tweets te kunnen detecteren. Ik heb verschillende methodes op hun efficiëntie getest. Meerdere trefwoorden samen gebruiken werkt het best voor ingewikkelde trends, bijvoorbeeld bij hypes waarbij de titel meerdere betekenissen heeft, zoals bij de film ‘Frozen’. Je moet dan wel manueel ingrijpen om bijvoorbeeld de titel van een film te combineren met de naam van de personages. Dat is dan weer niet nodig voor eenvoudig speelgoed zoals loom bands.”
 
Toen dat eenmaal gebeurd was, kon hij aan de slag om te proberen vaststellen wat de emotionele lading van de relevante tweets was: positief of negatief.
G. Verstraete: “Daarvoor heb ik enkele technieken uit de artificiële intelligentie gebruikt om het sentiment te bepalen. Het is gebleken dat een techniek als de naive Bayes classificators de beste classificatievoorspelling behalen. Daarmee konden we bijvoorbeeld de negatieve commotie rond drones en hoverboards detecteren.”
Om daarna te kunnen uitmaken of er ook sprake is van een trend, gebruikt Gylian Verstraete weer andere AI-methodes om de verhouding tussen het aantal relevante tweets en een afgebakende periode te analyseren. De support vector machines (SVM) waren in staat gebleken om alle hypes correct te herkennen.

​Forecasten met hypes

In een laatste fase van zijn onderzoek was het nodig op basis van de vastgestelde hypes ook een forecast te maken over de vraag naar bepaalde modellen van speelgoed. Daarbij gaat de onderzoeker ervan uit dat de hype zich eerst afspeelt in de VS en het VK en pas daarna naar België komt. Het komt er dan op aan te kunnen inschatten hoe lang de periode is tussen de hype op Twitter en de stijging van de verkoop in België. Uit zijn onderzoek is gebleken dat beide perioden even lang zijn. De verschuiving in de tijd werd door de aankopers goed ingeschat. De forecast zelf gebeurde het best aan de hand van Arima-technieken. Andere methodes scoorden veel slechter.
G. Verstraete: “Mijn conclusie is dat tweets inderdaad kunnen worden gebruikt als een leading indicator om een forecast te maken. Dankzij de Arima-methode kunnen de tweets een verbetering van acht procent in de forecastaccuraatheid voorleggen. In het algemeen is het mogelijk de hypes te detecteren (zodat ze niet over het hoofd worden gezien). Daarnaast kunnen we de ontwikkelde methode ook in een softwaresysteem integreren.”
 
In de rand van het gesprek merkt Gylian Verstraete wel op dat hypes ook op andere sociale media kunnen worden gedetecteerd. Voor zijn onderzoek bleek het echter niet eenvoudig met berichten op Facebook aan de slag te gaan. Facebook stelt die namelijk alleen mits betaling ter beschikking, zodat er al meteen een bijkomende hindernis wordt opgeworpen.