Raak niet zomaar aan de statistische forecast

In 2010 introduceerden Steve Morlidge en Steve Player het concept ‘forecast value added’ (FVA) in hun boek ‘Future Ready: How to Master Business Forecasting’. Het concept is gebaseerd op het idee dat niet alle veranderingen aan de forecast ook waarde toevoegen aan de besluitvorming. Integendeel, ze kunnen de forecast zelfs slechter maken en zo waarde voor de organisatie vernietigen. Vandaag is FVA een gangbare, gestructureerde benadering om te beoordelen of aanpassingen de forecast beter maken of net niet, om vervolgens gerichte acties te kunnen nemen en de kwaliteit van toekomstige voorspellingen te verbeteren.
zJeff Baker, managing director bij Libra SCM LLC, verdiept zich al jaren in de forecast value added. In de loop van de jaren heeft hij vastgesteld dat menselijke aanpassingen statistisch gegenereerde forecasts meestal slechter maken in plaats van beter. Maar hoe komt dat? En als dat effectief zo is, waarom hebben we dan massaal de neiging om toch telkens weer veranderingen door te willen voeren?

Onweerstaanbare drang

Wat er vaak gebeurt, illustreert Jeff Baker aan de hand van een praktijkvoorbeeld (zie figuur 1). “Om te beginnen moeten we een foutmetriek bepalen”, zegt hij. “Daarmee kun je verschillende forecastmethoden op een kwantitatieve manier vergelijken. Vaak raad ik de WMAPE (weighted mean absolute percentage error) aan, omdat die makkelijk te begrijpen is voor iedereen in de organisatie. In dit voorbeeld is de ‘baseline’ de naïeve forecast, waarbij de prognose voor de volgende periode louter op de prestaties van de afgelopen periode gebaseerd is. De WMAPE was hierbij 48%. Toen we op de data een statistische forecast loslieten, kwamen we aan een WMAPE van 38%, wat 10% beter is dan de naïeve forecast. Vervolgens werd de forecast aangepast op basis van menselijke inzichten. In dit geval werd de WMAPE na de aanpassingen 46%. Dat is weliswaar beter dan de naïeve forecast, maar 8% slechter dan wanneer we de statistische forecast hadden gelaten voor wat die was. En dit fenomeen doet zich dus heel vaak voor, zo blijkt ook keer op keer uit studies.”

De hamvraag is dan ook: waarom is de drang zo sterk om de forecast te willen veranderen?
Jeff Baker: “Verkopers en marketeers wantrouwen van nature vaak de algoritmes waarop forecasts zijn gebaseerd. Dan draait het om gebrekkig vertrouwen in de systemen. Het liefst zouden ze elke forecast door hun handen laten gaan, of ze denken dat ze het beter weten dan het systeem. Anderen willen misschien laten zien dat ze nuttig bezig door zich naarstig over de forecasts te buigen.”

Interessant in dat kader zijn de resultaten van een onderzoek dat Jeff Baker voerde. Daarbij nam hij de forecasts van drie bedrijven onder de loep. “Bedrijf A deed honderden forecasts, bedrijf B duizenden en bedrijf C tienduizenden”, vertelt hij. “Wat bleek? Bij bedrijf A en B werd aan 95% van de statistische forecasts gesleuteld, bij bedrijf C gebeurden er slechts bij 15% van de forecasts manuele aanpassingen. De reden daarvoor is logisch: het grote volume maakte het voor bedrijf C gewoonweg onmogelijk om alle forecast door hun handen te laten gaan. Daar waren de medewerkers wel verplicht zich op de meest zorgwekkende voorspellingen te focussen. Vooral frappant was dat de toegevoegde waarde van de aanpassingen bij bedrijf A slechts 40% was, terwijl die bij bedrijf B en C ongeveer 60% bedroeg. Met andere woorden: in bedrijf A en ook B werden heel veel zinloze aanpassingen gemaakt.”

Schade door overbodige aanpassingen

Te veel manuele aanpassingen verminderen niet enkel de forecastaccuraatheid, ze doen ook kostbare tijd van medewerkers verloren gaan. Bovendien hebben foutieve aanpassingen een negatieve financiële impact voor het bedrijf. Ze kunnen immers de supply chain een flinke knauw geven: op het vlak van service, voorraad, kosten, enzovoort. De vlieger ‘baat het niet, dan schaadt het niet’, gaat hier dus niet op.

“Zogenaamde ‘over-forecasting’ kan zorgen voor obsolete producten, gedwongen kortingen om van producten af te raken, overbodige transporten en hogere magazijn- en opslagkosten”, legt Jeff Baker uit. “‘Under-forecasting’ kan dan weer leiden tot verloren omzet of boetes van grote klanten wanneer er een tekort is en voor hogere productie- en transportkosten wanneer er snel nog producten moeten worden bijgemaakt.”

Goed om te weten: de negatieve financiële impact van over-forecasting is groter dan die van under-forecasting. En toch worden er veel vaker te optimistische dan te pessimistische aanpassingen gemaakt.
J. Baker: “Dat komt deels omdat de effecten van over-forecasting – te veel voorraad, bijvoorbeeld – vaker verwacht en vooraf ingecalculeerd zijn. Bovendien is die impact meestal pas na enkele maanden echt goed zichtbaar. De invloed van under-forecasting daarentegen is veel sneller zichtbaar, bijvoorbeeld in het geval van gemiste verkopen. Sales krijgt dan meteen het gevoel dat ze de strijd van de concurrentie hebben verloren, wat hen emotioneel natuurlijk veel harder raakt dan obsolete voorraad achteraf.”

Wanneer blijf je beter van de forecast af?

Uiteraard wil dat niet zeggen dat we beter nooit aan een statistische forecast raken. Soms kunnen menselijke inzichten wel erg waardevol zijn. “Als je net een belangrijke klant hebt verloren, moet je daar natuurlijk rekening mee houden in je forecast,” meent Jeff Baker, “maar als je geen goed gefundeerde redenen hebt om aan de statistische forecast te twijfelen, blijf je er best gewoon van af.”

Jeff Baker geeft nog enkele richtlijnen mee die helpen bepalen voor welke producten aanpassingen überhaupt zinvol kunnen zijn. “Bij sommige productcategorieën zou je er zelfs niet eens aan mogen denken om aan de statistische forecast te prutsen”, waarschuwt hij. “Dan heb ik het in de eerste plaats over producten met een lage waarde. Daar is de kans dat je waarde toevoegt met manuele aanpassingen erg klein, zelfs al maak je het resultaat beter. Als je een verbetering van 5% kunt realiseren in een categorie waar je jaarlijks slechts duizend euro op verdient, is dat de inspanning uiteraard niet waard. Ook raak je beter niet aan categorieën die zeer goed voorspelbaar zijn met een statistische forecast. Niet alleen is de kans klein dat je de forecast beter maakt, maar het gevaar dat je hem veel slechter maakt is reëel. Voor items die niet goed voorspelbaar zijn daarentegen, is de kans veel groter dat goed gegronde inzichten voor een betere forecast zorgen.”

Nood aan een mindswitch

Om te vermijden dat er onzinnige aanpassingen blijven gebeuren, is het volgens Jeff Baker noodzakelijk om aan het beslissingsproces te sleutelen. Maar we moeten er geen doekjes om winden: departementen als sales en marketing overtuigen om rekening te houden met de FVA vraagt inspanningen.
J. Baker: “Je moet hun goed uitleggen waarom ze de statistische forecast echt wel kunnen vertrouwen. Als ze dan toch aanpassingen willen maken, vraag dan om die grondig te motiveren. Maak medewerkers ook duidelijk wat de impact is als ze door hun aanpassingen de forecast slechter maken. Vaak helpt het als je erbij vermeldt dat de impact van foutieve voorspellingen ook langs de CEO zal passeren. Dan denken ze al sneller twee keer na voordat ze aanpassingen doorvoeren.”

Willen we de mindset van medewerkers veranderen, dan is het ook belangrijk dat ze inzicht krijgen in welke fouten ze precies maken. Dankzij die feedback zien ze enerzijds in waarom het soms beter is dat ze niet aan de forecast raken en worden ze er anderzijds van overtuigd dat ze voor betere aanpassingen kunnen zorgen waar die wel gepast zijn.

Bias versus precisie

Daarbij moeten we nagaan of foutieve aanpassingen aan de forecast te maken hebben met ‘bias’ of met precisie. Bias verwijst naar de neiging om systematisch van de werkelijke waarden te gaan afwijken. Zo kunnen we over-forecasting in de hand werken door systematisch te denken dat de verkoop beter zal zijn dan wat in werkelijkheid het geval zal zijn. Precisie daarentegen verwijst naar de mate van consistentie in de forecast. Bij een forecast met een hoge precisie liggen herhaaldelijke metingen erg dicht bij elkaar. Wanneer er iets fout zit met de precisie, zijn de voorspellingen die we maken niet consistent. Dat kan het gevolg zijn van verschillende factoren, bijvoorbeeld gebrekkige data of variabiliteit in de omgevingsfactoren waar we onvoldoende zicht op hebben.
J. Baker: “In wezen gaat het bij bias dus om consistente afwijkingen ten opzichte van de werkelijke waarden, terwijl het bij precisieproblemen vooral gaat om een gebrekkige consistentie tussen de voorspellingen onderling, los van hun afstand tot de werkelijke waarde. Uiteraard kun je ook tegen een combinatie van beide aanlopen.”

Verder is het bij de analyses belangrijk om te onthouden dat twee heel verschillende zogenaamde ‘overrides’ toch tot dezelfde FVA kunnen leiden (zie figuur 2). Zo is ‘O’ een over-forecasting, waarbij de ‘override’ wel in de juiste richting zit, maar veel te ver is gegaan. Aanpassing ‘M’ daarentegen zit volledig in de verkeerde richting. Hoewel de oorzaak van de fout helemaal verschillend is, geeft dat toch dezelfde FVA als uitkomst. Kortom, medewerkers enkel meegeven hoeveel procent fout ze zitten, is dus geen goede oplossing om de accuraatheid te verbeteren.

Het is dus essentieel om een ‘route cause’-analyse uit te voeren om te zien waar het precies fout loopt om vervolgens naar oplossingen te zoeken. Procesverbeteringen op basis van Six Sigma, bijvoorbeeld, kunnen helpen om aanwijsbare oorzaken voor foutieve veranderingen de kop in te drukken.

“Problemen met de bias zijn doorgaans makkelijker op te lossen dan precisieproblemen, aangezien de richting daar al correct zit. In dat geval moet je vooral de oorzaak van de irrationele overdrijving zien te achterhalen en de mate waarin je eventueel gaat bijsturen, aanpassen”, weet Jeff Baker. “Bij aanpassingen die volledig in de verkeerde richting zitten, moet je je vooral afvragen wat mensen drijft om tegen de stroom te gaan. Zo is het mogelijk dat ze een ‘key business factor’ over het hoofd hebben gezien of misschien sturen ze – al dan niet tegen beter weten in – de forecast bewust richting hun sales quota. Dat kan uiteraard nooit de bedoeling zijn. Daarop inspelen kan enorme opportuniteiten bieden om de forecast te verbeteren.”

Als we voor beter gerichte aanpassingen willen zorgen, is het belangrijk alles zo goed mogelijk uit te leggen. “Zaken als ‘standaardafwijking’ zijn voor veel mensen niet zo makkelijk te begrijpen. Als je medewerkers zonder meer vraagt om de standaarddeviatie van hun fouten onder de loep te nemen, heb je maar weinig kans op slagen”, weet Jeff Baker. “Een eenvoudiger manier om een en ander uit te leggen is via de ‘driehoekige verdeling’ (triangular distribution) (zie figuur 3). Zonder in detail te gaan, komt het erop neer dat je de verdeling beschrijft op basis van drie punten: het ‘best case’-scenario (b in de figuur), het ‘worst case’-scenario (a in de figuur) en het meest waarschijnlijke scenario (c in de figuur). Waarbij je natuurlijk liefst voor het meest waarschijnlijke scenario gaat. Als je dat aan sales en marketing voorlegt, kun je gaan spreken in risico’s en opportuniteiten. Willen ze het best case-scenario bereiken, wat moet er dan precies gebeuren? En wat zijn de kansen dat het ook effectief lukt? Vaak hebben sales medewerkers de neiging de verkoopcijfers te optimistisch in te schatten of ze denken dat ze de targets eerder zullen bereiken dan realistisch is. Met de driehoekige verdeling krijg je de zaken makkelijker in kaart. Dan is het best mogelijk dat ze van hun best case-scenario afstappen. Willen ze er toch van vertrekken, dan kan supply chain tijdig bekijken of het mogelijk is een buffer in te bouwen om de variabiliteit op te vangen. Maar sowieso zorgt dit feedback-mechanisme ervoor dat mensen meer gaan nadenken voordat ze beslissingen nemen. Geleidelijk aan zal dat ook tot betere forecasts leiden.”

Spock versus Homer

“In feite kunnen we stellen dat wij, forecast-specialisten, ‘Spocks’ zijn, die ons telkens weer verbazen over de vele onlogische overrides van de ‘Homers’ in onze organisatie”, besluit Jeff Baker. “Helaas zijn Homers vaak verblind door donuts, met name (potentiële) sales. Het is aan ons om hun duidelijk te maken wat de impact van hun gedrag is en het zo nodig bij te sturen. In plaats van hen daarbij met wiskundige berekeningen te overstelpen, moeten we hun op een behapbare manier feedback geven. Daarbij moeten we heel goed trachten te begrijpen wat het gedrag van collega’s drijft. Om duurzame vooruitgang te boeken, is het natuurlijk ook belangrijk dat we over de juiste data beschikken, willen we vertrekken vanuit een goede en betrouwbare basis. En tot slot moet ‘learn, share & advance’ het motto zijn om continue vooruitgang naar een steeds betere forecast te blijven boeken.”

TC