Inzet van AI in forecasting is niet zaligmakend

De afgelopen jaren zijn de verwachtingen hoog opgeklopt als het gaat over het gebruik van artificiële intelligentie en externe data in Sales & Operations Planning (S&OP). Tijdens S&OP Flavour Day blijkt dat die verwachtingen lang niet altijd worden waargemaakt. Tineke Kok van koffieproducent Jacobs Douwe Egberts (JDE): ‘We zitten nog steeds vast in de trog van desillusie.’ 

Door Marcel te Lindert

Jonathon Karelse (foto) herinnert zich een training aan de demand planners van een producent van zonnepanelen. Toen de mogelijkheden van artificiële intelligentie (AI) en het gebruik van externe data ter sprake kwamen, werden de demand planners razend enthousiast. Liever nog vandaag dan morgen wilden ze aan de slag met machine learning en weersvoorspellingen. ‘Ik heb flink op de rem moeten trappen’, zegt de expert in forecasting. ‘Ze maakten op dat moment nog geen gebruik van statistische modellen en hadden geen idee hoe accuraat hun forecasts waren. Dan is gebruik van AI hetzelfde als de secondewijzer van je horloge bijstellen terwijl de korte wijzer het verkeerde uur aangeeft.’

Spaarzaam met modellen

Karelse hekelt de grote focus die veel bedrijven leggen op de accuraatheid van hun forecast. Het meten en continu verbeteren daarvan is bijna een dogma geworden. Dat leidt tot allerlei inspanningen om de forecast bij te stellen die lang niet allemaal zoden aan de dijk zetten. ‘De vraag is of al die inspanningen uiteindelijk een toegevoegde waarde hebben. Iedereen kan miljoenen uitgeven aan oplossingen die misschien de forecast verbeteren, maar onderaan de streep niets opleveren. De kosten zijn vaak hoger dan de baten.’

De Britse statisticus George Box zei ooit dat alle modellen fout, maar sommige bruikbaar zijn. ‘Wat hij eigenlijk bedoelde, is dat je spaarzaam moet zijn met het gebruik van modellen. Zelfs het meest complexe en dure model levert een forecast op die fout is. De meeste bedrijven komen niet in de buurt van een perfecte forecast. Ga dan ook niet urenlang met elkaar in discussie over de vraag of de forecast van een bepaald product 3 procent hoger of lager moet zijn als je er toch altijd 40 procent naast zit.’

Trog van desillusie

Jacobs Douwe Egberts (JDE) heeft inmiddels ervaring opgedaan met het gebruik van AI voor verbetering van de forecast. ‘Iedereen kent de hype cycle van Gartner. Na de piek van opgeblazen verwachtingen volgt de trog van desillusie, waarna we via het pad van verlichting uitkomen op het plateau van productiviteit’, vertelt Tineke Kok (foto), programmamanager bij de koffie- en theeproducent. ‘Wij zijn ook aan die hype cycle begonnen. Onze verwachtingen waren enorm hoog, maar we zitten eigenlijk nog steeds vast in de trog van desillusie.’

JDE is met AI gestart vanuit de overtuiging dat de basis op orde was. ‘We hadden voor forecasting een solide proces opgezet, maar in de praktijk liet de adoptie van de standaard werkwijze sterk te wensen over. Dat heeft te maken met het ontbreken van goede ondersteuning van de mensen die de forecast moeten maken. Daarom zochten we een tool om dat proces te automatiseren. We vonden een start-up die ons daarmee kon helpen.’

Pieken en dalen

Wat forecasting bij JDE complex maakt, is dat de meeste mensen pas koffie kopen als die in de aanbieding is. Dat leidt tot grote pieken en dalen in het vraagpatroon. Toen de start-up die pieken en dalen vrij goed wist te voorspellen, raakten Kok en haar collega’s enthousiast. Het bedrijf besloot te investeren in de tool en die te implementeren in zeven markten. ‘Toen zagen we opeens een significant verschil ontstaan tussen de forecast en de gerealiseerde omzet. Dat bleek te zijn veroorzaakt door gebeurtenissen die zich nog niet eerder hadden voorgedaan. En alles wat nog niet eerder in de historie is gebeurd, kan geen enkel model goed voorspellen.’

Stopzetten van de implementatie was geen optie. ‘In plaats daarvan zijn we het model gaan voeden met meer data. Externe data over bijvoorbeeld andere promoties van retailers. Dat bleek allemaal niet te werken. De enige externe data die invloed leken te hebben op de vraag, was de koopkrachtontwikkeling van consumenten. Het model wist daar echter geen raad mee, omdat dat in eerste instantie is ontwikkeld voor het voorspellen van events en niet van langetermijntrends.’

Trainen van het model

Dat het AI-model nog niet de verwachtingen heeft kunnen inlossen, heeft ook te maken met de ruis. Als een retailer een promotie heeft, moet JDE twee tot drie weken daarvoor beginnen met het uitleveren van de extra winkelvoorraden. ‘Dat is wat we eigenlijk willen weten. Tussen de promotie en de piek in de operatie zit dus behoorlijk wat tijd en daardoor ook ruis. Ruis in de vorm van voorraad- en prijsveranderingen’, zegt Kok. ‘Daarnaast hebben we volledig onderschat hoeveel tijd en energie het kost om het model te trainen. Je moet het model blijven vertellen of een piek het gevolg is van een promotie of een prijsverandering. Kortom: het is erg lastig om een model op te zetten dat een goede forecast kan maken. Consumenten blijven onvoorspelbaar.’

Estée Lauder maakt gebruik van verschillende prestatie-indicatoren om de kwaliteit van het S&OP-proces te monitoren. Een daarvan is de forecast value add, een maat voor de toegevoegde waarde van alle acties om de statistische forecast te verbeteren. ‘Als we een bepaalde promotie voor het eerst doen, is het lastig om die te voorspellen. Daarom sturen wij onze statistische forecast naar de marketing- en verkoopafdelingen om er informatie over promoties aan toe te voegen’, vertelt Amber Roxas (foto), IBP-leader bij het cosmeticamerk.

Forecast value add

Roxas benadrukt hoe belangrijk het is om zorgvuldig met deze prestatie-indicatoren om te gaan. Als mensen worden afgerekend op de forecast value add, zou dat hun input kunnen beïnvloeden. ‘De forecast value add wordt berekend door het verschil te nemen tussen de accuraatheid van de verrijkte forecast en de accuraatheid van de statistische forecast. Wie dat begrijpt, zou de statistische forecast negatief kunnen beïnvloeden zodat de forecast value add hoger uitvalt. Maar dat draagt natuurlijk niet bij aan een goede bedrijfsvoering.’

Meer weten? Download de Best of S&OP Flavour Day 2024 – 20 november 2024