AI / KMO / operations / implementation / maintenance
Je AI-project is live. En wie houdt het draaiende?
De demo ging goed. De pilot bewees het concept. Je mat de resultaten na vier weken, en de cijfers klopten. Iedereen is het erover eens: dit was het waard.
Dan breekt maand vier aan en er verschuift iets. De automatisering die inkomende bestellingen classificeerde met 94 procent nauwkeurigheid zit nu op 81 procent. Niemand heeft iets veranderd. Niemand heeft de code aangepast. Maar de wereld is veranderd, en het systeem is niet meegegaan.
Dit is het deel van AI-adoptie waar bijna niemand het over heeft.
Waarom AI-automatiseringen vanzelf verslechteren
Traditionele software doet wat het moet doen tot iemand het aanpast. Een factuursjabloon begint niet vanzelf verkeerde bedragen te produceren. AI is anders. De meeste AI-systemen leren patronen uit data, en wanneer die data verandert, passen de patronen niet meer.
Dit heet modeldrift. Het is een eigenschap van elk systeem dat afhankelijk is van patronen in de echte wereld. Klanten veranderen hun bestelgewoontes. Leveranciers updaten hun documentformaten. Seizoensschommelingen wijzigen de verdeling van aanvragen. De automatisering werd getraind op hoe de wereld er zes maanden geleden uitzag, en de wereld is verder gegaan.
Modeldrift is geleidelijk. Dat maakt het gevaarlijk. Niemand merkt een daling van 1 procent per maand. Maar na zes maanden zit je op 88 procent in plaats van 94 procent, en begint je team alles opnieuw te dubbelchecken. De tijdsbesparing verdwijnt stilletjes.
De drie dingen die echt kapotgaan
Ik zie steeds dezelfde drie faalmodi bij KMO-automatiseringen.
Wijzigingen in de datapijplijn
Je automatisering haalt data ergens vandaan: een ERP-systeem, een mailbox, een gedeelde map. Wanneer er iets verandert aan de bron, breekt de pijplijn. Een systeemupdate wijzigt een veldnaam. Een leverancier stuurt voortaan PDF’s in plaats van CSV’s. Dit zijn geen AI-problemen. Het zijn loodgietersproblemen, maar ze leggen het AI-systeem net zo effectief plat.
Langzame nauwkeurigheidsdaling
Dit is modeldrift in actie. Het systeem draait nog, maar de output is subtiel minder nauwkeurig. Een classificatie die 95 procent van de gevallen ving, vangt er nu 85 procent. Het crasht niet. Het wordt gewoon langzaam slechter, tot iemand merkt dat de resultaten niet meer kloppen.
Proceswijzigingen die niemand communiceerde
Iemand bij operations voegt een nieuwe productcategorie toe. Nieuwe regelgeving vereist een extra veld in uitgaande documenten. Het proces is veranderd, maar niemand heeft het de automatisering verteld. Dit is de meest voorkomende faalwijze die ik zie, en volledig vermijdbaar.
De rol waar niemand budget voor voorziet: de AI-eigenaar
Elke AI-automatisering heeft een eigenaar nodig. Geen ontwikkelaar. Geen externe consultant die eens per kwartaal langskomt. Een persoon binnen de organisatie die de output in de gaten houdt en aan de bel trekt wanneer iets er niet goed uitziet.
Dit is doorgaans 2 tot 4 uur per week. Geen voltijdse functie. Het is een verantwoordelijkheid gekoppeld aan een bestaande rol, meestal de operations lead of degene die het project oorspronkelijk heeft aangejaagd.
Wat de AI-eigenaar doet:
- Controleert wekelijks de outputkwaliteit. Niet elke transactie, maar een representatieve steekproef. Als het systeem 200 bestellingen per week classificeert, bekijk er dan 15 tot 20.
- Logt randgevallen. Wanneer het systeem iets fout doet, schrijf het op. Na een paar weken ontstaan patronen die je vertellen of je een hertraining, een regelaanpassing of een procesgesprek nodig hebt.
- Vormt de brug tussen de business en de technische kant. Wanneer de nauwkeurigheid daalt, hoeft de AI-eigenaar het niet te repareren. Die moet het opmerken en helder communiceren.
Bedrijven die deze rol toewijzen hebben meetbaar betere resultaten. In mijn ervaring is het verschil 25 tot 30 procent hogere duurzame nauwkeurigheid na twaalf maanden vergeleken met bedrijven die automatiseringen als klaar-en-vergeten behandelen.
Wanneer hertrainen, wanneer bijstellen, wanneer herbouwen
Niet elk probleem vraagt dezelfde aanpak.
Hertrainen wanneer de datadistributie is verschoven maar de fundamentele taak dezelfde is. Je bestellingsclassificator moet nog steeds bestellingen classificeren, maar de mix van besteltypes is veranderd. Voed hem met recente voorbeelden en hertrain. Dit is doorgaans een paar uur werk en zou elke drie tot zes maanden moeten gebeuren.
Regels bijstellen wanneer het probleem een specifiek, identificeerbaar randgeval is. Een nieuw leveranciersformaat, een nieuwe productcategorie, een gewijzigde veldnaam. Dit zijn gerichte fixes waarvoor je niet het hele model hoeft te hertrainen. De meeste kosten minder dan een dag.
Herbouwen wanneer het onderliggende proces zo fundamenteel is veranderd dat het oorspronkelijke ontwerp niet meer past. Dit is zeldzaam, misschien eens in de twee tot drie jaar, en meestal veroorzaakt door een grote bedrijfsverandering.
Het meeste onderhoud is klein. Een paar uur per kwartaal. De bedrijven die worstelen zijn degenen die een jaar lang niets doen en dan voor een grote, dure reparatie staan.
Wat onderhoud werkelijk kost
Een realistische verwachting voor doorlopend AI-onderhoud is 15 tot 25 procent van de initiële bouwkosten per jaar. Als je 8.000 euro aan een automatisering hebt besteed, reken dan op 1.200 tot 2.000 euro per jaar om het goed draaiend te houden.
Dat dekt periodieke hertraining, randgevaloplossingen, pijplijnaanpassingen en de occasionele grotere update. Het omvat niet de tijd van de AI-eigenaar, want dat is een interne kost.
Dit is geen verborgen toeslag. Het is hetzelfde principe als het onderhouden van elk bedrijfskritisch systeem. Je bouwt geen website en updatet die nooit meer. Je installeert geen ERP en slaat het onderhoudscontract over. AI is niet anders.
Een eenvoudig onderhoudsritme
Maandelijks: De AI-eigenaar controleert steekproefsgewijs de outputkwaliteit en logt eventuele problemen.
Per kwartaal: Bekijk de gelogde problemen. Beslis welke een hertraining, een regelaanpassing of een procesgesprek nodig hebben. Voer de kleine fixes uit.
Jaarlijks: Neem een stap terug en evalueer. Lost de automatisering nog steeds het juiste probleem op? Is het proces genoeg veranderd dat de aanpak herbekeken moet worden? Vergelijk de huidige prestaties met de oorspronkelijke basislijn.
Dit is niet ingewikkeld. Het is gewoon consistent.
De automatiseringen die standhouden
De AI-projecten die ik na achttien maanden nog steeds waarde zie leveren, delen drie eigenschappen. Ze hebben een eigenaar. Ze hebben een onderhoudsritme. En de organisatie behandelt ze als levende systemen, niet als afgewerkte producten.
Degene die falen zijn niet technisch inferieur. Ze zijn organisatorisch verweesd. Niemand kijkt. Niemand stelt bij. De nauwkeurigheid drijft af, het team verliest vertrouwen, en uiteindelijk zegt iemand dat het project niet werkte. Het werkte wel. Het werd alleen niet onderhouden.
De automatisering bouwen is het zichtbare deel. Het onderhouden is waar de langetermijnwaarde zit. Bij Virada is doorlopende ondersteuning daarom onderdeel van onze aanpak.