Een AI-assistent die elke week beter wordt in jullie werk

De meeste mensen werken met AI alsof er elke ochtend een nieuwe stagiair binnenkomt. Je legt opnieuw uit wie de klant is, welke toon je wilt en wat er vorige keer misging. Het resultaat is prima, maar morgen begin je weer bij nul.

Bij Paraify leggen we die uitleg vast in skills. En omdat een vastgelegde werkwijze ook een eerste versie is, laten we skills zichzelf verbeteren. Hieronder hoe dat werkt.

Een skill is een werkinstructie die je kunt meten

Een skill is een bestand met een werkinstructie voor een AI-assistent. Wat is de taak, welke stappen horen erbij, hoe ziet goed eruit en wat doe je nooit. De assistent leest de skill zodra de taak voorbijkomt en werkt dan elke keer op dezelfde manier.

We hebben er inmiddels tientallen. Een skill die presentaties in onze huisstijl bouwt, een die mails schrijft in de toon van Daniël, een die offertes opbouwt en een die een vaag verzoek omzet in een scherpe opdracht voordat er ook maar één regel code wordt geschreven.

Het mooie van een bestand: je kunt het versiebeheer geven, testen en verbeteren. Precies zoals software.

De lus: draaien, scoren, verbeteren, opnieuw

Een skill die je één keer schrijft, is een eerste versie. Hij doet wat je bedacht, niet wat je bedoelde. Dus draaien we hem in een lus:

1. Draaien. De skill doet een echte taak in een afgeschermde testomgeving.
2. Scoren. Een tweede model beoordeelt het resultaat tegen een vaste lijst criteria.
3. Verbeteren. Een derde stap past de skill aan op wat er misging.
4. Herhalen. Tot de score niet meer stijgt.

Elke ronde krijgt één regel in een logboek, gekoppeld aan de versie van de skill. Zo zie je wat een wijziging opleverde en kun je altijd terug naar de versie die beter was.

Een voorbeeld: de skill die vage verzoeken omzet in een scherpe opdracht scoorde na vijf rondes 76 procent op onze criteria, tegen 60 procent voor de eerste versie. Dat zijn losse metingen, dus lees het als richting, niet als precisie. Maar de richting is duidelijk.

De skill die skills verbetert

De verbeterstap is zelf ook een skill. Die leest het logboek van een ronde, ziet waar het resultaat tekortschoot en stelt een aangepaste werkinstructie voor. Een skill die skills schrijft, dus.

Daaromheen draait een lus die bijhoudt of een ronde klaar is. Dat klinkt triviaal, maar het is een van de lastigste stukken. Een sessie die stopt is niet hetzelfde als een ronde die netjes is afgerond. Daarom moet een ronde zelf expliciet melden dat hij klaar is, met een vaste markering. Anders scoor je half werk en verbeter je op ruis.

En een mens blijft in de lus. De lus doet het herhalen, Peter beslist wanneer iets goed genoeg is.

Vijf dingen die we leerden

Voorbeelden worden sjablonen. We gaven een mail-skill een voorbeeldzin voor de afsluiting. In vijf van de vijf mails kwam die zin woordelijk terug. Een model neemt een voorbeeld letterlijker dan een collega. Geef liever criteria dan voorbeeldzinnen.

Meet nooit één getal alleen. Als je stuurt op één maatstaf, gaat het systeem die maatstaf optimaliseren in plaats van het werk. Mails worden korter en scoren beter op beknoptheid, maar de afspraak die erin moest staan valt eruit. Daarom zetten we naast elke stuurmaatstaf een paar bewakers in dezelfde tabel.

Laat een verse beoordelaar blind herscoren. Een beoordelaar die de vorige rondes zag, wordt milder. Een nieuwe beoordelaar die niet weet welke versie hij leest, is eerlijker.

De beste leerdata is de eindredactie. Wat de afzender nog aanpast voordat een AI-mail echt de deur uitgaat, zegt meer dan elke lijst met criteria. Die verschillen voeden we terug in de skill.

Een skill die niet aanslaat, bestaat niet. Een assistent kiest een skill op basis van de korte beschrijving. Beschrijvingen die vertellen wat een skill is, werken slecht: in een meting werd zo’n skill maar in ongeveer één op de tien passende gevallen gekozen. Beschrijvingen die zeggen wanneer je hem gebruikt, en wanneer juist niet, doen het veel beter.

Bouwen in serie, controleren in parallel

Dezelfde lus gebruiken we voor het bouwen van software. Eén agent bouwt een wijziging stap voor stap, met de test eerst. Daarna leest een panel van reviewers tegelijk mee, zonder iets te mogen veranderen. Wat ze vinden, wordt lokaal opgelost. Pas als alles klopt, gaat de wijziging één keer de deur uit.

Twee lessen kwamen daar hard binnen. Parallel bouwen levert conflicten op, parallel reviewen levert juist meer vondsten op. En een statusbestand dat een agent zelf bijhoudt, loopt vroeg of laat achter op de werkelijkheid. Kijk naar de echte stand, niet naar wat iemand erover opschreef.

Wat dit betekent voor jouw organisatie

Je hebt geen testlab nodig om hier iets mee te doen. De lus werkt ook met de hand:

1. Kies één terugkerende taak. Een offerte, een klantmail, een verslag.
2. Schrijf je beste werkwijze op als instructie voor je AI-assistent.
3. Bepaal vier of vijf criteria voor wat goed is.
4. Kijk na elk gebruik wat je zelf nog aanpaste voordat het weg kon.
5. Verwerk die aanpassingen elke week in de instructie.

Na een maand heb je een assistent die jullie werk beter kent dan de eerste versie ooit kon. Automatiseren van die lus komt daarna, als je weet wat je meet.

In onze in-house training doen teams precies dit met een eigen taak. Wie er een vak van wil maken, kan kijken naar de AI-bouwersklas.