Waarom onze spraakagent niet "verzonden" mag zeggen
Je kunt met Prio praten. Je belt hem vanuit de browser, vraagt wat er op je bord ligt, laat een concept voorlezen of zet een taak klaar terwijl je naar de trein loopt. Spraak is de meest natuurlijke manier om werk uit handen te geven. Het is ook waar we de lastigste les van de afgelopen maanden leerden.
In onze eigen gesprekken zei de agent dingen die niet klopten. Hij zei "goedgekeurd en verzonden" over een e-mail die hij helemaal niet kon goedkeuren of versturen. Hij zei "concept verwijderd" terwijl er niets was verwijderd. Hij zei "donderdag staat er niets in je agenda" zonder in de agenda te kijken.
Niets daarvan was dramatisch. Er ging niets de deur uit dat niet de deur uit mocht. Maar elke keer brak hij de enige belofte die een spraakagent kan doen: wat ik je vertel, is wat er gebeurd is.
Waarom spraak anders is
Op papier zijn de fouten van een agent zichtbaar. Je ziet het concept, de ontvangers, de kaart die op goedkeuring wacht. Staat er "verzonden" terwijl de e-mail nog in de wachtrij staat, dan valt je dat op.
Aan de telefoon zie je niets. Je hoort één zin en je gaat verder. Zegt de agent "klaar", dan geloof je dat, want er is niets anders om te controleren. Een onterecht "klaar" aan de telefoon is geen typfout. Het is een vals verslag van je dag, en je ontdekt het pas als iemand vraagt waarom je nooit hebt gereageerd.
Daarom ligt de lat voor spraak hoger dan voor tekst: de agent mag alleen beweren wat hij kan bewijzen.
Waarom betere instructies niet werkten
Onze eerste oplossing was de voor de hand liggende. We vertelden het model in gewone woorden dat het nooit een actie mag claimen die het niet heeft uitgevoerd. We zetten de regel in de resultaten van de tools. We gaven voorbeelden.
Het hield geen stand. Spraak vraagt om een snel model, want elke halve seconde nadenken is een halve seconde stilte aan de lijn. Snelle modellen zijn goed in behulpzaam klinken en minder goed in een regel volgen die tegen dat instinct ingaat. In onze tests hield de instructie "zeg de beller dat goedkeuren in Prio gebeurt" in ongeveer één op de vier gesprekken stand.
Dus stopten we met het model vragen eerlijk te zijn, en begonnen we te controleren.
Vijf controles tussen het model en je oor
Elk van deze controles is code die bij elke beurt in het gesprek draait. Geen ervan hangt af van een model dat een instructie onthoudt.
1. Een claim heeft een bonnetje nodig
Voordat een zin wordt uitgesproken, leest een filter hem. Staat erin dat iets verzonden, goedgekeurd, verwijderd of afgerond is, dan controleert het filter of er in dit gesprek echt een tool heeft gedraaid die iets veranderde. Iets opzoeken telt niet. Je inbox lezen is geen e-mail versturen.
Is er geen bonnetje, dan wordt de zin vervangen voordat je hem hoort. Hetzelfde filter haalt ook alles weg wat het model schreef maar dat nooit bedoeld was om uitgesproken te worden, zoals een tool-aanroep die als tekst is uitgeschreven.
2. Sommige antwoorden komen helemaal niet van het model
Zeg je in een gewoon gesprek "keur hem goed" of "verstuur maar", dan krijg je één vaste zin, door ons geschreven en niet gegenereerd: goedkeuren doe je in Prio, met het volledige concept voor je neus.
Dat is een productkeuze, geen beperking waar we omheen werken. Met goedkeuren zet je je naam onder een e-mail. Die handtekening hoor je te geven met de tekst in beeld, niet op basis van een samenvatting die wordt voorgelezen terwijl je de straat oversteekt. Een concept dat je niet wilt, kun je aan de telefoon wel weggooien.
3. Een vraag over je dag dwingt een opzoeking af
"Heb ik donderdag iets?" is een vraag over data, niet over taal. Herkennen we zo'n vraag, dan móét het model eerst de agenda- of inboxtool aanroepen voordat het antwoordt. Het kan niet antwoorden op basis van wat aannemelijk klinkt.
4. Het gesprek onthoudt wat het deed
Spraakplatformen geven het gesprek alleen terug als uitgesproken tekst. Het model hoort wat het eerder zei, niet wat het daadwerkelijk deed. Daardoor vergat het een concept dat het al had voorgelezen, of probeerde het hetzelfde twee keer.
Elke beurt krijgt nu een kort overzicht mee van de acties die eerder in het gesprek zijn uitgevoerd, opgebouwd uit ons eigen logboek in plaats van uit het transcript. Een concept met een naam wint het van "dat concept". Eerdere acties tellen als bonnetje voor latere zinnen.
5. Hij praat als een mens, niet als een database
Niemand wil een e-mailadres gespeld horen. Ontvangers worden uitgesproken als namen. Opmaak die alleen op een scherm zin heeft, wordt weggehaald voordat de tekst de stem bereikt. En onze spraaktests worden beoordeeld op wat de beller werkelijk hoort, niet op de tekst die het model produceerde.
Wat het ons kostte
Om te beginnen wat snelheid. Een controle op elke zin kost milliseconden, en een verplichte opzoeking kost een extra rondje. Een flink deel van september wonnen we die tijd elders terug: de spraakroute draait nu naast de database, de cache van het model wordt opgewarmd zodra een gesprek begint, en de agent zegt kort "momentje" als een opzoeking langer duurt.
Het maakte de agent ook minder gladjes. Een model dat mag improviseren klinkt vriendelijker. Een model dat zijn claims moet bewijzen, zegt soms "dat kan ik aan de telefoon niet doen, het wacht op je in Prio." Wij vinden dat de juiste ruil. Een assistent die je moet nacontroleren, bespaart je geen tijd.
Wat je elke spraakagent moet vragen
Overweeg je een spraakassistent voor echt werk, dan scheiden drie vragen een demo van iets waar je op kunt bouwen:
- Als hij "klaar" zegt, wat controleert dan dat het klopt? Is het antwoord "het model is geïnstrueerd om nauwkeurig te zijn", dan is dat een hoop, geen controle.
- Kan hij iets doen met iets wat jij niet hebt gezien? Een e-mail versturen op basis van een voorgelezen samenvatting is een risico dat jij draagt, niet de leverancier.
- Kijkt hij voordat hij antwoordt? Vraag naar je agenda van morgen en controleer of hij die echt heeft gelezen.
We schreven eerder over de vertrouwensladder die AI-agents moeten beklimmen. Spraak mag geen sport overslaan omdat het menselijk klinkt. Eerder het omgekeerde: het moet elke sport twee keer verdienen.
Bellen met Prio zit in het Pro-abonnement. Probeer het op je eigen dag: vraag wat er om jou vraagt, laat een concept voorlezen, en let op het moment dat hij je vertelt dat de goedkeuring in Prio op je wacht.