WhatsApp Talk met ons English

Waarom je chatbot je kennisbank anders leest dan je klant

Aan welke kennisbank is jouw chatbot gekoppeld? Is dat dezelfde kennisbank die klanten ook kunnen lezen? Grote kans van wel. Dat is ook een logische stap, want de informatie is er al en klanten gebruiken de artikelen dagelijks. Toch komen er na zo’n koppeling regelmatig vreemde antwoorden uit de bot. Meestal ligt dat aan de kennisbank en minder aan de chatbot. Een kennisbank die voor mensen prima werkt, mist voor een chatbot vaak precies de informatie die ertoe doet.

Mensen lezen context mee

Wie een artikel in een kennisbank leest, krijgt meer informatie dan de tekst alleen. Je weet via welke pagina je binnenkwam. Je ziet het menu, wellicht foto’s en schermafbeeldingen. Wat er niet letterlijk staat, vul je zelf in.

Een chatbot doet dat niet. De meeste AI-chatbots werken met retrieval augmented generation (RAG). Bij elke vraag zoekt de bot de stukken tekst uit de kennisbank die het best aansluiten, en op basis daarvan formuleert hij een antwoord. Die stukken zijn vaak losse alinea’s. Wat eromheen staat, in het menu of op een foto, ziet de bot niet.

Een voorbeeld

Dit speelt vooral bij vragen die je beantwoordt met een stappenplan. Om dat te laten zien, nemen we een voorbeeld dat bijna iedereen herkent: de wifi-router. Vrijwel elk huishouden heeft er een, en de meeste mensen hebben weleens hun wifi-wachtwoord willen wijzigen.

Een wifi-wachtwoord wijzigen kan al snel vijf of zes stappen zijn: inloggen op de router, het juiste menu vinden, een nieuw wachtwoord invullen en opslaan. Welke stappen het precies zijn, kan afhangen van het model router. Het ene model heeft een ander inlogadres of een andere menustructuur dan het andere, en soms verloopt het via een app.

Stel dat een internetprovider hiervoor één artikel in de kennisbank heeft, met de stappen voor de router die de provider standaard meelevert. Om welk model het gaat, blijkt uit de omgeving van het artikel. Het staat in de categorie van die router, bovenaan de pagina staat de modelnaam en er staan foto’s van het apparaat bij. In de stappen zelf komt de modelnaam niet terug. Voor klanten hoeft dat geen probleem te zijn. Zij zien in één oogopslag of de uitleg over hun router gaat.

Een chatbot krijgt die omgeving meestal niet mee. Hij ziet de tekst van de stappen, los van de categorie, de paginatitel en de foto’s. Stel dat een klant vraagt: “Hoe verander ik mijn wifi-wachtwoord?” De bot stelt netjes een wedervraag: “Welke router gebruik je?” De klant antwoordt dat hij nog een ouder model heeft. De bot zoekt naar stappen voor dat model en vindt mogelijk niets, omdat de modelnaam in geen enkele stappentekst staat. Dan kan het twee kanten op gaan. De bot geeft de stappen voor de standaardrouter alsof ze voor elke router gelden, of hij meldt dat hij het antwoord niet weet.

Juist bij stappenplannen kan dat vervelend uitpakken. Klopt één stap niet, dan komt de klant niet verder. Hij zoekt een menu dat op zijn router anders heet, of probeert in te loggen op een adres dat bij zijn model niet hoort. De chatbot werkt met de tekst die hij te zien krijgt. Alleen staat in die tekst niet voor welke router de stappen bedoeld zijn.

Het gaat verder dan stappenplannen

De router is één voorbeeld, het patroon zie je in veel kennisbanken terug. Denk bijvoorbeeld aan voorwaarden die alleen voor zakelijke klanten gelden, terwijl dat alleen uit de categorie blijkt. Of aan een alinea die begint met “zoals hierboven beschreven”, terwijl de chatbot dat stuk erboven misschien nooit te zien krijgt. Steeds gaat het om informatie die voor een lezer vanzelf spreekt en voor een chatbot ontbreekt of niet duidelijk is.

Strenge guardrails: veilig, met een prijs

Een eerste reflex is vaak om de chatbot strakker af te stellen met guardrails. Dat zijn regels die bepalen wat de bot wel en niet mag zeggen. Je kunt bijvoorbeeld instellen dat de bot alleen antwoordt als de bron exact aansluit op de vraag. Twijfelt hij, dan verwijst hij door naar een medewerker.

Dat voorkomt verkeerde antwoorden. Zeker bij informatie over contracten, kosten of opzegtermijnen is dat waardevol. Het nadeel is dat de bot ook veel vragen tegenhoudt die hij prima had kunnen beantwoorden. Klanten krijgen vaker “Daar kan ik je helaas niet mee helpen” te zien, en het aantal doorverwijzingen naar je klantenservice stijgt. Daarmee haal je een groot deel van de winst van je chatbot weer onderuit. Bovendien blijft het gat in je kennisbank gewoon bestaan.

De prompt aanpassen: snel, maar wel dubbel onderhoud

Een andere snelle oplossing is de prompt aanpassen. In de prompt staan de instructies die bepalen hoe de chatbot zich gedraagt. Je kunt daar kennis aan toevoegen, bijvoorbeeld: “De stappen voor het wijzigen van het wifi-wachtwoord gelden alleen voor de nieuwe router. Heeft de klant een ouder model, verwijs dan naar de klantenservice.”

Dat werkt direct. Alleen staat je kennis nu op twee plekken. Past iemand de kennisbank aan, dan moet de prompt mee. Komt er een nieuwe router bij, dan klopt de instructie in de prompt ineens niet meer. Na een paar maanden staan er tientallen van dit soort uitzonderingen in. Niemand weet nog precies waarom ze er staan, en ze spreken elkaar soms tegen. Vaak beheert ook iemand anders de prompt dan de kennisbank, waardoor wijzigingen langs elkaar heen lopen.

Een handige vuistregel: gebruik de prompt voor gedrag en de kennisbank voor inhoud. In de prompt leg je vast hoe de bot praat, wanneer hij een wedervraag stelt en wanneer hij doorverwijst. Feiten, stappen en voorwaarden horen in de kennisbank.

Je kennisbank schrijven voor mens én machine

De duurzamere oplossing is je kennisbank zo inrichten dat een chatbot er ook mee uit de voeten kan. Dat vraagt geen complete herschrijving, wel een andere manier van kijken. Een paar uitgangspunten:

  • Maak context expliciet. Noem in de titel en in de tekst voor wie de informatie bedoeld is en voor welk product of apparaat. “Je wifi-wachtwoord wijzigen op de standaardrouter vanaf 2024” zegt een bot veel meer dan “Je wifi-wachtwoord wijzigen”.
  • Schrijf alinea’s die op zichzelf staan. Herhaal het onderwerp in elke alinea en vermijd verwijzingen naar andere delen van de pagina.
  • Zet informatie uit afbeeldingen en pdf’s in tekst. Een foto is handig voor de lezer, maar een bot leest hem meestal niet.
  • Gebruik vaste termen. Kies tussen “router” en “modem” en houd dat overal aan.
  • Voeg labels toe. Met metadata zoals producttype of klantgroep kan de bot na een wedervraag gericht zoeken in de juiste artikelen.
  • Ruim regelmatig op. Verwijder of voeg dubbele en verouderde artikelen samen.

Klanten hebben hier zelf ook baat bij. Duidelijke, volledige artikelen scoren daarnaast beter in Google en in AI-zoekmachines zoals ChatGPT en Perplexity.

Lijkende artikelen zorgen voor gemengde antwoorden

Kennisbanken groeien in de loop der jaren. Er komt een nieuw artikel bij terwijl het oude blijft staan, of twee collega’s schrijven los van elkaar over hetzelfde onderwerp. Voor klanten is dat meestal geen ramp. Zij zien de datum, de titel of de pagina waar het artikel staat, en kiezen zelf het artikel dat bij hen past.

Een chatbot kiest anders. Bij een vraag haalt hij de stukken tekst op die er het meest op lijken. Staan er twee artikelen in de kennisbank die bijna hetzelfde zeggen, dan komen ze vaak allebei naar boven. De bot weet niet welk artikel leidend is. Hij kiest er één, soms het verouderde. Of hij combineert ze tot één antwoord.

Vooral dat laatste gaat bij stappenplannen snel mis. Stel dat er een artikel staat over het wifi-wachtwoord wijzigen op de nieuwe router en een ouder artikel over het vorige model. De stappen lijken op elkaar, maar de menu’s en het inlogadres verschillen. De bot neemt stap één tot en met drie uit het ene artikel en stap vier uit het andere. Het antwoord ziet er logisch uit en klopt toch niet. Daarnaast kan de bot bij dezelfde vraag de ene keer artikel A gebruiken en de andere keer artikel B, waardoor klanten wisselende antwoorden krijgen.

Een paar manieren om dit te voorkomen:

  • Houd één artikel per onderwerp aan. Voeg artikelen die grotendeels overlappen samen tot één actuele versie.
  • Maak het verschil zichtbaar. Gaan twee artikelen echt over iets anders, zoals twee routermodellen, benoem dat verschil dan expliciet in de titel en de eerste zin.
  • Archiveer verouderde artikelen. Haal ze uit de bron van de chatbot, ook als ze voor klanten nog vindbaar moeten zijn.
  • Geef elk artikel een eigenaar. Dan is duidelijk wie het bijhoudt en wie beslist of een nieuw artikel nodig is.

Testen en trainen met echte vragen

Welke aanpak je ook kiest, testen is onmisbaar. Gebruik daarvoor echte klantvragen uit je contactcenter. Klanten formuleren anders dan jij, en precies daar zitten de gaten.

Wat je uit die tests haalt, gebruik je om twee dingen te verbeteren. Allereerst de chatbot zelf. Die train je om beter om te gaan met de manier waarop klanten hun vragen stellen. Denk aan spreektaal en synoniemen, zoals “wifi-code” waar jij “wifi-wachtwoord” schrijft. Of aan het moment waarop de bot een wedervraag stelt en wanneer hij doorverwijst naar een medewerker. Werkt je chatbot met intenties, dan voeg je nieuwe voorbeeldzinnen toe.

Daarnaast train je je kennisbank. Dat kan op twee manieren. De eerste is informatie toevoegen. Elke vraag waarop de bot vastloopt, laat zien welke informatie ontbreekt of onduidelijk is opgeschreven. Die gaten vul je aan in de artikelen zelf.

De tweede manier is vragen aan een artikel koppelen. In veel kennisbanken kun je per artikel voorbeeldvragen meegeven. Dat zijn de verschillende manieren waarop klanten naar hetzelfde onderwerp vragen, zoals “Hoe verander ik mijn wifi-code?”, “Ik wil een nieuw wachtwoord voor mijn wifi” of “Waar pas ik mijn netwerksleutel aan?”. De chatbot herkent een vraag dan sneller als passend bij dat artikel. Daarmee stijgt ook de zekerheidsscore: het percentage waarmee de bot inschat dat hij het juiste antwoord heeft gevonden. Gebruik je guardrails met een minimale zekerheid, dan komen er zo meer vragen boven die drempel uit. De bot geeft vaker antwoord, zonder dat je de drempel lager hoeft te zetten.

Zo pak je het aan

De beste resultaten zien we wanneer de kennisbank het fundament is. Guardrails zet je in als vangnet voor gevoelige onderwerpen, en de prompt houd je zo veel mogelijk vrij van losse feiten. Begin klein: neem de twintig meest gestelde vragen, check of de antwoorden zonder context te begrijpen zijn en pas ze waar nodig aan.