Een chatbot die op een natuurlijke manier onzin praat, wordt door gebruikers eerder als intelligent en bruikbaar gezien, zelfs als deze onzin uitkraamt.
Dat blijkt uit onderzoek van communicatiewetenschappers van de Radboud Universiteit. Een welbespraakt AI-systeem dat foutieve informatie deelt wordt door gebruikers net zo goed gewaardeerd als een kortaf AI-systeem met correcte antwoorden.
Communicatiewetenschapper Marianna de Sá Siqueira en haar collega's onderzochten de effecten van fraai taalgebruik op de geloofwaardigheid van chatbots.
Lord of the Rings
Voor het experiment kregen deelnemers één van de vier varianten te zien van een gesprek met een chatbot over The Lord of The Rings. Twee varianten hadden vloeiende zinnen en menselijk taalgebruik, waarvan eentje correcte antwoorden gaf en de ander niet. Daarnaast waren er twee varianten met korte, zakelijke antwoorden, waarbij er ook weer eentje volledig correcte informatie gaf en de ander (subtiel) verzonnen feiten toonde.
Het meest positief waren gebruikers vanzelfsprekend over de chatbot met mooi taalgebruik én correcte antwoorden. Maar een chatbot die vloeiend schrijft maar feitelijke onzin verkoopt, werd door deelnemers als even intelligent en prettig beoordeeld als een chatbot die houterig communiceert maar wél feitelijk correcte informatie geeft.
Ook bleek dat liefst tachtig procent van de deelnemers de ingevoegde fouten helemaal niet opmerkte, hoewel ze vooraf waren geselecteerd op basiskennis van The Lord of The Rings.
Makkelijk te misleiden
'Het laat vooral zien hoe makkelijk mensen de verkeerde kant op geleid kunnen worden en hoe snel we iets vertrouwen dat eigenlijk onzin uitkraamt,' vertelt Barbara Müller, universitair hoofddocent en medeauteur van het onderzoek. 'Als een tekst mooi en natuurlijk klinkt, schrijven mensen daar automatisch intelligentie aan toe. Je denkt dan onbewust al snel: dit zit wel goed, ik hoef het niet meer te controleren.'
Het onderzoek laat het gevaar van blind vertrouwen op kunstmatige intelligentie zien. Hoogleraar en medeauteur Tibor Bosse: 'Zogenaamde taalmodellen als GPT en Claude zijn primair getraind om statistisch aannemelijke en prettig leesbare zinnen te produceren. Die systemen nemen de waarheid niet altijd even nauw. Ze zijn gebouwd om menselijk en overtuigend te klinken, maar of het feitelijk klopt is van secundair belang.'
Disclaimer onvoldoende
Vroeger klaagden mensen dat chatbots irritant waren en niks wisten. Nu klinken ze zo slim dat we ze te snel geloven, stelt Bosse. Dat los je volgens hem niet op met een simpele disclaimer vooraf. 'Er staat nu vooraf één regeltje dat de output niet helemaal juist kan zijn, maar die bedrijven gaan echt niet uit zichzelf bij ieder antwoord aangeven dat het systeem onzeker is.’
Om gebruikers echt te beschermen tegen chatbots die onzin uitkramen, zouden bijvoorbeeld techbedrijven verplicht moeten worden om die onzekerheid zichtbaar te maken. Bosse: ‘Als een chatbot zélf twijfel aangeeft, voorkom je dat mensen onzin voor waarheid aannemen.'
Reacties:
Om een reactie achter te laten is een account vereist.
Inloggen Abonneer nu