Robots of chatbots kunnen veel waarde toebrengen aan ons leven maar zijn geprogrammeerd met specifieke commando’s. Het is soms frustrerend om die specifieke commando’s als mens te onthouden omdat wij op 1001 verschillende manieren hetzelfde kunnen zeggen of vragen. De menselijke taal is dus niet efficiënt.
Om het samenwerken en communiceren makkelijker en aangenamer te maken is het toch wel belangrijk dat we de robot proberen te bereiken met menselijke communicatievaardigheden en interacties.
Onze stagiairs Robbe en Kerrar gingen de uitdaging aan en scherpten de communicatievaardigheden van onze robot Pepper aan door deze te integreren met ChatGPT en in staat te stellen om de emoties van de gebruiker te herkennen en hierop te reageren. Op die manier zouden wij met Pepper een menselijk dialoog kunnen voeren.
Het denken: ChatGPT
ChatGPT is momenteel een veelbesproken onderwerp. Je kan deze technologie gebruiken om allerlei vragen te stellen en een realistisch antwoord te krijgen. Onze stagiairs maakten van deze nieuwe technologie gebruik en implementeerden ChatGPT om conversaties met Pepper veel natuurlijker en realistischer te laten verlopen. Daarnaast kan je op de tablet de dialoog volgen.
Het antwoord van ChatGPT zal afhangen van de emotie van de gebruiker. Deze wordt herkend door emotion detection.
Het visuele: Gezichts- en emotieherkenning
Robbe en Kerrar hebben Python Face Detection en Recognition technologie gebruikt zodat Pepper in staat is om gezichten uit een afbeelding te kunnen linken met namen, zelfs onder verschillende omstandigheden zoals verlichting en pose.
Daarnaast hebben ze gebruik gemaakt van Python Facial Expression Recognition (FER) voor emotion detection en recognition. Na het implementeren van FER en uittesten van FER werden alle personen herkend en werden hun emoties accuraat beoordeelt. Zo kan Pepper emoties zoals geluk, verdriet, boosheid en neutraliteit herkennen in gezichtsexpressies en zijn antwoorden van ChatGPT anders genereren.
Het mondige: Verschillende talen en stemmen
Aan de hand van Azure text to speech voegden onze stagiairs verschillende talen en stemmen toe. Een anderstalige bezoeker op kantoor? Of heb je zin om je Frans, Duits, Spaans enz. opnieuw bij te schaven? Ga dan in dialoog met Pepper.
Het resultaat met extra commando’s
Robbe en Kerrar zijn erin geslaagd om Pepper menselijker te doen communiceren en interageren. Ook voegden ze nog extra commando’s toe zoals leeftijdsherkenning, een reminder systeem en dansmoves.
Een unieke leerervaring
“Als junior developers hebben we waardevolle ervaringen opgedaan en geleerd om effectief te werken in een professionele omgeving. Daarnaast was onze stage bij Userfull een reis vol inspiratie en plezier, maar ook gevuld met vrolijke gezichten en geweldige collega’s.”
Bedankt Robbe en Kerrar voor dit geweldige project en wensen jullie nog heel veel succes!
Ook benieuwd naar een stage bij Userfull? Neem een kijkje tussen onze stages en ga de uitdaging tegemoet!
Onderstaande categorieën behoren tot dit artikel, wil je er meer over weten? Klik er dan op door.
