pim

55

Expert Review

Met een expert op het gebied van antropologie heb ik het eindproduct onder de loop genomen. We hebben voornamelijk gekeken naar hoe de medewerker door de chatbot wordt benaderd en of dit aansluit bij hoe we een gebruiker kunnen triggeren om zijn data af te staan. Is het mogelijk om met bepaalde gedrag aan te zetten tot het delen van data.

De belangrijkste feedback:

Hoe kan je je identificeren met de antwoordmogelijkheden? Is er een duidelijke (emotionele / menselijke) connotatie?
De antwoorden reflecteren wat ik zou willen weten. Doordat antwoorden al voor me gedefinieerd zijn voelt het niet per se heel menselijk. Op het moment dat ik vloeiend zou kunnen spreken tegen de bot zal dit menselijke wel meer naar boven komen.

Als medewerker wil je niet te lang je workflow doorbreken. Hoe zorgt de chatbot dat dit het geval is? Wat vind je daar van?
Als de bot niet meerdere keren per dag push notificaties stuurt ben ik blij. Ik wil eigen initiatief kunnen tonen mocht ik het nodig hebben. De eenmalige notifcatie per mail / sms lijkt me een prima manier om niet te opdringerig over te komen. Ik kies er immers ook zelf voor om deze te ontvangen.

Stel dat je ergens totaal niet uitkomt, niet snapt, of gewoon vragen hebt.. Wat zou je dan doen? 

Kijken of de bot me kan helpen, anders een mail sturen voor ‘echt’ hulp.

Wat vind je er van dat je daadwerkelijk met een human medewerker kunt praten?
Dat voelt fijner, dat geeft meer zekerheid dat ik geholpen kan worden. 

Voel je je gehoord door de Bot?
Zelfde als de vorige vraag eigenlijk. Zodra ik alles kan zeggen wat ik wil en daar een reactie op krijg wel. 

Ben je in staat om sensordata te koppelen aan de de door jouw gegeven antwoorden? Wat zou je daar uit kunnen opmaken?
Nee, ik snap niet hoe ik het plaatje moet interpreteren en de bot helpt me daar niet bij.

Conclusie

Op basis van de expert review kan ik stellen dat ik met de chatbot op de goede weg ben.  Middels de iteraties op de hiervoor genoemde bladzijden heb ik getracht de feedback af te vangen en te verwerken. 

De expert heeft het gevoel dat hij gehoord wordt door de bot op het moment dat hij alles kan zeggen en daar een reactie op krijgt. Het overgaan op een live chat geeft zekerheid.

De sensordata werd nog niet volledig begrepen. Door de toevoeging van extra uitleg en data uit het verleden hoop ik dat de sensordata meer waarde krijgt en beter begrepen wordt.

pim

54

Vervolg

De laatste dagen van het afstudeerproject staan in het teken van itereren, meer testen en het schrijven van de rationale en de reflectie.

De Design Rationale is inmiddels bijna klaar.
Momenteel werk ik aan het doorvoeren van een design iteratie op basis van de verkregen feedback uit het testen.

Morgen zal ik nog een aantal keer gaan testen om de iteraties te valideren.

pim

53

Validatie / testen

Afgelopen week stond in het teken van testen. Bij verschillende respondenten heb ik de twee prototypes getest.  Ik heb er voor gekozen om eerst de werkende bot te testen en vervolgen het ontwerp waar de bot uiteindelijk in moet leven. Voor de respondenten is een scenario geschetst waarbinnen de test is uitgevoerd. 

Aan de hand van validatie van de eerder opgestelde job stories heb ik getracht te achterhalen in hoeverre de drie gevormde pillaren worden bevestigd met het prototype. 

Het scenario

“Jij bent een medewerker bij een grote corporate op een afdeling waar zo’n 30 mensen werken. Op deze afdeling heb je regelmatig last van schommelingen in de temperatuur, waardoor je je soms niet goed kan concentreren op je werk.
Healthy Workers komt bij jullie langs om in kaart te brengen hoe jouw werkomgeving invloed uitoefent op jouw prestaties. Hierbij kan je denken aan jouw productiviteit, focus, engagement, etc.. Healthy Workers heeft een tool ontwikkeld waarmee ze jou vragen om input te geven over jouw werkomgeving en hoe jij je voelt op kantoor. Daarnaast brengen ze ook het omgevingsklimaat in kaart met sensoren. De komende 4 weken ga je aan de slag met de tool die Healthy Workers jou aanbiedt.”

De test gaat van start… 

Het doel van de test is het nabootsen van een momentopname waarbij de gebruiker als medewerker fungeert en de dagelijkse flow van de chatbot doorloopt. 

FlowXO

Belangrijskste opmerkingen / opvallendheden:

– Iets te veel vak-jargon. Dit wordt als vervelend ervaren. Het gaat hierbij om woorden als ‘Reminders’, ‘notificaties’, 

– De gebruiker heeft op dit moment niet volledige vrijheid in hoe hij zijn antwoorden formuleert, maar is vaak gebonden aan de antwoord-opties die al gedefinieerd zijn.

– De bot stuurt vrij snel achter elkaar berichten. Hierdoor is het soms lastig om rustig de vorige berichten te lezen.

– De gebruiker vindt het daardoor ook irritant dat de bot het tempo van het sturen van berichten bepaald.

– Veel positieve stimulansen: dit wordt als prettig ervaren.

– Als construct start, ziet de gebruiker maar één keer de schaalverdeling van de in te vullen score. De gebruiker moet vaak terugscrollen in de chat om opnieuw te bekijken wat de schaalverdeling is.

– De gebruiker vindt het heel prettig dat hij zelf ‘in charge’ is over het tempo waarop hij de vragen beantwoordt (en daarmee de hoeveelheid vragen).

– De gebruiker zou, naast de progressie, een tijdsindicatie zien over hoe lang hij bezig zal zijn. Tonen hoeveel vragen er beantwoord moeten worden volstaat ook.

– De gebruiker had sterk het gevoel dat hij met een persoon aan het chatten was, hoewel hij dit prettig vond, wil hij toch graag weten dat hij met een bot communiceerd, zodat hij weet dat hij niet alles kan zeggen en eventueel over kan schakelen op een live chat.

Uit de test blijkt dat de volgende job stories worden behaald:

– Wanneer een medewerker de bot voor het eerst gebruikt, wil hij duidelijkheid in wat hem te wachten staat, zodat hij snel en efficitent door het proces heen kan.

– Wanneer een medewerker iets niet snapt of ergens niet uitkomt, wil hij met een specialist praten, zodat hij zijn problemen kan oplossen en verder kan met de flow.

– Wanneer een medewerker vragen heeft beantwoord, wil hij zien wat de betekenis is van die antwoorden, zodat hij weet hoe zijn antwoorden gebruikt gaan worden in het uiteindelijke interventie-advies. –

– Wanneer een medewerker vragen wilt gaan beantwoorden, wil hij zeker weten dat niemand zijn antwoorden kan herleiden naar wie hij is, zodat hij zich geen zorgen hoeft te maken over het gevolg van zijn antwoorden.

– Als medewerker van een bedrijf, wil ik kunnen kiezen hoeveel vragen ik in een keer wil invullen, zodat ik niet te lang mijn workflow hoef te doorbreken. 

UI / UX

Belangrijkste opmerkingen / opvallendheden

– De gebruiker wordt gevraagd om zijn progressie te bekijken. Het ‘voortgangsscherm’ wordt direct gevonden. De gebruiker vindt vooral het totaal belangrijk om te zien. De voortgang per construct interesseert hem niet zoveel en werkt zelfs ietwat demotiverend, omdat hij veel lege barcharts ziet. Hij zou het daarentegen wel prettig vinden om hier in plaats van een percentage, het aantal vragen te zien dat beantwoord moet worden. Hiervoor zou hij een andere weergave prefereren. 

– Vervolgens wordt de gebruikers gevraagd om de taalinstelling te veranderen. De bot kent twee talenkeuzes: Nederlands en Engels. De reden hiervoor is dat Healthy Workers voor een internationaal klantspectrum werkt en daarmee niet enkel Nederlandstalige medewerkers bedient. De taalinstelling wordt vrijwel direct gevonden en is rechttoe rechtaan.

– De gebruikers voelen zich op hun gemak door de persoonlijke aanspreking van de bot. 

– Bij de CTA’s ‘Ja’ en ‘Nee’ hoort  ‘Ja’ de primaire CTA te zijn waarvan wij als Healthy Workers het liefst willen dat de gebruiker op klikt. De gebruiker gaf aan dat hij ‘Nee’ echter ook in het oog vond springen en zich daar toe aangetrokken voelde. 

– Vanaf het eerste moment dat de gebruiker de sensordata CTA ziet, wilt hij hier direct mee interacteren. Zodra de gebruiker merkt dat dit niet kan, geeft hij aan dat hij dit jammer vindt en graag zou willen zien wat er onder de knop zit. De gebruiker gaf echter ook aan dat hij graag een terugkoppeling wilde zien over dat de sensordata later beschikbaar wordt.

– Bij de keuze of de productvideo bekeken kan worden, zou de gebruiker graag zien dat de video altijd later bekeken kan worden als hij er voor kiest om niet direct te gaan kijken. 

– Gebruiker wordt vrolijk als hij ziet dat de sensordata beschikbaar wordt en de data kan inzien. Zou wel nog wat meer uitleg willen over wat de betekenis is van de data die hij ziet.   

– De antwoord-slider werkte zoals de gebruiker zou verwachten. De verandering van emotie vind de gebruiker erg prettig, omdat hij daarmee direct ziet wat de betekenis van een antwoordoptie is. Hij kan zich daarmee identificeren. De gebruiker vindt irritant dat de een antwoord direct bevestigd wordt als hij de slider loslaat. Hij ziet liever swipe en bevestigen. 

– De tips en tricks die gebruiker krijgt op basis van zijn antwoorden worden als prettig ervaren. Dit geeft de gebruiker het gevoel dat er naar hem geluisterd wordt. 

Uit de test blijkt dat de volgende job stories worden behaald:

– Wanneer een medewerker vragen aan het beantwoorden is, wil hij een emotionele connotatie zien, zodat hij zich kan identificeren met de antwoorden.

– Wanneer een medewerker een slechte score heeft behaald, wil hij daar terugkoppeling van krijgen, zodat hij zich persoonlijk benaderd voelt. 

– Geroepen* 

– Vult haar naam goed in. 

– Vraag 1 van 4 wilt ze graag zien. Weet niet niet hoe lang het duurt. 

– Zou zoeken naar een vraagteken als ze iets niet snapt

– dacht dat het een bot is. vermelden dat als je vragen hebt dat je het kan stellen. 

– Zou niet weten wat je er aan de sensordata hebt. 

-Voortang: wat is er voltooid: fijn om te zien hoeveel vragen iets heeft. 

– iconen

– Language change: zocht eerst naar vlaggetje: was snel.

– ‘Actuale’ in sensordata

– Denkt vandaag (Realtime)

– Zou graag door meerdere dagen kunnen om te vergelijken

– Slider: evt. extra knop om te bevsestigen

– Wijzig antwoord bij ‘wil je verder gaan’.  

Eisen

Als we kijken naar de eisen waar het project aan moet voldoen om succesvol aan te sluiten bij de pilaren ‘gehoord voelen’, ‘waarde creatie’ en ‘effictientie’ scoort de oplossing als volgt: (klik voor betere afbeelding)