Nederlands
EnglishBij toeval kwamen we contact met Dennis. Hij werkte toen nog bij een grote marketingorganisatie. Inmiddels is hij zelfstandig ondernemer met zijn eigen bedrijf SurveyFriendly en werken we samen aan de ResearchMessenger.
Wat heb je tot nu toe allemaal gedaan?
Ik studeerde Informatica aan de HvA en ben direct daarna gaan werken bij marktonderzoeksbureau Food&Market dat later overgenomen werd door Synovate/Ipsos. In het begin werkte ik aan het scripten voor telefonische interviews (CATI, zie link) wat later overging in allerlei soorten van online onderzoek.
Vanaf 2008 werkte ik bij Lightspeed (Kantar) aan creatief survey design met daarin allerlei aspecten als gamification, storytelling en creatief surveydesign. De laatste jaren was de nadruk steeds meer op mobiele toepassingen op tablets en mobiele telefoons.
Hoe kijk jij naar surveys?
Ik merk dat veel onderzoekers het wel hebben over "respondent friendly", maar dat de meesten toch gewoon hun eigen vragenset op de respondenten afvuren en eigenlijk alleen focus hebben op wat ze als onderzoeker precies willen weten. En dan het liefst in een makkelijk verwerkbaar formaat, zodat SPSS of R om gemakkelijk mee te rekenen.
Mijn idee van het werken met vragenlijsten is anders. Ik wil een conversatie opzetten tussen twee partijen en daarom wil ik dat de onderzoeker en de invuller op gelijke voet staan. Een gesprek waarin de onderzoeker vragen stelt en de respondent de mogelijkheid geeft om zijn idee kwijt te kunnen. Dat lijkt moeilijk in een vragenlijst, maar het is echt mogelijk.
Hoe doe je dat dan?
Allereerst moet een vragenlijst er plezierig uitzien en uitnodigen om in te vullen. Je moet nooit meer vragen dan wat je echt wilt weten en zeker geen vragen stellen waarop je het antwoord al weet of kunt afleiden. Mensen kunnen snel wegzappen, dat doen ze bij TV, maar ook bij vragenlijsten.
Bij panels worden mensen dan wel vastgehouden met allerlei puntensystemen, maar als een vragenlijst echt niet prettig is, dan kunnen mensen de vragenlijst snel willen invullen om alleen de incentive te behalen, ftewel allemaal antwoorden geven die recht onder elkaar staan, om zo maar snel klaar te zijn. Of nog erger, ze vullen zomaar wat in. Slecht ontworpen vragenlijsten leiden naar slechte data dat weer leidt tot verkeerde beslissingen.
Ik zie zo veel mooie voorbeelden van websites en applicaties op Internet, veel ervan is bruikbaar in surveys. Veel organisaties werken met "scripters", mensen die al jaren vragenlijsten, elke keer op dezelfde (snelle) manier in elkaar zetten. Ik ben veel meer een designer, ik wil de invuller welkom heten en op gemak stellen. Ook wil ik de invuller tussendoor en aan het einde laten weten dat het goed is, dat ik waardeer hat hij/zij de tijd neemt om me allemaal gegevens te verstrekken.
Veel vragen zijn duidelijker te stellen met het gebruik van visuals dan alleen met tekst.Ik probeer altijd meer met beelden en iconen te doen. Vraagtekst probeer ik zo kort mogelijk te houden. Je ziet zoveel herhaling in vraag teksten en onnodige instructies. Bijvoorbeeld een uitleg van de antwoordschaal terwijl de antwoorden al voor zich spreken.
Onderzoekers weten vaak precies wat ze willen vragen, maar dat is lang niet altijd wat een invuller kwijt wil. Ik bouw altijd ook open vragen in, zodat de invuller iets van zichzelf kwijt kan. Je kunt er misschien niet altijd wat direct mee voor je analyse, maar de invuller blijft er anders mee zitten en beantwoord dan je andere vragen met minder aandacht. Ook kan het juist een toegevoegd inzicht geven in iets waar je niet aan hebt gedacht.
Maar het antwoorden van open vragen is toch juist niet makkelijk op een mobiel?
Ja, dat zeggen veel ontwerpers, maar als de vraag echt interessant is, dan schrijven mensen hun antwoord echt wel op. Kijk maar eens wat mensen allemaal intikken als ze via Whatsapp elkaar berichtjes sturen, dat zijn soms ook hele verhalen. En daarbij: een kort tekstantwoord bij een open vraag kan ook heel veel vertellen.
Hoe zorg je dat mensen doorgaan en niet afhaken?
Bij iets langere vragenlijsten bouw ik tussendoor wel eens schermen in met een aanmoediging, zoiets als: "Goed bezig, je bent al bijna op de helft.."
Vragenlijsten zijn vaak veel te lang, zeker als mensen "on the move" zijn. Maar ook in een kantoor of thuis hebben mensen steeds minder tijd. 20 minuten is al best heel lang. En als je het over mobiel hebt: lang niet iedereen die een vragenlijst invult is onderweg, veel mensen zitten gewoon op de bank, thuis. Ze hebben dan geen zin om hun computer aan te zetten, het moet toch gewoon zo ook kunnen?
Is een vragenlijst op een mobiel anders dan op een groter beeldscherm?
Voor een vragenlijst op een mobiel moet je "kort denken", echt tot de kern komen, of vragenlijsten in meerdere "afleveringen" laten invullen. Ook vind ik dat je in een vragenlijst voor mobiel invullen geen grid/array vragen moet stellen, dat werkt dan helemaal niet. Je moet dan horizontaal scrollen en dat is geen goede "user experience". Of de gridvraag ziet er op een mobiel anders uit dan op een groter scherm en dat beïnvloedt de invulling; vragen moeten er op alle schermen hetzelfde uitzien vind ik.
Een groot voordeel door mobile first te denken en toe te passen werkt dit niet alleen op mobiel goed maar ook op PC.
Daarbij heb ik altijd al een hekel gehad aan gridvragen, de onderzoekers denken dat ze zo een hoop stellingen in één vraag kunnen stoppen, maar eigenlijk zijn het gewoon veel vragen op een hoop gegooid. Het nodigt uit tot slordig invullen. Je kunt er bij een gridvraag nooit vanuit gaan dat de invuller elke subvraag leest en begrijpt. Ik zie dat vaak aan de responsetijden: normaal lees je 2 a 3 seconden en neem je 2 a 3 seconden voor het antwoord. Dus zo'n 5 seconden per vraag. Toch lukt het invullers om een gridvraag met 10 subvragen te beantwoorden in 12 seconden. Dat kan gewoon niet serieus zijn.
Juist om ontwerpers dat "korter denken" aan te leren, heb ik de ResearchMessenger ontwikkeld, de vragenlijst in de vorm van een chat. Voor de gebruiker lijkt het op een gesprek via een chatmogelijkheid, zoiets als Whatsapp. In werkelijkheid is het een vragenlijst in een ander jasje. We gaan het nog uitgebreider testen, maar hebben al uitgevonden dat veel mensen het helemaal niet zien als een vragenlijst en dat is gunstig.
Waar gaat het volgens jou naar toe met surveys?
Er wordt veel gesproken over het "onderhuids meten" van allerlei zaken via gedrag op Internet, maar in veel gevallen kun je gewoon het beste rechtstreeks wat vragen. Ik denk dat daarom internetvragenlijsten zullen blijven bestaan, maar er zal een hoop veranderen.
Allereerst denk ik dat de verschuiving naar mobiel doorzet, waardoor vragenlijsten korter worden en met eenvoudiger vragen.
Ook denk ik dat onderzoekers zich veel meer moeten richten op de dialoog, het gesprek in plaats van op platte dataverzameling. Die dialoog is dan een extra bovenop wat je op andere manieren kunt verzamelen aan gedragsgegevens. Een dialoog is niet noodzakelijkerwijs één gesprek, het bestaat vaak uit een aantal gesprekken. Het wordt dan de kunst om al die verschillende gesprekken en databronnen aan elkaar te knopen. En dat binnen de grenzen van de privacywetgeving.
Mobiele devices bieden enorm veel extra mogelijkheden: GPS gegevens, foto, video, geluidsopnamen. Zo heb ik al de mogelijkheid om foto's te uploaden ingebouwd in de ResearchMessenger. Je kunt die nu gebruiken voor bijvoorbeeld het vangen van gebruikservaringen onderweg: leuke momenten, verkeersdrukte of straat incidenten. Maar ook voor het vastleggen van Arbo-zaken, aanbiedingen en bijzondere mensen.
AI (Artificial Intelligence) en machine learning zijn zaken waar veel over wordt gepraat en ook toegepast kunnen worden. Wel vraag ik mij soms af of een intelligent in elkaar gezette vragenlijst met alle routing en filtering ook al een stap richting AI is. Op basis van eerdere antwoorden stuurt de vragenlijst je een bepaalde kant op en de vragenlijst kan je persoonlijk aanspreken. Op basis van bestaande data kan je ook algoritmes toepassen en afhankelijk daarvan weer bepaalde kanten op gaan.
Wat hoop je te bereiken?
Ik hoop dat het verzamelen van data een beetje intelligenter gaat gebeuren. Om me heen hoor ik vaak: "We moeten wat met … (bv. social media, big data, AI, VR)" en terecht, er kan zoveel en het is alleen maar goed om verder te kijken. Maar aan de andere kant zie je nog steeds dat er nog steeds ontzettend veel problemen zijn om een gewone behoorlijke vragenlijst op te zetten. Er kan zoveel meer, maar dan moet je wel wat creatiever zijn dan nu. We geven veel geld uit aan onderzoek en zien het maken van een vragenlijst niet als echt design werk. Dat moet veranderen. Het is al lang niet meer het scripten van een vragenlijst, het is echt design en ontwikkeling.
Er kan echt heel veel en dat kost alleen maar extra aandacht en "designers love".