Evaluatie pilot Waisda? Video Labeling Game afgerond

Dinsdag 19 mei 2009 lanceerde het Nederlands Instituut voor Beeld en Geluid in samenwerking met de KRO Waisda?, een innovatief annotatiespel voor video. In de vorm van een uitdagend spel worden spelers gevraagd trefwoorden (tags) aan videomateriaal toe te voegen, met als doel de doorzoekbaarheid van audiovisuele archieven te verbeteren. Waisda? is gebaseerd op het principe dat er sprake is van een betekenisvol trefwoord, wanneer meerdere mensen afzonderlijk van elkaar dezelfde tag aan een video toekennen. Waisda? is het eerste operationele video labeling game voor audiovisuele collecties ter wereld. Waisda? maakt deel uit van een serie pilots die binnen het project Beelden voor de Toekomst worden uitgevoerd om de mogelijkheden van publieksparticipatie te verkennen en is nu – na zes maanden looptijd – geëvalueerd.

De pilotfase van Waisda? bleek buitengewoon succesvol. Sinds de lancering trok de website 9.198 unieke bezoekers en voegden 2.296 spelers maar liefst 340.551 tags toe aan 604 items. De website werd 12.297 keer bezocht. In totaal zijn 137.421 (40,3%) van de 340.551 tags binnen tien seconden door twee of meer spelers toegevoegd. De evaluatie laat zien dat het ‘crowdsourcen’ van video-annotaties middels een serious, social game inderdaad mogelijkheden biedt om de vindbaarheid van audiovisueel archiefmateriaal te vergroten. In het rapport staan tevens een aantal succesfactoren en aanbevelingen voor een eventueel vervolg beschreven.

De evaluatie bestaat uit een kwantitatieve en kwalitatieve analyse van de tags, usability onderzoek naar de huidige interface en gebruikersonderzoek naar de motivatie van spelers. Het evaluatieverslag is geschreven door Lotte Belice Baltussen, in samenwerking met Maarten Brinkerink en Johan Oomen, werkzaam bij Beeld en Geluid. Onderzoekers van de Web & Media groep van de Vrije Universiteit Amsterdam (VU) hebben tevens een belangrijke bijdrage geleverd, vanwege hun betrokkenheid bij het Europese onderzoekproject PrestoPRIME. Binnen dit project zal de VU – in samenwerking met Beeld en Geluid – op basis van Waisda? vervolgonderzoek naar geautomatiseerde processen om de tags te analyseren, verbetering van en aanvullingen op het spel- en interface ontwerp en het integreren van de tags in de professionele catalogusbeschrijvingen.

Het evaluatieverslag van de pilot is hier te downloaden (PDF).