Evaluatie pilot Waisda? Video Labeling Game afgerond

Dinsdag 19 mei 2009 lanceerde het Nederlands Instituut voor Beeld en Geluid in samenwerking met de KRO Waisda?, een innovatief annotatiespel voor video. In de vorm van een uitdagend spel worden spelers gevraagd trefwoorden (tags) aan videomateriaal toe te voegen, met als doel de doorzoekbaarheid van audiovisuele archieven te verbeteren. Waisda? is gebaseerd op het principe dat er sprake is van een betekenisvol trefwoord, wanneer meerdere mensen afzonderlijk van elkaar dezelfde tag aan een video toekennen. Waisda? is het eerste operationele video labeling game voor audiovisuele collecties ter wereld. Waisda? maakt deel uit van een serie pilots die binnen het project Beelden voor de Toekomst worden uitgevoerd om de mogelijkheden van publieksparticipatie te verkennen en is nu – na zes maanden looptijd – geëvalueerd.

De pilotfase van Waisda? bleek buitengewoon succesvol. Sinds de lancering trok de website 9.198 unieke bezoekers en voegden 2.296 spelers maar liefst 340.551 tags toe aan 604 items. De website werd 12.297 keer bezocht. In totaal zijn 137.421 (40,3%) van de 340.551 tags binnen tien seconden door twee of meer spelers toegevoegd. De evaluatie laat zien dat het ‘crowdsourcen’ van video-annotaties middels een serious, social game inderdaad mogelijkheden biedt om de vindbaarheid van audiovisueel archiefmateriaal te vergroten. In het rapport staan tevens een aantal succesfactoren en aanbevelingen voor een eventueel vervolg beschreven.

De evaluatie bestaat uit een kwantitatieve en kwalitatieve analyse van de tags, usability onderzoek naar de huidige interface en gebruikersonderzoek naar de motivatie van spelers. Het evaluatieverslag is geschreven door Lotte Belice Baltussen, in samenwerking met Maarten Brinkerink en Johan Oomen, werkzaam bij Beeld en Geluid. Onderzoekers van de Web & Media groep van de Vrije Universiteit Amsterdam (VU) hebben tevens een belangrijke bijdrage geleverd, vanwege hun betrokkenheid bij het Europese onderzoekproject PrestoPRIME. Binnen dit project zal de VU – in samenwerking met Beeld en Geluid – op basis van Waisda? vervolgonderzoek naar geautomatiseerde processen om de tags te analyseren, verbetering van en aanvullingen op het spel- en interface ontwerp en het integreren van de tags in de professionele catalogusbeschrijvingen.

Het evaluatieverslag van de pilot is hier te downloaden (PDF). 

Waisda? enquête: winnaar van de VVV irischeque

De afgelopen weken is er een enquête gehouden onder Waisda? spelers. Via deze enquête wilden we er achter komen hoe we Waisda? in de toekomst leuker kunnen maken. In totaal hebben 41 spelers de vragenlijst ingevuld.

Onder de 41 respondenten is een VVV irischeque ter waarde van € 30,00 verloot, en de winnaar is Aaltje Meijer-Akker. Van harte gefeliciteerd, de cheque is inmiddels naar je verstuurd!

Binnenkort worden de eerste evaluatie van Waisda? afgerond. In dit rapport zijn de resultaten van de enquête opgenomen. We willen alle spelers die de enquête hebben ingevuld bij deze hartelijk bedanken voor de moeite!

We wensen iedereen hele fijne feestdagen toe, en een gelukkig nieuwjaar.

Eerste Waisda? – Boer zoekt Vrouw wedstrijd groot succes

Vorige week kondigden we de eerste Waisda? wedstrijd aan. De wedstrijd heeft gelopen van maandag 23 november 12:00 tot en met maandag 30 november 12:00. De drie spelers die in deze tijd de meeste punten hebben gescoord op Waisda? hebben ieder een Boer zoekt Vrouw bordspel gewonnen.

De winnaars

Na de aankondiging van de wedstrijd op dit blog en op de Boer zoekt Vrouw website is er hard gestreden door de Waisda? spelers om één van de drie bordspellen te bemachtigen.

Degenen die uiteindelijk als winnaars uit de strijd zijn gekomen zijn:

- Op nummer 1: Bart met een score van 1.099.327 punten.
- Op nummer 2: mar61 met een score van 1.079.613 punten.
- Op nummer 3: nelle01 met een score van 397.825 punten.

Wij willen de winnaars bij deze van harte feliciteren. Als het goed is hebben jullie allemaal al een e-mail gehad met de vraag waar we de prijs naar op kunnen sturen. Mocht dit nog niet zijn gebeurd, dan kun je met ons contact opnemen: waisda@beeldengeluid.nl.

Als je feedback wilt geven op Waisda?, vul dan de Waisda? enquête in en maak kans op een VVV irischeque ter waarde van € 30,00.

Fantastisch resultaat

We zijn erg blij dat we drie mensen gelukkig hebben kunnen maken met een prijs, maar ook dat er weer flink veel Waisda? is gespeeld. In de wedstrijdweek is het aantal tags met ruim 50 % gestegen van 220.000 naar 340.000. Het aantal geregistreerde spelers is ook flink gestegen naar 556, ten opzichte van de 406 voordat de wedstrijd begon.

We zijn van plan om in de nabije toekomst weer een wedstrijd te organiseren, dus houd dit blog in de gaten als je weer kans wil maken op mooie prijzen!

Nooit meer alleen spelen dankzij @waisdaspelers

Samen spelen is leuker! Dat geldt natuurlijk ook voor Waisda?. We merken alleen dat het lastig is om in te schatten wanneer je de meeste kans maakt om een medespeler te treffen.

Daarom stellen we je graag voor aan @waisdaspelers! Deze twitterbot stuurt automatisch een tweet wanneer iemand op Waisda? alleen aan het spelen is. Als trouwe Waisda? speler kan je door @waisdaspelers te volgen dus precies in de gaten houden wanneer mensen Waisda spelen en op zoek zijn naar een medespeler! Klik hier om @waisdaspelers op Twitter te volgen.
 
Als je direct vrienden wilt uitnodigen via Twitter dan kan dit ook. Klik hiervoor rechtboven aan de Waisda? website op ‘tip een vriend’.

Doe mee aan de eerste Waisda? wedstrijd en maak kans op een Boer zoekt Vrouw bordspel

Recentelijk zijn er heel veel spelers via de Boer zoekt Vrouw website naar Waisda? gekomen. Ze hebben in korte tijd ontzettend veel gespeeld en grote aantallen trefwoorden ingevoerd en hiermee een enorme bijdrage geleverd aan het project. Daarom hebben we besloten om een wedstrijd te organiseren waarbij een Boer zoekt Vrouw bordspel te winnen is. In totaal zijn er maar liefst drie spellen te verdelen!

Spelregels

· De wedstrijd loopt van maandag 23 november 12:00 tot en met maandag 30 november 12:00. De drie spelers die in deze tijd de meeste punten scoren op Waisda? winnen ieder een Boer zoekt Vrouw bordspel.
· Alleen als je een geregistreerde speler bent worden je punten bijgehouden. Registreer je hier als je nog geen Waisda? gebruikersnaam hebt, en zorg dat je altijd inlogt voordat je gaat spelen, anders worden je punten niet meegeteld.
· Je hoeft niet alleen te spelen met afleveringen van Boer zoekt Vrouw, je mag zelf kiezen met welk programma je Waisda? speelt.
· De gebruikersnamen van de winnaars worden op vrijdag 4 december op dit blog bekend gemaakt. Ook zal de winnaar persoonlijk op de hoogte gesteld via zijn of haar e-mail. Zorg dus dat je e-mail adres in je profiel ingevuld is, anders kunnen we geen contact opnemen om te vragen waar we de prijs naar toe moeten sturen!
· Wij zullen jouw e-mailadres alleen gebruiken om contact met je op te nemen als je de gelukkige prijswinnaar bent.
· Over de uitslag kan niet worden gecorrespondeerd.
· Als je op welke manier dan ook vals speelt word je gediskwalificeerd, hier kan niet over worden gediscussieerd.

Tips

Op Waisda? staan handige tips die je kunt toepassen om je score te vergroten. Ook hebben we op dit blog deze tips uitgebreid besproken: deel 1, deel 2, deel 3.

We wensen jullie allemaal heel veel plezier én veel succes!

Vul de Waisda? enquête in en maakt kans op een VVV irischeque van € 30,00

Let op! De enquête is gesloten.

We willen Waisda? in de toekomst graag verbeteren  maken, en daarbij hebben we jouw hulp nodig! We hebben een Waisda? enquête gemaakt, waarin je kunt aangeven wat je van het spel vindt en hoe het verbeterd kan worden.

Het invullen van de enquête duurt ongeveer 10 – 15 minuten. Als je de enquête volledig invult maak je kans op een VVV irischeque ter waarde van € 30,00.

De feedback die je ons geeft is echt onmisbaar om Waisda? te verbeteren, dus we hopen dat je ons hierbij wilt helpen.

Klik hier om de enquête te openen.

 

Explosieve groei Waisda? na bericht op Boer zoekt Vrouw website

Ongeveer een maand geleden berichtten we op dit blog over de eerste resultaten van Waisda? en over het vervolgonderzoek. Sinds die tijd is er zoveel gebeurd dat het ons leuk leek om nog eens een overzicht te geven van de laatste stand van zaken.

Op 27 oktober plaatste de KRO een bericht op de Boer zoekt Vrouw website over Waisda?. Hierin werd verzocht om te helpen bij het doorzoekbaar maken van de afleveringen van Boer zoekt Vrouw door het spelen van het spel. De bezoekers van de website gaven hier massaal gehoord aan.

Het aantal geregistreerde spelers is in de week na het bericht meer dan verdubbeld, en het totaal aantal trefwoorden is zelfs bijna verdrievoudigd. Het aantal unieke trefwoorden is net als het aantal spelers verdubbeld, van bijna 15.000 op 26 oktober naar een kleine 30.000 op 3 november.

Vanwege de groeiende populariteit van Waisda? hebben we besloten om meer afleveringen van Boer zoekt Vrouw toe te voegen om te taggen. Als er met deze afleveringen net zo actief gespeeld wordt als de afgelopen week, dan zal Boer zoekt Vrouw over een tijd heel gemakkelijk te doorzoeken zijn met behulp van de Waisda? trefwoorden!

Maximaliseer je Waisda? score – Voorbeeldspel

Om ervoor te zorgen dat je Waisda? zo effectief mogelijk speelt, en je dus zoveel mogelijk punten haalt hebben we een serie van drie blog posts gemaakt met achtergrondinformatie en tips. In deze derde en laatste aflevering bespreken we stap voor stap een voorbeeldspel. Hoewel we hier de informatie van de eerdere posts over de puntentelling en de tips hier ook voor een deel herhalen kan het handig zijn deze eerst (nog eens) door te nemen.

Stap 1: Het spel starten

Kies het kanaal waar je wilt spelen en klik op [Speel mee]. Als je wilt dat je score wordt bewaard moet je eerst inloggen. Rechts onderin ieder kanaal zie hoeveel spelers er op dat moment al aan het spelen zijn.
 

Stap 2: Trefwoorden ingeven

Type je trefwoorden (tags) in de grijze balk die onder de video staat, en druk op [Enter] zodra je klaar bent met typen. Dit moet je doen na iedere tag!
 

Je kunt zowel woorden invullen die aangeven wat je hoort, of woorden die beschrijven wat je ziet. In het voorbeeld hierboven zou dit bijvoorbeeld zowel ‘Max Westerman’ als ‘vredig’ kunnen zijn.

Dit programma gaat over het verschil tussen het drugsbeleid in Nederland en de Verenigde Staten. De speler heeft trefwoorden in gevuld die zowel beschrijven wat er in beeld te zien is, als wat er is gezegd.
 

 

Stap 3: Puntentelling

Als je binnen tien seconden hetzelfde trefwoord invult als je medespeler krijgen jullie allebei punten.

Je kunt ook extra punten scoren. Ten eerste geldt: hoe sneller je een tag invoert, hoe beter. Als jij namelijk de eerste bent die een trefwoord invult krijg je bonuspunten.

Wanneer meer dan twee mensen het met jou eens zijn krijg je bonuspunten. Als dit gebeurt wordt de tag waarmee je deze bonus scoort blauw.

Als je een tag invult die nog niet eerder is toegevoegd aan een aflevering en dus uniek is, dan ontvang je bonuspunten zodra iemand binnen tien seconden na jou deze tag ook invult. Die tags worden dan geel.

Verder krijg je een extra percentage bovenop je punten als je binnen een minuut drie of meer overeenkomende trefwoorden met je tegenspeler hebt. Dit wordt aangegeven door de uitroeptekens achter een tag.
 

In het bovenstaande voorbeeld zie je hoe de bovengenoemde bonussen er in de praktijk in Waisda? uitzien. Zoals je ziet zijn er ook groene tags. Dit zijn tags die wel overeenkomen met die van je tegenspelers, maar waarmee je geen aparte bonuspunten haalt. Echter, deze tellen wel net als de blauwe en gele tags mee voor het extra percentage dat je bovenop iedere scorende tag krijgt als drie of meer keren per minuut het eens bent met je tegenstander(s). Als je deze keten van succesvolle tags meerdere minuten volhoudt blijft dit percentage stijgen. Dit kan dus aardig oplopen!

Stap 4: Het einde van een spel

Als je een spel hebt uitgespeeld kun je ervoor kiezen om verder te spelen of je profiel te bekijken voor informatie over je totaalscore en andere gegevens:
 

Als je tijdens het spel wilt stoppen kan dit ook. Kies dan voor ‘Spel afbreken’, rechts boven aan de video. Als je voor je aan een spel begon hebt ingelogd worden de punten die je tot dan toe hebt behaald bewaard. Je hoeft dus niet bang te zijn dat je ze kwijt raakt als je een spel afbreekt!

Met deze aflevering concluderen we de serie posts met informatie die je kunt gebruiken om je Waisda? score te maximaliseren. Mocht na na het lezen van al deze posts nog vragen hebben, of heb je andere opmerkingen, neem dan contact op met waisda [at] beeldengeluid [punt] nl of ga naar het feedback forum. We gaan in de toekomst nog meer leuke en nuttige informatie en functionaliteiten aan Waisda? toevoegen, dus maak vooral gebruik van de mogelijkheid om ideeën aan te dragen!

Maximaliseer je Waisda? score – Deel 2: Tips

Om ervoor te zorgen dat je Waisda? zo effectief mogelijk speelt, en je dus zoveel mogelijk punten haalt hebben we een serie van drie blog posts gemaakt met achtergrondinformatie en tips. In deze tweede aflevering een opsomming van verschillende manieren waarop jij je score zo hoog mogelijk kunt maken. Hieronder staan enkele tips om dit te bereiken:

  1. Als je merkt dat er geen tegenspeler is kun je via Twitter of e-mail vrienden uitnodigen om het tegen je op te nemen door bovenin de website op “vertel het door!” te klikken.
  2. Je hebt de grootste kans om punten te scoren als je één enkel trefwoord invult. Je scoort namelijk alleen punten als je tegenspeler precies hetzelfde invoert. Stel bijvoorbeeld dat een fragment gaat over het eten van tulpenbollen in WO II. De kans dat je punten behaalt is groter wanneer je ‘tulpenbollen’ invult dan ‘tulpenbollen eten’, omdat de kans op overeenstemming met je medespeler veel groter is met een enkel trefwoord.
  3. Zoals bij de uitleg over de puntentelling duidelijk is geworden loont het om zo snel mogelijk een tag in te voeren. Waisda? is niet hoofdlettergevoelig, dus je hoeft bijvoorbeeld persoonsnamen of plaatsnamen niet van kapitalen te voorzien. Dit scheelt weer kostbare tijd die je kunt gebruiken om je tegenstander sneller af te zijn en om bonuspunten te scoren.
  4. Het komt voor dat er geen tegenstander is om het tegen op te nemen. Dit betekent echter niet dat je geen punten kunt halen! Wanneer jij de enige speler bent zorgt het systeem er voor dat je speelt tegen een zogenaamde ‘bot’. Dit is opname van een spel dat eerder door iemand is gespeeld, en waarmee wordt bijgehouden of jij op dezelfde momenten ook dezelfde tags toevoegt. Het lijkt dan net alsof je ‘live’ tegen iemand speelt.
  5. Wat ook belangrijk is om te weten is dat je hetzelfde trefwoord meerdere keren binnen een spel kunt gebruiken, en er dus ook meerdere keren punten mee kunt halen. De voorwaarde hiervoor is dat er minstens tien seconden zitten tussen de keren dat je hetzelfde woord gebruikt.
  6. Wanneer je per ongeluk een type- of spelfout maakt, kun je een tag alsnog snel invullen, en er dus nog steeds punten mee behalen. Natuurlijk moet je tag wel binnen de marge van tien seconden overeenkomen met de tag van je tegenspeler. Er is ons gevraagd om het mogelijk te maken om verkeerd ingevoerde tags te verwijderen. Aangezien we de tags voor gebruik nalopen op dergelijke fouten hebben we ervoor gekozen deze optie niet toe te passen, maar spelers juist de mogelijkheid te geven de goede tag in te voeren zodat er uiteindelijk ook nog punten mee kunnen worden gehaald.
  7. Ten slotte, als je een nieuw spel wilt starten tijdens je lopende spel, of je wilt stoppen, klik dan op ‘Spel afbreken’ rechts bovenaan de video waarmee je Waisda? aan het spelen bent. Wanneer je ingelogd bent heeft dit geen gevolgen, de score die je tot dan toe hebt behaald wordt opgeslagen. Als je wilt dat je score bewaard blijft, maak dan hier een gebruikersaccount aan, en log altijd in voordat je aan een spel begint.

We hopen dat het hiermee nog duidelijker is hoe Waisda? werkt en hoe je je score kunt maximaliseren, en dat je deze kennis in de praktijk brengt door Waisda? zo veel mogelijk te spelen!

Nieuwe functionaliteiten op Waisda?!

Naar aanleiding van jullie suggesties via de feedback-knop, presenteren wij vandaag met gepaste trots nieuwe functionaliteiten op Waisda?. Deze blogpost geeft een overzicht van de nieuwe mogelijkheden:

In welke kanaal zitten de spelers?

Een van de eerste suggesties die wij van jullie kregen wat het “per kanaal tonen van de spelers op de website”. Daarom zie je vanaf nu op de homepage in gele letters het aantal spelers per kanaal.

Deel Waisda? met je vrienden!

Het was al mogelijk om mensen op de hoogte te stellen van Waisda? via e-mail. Deze functionaliteit hebben wij flink uitgebreid. Het is nu bijvoorbeeld ook mogelijk uitnodigingen via Twitter te versturen.

Maar nog veel belangrijker: je kan deze uitnodigingen nu ook direct vanuit een spel versturen. Dus mocht je de pech hebben om ‘eenzaam’ te spelen: klik dan op “vertel het door!” om je vrienden per mail of Twitter uit te nodigen om mee te spelen. Ze ontvangen dan een bericht met een directe link naar het spel dat jij speelt!