Onderzoek eerste resultaten Waisda? begonnen

Waisda? is afgelopen mei gelanceerd met als inzet om in de vorm van een spel mensen aan videomateriaal trefwoorden (tags) toe te laten voegen, die later kunnen worden gebruikt om de doorzoekbaarheid van audiovisuele archieven te vergroten. Het project is opgezet door Beeld en Geluid in samenwerking met de KRO, in het kader van Beelden voor de Toekomst. De ontwikkeling van het spel is uitgevoerd door internetbureau Q42. Het videomateriaal in Waisda? bestaat uit diverse programma’s en collecties, zoals historische Polygoonjournaals en afleveringen van televisieprogramma’s van de KRO (onder andere Boer zoekt Vrouw, Spoorloos en Memories). Recentelijk is ook het gedigitaliseerde archief van Barend en Van Dorp toegevoegd aan Waisda?

Op dit moment zijn we bezig met een eerste evaluatie van Waisda? Hierbij kijken we zowel naar hoe het spel zelf verbeterd kan worden, en wat er tot nu toe de afgelopen maanden door de spelers aan trefwoorden is toegevoegd. Sinds de lancering van Waisda? in mei zijn er al 508 video’s getagged door 2166 unieke spelers. Er zijn bijna 150 geregistreerde spelers, waarvan het overgrote deel regelmatig terugkeert om het spel te spelen. Tot nu toe zijn er via Waisda? ruim 13.000 tags toegevoegd, en dit aantal stijgt nog iedere dag.

Analyse en onderzoek    

Van al deze trefwoorden komt bijna 15 % overeen met de thesaurus die Beeld en Geluid gebruikt om de audiovisuele materialen in het archief te classificeren. Dit lijkt misschien niet erg veel, maar deze thesaurus bevat vastgestelde termen op het gebied van onder andere persoonsnamen, genres en onderwerpen, en is dus erg specifiek. Daarom worden de toegevoegde tags ook vergeleken met een andere database die het overgrote deel van de officiële Nederlandse woorden bevat. Daar komt nog eens 45 % van de tags mee overeen. Er is wel wat overlap tussen allebei deze databases, maar we kunnen nu al zeggen dat ruim de helft van de tags die worden ingevoerd sowieso bruikbaar zijn!

Dit betekent (gelukkig) niet dat de andere helft dit niet is. Natuurlijk zijn er trefwoorden toegevoegd die spelfouten bevatten, maar na een representatieve en willekeurige steekproef blijkt dat tien procent van de trefwoorden een spelfout te bevat. De verwachting is dat dit percentage spelfouten uiteindelijk nog iets lager uitkomt, omdat sommige spelers (wij in elk geval wel!) na een spelfout een tag alsnog een keer correct invoeren zodat ze er nog punten voor krijgen.

Er zijn ook tags die uit meer dan één woord bestaan, en die niet worden herkend als geldige term. Een mooi voorbeeld is de tag ‘buitenechtelijke kinderen’, die niet in de thesaurus van Beeld en Geluid of de database van Nederlandse woorden voorkomt. Gescheiden zijn ‘buitenechtelijke’ en ‘kinderen’ wel bruikbaar, dus door dit soort tags los te analyseren kunnen ze nog nuttige informatie toevoegen die de uiteindelijke doorzoekbaarheid van een programma bevordert.

Een ander gebied dat voor verder onderzoek in aanmerking komt betreft ambiguïteit. Dit betekent dat één tag meerdere betekenissen kan hebben. De term ‘link’ kan bijvoorbeeld  onder andere ‘gevaarlijk’ als ‘schakel’ betekenen. Om er achter te komen welke betekenis degene die het trefwoord heeft toegevoegd bedoelt kan er gekeken worden naar andere termen die zijn toegevoegd. Als een speler naast ‘link’ ook ‘eng’ en ‘spannend’ als tag heeft opgegeven kan hieruit de semantische relatie worden opgemaakt en worden bepaald dat het hier om de betekenis ‘gevaarlijk’ gaat van het woord link.

Deze en andere onderzoeksvelden zullen in een vervolgtraject worden geanalyseerd door de Vrije Universiteit binnen het Europese onderzoeksprogramma PrestoPRIME. Hierbij zal met name gekeken worden naar geautomatiseerde processen om de tags te analyseren. Dit onderzoek zal nog enkele jaren lopen en zal resulteren in diepgravend en aanvullend advies over de verwerking van de ‘user generated content’ van Waisda? 

Ideale case study

Het zal dus nog even duren voordat de definitieve analyses en resultaten van de tags bekend zijn. Daarom zijn we nu al bezig met een deelonderzoek dat ons veel informatie zal verschaffen over de bruikbaarheid van de tags. Hiervoor is het gedigitaliseerde archief van Barend en Van Dorp als voorbeeld genomen, omdat de collectie nog weinig informatie en trefwoorden bevat. Vanwege de weinige metadata in het archief is het een ideale case study, omdat we er van uit gaan dat de tags die door de spelers van Waisda? aan de Barend en Van Dorp afleveringen worden toegevoegd deze beter doorzoekbaar te maken. De inzet is om de tags binnenkort te implementeren in het online archief van het programma om de navigatie en zoekfunctionaliteit te verbeteren.

Verbeteringen van het spel

Naast het analyseren van de tags zijn we ook druk bezig met het verbeteren van het spel zelf. Ten eerste hebben we van de tags die tot nu toe zijn toegevoegd geleerd dat spelers een betere handleiding nodig hebben, omdat het soms niet duidelijk wat voor soort tags het hoogst scoren. Met name de tags die uit meer dan één woord bestaan scoren laag. Hoewel deze voor het onderzoek wel nuttig zijn komt het niet vaak voor dat een andere speler precies dezelfde woorden toevoegt, wat dus betekent dat er geen punten mee kunnen worden behaald. En het is natuurlijk juist leuk om te zien dat je scoort! Deze en andere tips en informatie komen binnenkort op de Waisda? website te staan.

Ook wordt er gekeken naar hoe het spel zelf verbeterd kan worden. Hierbij kun je denken aan een scoresysteem waarmee je stap voor stap naar hogere niveaus op kunt klimmen, een interface waarin duidelijk wordt wanneer en waarom je punten scoort en nog veel andere manieren om Waisda? nog leuker te maken. Er zijn ook nog veranderingen gepland waar je niet meer zo lang op hoeft te wachten. Binnenkort hoor je hier meer over, houd het blog en Waisda? dus in de gaten.

Toekomst

We zijn benieuwd naar de eerste resultaten van het onderzoek dat we de komende maanden gaan doen. Het is in ieder geval duidelijk dat er genoeg tags via Waisda? zijn toegevoegd om mee te werken. Kortom, blijf spelen, nodig mensen uit, en help ons door jullie inzet om spelenderwijs het archief van Beeld en Geluid beter toegankelijk maken.

 

2 thoughts on “Onderzoek eerste resultaten Waisda? begonnen

  1. Erg interessant om te horen dat er al zoveel uitgehaald kan worden. Is het al mogelijk om iets van een grafiek te maken die bepaalde statistieken uiteenzet?

  2. Hallo Rahul,Ik ben inderdaad al bezig met wat grafieken. In het uiteindelijke rapport zullen deze in ieder geval komen te staan, en als er nog mooie of opzienbarende tussen zitten zal ik kijken of ik nog een keer een aanvullende post kan schrijven met wat grafieken!Groeten, Lotte

Leave a Reply

Your email address will not be published. Required fields are marked *

*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>