Het tijdschrift Quest maakt via een serie korte filmpjes inzichtelijk waar universitaire onderzoekers de hele dag mee bezig zijn. Onder de titel Hoe vind je videomateriaal terug? hielden ze in dit kader een kort vraaggesprek met Michiel Hildebrand, die voor de Vrije Universiteit Amsterdam onderzoek doet naar de tags die aan Woordentikkertje (en voorloper Waisda?) worden en werden toegevoegd. In dit filmpje krijg je een beeld hoe dit in zijn werk gaat.

Permalink | Leave a comment  »

Persbericht: 

NCRV lanceert in samenwerking met Beeld en Geluid het spel Woordentikkertje. Deelnemers beschrijven spelenderwijs het uitgebreide archief van het populaire programma Man bijt hond. Een eerdere versie van het spel won in 2010 verschillende internationale prijzen voor haar innovatieve karakter. De komende maanden hopen de projectpartners in totaal één miljoen trefwoorden te verzamelen.

In Woordentikkertje voeren spelers trefwoorden in die beschrijven wat er in een fragment te zien en horen valt. Hierbij nemen ze het op tegen andere spelers op de site, verdienen ze punten en helpen ze mee om het immense archief van Man bijt hond beter toegankelijk en doorzoekbaar te maken.

Woordentikkertje is een race tegen de tijd waarin spelers zich met elkaar kunnen meten en fragmenten van Man bijt hond herontdekken. Ook maken ze hierbij wekelijks kans op prijzen. Spelers verdienen punten door het invoeren van trefwoorden die ook door andere spelers werden gebruikt of wanneer deze voorkomen in een woordenlijst van plaats- en persoonsnamen.

De afgelopen drie maanden heeft Woordentikkertje in de testperiode al meer dan 300.000 trefwoorden opgeleverd. Met deze trefwoorden wordt een database gecreëerd waarmee de Vrije Universiteit  Amsterdam verder onderzoek kan verrichten.

Link: http://woordentikkertje.manbijthond.nl

Permalink | Leave a comment  »

Vorige week kwamen alle geïnteresseerde archiefhouders, bibliothecarissen en cultuurbehouders in Wenen samen voor een conferentie over de technische aspecten van Europeana. Op deze conferentie sprak VU-onderzoeker Michiel Hildebrand over de mogelijkheden van crowdsourcing voor het annoteren van videomateriaal in archieven. Europeana is de Europese digitale bibliotheek, die het culturele erfgoed uit de EU-zone digitaal beschikbaar wil maken voor het brede publiek.

In januari verdedigt Michiel zijn paper Linking user-generated video annotations to the web of data op de 18e internationale conferentie over MultiMedia Modeling (MMM 2012) in Klagenfurt, Oostenrijk. Wie al nieuwsgierig is naar zijn eerste bevindingen over de data die uit Woordentikkertje stromen, kan hier zijn paper lezen [PDF].

Hieronder vind je de presentatie die hij in Wenen gaf:

Permalink | Leave a comment  »

In het oktobernummer van het magazine voor informatiewerkers Informatieprofessional valt een uitgebreid artikel te lezen over de succesfactoren van crowdsourcingprojecten. Johan Oomen en Lora Aroyo nemen de temperatuur op van enkele Nederlandse initiatieven op dit vlak (met uitgebreide aandacht voor Woordentikkertje) en onderzoeken op wat voor manieren we dit soort projecten kunnen doorlichten om er hun succesgraad aan af te meten.

De auteurs publiceerden eerder dit jaar ook de Engelstalige paper Crowdsourcing in the Cultural Heritage Domain over dit onderwerp. Deze paper werd in juli in het Australische Brisbane gepresenteerd op een conferentie over Communities en Technologies

Lees het volledige artikel op de website van Informatieprofessional.

Permalink | Leave a comment  »

Vorige maand berichtten we over de stand van zaken van de eerste maand Woordentikkertje. Inmiddels is het spel alweer twee maanden online en is het dus tijd om wederom de balans op te maken. Er is flink getagd tijdens de afgelopen maand: het aantal tags is in één maand bijna verdrievoudigd van 32.248 naar 100.225!

Bezoekers

In totaal heeft de site de eerste twee maanden bijna 2.200 unieke bezoekers gehad, waarvan een groot deel (21%) via de website van Man bijt hond bij Woordentikkertje terecht komt. Verrassend genoeg vindt een belangrijk segment van de bezoekers het spel via sites waarvan we het niet hadden verwacht: prijsvragenfora! Je kunt namelijk prijzen winnen wanneer je Woordentikkertje speelt, wat een goede motivator blijkt te zijn voor onze spelers.

Gemiddeld blijven bezoekers zo’n 5 minuten op de site en bezoeken ze evenveel pagina’s. Ongeveer een derde van de bezoekers vond het spel zo leuk dat ze nog een keer terug kwamen. Het overgrote deel (93%) komt uit Nederland, maar net als een maand geleden weten onze zuiderburen Woordentikkertje ook met enige regelmaat te vinden.

Tags en spelers

Zoals in de inleiding al werd gezegd is het aantal tags de afgelopen maand explosief gestegen. Medio augustus waren er al ruim 32.000 tags toegevoegd - een mooi cijfer waar we erg trots op waren - vooral omdat het spel nog niet 'officieel' is gelanceerd. Hier zijn inmiddels meer dan 60.000 tags bijgekomen, wat betekent dat de database met maar liefst 200% is gegroeid.

De spelers die afkomstig zijn van de prijsvragenfora blijven gemiddeld het langst op de site (bijna 20 minuten) en bezoeken zo’n 14 pagina’s. Hierbij kan aangenomen worden dat een groot deel van deze pagina’s een specifiek spel betreft, aangezien er per spelsessie een aparte pagina wordt aangemaakt. Het aantal geregistreerde spelers heeft zich ten opzichte van de eerste maand bijna verdubbeld. In totaal zijn er nu 161 mensen met een Woordentikkertje account en 276 anonieme spelers.

De meeste tags worden bijgedragen door de geregistreerde spelers. Zij voegden in totaal meer dan 89.000 tags toe, terwijl anonieme spelers er net geen 11.000 bijdroegen. Dit is niet verrassend, aangezien spelers alleen prijzen kunnen winnen als ze een Woordentikkertje account hebben. Het geeft echter duidelijk aan dat hoewel er bijna 2,5 keer meer anonieme spelers zijn, dit niet inhoudt dat zij een evenredig deel bijdragen.

De top tien spelers die de meeste tags toevoegden hebben 57.467 tags bijgedragen – meer dan de helft van het totaal! De nummer één super tagger van Woordentikkertje voegde 11.030 tags toe (meer dan 10% van het totaal is) en scoorde hiermee 393.655 punten.

Pioniertags

In de eerste maand waren er van de 32.248 tags 25.685 zogenaamde pioniertags (80%). Dit zijn tags die door een speler voor het eerst aan een specifieke video worden toegevoegd. Als een pioniertag door een andere speler worden gematcht krijgt de ‘pionier’ 100 extra punten. Dit kan tijdens het spel gebeuren als een tag wordt gematcht met een tegenspeler, maar ook naderhand als een andere speler deze tag in een andere spelsessie toevoegt. Nu zijn er bijna 73.208 van de 100.225 tags pioniertags (73%), waarvan er 14.313 zijn gematcht (14%). Er zijn in verhouding iets minder pionierstags dan in de eerste maand (toen was dit nog 79%). Dit kan verklaard worden uit het feit dat er aan steeds meer video’s tags worden toegevoegd en de kans dus kleiner wordt dat een speler een nieuwe tag introduceert. De pionierende spelers kunnen nog wel even vooruit: er zijn meer dan 11.000 video’s beschikbaar in Woordentikkertje, terwijl er pas met 1.544 video’s daadwerkelijk is gespeeld.

aandeel pionierstags na twee maanden

Spelermatches en thesaurusmatches

Spelers kunnen punten verdienen door tags te matchen. Dit kan op verschillende manieren. Ten eerste is er sprake van een match wanneer twee spelers binnen 10 seconden dezelfde tag invoeren. Naast deze ‘spelermatches’ kunnen spelers ook punten krijgen als hun tags overeenkomen met de persoonsnamen of geografische namen uit GTAA, de thesaurus waar Beeld en Geluid gebruik van maakt voor het beschrijven van haar collecties. In de eerste maand was bijna 38% van de tags een spelermatch (bijna 12.000 van de 32.248 tags). Er waren 1.918 thesaurusmatches, waarvan 257 met persoonsnamen (bijvooorbeeld: Jan Visser) en 1.661 met geografische namen (bijvoorbeeld: Lutjegast).

In totaal zijn er nu 41.330 spelermatches gemaakt - 41% van het totaal aantal tags. Daarnaast zijn er de afgelopen twee maanden 6.568 thesaurusmatches gemaakt, waarvan 2.798 eveneens spelermatches zijn. Van deze thesaurusmatches zijn 837 matches met persoonsnamen en 5.731 matches met geografische namen.

Eerlijk spelen gaat langer mee

We hielden een handmatige steekproef gehouden om te kijken of de nieuwe spelersgolf die (vermoedelijk - én terecht!) speelt om prijzen te winnen geen tags toevoegen die geen betrekking hebben op de video's. Dit blijkt vooralsnog niet het geval te zijn. Mocht dit toch voorkomen, of worden spelregels op andere wijze creatief ingevuld, dan kan het totale puntenaantal van een speler naar beneden worden bijgesteld om te zorgen dat iedereen net zoveel kans heeft om prijzen te winnen.

Conclusie

Het aantal tags is in de tweede maand Woordentikkertje met een factor drie toegenomen. De belangrijkste reden hiervoor lijkt te zijn dat onze spelers graag mooie prijzen willen winnen en omdat ze Man bijt hond een leuk programma vinden. Maar uit de reacties blijkt gelukkig ook dat de spelers het gewoon leuk vinden om Woordentikkertje te spelen!

Geregistreerde spelers voegen veruit het grootste aantal tags toe en het aantal pioniertags neemt nog steeds gestaag toe. Het aantal matches van tags met andere spelers en/of met de thesaurus van Beeld en Geluid verdrievoudigde, hoewel het deel van de tags dat gematcht werd ongeveer gelijk bleef. Voor de komende tijd staan enkele kleine verbeteringen in de pijplijn. We hopen dat het spelplezier van onze spelers daarmee nog groter wordt zodat we de stijgende lijn kunnen doorzetten!

Permalink | Leave a comment  »

Een maand geleden vond de soft launch van Man bijt hond: Woordentikkertje plaats. Een goed moment om de eerste resultaten te analyseren en verslag uit te brengen! Meer dan 1.200 unieke bezoekers vonden hun weg al naar de Woordentikkertje website en bleven er gemiddeld 5 minuten hangen - genoeg tijd voor een spelletje Woordentikkertje dus. Van deze bezoekers kwamen er 42 bij onze zuiderburen vandaan, waar Man bijt hond is ontstaan.

Hieronder op een rijtje de feitjes en weetjes en het harde cijfermateriaal van een eerste maand testwerk. De oplettende lezer vindt hier ook een aantal tips om zijn of haar puntentotaal ver de hoogte in te duwen!

Tags
Woordentikkertje is nog volop in ontwikkeling in de aanloop naar de officiële launch in september. Toch werden er door de spelers die hun weg vonden naar het spel tijdens de eerste maand in totaal al 32.248 tags toegevoegd aan 820 video’s. De tag ‘hond’ werd het vaakst ingevoerd: maar liefst 240 keer. Vreemd genoeg werd de tag ‘man’ maar 181 keer ingevoerd en ‘bijt’ zelfs maar 41 keer.

Het is gebleken dat hoe langer een tag is, hoe minder vaak deze gematcht wordt door een andere speler. Een speler-match vindt plaats wanneer een speler in dezelfde video binnen 10 seconden dezelfde tag invoert als een andere speler. Wanneer een tag uit meer dan één woord bestaat, is de kans op een match ook kleiner. De langste tags (9 in totaal) bestonden uit 42 tekens en meerdere woorden en werden geen enkele keer gematcht.

Toch komt het voor dat tags met veel tekens wel gematcht worden. Tags zoals ‘alles voor de buurvrouw’, ‘recht voor zijn raap’, ‘bejaardenverzorgster’ en ‘voorbehoedsmiddelen’ vonden bijvoorbeeld wel een match. Het gaat daarbij dus om heel erg specifieke woorden of uitdrukkingen die rechtstreeks uit het filmpje zijn geplukt. Van de 100 tags met de meeste matches zijn er maar 5 met meer dan 10 tekens en slechts 1 die uit meerdere woorden bestaat. Niet verrassend gaat het hierbij om de tag ‘man bijt hond’. Het loont dus om wat vaker op enter te drukken!

Matches
Bijna 12.000 van de ingevoerde tags zijn gematcht. Dat matchen kan op twee manieren. Zoals hierboven al is beschreven kan matchen ten eerste plaatsvinden als twee spelers binnen 10 seconden dezelfde tag invoeren. Op deze manier werden 9.796 tags gematcht. Daarnaast kunnen spelers ook punten krijgen als hun tags overeenkomen met de persoonsnamen of geografische namen uit GTAA, de trefwoordenlijst waar Beeld en Geluid gebruik van maakt voor het beschrijven van haar collecties. In totaal werden op deze manier 1.918 matches gemaakt, waarvan 257 met persoonsnamen (bijvooorbeeld: Jan Visser) en 1.661 met geografische namen (bijvoorbeeld: Lutjegast).

Semantische matches
Veel woorden die we gebruiken bestaan in verschillende versies en kunnen algemeen zijn, of juist specifiek. Een man doet hetzelfde als hij een hond bijt, als wanneer hij hem hapt. En deze hond kan specifiek een poedel of een rottweiler zijn. Het verschil tussen deze woorden maakt voor de puntentelling weinig uit: het spel werkt immers met een systeem van ‘semantische matches’, dat begrijpt dat wanneer je ‘bijten’ intypt, je ook ‘happen’ kunt bedoelen en omgekeerd. Dit werkt ook zo als een speler ‘hond’ invoert en een ander ‘poedel’. Ook al gebruik je dus verschillende hypo- of synoniemen dan een andere speler, je kunt dan nog steeds allebei punten scoren!

Pionierstags
Van de 32.248 tags waren er 25.685 zogenaamde pionierstags. Pionierstags zijn tags die nog niet eerder aan een bepaalde video zijn toegevoegd. Als deze pioniertags door een andere speler worden gematcht krijgt de ‘pionier’ maar liefst 100 extra punten. Dit kan tijdens het spel gebeuren als een tag wordt gematcht met een tegenspeler, maar ook naderhand als een andere speler deze tag in een andere spelsessie toevoegt. Je ziet dan hoeveel pionierspunten je hebt gescoord wanneer je de eerstvolgende keer inlogt. Van alle ingevoerde pionierstags werden er 3.982 gematcht door een andere speler, dat zijn dus 398.200 bonuspunten voor onze ‘avontuurlijke’ spelers.  

Conclusie
In een maand tijd zijn er al meer dan 32.000 tags toegevoegd waarvan 36% is gematcht, een percentage dat toeneemt naarmate er meer spelletjes zijn gespeeld. Tags die uit één woord bestaan, leveren over het algemeen meer punten, slimme semantiek scoort en ook ‘pionieren’ loont! Met de verzamelde data kunnen de onderzoekers van de VU en Beeld en Geluid verder aan te slag om de tags te analyseren én om het spel te verbeteren en nog leuker te maken. Hoe meer data, hoe beter! Dus waar wacht je nog op?
   

Permalink | Leave a comment  »

Iedere week selecteren we daarom een prijswinnaar: wie tijdens die week de topscore heeft gehaald, krijgt als prijs van Man bijt hond een prachtig Man bijt hond-pakket thuis gestuurd. Maandelijks maakt u daarbovenop kans op gratis duokaartjes voor de Beeld en Geluid Experience. Bij deze unieke topattractie in Hilversum ontdekt u in 12 paviljoens de wereld van radio en televisie. 

Je kan slechts één keer weekwinnaar worden, maar maakt als weekwinnaar wel kans op de maandprijs. Omgekeerd kan de maandwinnaar ook nog weekwinnaar worden - tot zover dat nog niet gebeurd zou zijn uiteraard. Dus: ga snel spelen en wie weet word jij de geluksvogel van de week/maand!

De officiële tewaterlating van het spel zal gebeuren omstreeks de start van het nieuwe televisieseizoen.

UPDATE 26 september 2011: Eerlijk spelen gaat langer mee

Er gelden enkele regels bij het spelen van Woordentikkertje. Zo telt per video alleen het puntentotaal van de tags mee dat door een speler tijdens de eerste keer spelen is behaald, en de punten van nieuwe tags die op een later moment worden toegevoegd als een speler nog eens met dezelfde video speelt. Het is daarnaast ook niet de bedoeling dat spelers tags toevoegen die geen betrekking hebben op de video's en hiermee toch punten behalen. Deze regels zijn ingesteld om iedereen gelijke kansen te geven op een prijs en het vervuiling van de tag database te voorkomen.

Permalink | Leave a comment  »

Permalink | Leave a comment  »

Na de evaluatie van een succesvolle pilotfase wordt Waisda? voortgezet en verbeterd in samenwerking met het programma Man bijt hond van de NCRV. Man bijt hond is vanwege zijn aansprekende en afwisselende inhoud bij uitstek geschikt voor Waisda?. Daarnaast zijn de Man bijt hond afleveringen reeds gefragmenteerd in items, waardoor het mogelijk wordt om met korte stukjes te spelen, in plaats van met hele afleveringen. Naast het inzetten van Man bijt hond content zal het spel zelf worden verbeterd op basis van de lessen die zijn getrokken uit de evaluatie. Spelers kunnen bijvoorbeeld - mede op advies van het Game research onderzoeksproject GATE - op nieuwe manieren punten scoren en kunnen ‘badges’ verdienen op basis van uitgevoerde opdrachten en behaalde mijlpalen. Daarnaast worden er levels in het spel ingevoerd. Waisda? maakt in de nieuwe versie tevens versie gebruik van de NPO infrastructuur voor een optimale integratie. Zo wordt de NPO Player ingezet voor het uitspelen van de Man bijt hond items. De basis van Waisda? blijft echter hetzelfde: het op een speelse wijze doorzoekbaar maken van audiovisueel erfgoed. De ontwikkeling van het spel is in handen van Q42. De Business Web & Media Section van de Vrije Universiteit Amsterdam doet in het kader van het Europese onderzoeksprogramma PrestoPRIME aanvullend onderzoek naar de verwerking van publieksbeschrijvingen en verbeteringen aan het spel.

Permalink | Leave a comment  »

Internetjournalist Marie-José Klaver heeft voor Beelden voor de Toekomst Backstage een stuk geschreven over Waisda?. Het artikel geeft een goed overzicht van de achtergrond en uitkomsten van Waisda? én van toekomstige ontwikkelingen. Hierover volgt binnenkort uitgebreidere informatie.

Je kunt het volledige stuk hier lezen.

Permalink | Leave a comment  »

Op 4 november zijn de nominaties voor de Digitaal Erfgoedprijs 2010 bekend gemaakt door Digitaal Erfgoed Nederland en Waisda? is een van de genomineerde 'serious games'! De prijs wordt voor de derde keer toegekend tijdens de Digitaal Erfgoedconferentie, die op 7 en 8 december plaats vindt in Rotterdam. De deelnemers van de conferentie kunnen op 7 december stemmen op de beste online educatieve toepassing van een erfgoedinstelling. Op deze dag zullen we op de informatiemarkt van de conferentie aanwezig zijn om Waisda? te presenteren en te strijden voor de titel.

Naast Waisda? zijn de volgende games genomineerd:

ARCHIE museumgame (Gallo-Romeins Museum)
Expeditie Deventer (Bibliotheek Deventer)
Expeditie Museon (Museon)
Het Geheim van Rotterdam (Gemeentearchief Rotterdam)
MegaMythen (Rijksmuseum van Oudheden)
QiGame (Tropenmuseum)
Zooms Twittergame (Museum Boerhaave)

Waisda? heeft eerder al drie prijzen gewonnen. Het meest recent won Waisda? de prestigieuze ‘Best Archives on the Web Award’ in de categorie ‘Best Use of Crowdsourcing for Description’. Deze prijs wordt sinds 2008 uitgereikt op het populaire archiefblog ArchivesNext van archief-expert Kate Theimer. Daarnaast won het tagging spel nog de Competition Grand Challenge op EuroITV in Finland afgelopen juni en de TIMAF European Best Practices Award.

Permalink | Leave a comment  »

Waisda? heeft de prestigieuze ‘Best Archives on the Web Award’ gewonnen in de categorie ‘Best Use of Crowdsourcing for Description’. Deze prijs wordt sinds 2008 uitgereikt op het populaire archiefblog ArchivesNext van archief-expert Kate Theimer. Na de winst van de Competition Grand Challenge op EuroITV in Finland afgelopen juni en de TIMAF European Best Practices Awards is dit alweer de derde prijs voor Waisda?.

De jury van de ‘Best Archives on the Web Awards’ koos voor Waisda? vanwege de gedegen evaluatie van en beschikbare documentatie over het project. Hiermee wordt verwezen naar het evaluatieverslag van Waisda? dat afgelopen januari verscheen. De evaluatie bestaat uit een kwantitatieve en kwalitatieve analyse van de tags, usability onderzoek naar de huidige interface en gebruikersonderzoek naar de motivatie van spelers. Daarnaast zijn er dit jaar op de WebScience conferentie twee papers over Waisda? gepresenteerd, met hierin de resultaten van het laatste onderzoek naar de bruikbaarheid van de tags, en de plek van Waisda? ten opzichte van de verschillende tagginginitiatieven in het erfgoeddomein. Verder prees de jury Waisda? vanwege zijn speelse karakter, de aansprekende content, en het gebruik van sociale media zoals Twitter. Het volledige verslag over de ‘Best Archives on the Web Awards’ staat op het ArchivesNext blog.

Permalink | Leave a comment  »

Dit jaar zijn twee studenten afgestudeerd op onderwerpen waarbij Waisda? een 'case study' was.

Annelies van Ees schreef de scriptie “How to TAG 700.000 videos? The power of games” in het kader van haar studie Information Sciences aan de Vrije Universiteit Amsterdam. Annelies was vanuit de ‘Web & Media’ afdeling van de VU nauw betrokken bij de ontwikkeling en evaluatie van Waisda?. Voor haar scriptie deed ze onderzoek naar de motivaties van spelers om video labeling games zoals Waisda? te spelen, onder andere aan de hand van het prototype TAG. De resultaten van het onderzoek van Annelies zullen worden gebruikt om Waisda? verder te verbeteren en om het spelplezier te vergroten.

Lotte Belice Baltussen studeerde Preservation & Presentation of the Moving Image aan de Universiteit van Amsterdam. Ze liep vanaf september 2009 stage bij Beeld en Geluid, en werkte hierbij aan de evaluatie van Waisda?. Haar scriptie “Barbarians versus Gatekeepers?” gaat over tagging, en het inzetten van crowdsourcing initiatieven bij erfgoedinstellingen. Net als bij de scriptie van Annelies is Waisda? een belangrijke ‘case study’. In de scriptie wordt gesteld dat de huidige archieftheorie niet meer voldoet in het 'Web 2.0' tijdperk waarin het publiek steeds meer toegang krijgt tot en invloed krijgt op hun gedeelde cultureel erfgoed.

Beide scripties kunnen online bekeken en gedownload worden:

- Annelies van Ees. “How to TAG 700.000 videos? The power of games”. Mei 2010.

- Lotte Belice Baltussen. “Barbarians versus gatekeepers? Tagging as a way of defining the emergent Living Archive paradigm”. Maart 2010.

Permalink | Leave a comment  »

Waisda? heeft de EuroITV Competition Grand Challenge gewonnen. Deze prijs werd dit jaar voor het eerst uitgereikt tijdens EuroITV, dé conferentie op het gebied van interactieve tv en video die dit jaar voor de achtste keer werd gehouden. Waisda? nam het op tegen Smart Video Buddy en Smeet. Smart Video Buddy is een applicatie die video streams analyseert en automatisch semantische concepten herkent, en op basis hiervan links legt naar gerelateerde content. Smeet is een online 3D wereld waarin gebruikers interactieve spellen doen, en live web content delen en bespreken, zoals video, televisie, muziek en evenementen. Meer informatie over de prijs en de andere genomineerden staat op de website van EuroITV.

Eerdere prijzen en nominaties

Het is niet de eerste keer dat Waisda? erkenning krijgt voor zijn innoverende karakter. Zo ontving het spel een TIMAF Best Practices Award tijdens het HartmanEVENT in oktober 2009. Waisda? werd geroemd vanwege de innovatieve manier waarop het spel omgaat met doorzoekbaar maken van publieke content. Daarnaast werd Waisda? genomineerd voor een Accenture Innovation Award.

Meer weten over Waisda?

Degenen die dit blog al langer lezen weten het al, maar voor nieuwkomers zijn de volgende publicaties wellicht interessant. Begin januari dit jaar is het evaluatieverslag van Waisda? verschenen. De evaluatie bestaat uit een kwantitatieve en kwalitatieve analyse van de tags, usability onderzoek naar de huidige interface en gebruikersonderzoek naar de motivatie van spelers. Daarnaast zijn er op de WebScience conferentie recentelijk twee papers over Waisda? gepresenteerd, met hierin de resultaten van het laatste onderzoek naar de bruikbaarheid van de tags, en de plek van Waisda? ten opzichte van de verschillende tagginginitiatieven in het erfgoeddomein. Om op de hoogte te blijven van het laatste nieuws kun je je hier inschrijven voor de Waisda? nieuwsbrief.

Permalink | Leave a comment  »

In januari berichtten we op dit blog over de uitkomsten van de evaluatie van Waisda?. In de tussentijd is er weer een hoop werk verricht, en de resultaten van dit onderzoek zijn verwerkt in twee papers die afgelopen april door Beeld en Geluid en de Vrije Universiteit Amsterdam gepresenteerd zijn op de WebScience conferentie in Raleigh. Deze twee papers zullen hier kort worden besproken.

Waisda? als onderdeel van tagginginitiatieven in het erfgoeddomein

Binnen de erfgoedsector zijn de laatste jaren verschillende taggingprojecten opgezet. Deze projecten maken deel uit van een bredere trend in de erfgoedsector, waarbij het publiek steeds meer een deel uitmaakt van de online activiteiten van musea, bibliotheken en archieven. Niet alleen hebben mensen via het internet meer toegang tot erfgoedcollecties dan ooit tevoren, het publiek kan vanwege het toenemend 'sociale' karakter van het internet deze collecties op hun eigen manier vormgeven, onder andere door het toevoegen van tags (trefwoorden) aan erfgoedobjecten.

Taggingprojecten maken het mogelijk voor het publiek om invloed uit te oefenen op de  beschrijvingen van erfgoedinstellingen, aangezien de tags opgenomen kunnen worden in de officiële metadata in  catalogi. Daarnaast kunnen tags gebruik worden voor het beter doorzoekbaar en vindbaar maken van online cultureel erfgoed (zie bijvoorbeeld de online catalogus van het PowerHouse Museum in Sydney). Dit betekent een breuk met de traditionele rol van erfgoedinstellingen als 'poortwachters', die de professionele beschrijving van het erfgoed bewaken. Hoewel veel instellingen nog niet bereid zijn om het publiek invloed uit te laten oefenen op bestaande praktijken, zijn er zoals gezegd al verschillende taggingprojecten uitgevoerd door erfgoedinstellingen. Hierbij zijn vier motivaties te onderscheiden:

1. Het overbruggen van de 'semantic gap' tussen de terminologie die professionals gebruiken (veelal gebaseerd op vastgestelde woordenlijsten) en de zoektermen die het algemene publiek gebruikt.
2. Het verrijken van collecties en cultureel erfgoed met feitelijke en contextualiserende informatie.
3. De band tussen het publiek en de erfgoedinstelling versterken.
4. Het gebruiken van tags in het toekomstige werkproces.

In het paper 'Emerging Practices in the Cultural Heritage Domain – Social Tagging of Audiovisual Heritage' van Johan Oomen et al. worden deze vier punten uitgebreid besproken. Daarnaast staan de belangrijkste uitkomsten van de evaluatie van Waisda? in het paper.

Het integreren van tags met professionele annotaties   

In het andere paper is gekeken naar de kwaliteit van de tags die door Waisda? spelers zijn toegevoegd, en worden eerste conclusies gegeven over hoe de tags kunnen worden geïntegreerd in de professionele catalogus van Beeld en Geluid.

Ten eerste is er onderzoek gedaan naar de semantiek van de tags. Het voordeel van de Waisda? tags is dat het trefwoorden zijn die vrij ingevuld kunnen worden. Spelers zijn dus niet verplicht alleen woorden te gebruiken die in een woordenboek of een andere vooraf vastgestelde lijst staan, wat er voor zorgt dat de 'semantic gap' beter kan worden overbrugd. Het nadeel is dat er veel ambiguïteit kan ontstaan. Bijvoorbeeld: de tag 'bank' kan zowel verwijzen naar een bank waarop je kunt zitten als naar een financiële instelling. Daarnaast gebruiken spelers meervoud- en enkelvoudvormen van bepaalde begrippen ('koe' en 'koeien'), en verschillende werkwoordvervoegingen ('gefietst' en 'fietsen'). Naast de semantische analyse van de tags is er door een professioneel documentalist gekeken naar de bruikbaarheid van de tags. Ten slotte is onderzocht welk gedeelte van de tags betrekking heeft op het auditieve en het visuele onderdeel van de programma's door ze te vergelijken met de ondertitelingsinformatie.

De uitkomsten van dit onderzoek staat in het paper van Riste Gligorov et al.: 'Towards Integration of End User Tags with Professional Annotations'.

Permalink | Leave a comment  »

De 'Web & Media' group van de Vrije Universiteit zal zich de komende jaren binnen het Europese onderzoeksprogramma PrestoPRIME onder andere richten op de verdere ontwikkeling van Waisda? in de vorm van The Annotation Game (T.A.G.). In dit video tagging spel zijn verschillende uitkomsten van de evaluatie van Waisda? en aanbevelingen van spelers verwerkt. Zo is er nu bijvoorbeeld een vaste tijdslimiet per spel en kun je door punten te scoren opklimmen naar nieuwe levels. Daarnaast kun je na ieder spel zien welke tags jij én je tegenstanders hebben ingevoerd.

Als je deze en andere nieuwe spelelementen wilt ervaring, klik dan hier om T.A.G. te spelen. We zijn erg benieuwd wat je van T.A.G. vindt, dus als je na het spelen feedback wilt geven, kunt je hier de enquête invullen. Dit zal niet langer dan 10 minuten duren. Alvast bedankt voor je hulp, en veel speelplezier!

Permalink | Leave a comment  »

Dinsdag 19 mei 2009 lanceerde het Nederlands Instituut voor Beeld en Geluid in samenwerking met de KRO Waisda?, een innovatief annotatiespel voor video. In de vorm van een uitdagend spel worden spelers gevraagd trefwoorden (tags) aan videomateriaal toe te voegen, met als doel de doorzoekbaarheid van audiovisuele archieven te verbeteren. Waisda? is gebaseerd op het principe dat er sprake is van een betekenisvol trefwoord, wanneer meerdere mensen afzonderlijk van elkaar dezelfde tag aan een video toekennen. Waisda? is het eerste operationele video labeling game voor audiovisuele collecties ter wereld. Waisda? maakt deel uit van een serie pilots die binnen het project Beelden voor de Toekomst worden uitgevoerd om de mogelijkheden van publieksparticipatie te verkennen en is nu – na zes maanden looptijd – geëvalueerd.

De pilotfase van Waisda? bleek buitengewoon succesvol. Sinds de lancering trok de website 9.198 unieke bezoekers en voegden 2.296 spelers maar liefst 340.551 tags toe aan 604 items. De website werd 12.297 keer bezocht. In totaal zijn 137.421 (40,3%) van de 340.551 tags binnen tien seconden door twee of meer spelers toegevoegd. De evaluatie laat zien dat het ‘crowdsourcen’ van video-annotaties middels een serious, social game inderdaad mogelijkheden biedt om de vindbaarheid van audiovisueel archiefmateriaal te vergroten. In het rapport staan tevens een aantal succesfactoren en aanbevelingen voor een eventueel vervolg beschreven.

De evaluatie bestaat uit een kwantitatieve en kwalitatieve analyse van de tags, usability onderzoek naar de huidige interface en gebruikersonderzoek naar de motivatie van spelers. Het evaluatieverslag is geschreven door Lotte Belice Baltussen, in samenwerking met Maarten Brinkerink en Johan Oomen, werkzaam bij Beeld en Geluid. Onderzoekers van de Web & Media groep van de Vrije Universiteit Amsterdam (VU) hebben tevens een belangrijke bijdrage geleverd, vanwege hun betrokkenheid bij het Europese onderzoekproject PrestoPRIME. Binnen dit project zal de VU – in samenwerking met Beeld en Geluid – op basis van Waisda? vervolgonderzoek naar geautomatiseerde processen om de tags te analyseren, verbetering van en aanvullingen op het spel- en interface ontwerp en het integreren van de tags in de professionele catalogusbeschrijvingen.

Het evaluatieverslag van de pilot is hier te downloaden (PDF). 

Permalink | Leave a comment  »

De afgelopen weken is er een enquête gehouden onder Waisda? spelers. Via deze enquête wilden we er achter komen hoe we Waisda? in de toekomst leuker kunnen maken. In totaal hebben 41 spelers de vragenlijst ingevuld.

Onder de 41 respondenten is een VVV irischeque ter waarde van € 30,00 verloot, en de winnaar is Aaltje Meijer-Akker. Van harte gefeliciteerd, de cheque is inmiddels naar je verstuurd!

Binnenkort worden de eerste evaluatie van Waisda? afgerond. In dit rapport zijn de resultaten van de enquête opgenomen. We willen alle spelers die de enquête hebben ingevuld bij deze hartelijk bedanken voor de moeite!

We wensen iedereen hele fijne feestdagen toe, en een gelukkig nieuwjaar.

Permalink | Leave a comment  »

Vorige week kondigden we de eerste Waisda? wedstrijd aan. De wedstrijd heeft gelopen van maandag 23 november 12:00 tot en met maandag 30 november 12:00. De drie spelers die in deze tijd de meeste punten hebben gescoord op Waisda? hebben ieder een Boer zoekt Vrouw bordspel gewonnen.

De winnaars

Na de aankondiging van de wedstrijd op dit blog en op de Boer zoekt Vrouw website is er hard gestreden door de Waisda? spelers om één van de drie bordspellen te bemachtigen.

Degenen die uiteindelijk als winnaars uit de strijd zijn gekomen zijn:

- Op nummer 1: Bart met een score van 1.099.327 punten.
- Op nummer 2: mar61 met een score van 1.079.613 punten.
- Op nummer 3: nelle01 met een score van 397.825 punten.

Wij willen de winnaars bij deze van harte feliciteren. Als het goed is hebben jullie allemaal al een e-mail gehad met de vraag waar we de prijs naar op kunnen sturen. Mocht dit nog niet zijn gebeurd, dan kun je met ons contact opnemen: waisda@beeldengeluid.nl.

Als je feedback wilt geven op Waisda?, vul dan de Waisda? enquête in en maak kans op een VVV irischeque ter waarde van € 30,00.

Fantastisch resultaat

We zijn erg blij dat we drie mensen gelukkig hebben kunnen maken met een prijs, maar ook dat er weer flink veel Waisda? is gespeeld. In de wedstrijdweek is het aantal tags met ruim 50 % gestegen van 220.000 naar 340.000. Het aantal geregistreerde spelers is ook flink gestegen naar 556, ten opzichte van de 406 voordat de wedstrijd begon.

We zijn van plan om in de nabije toekomst weer een wedstrijd te organiseren, dus houd dit blog in de gaten als je weer kans wil maken op mooie prijzen!

Permalink | Leave a comment  »

Samen spelen is leuker! Dat geldt natuurlijk ook voor Waisda?. We merken alleen dat het lastig is om in te schatten wanneer je de meeste kans maakt om een medespeler te treffen.

Daarom stellen we je graag voor aan @waisdaspelers! Deze twitterbot stuurt automatisch een tweet wanneer iemand op Waisda? alleen aan het spelen is. Als trouwe Waisda? speler kan je door @waisdaspelers te volgen dus precies in de gaten houden wanneer mensen Waisda spelen en op zoek zijn naar een medespeler! Klik hier om @waisdaspelers op Twitter te volgen.
 
Als je direct vrienden wilt uitnodigen via Twitter dan kan dit ook. Klik hiervoor rechtboven aan de Waisda? website op 'tip een vriend'.

Permalink | Leave a comment  »