Het tijdschrift Quest maakt via een serie korte filmpjes inzichtelijk waar universitaire onderzoekers de hele dag mee bezig zijn. Onder de titel Hoe vind je videomateriaal terug? hielden ze in dit kader een kort vraaggesprek met Michiel Hildebrand, die voor de Vrije Universiteit Amsterdam onderzoek doet naar de tags die aan Woordentikkertje (en voorloper Waisda?) worden en werden toegevoegd. In dit filmpje krijg je een beeld hoe dit in zijn werk gaat.
Persbericht:
NCRV lanceert in samenwerking met Beeld en Geluid het spel Woordentikkertje. Deelnemers beschrijven spelenderwijs het uitgebreide archief van het populaire programma Man bijt hond. Een eerdere versie van het spel won in 2010 verschillende internationale prijzen voor haar innovatieve karakter. De komende maanden hopen de projectpartners in totaal één miljoen trefwoorden te verzamelen.
In Woordentikkertje voeren spelers trefwoorden in die beschrijven wat er in een fragment te zien en horen valt. Hierbij nemen ze het op tegen andere spelers op de site, verdienen ze punten en helpen ze mee om het immense archief van Man bijt hond beter toegankelijk en doorzoekbaar te maken.
Woordentikkertje is een race tegen de tijd waarin spelers zich met elkaar kunnen meten en fragmenten van Man bijt hond herontdekken. Ook maken ze hierbij wekelijks kans op prijzen. Spelers verdienen punten door het invoeren van trefwoorden die ook door andere spelers werden gebruikt of wanneer deze voorkomen in een woordenlijst van plaats- en persoonsnamen.
De afgelopen drie maanden heeft Woordentikkertje in de testperiode al meer dan 300.000 trefwoorden opgeleverd. Met deze trefwoorden wordt een database gecreëerd waarmee de Vrije Universiteit Amsterdam verder onderzoek kan verrichten.
Link: http://woordentikkertje.manbijthond.nl
Vorige week kwamen alle geïnteresseerde archiefhouders, bibliothecarissen en cultuurbehouders in Wenen samen voor een conferentie over de technische aspecten van Europeana. Op deze conferentie sprak VU-onderzoeker Michiel Hildebrand over de mogelijkheden van crowdsourcing voor het annoteren van videomateriaal in archieven. Europeana is de Europese digitale bibliotheek, die het culturele erfgoed uit de EU-zone digitaal beschikbaar wil maken voor het brede publiek.
In januari verdedigt Michiel zijn paper Linking user-generated video annotations to the web of data op de 18e internationale conferentie over MultiMedia Modeling (MMM 2012) in Klagenfurt, Oostenrijk. Wie al nieuwsgierig is naar zijn eerste bevindingen over de data die uit Woordentikkertje stromen, kan hier zijn paper lezen [PDF].
Hieronder vind je de presentatie die hij in Wenen gaf:
In het oktobernummer van het magazine voor informatiewerkers Informatieprofessional valt een uitgebreid artikel te lezen over de succesfactoren van crowdsourcingprojecten. Johan Oomen en Lora Aroyo nemen de temperatuur op van enkele Nederlandse initiatieven op dit vlak (met uitgebreide aandacht voor Woordentikkertje) en onderzoeken op wat voor manieren we dit soort projecten kunnen doorlichten om er hun succesgraad aan af te meten.
De auteurs publiceerden eerder dit jaar ook de Engelstalige paper Crowdsourcing in the Cultural Heritage Domain over dit onderwerp. Deze paper werd in juli in het Australische Brisbane gepresenteerd op een conferentie over Communities en Technologies
Lees het volledige artikel op de website van Informatieprofessional.
Vorige maand berichtten we over de stand van zaken van de eerste maand Woordentikkertje. Inmiddels is het spel alweer twee maanden online en is het dus tijd om wederom de balans op te maken. Er is flink getagd tijdens de afgelopen maand: het aantal tags is in één maand bijna verdrievoudigd van 32.248 naar 100.225!
Bezoekers
In totaal heeft de site de eerste twee maanden bijna 2.200 unieke bezoekers gehad, waarvan een groot deel (21%) via de website van Man bijt hond bij Woordentikkertje terecht komt. Verrassend genoeg vindt een belangrijk segment van de bezoekers het spel via sites waarvan we het niet hadden verwacht: prijsvragenfora! Je kunt namelijk prijzen winnen wanneer je Woordentikkertje speelt, wat een goede motivator blijkt te zijn voor onze spelers.
Gemiddeld blijven bezoekers zo’n 5 minuten op de site en bezoeken ze evenveel pagina’s. Ongeveer een derde van de bezoekers vond het spel zo leuk dat ze nog een keer terug kwamen. Het overgrote deel (93%) komt uit Nederland, maar net als een maand geleden weten onze zuiderburen Woordentikkertje ook met enige regelmaat te vinden.Tags en spelersZoals in de inleiding al werd gezegd is het aantal tags de afgelopen maand explosief gestegen. Medio augustus waren er al ruim 32.000 tags toegevoegd - een mooi cijfer waar we erg trots op waren - vooral omdat het spel nog niet 'officieel' is gelanceerd. Hier zijn inmiddels meer dan 60.000 tags bijgekomen, wat betekent dat de database met maar liefst 200% is gegroeid.
De spelers die afkomstig zijn van de prijsvragenfora blijven gemiddeld het langst op de site (bijna 20 minuten) en bezoeken zo’n 14 pagina’s. Hierbij kan aangenomen worden dat een groot deel van deze pagina’s een specifiek spel betreft, aangezien er per spelsessie een aparte pagina wordt aangemaakt. Het aantal geregistreerde spelers heeft zich ten opzichte van de eerste maand bijna verdubbeld. In totaal zijn er nu 161 mensen met een Woordentikkertje account en 276 anonieme spelers.
De meeste tags worden bijgedragen door de geregistreerde spelers. Zij voegden in totaal meer dan 89.000 tags toe, terwijl anonieme spelers er net geen 11.000 bijdroegen. Dit is niet verrassend, aangezien spelers alleen prijzen kunnen winnen als ze een Woordentikkertje account hebben. Het geeft echter duidelijk aan dat hoewel er bijna 2,5 keer meer anonieme spelers zijn, dit niet inhoudt dat zij een evenredig deel bijdragen.De top tien spelers die de meeste tags toevoegden hebben 57.467 tags bijgedragen – meer dan de helft van het totaal! De nummer één super tagger van Woordentikkertje voegde 11.030 tags toe (meer dan 10% van het totaal is) en scoorde hiermee 393.655 punten.
Pioniertags
In de eerste maand waren er van de 32.248 tags 25.685 zogenaamde pioniertags (80%). Dit zijn tags die door een speler voor het eerst aan een specifieke video worden toegevoegd. Als een pioniertag door een andere speler worden gematcht krijgt de ‘pionier’ 100 extra punten. Dit kan tijdens het spel gebeuren als een tag wordt gematcht met een tegenspeler, maar ook naderhand als een andere speler deze tag in een andere spelsessie toevoegt. Nu zijn er bijna 73.208 van de 100.225 tags pioniertags (73%), waarvan er 14.313 zijn gematcht (14%). Er zijn in verhouding iets minder pionierstags dan in de eerste maand (toen was dit nog 79%). Dit kan verklaard worden uit het feit dat er aan steeds meer video’s tags worden toegevoegd en de kans dus kleiner wordt dat een speler een nieuwe tag introduceert. De pionierende spelers kunnen nog wel even vooruit: er zijn meer dan 11.000 video’s beschikbaar in Woordentikkertje, terwijl er pas met 1.544 video’s daadwerkelijk is gespeeld.
aandeel pionierstags na twee maanden
Spelermatches en thesaurusmatches
Spelers kunnen punten verdienen door tags te matchen. Dit kan op verschillende manieren. Ten eerste is er sprake van een match wanneer twee spelers binnen 10 seconden dezelfde tag invoeren. Naast deze ‘spelermatches’ kunnen spelers ook punten krijgen als hun tags overeenkomen met de persoonsnamen of geografische namen uit GTAA, de thesaurus waar Beeld en Geluid gebruik van maakt voor het beschrijven van haar collecties. In de eerste maand was bijna 38% van de tags een spelermatch (bijna 12.000 van de 32.248 tags). Er waren 1.918 thesaurusmatches, waarvan 257 met persoonsnamen (bijvooorbeeld: Jan Visser) en 1.661 met geografische namen (bijvoorbeeld: Lutjegast).
In totaal zijn er nu 41.330 spelermatches gemaakt - 41% van het totaal aantal tags. Daarnaast zijn er de afgelopen twee maanden 6.568 thesaurusmatches gemaakt, waarvan 2.798 eveneens spelermatches zijn. Van deze thesaurusmatches zijn 837 matches met persoonsnamen en 5.731 matches met geografische namen.Eerlijk spelen gaat langer mee
We hielden een handmatige steekproef gehouden om te kijken of de nieuwe spelersgolf die (vermoedelijk - én terecht!) speelt om prijzen te winnen geen tags toevoegen die geen betrekking hebben op de video's. Dit blijkt vooralsnog niet het geval te zijn. Mocht dit toch voorkomen, of worden spelregels op andere wijze creatief ingevuld, dan kan het totale puntenaantal van een speler naar beneden worden bijgesteld om te zorgen dat iedereen net zoveel kans heeft om prijzen te winnen.
Conclusie
Het aantal tags is in de tweede maand Woordentikkertje met een factor drie toegenomen. De belangrijkste reden hiervoor lijkt te zijn dat onze spelers graag mooie prijzen willen winnen en omdat ze Man bijt hond een leuk programma vinden. Maar uit de reacties blijkt gelukkig ook dat de spelers het gewoon leuk vinden om Woordentikkertje te spelen!
Geregistreerde spelers voegen veruit het grootste aantal tags toe en het aantal pioniertags neemt nog steeds gestaag toe. Het aantal matches van tags met andere spelers en/of met de thesaurus van Beeld en Geluid verdrievoudigde, hoewel het deel van de tags dat gematcht werd ongeveer gelijk bleef. Voor de komende tijd staan enkele kleine verbeteringen in de pijplijn. We hopen dat het spelplezier van onze spelers daarmee nog groter wordt zodat we de stijgende lijn kunnen doorzetten!
Een maand geleden vond de soft launch van Man bijt hond: Woordentikkertje plaats. Een goed moment om de eerste resultaten te analyseren en verslag uit te brengen! Meer dan 1.200 unieke bezoekers vonden hun weg al naar de Woordentikkertje website en bleven er gemiddeld 5 minuten hangen - genoeg tijd voor een spelletje Woordentikkertje dus. Van deze bezoekers kwamen er 42 bij onze zuiderburen vandaan, waar Man bijt hond is ontstaan.
Semantische matches
Veel woorden die we gebruiken bestaan in verschillende versies en kunnen algemeen zijn, of juist specifiek. Een man doet hetzelfde als hij een hond bijt, als wanneer hij hem hapt. En deze hond kan specifiek een poedel of een rottweiler zijn. Het verschil tussen deze woorden maakt voor de puntentelling weinig uit: het spel werkt immers met een systeem van ‘semantische matches’, dat begrijpt dat wanneer je ‘bijten’ intypt, je ook ‘happen’ kunt bedoelen en omgekeerd. Dit werkt ook zo als een speler ‘hond’ invoert en een ander ‘poedel’. Ook al gebruik je dus verschillende hypo- of synoniemen dan een andere speler, je kunt dan nog steeds allebei punten scoren!
Pionierstags
Van de 32.248 tags waren er 25.685 zogenaamde pionierstags. Pionierstags zijn tags die nog niet eerder aan een bepaalde video zijn toegevoegd. Als deze pioniertags door een andere speler worden gematcht krijgt de ‘pionier’ maar liefst 100 extra punten. Dit kan tijdens het spel gebeuren als een tag wordt gematcht met een tegenspeler, maar ook naderhand als een andere speler deze tag in een andere spelsessie toevoegt. Je ziet dan hoeveel pionierspunten je hebt gescoord wanneer je de eerstvolgende keer inlogt. Van alle ingevoerde pionierstags werden er 3.982 gematcht door een andere speler, dat zijn dus 398.200 bonuspunten voor onze ‘avontuurlijke’ spelers.
Conclusie
In een maand tijd zijn er al meer dan 32.000 tags toegevoegd waarvan 36% is gematcht, een percentage dat toeneemt naarmate er meer spelletjes zijn gespeeld. Tags die uit één woord bestaan, leveren over het algemeen meer punten, slimme semantiek scoort en ook ‘pionieren’ loont! Met de verzamelde data kunnen de onderzoekers van de VU en Beeld en Geluid verder aan te slag om de tags te analyseren én om het spel te verbeteren en nog leuker te maken. Hoe meer data, hoe beter! Dus waar wacht je nog op?
Iedere week selecteren we daarom een prijswinnaar: wie tijdens die week de topscore heeft gehaald, krijgt als prijs van Man bijt hond een prachtig Man bijt hond-pakket thuis gestuurd. Maandelijks maakt u daarbovenop kans op gratis duokaartjes voor de Beeld en Geluid Experience. Bij deze unieke topattractie in Hilversum ontdekt u in 12 paviljoens de wereld van radio en televisie.
Je kan slechts één keer weekwinnaar worden, maar maakt als weekwinnaar wel kans op de maandprijs. Omgekeerd kan de maandwinnaar ook nog weekwinnaar worden - tot zover dat nog niet gebeurd zou zijn uiteraard. Dus: ga snel spelen en wie weet word jij de geluksvogel van de week/maand!
De officiële tewaterlating van het spel zal gebeuren omstreeks de start van het nieuwe televisieseizoen.
UPDATE 26 september 2011: Eerlijk spelen gaat langer mee
Er gelden enkele regels bij het spelen van Woordentikkertje. Zo telt per video alleen het puntentotaal van de tags mee dat door een speler tijdens de eerste keer spelen is behaald, en de punten van nieuwe tags die op een later moment worden toegevoegd als een speler nog eens met dezelfde video speelt. Het is daarnaast ook niet de bedoeling dat spelers tags toevoegen die geen betrekking hebben op de video's en hiermee toch punten behalen. Deze regels zijn ingesteld om iedereen gelijke kansen te geven op een prijs en het vervuiling van de tag database te voorkomen.
Op woensdag is met stille trom de eerste versie van Woordentikkertje on-line komen te staan. Met fragmenten uit het uitgebreide archief van het populaire NCRV-programma Man bijt hond kunnen spelers het tegen mekaar opnemen. De bedoeling is dat iedere speler zoveel mogelijk gepaste tags of steekwoorden aan een videofragment toekent. Dat kan aan de hand van visuele elementen, geluidselementen of van de onderwerpen die aan bod komen.
De woorden die spelers invoeren worden gebruikt om de fragmenten op de website van Man bijt hond beter te kunnen doorzoeken. Dankzij hun inspanning kunnen zowel omroepmedewerkers als de trouwe fans van het programma specifieke fragmenten in de toekomst beter terugvinden. Ten slotte helpen de spelresultaten aan het samenstellen van een database die gebruikt wordt voor academisch onderzoek door de Vrije Universiteit.
Gebruikers krijgen extra punten wanneer ze "pionieren", d.w.z. een woord voor het eerst gebruiken, of wanneer ze herkenbare plaatsnamen toevoegen. Dit soort informatie is immers extra nuttig voor latere zoektochten. De echte die-hard spelers maken elke week kans op een prijs: de topscoorder van de week wordt beloond met een Man-bijt-hondpakket, degene die de hoogste score van de maand heeft behaald, krijgt daarbovenop ook twee kaartjes voor de Beeld en Geluid Experience in de handen gestopt.
Woordentikkertje is de tweede belichaming van het tagspel Waisda? Dit crowdsourcing initiatief is een experiment dat deel uitmaakt van een serie pilots die binnen het project Beelden voor de Toekomst worden uitgevoerd om de mogelijkheden van publieksparticipatie te verkennen. Door Man bijt hond: Woordentikkertje te spelen, helpen de spelers het Nederlands Instituut voor Beeld en Geluid en de NCRV om de catalogus van het Man bijt hond archief te verbeteren. Het spel bevindt zich nu nog in een (publieke) testfase, maar wordt later dit jaar officieel vrijgegeven.
Acties die je kan ondernemen:
Na de evaluatie van een succesvolle pilotfase wordt Waisda? voortgezet en verbeterd in samenwerking met het programma Man bijt hond van de NCRV. Man bijt hond is vanwege zijn aansprekende en afwisselende inhoud bij uitstek geschikt voor Waisda?. Daarnaast zijn de Man bijt hond afleveringen reeds gefragmenteerd in items, waardoor het mogelijk wordt om met korte stukjes te spelen, in plaats van met hele afleveringen. Naast het inzetten van Man bijt hond content zal het spel zelf worden verbeterd op basis van de lessen die zijn getrokken uit de evaluatie. Spelers kunnen bijvoorbeeld - mede op advies van het Game research onderzoeksproject GATE - op nieuwe manieren punten scoren en kunnen ‘badges’ verdienen op basis van uitgevoerde opdrachten en behaalde mijlpalen. Daarnaast worden er levels in het spel ingevoerd. Waisda? maakt in de nieuwe versie tevens versie gebruik van de NPO infrastructuur voor een optimale integratie. Zo wordt de NPO Player ingezet voor het uitspelen van de Man bijt hond items. De basis van Waisda? blijft echter hetzelfde: het op een speelse wijze doorzoekbaar maken van audiovisueel erfgoed. De ontwikkeling van het spel is in handen van Q42. De Business Web & Media Section van de Vrije Universiteit Amsterdam doet in het kader van het Europese onderzoeksprogramma PrestoPRIME aanvullend onderzoek naar de verwerking van publieksbeschrijvingen en verbeteringen aan het spel.
Internetjournalist Marie-José Klaver heeft voor Beelden voor de Toekomst Backstage een stuk geschreven over Waisda?. Het artikel geeft een goed overzicht van de achtergrond en uitkomsten van Waisda? én van toekomstige ontwikkelingen. Hierover volgt binnenkort uitgebreidere informatie.
Je kunt het volledige stuk hier lezen.
