Literatuurstudie naar onderwijskundige criteria voor systemen

   


Het PROOF-project is gestart met het uitvoeren van een literatuurstudie waarin onderwijskundige literatuur wordt besproken. Deze literatuurstudie dient als gemeenschappelijk referentiekader voor het project. Het verslag maakt onder andere duidelijk wat we onder peer review verstaan en welke onderwijskundige ontwerpprincipes van belang zijn bij het ontwerpen van peer-review opdrachten. Daarnaast hebben we uit de literatuur een aantal thema’s afgeleid die van belang zijn bij het beoordelen van peer review systemen, zoals terug te vinden in de twee onderstaande tabellen.

Onderwijskundige criteria voor peer review systeem bij schrijfproducten

Hoofdthema’s peer review

Subthema’s

Eisen aan systeem voor peer review bij schrijfproducten

Gebruiksdoel en focus

Object van beoordeling: (schrijf)product

  • (geldt voor teksten en afbeeldingen) te beoordelen object kan met behoud van opmaak worden geupload
  • Herhaalde review cyclus

  • Versiebeheer
  • bij herhaling van review kunnen dezelfde beoordelaars de gereviseerde versie beoordelen
  • Feedback

    Just in time, specifiek en concreet

  • feedback kan direct gekoppeld aan specifieke onderdelen product/prestatie/ gedrag
  • Interactief

  • feedbackgever en ontvanger kunnen elkaar vragen stellen, toelichten etc.
  • ontvanger kan aangeven of de feedback bruikbaar was of kan een beoordeling van ontvangen feedback geven
  • Criteriumgericht

  • beoordelingscriteria en/of rubrics kunnen er gemakkelijk in worden aangebracht of veranderd
  • Revisiegericht c.q. ontwikkelingsgericht

  • mogelijkheid om gegeven feedback toe te lichten
  • mogelijkheid om verbeter suggesties te formuleren
  • Kwantitief -kwalitatief

  • systeem nodigt uit om kwalitatieve feedback te geven
  • biedt mogelijkheid voor beoordeling op schaalvragen / rubrics
  • levert samenvattend oordeel / cijfer op
  • Monitoring

    Efficiëntie

  • biedt snel overzicht van voortgang van peer review proces (ingeleverd werk, gegeven reviews ed.)
  • bevat ‘verklikkers’ die ondermaatse ingeleverde bijdrages of ondermaatse reviews signaleren
  • mogelijkheid tot geaggregeerde overzichten van bijvoorbeeld scores op schaalvragen
  • er kunnen deadlines ingesteld worden
  • Aanvullende begeleiding

  • docent kan mee kijken en meta-opmerkingen maken
  • docent kan ook assessment uitvoeren (instructor assessment)
  • Wie beoordeelt wie

    Feedbackgroepen

  • er kunnen gemakkelijk subgroepen aangemaakt worden waarbinnen men elkaar beoordeelt
  • Privacy

    Anonimiteit/vertrouwelijkheid

  • beoordeelde kan anoniem blijven
  • beoordelaar kan anoniem blijven
  • voor anderen dan docent afsluitbare subgroepen
  • opdrachten kunnen gemakkelijk at random verdeeld worden
  • Extra’s

    Gebruiksvriendelijkheid

  • systeem heeft interne trainings- en/of helpfunctie
  • Self-assessment

  • student kan zichzelf beoordelen
  • Integratie in ELO/beheer

  • integratie in ELO is mogelijk
  • beheer van inhoud en accounts is eenvoudig
  • Leverancier

  • betrouwbare leverancier
  •  

    Onderwijskundige criteria voor peer evaluatie systeem bij samenwerkingsgedrag

    Hoofdthema’s peer review

    Subthema’s

    Eisen aan systeem voor peer review bij samenwerkingsgedrag

    Gebruiksdoel en focus

    Object van beoordeling: samenwerkingsgedrag

  • Het object is observeerbaar gedrag van individuen in een groep of observeerbare bijdrage aan een proces of product.
  • Herhaalde evaluatie cyclus

  • Het moet mogelijk zijn om binnen een project met dezelfde groep meerdere malen een evaluatie te doen.
  • Feedback

    Just in time, specifiek en concreet

  • Deelnemers moeten naast beoordeling ook feedback kunnen geven, waarbij privacy van beoordelaar en beoordeelde in acht genomen kan worden.
  • Interactief

  • N.v.t. Interactie over beoordeling vindt plaats buiten systeem voor peer evaluatie
  • Criteriumgericht

  • Systeem voorziet in valide en betrouwbare criteria voor beoordelen van gedrag dat teamwork bevordert.
  • Revisiegericht c.q. ontwikkelingsgericht

  • n.v.t.
  • Kwantitief -kwalitatief

  • biedt mogelijkheid voor beoordeling op schaalvragen / rubrics
  • levert samenvattend oordeel / cijfer op
  • geeft mogelijkheid om oordelen toe te lichten op verschillende niveaus: toegankelijk voor alle groepsleden of alleen voor de docent
  • Monitoring

    Efficiëntie

  • biedt snel overzicht van voortgang van peer review proces (ingeleverd werk, gegeven reviews ed.)
  • biedt docent overzicht van individuele scores
  • Aanvullende begeleiding

  • Docent kan opmerkingen van studenten zien
  • Wie beoordeelt wie

    Feedbackgroepen

  • er kunnen gemakkelijk subgroepen aangemaakt worden waarbinnen men elkaar beoordeelt
  • Privacy

    Anonimiteit/vertrouwelijkheid

  • beoordeelde kan anoniem blijven
  • beoordelaar kan anoniem blijven
  • voor anderen dan docent afsluitbare subgroepen
  • Extra’s

    Gebruiksvriendelijkheid

  • systeem heeft interne trainings- en/of helpfunctie
  • inloggen in het systeem is gebruiksvriendelijk
  • Self-assessment

  • student kan zichzelf beoordelen
  • Integratie in ELO/beheer

  • integratie in ELO is mogelijk
  • beheer van inhoud en accounts is eenvoudig
  • Leverancier

  • betrouwbare leverancier
  •