Lezing voor de conferentie "Peer-Assessment en peer-reviewing" op 24 oktober 2002. Georganiseerd door de ICT afdeling in het onderwijs van de Universiteit van Amsterdam en de afdeling Onderwijsresearh en Ontwikkeling van de Hogeschool van Amsterdam.

Het conventionele onderwijsarrangement werd gekenmerkt door een tamelijk inflexibele tijd-ruimtelijke structurering. Samenwerken betekende in eerste instantie altijd dat alle deelnemers aan het onderwijs op een bepaald tijdstip bijeenkomen in een specifieke fysieke ruimte. Voor colleges en werkgroepen moest iedereen op hetzelfde tijdstip naar hetzelfde klaslokaal. De overige communicatie voltrok zich voornamelijk via de telefoon en door het uitwisselen van papers via post of postbakjes.

Samenwerkend leren is een belangrijk didactisch principe. Het is niet nieuw en werd ook in het conventionele onderwijs al vaak met succes toegepast. In bijna alle onderwijssoorten werden leerlingen/studenten gestimuleerd om met elkaar samen te werken aan opdrachten of werkstukken.

Samenwerkend leren loont en leidt meestal tot betere leerresultaten. Juist daarom is het van belang ons te bezinnen op de vraag wat hierbij de betekenis is van het gebruik van elektronische leeromgevingen.

Door het gebruik van elektronische leeromgevingen, zoals Blackboard, ontstaan er nieuwe mogelijkheden voor onderwijskundige vernieuwingen, en met name voor samenwerkend leren. Uit alle experimenten en onderzoek naar het gebruik van elektronische leeromgevingen blijkt dat studenten die systematisch gebruik maken van het internet beter presteren en dat hun verworven kennis beter beklijft.

Dat is geen magie van het internet als zodanig. De verklaring is eigenlijk heel eenvoudig:

1. Studenten die werken in elektronische leeromgevingen kunnen gebruik maken van een uitgebreid skala aan synchrone en asynchrone communicatiemogelijkheden.
2. Wanneer studenten dit ook daadwerkelijk doen werken zij intensiever met elkaar samen. Uit sommige studies blijkt dat studenten in de virtuele klas 50% meer met elkaar samenwerken dan studenten in de traditionele klas. Meer samenwerking leidt tot betere leerprestaties.

Er is dus niets magisch aan de hand. Studenten die van elo's gebruik maken werken beter met elkaar samen en studenten die beter met elkaar samenwerken presteren beter. Kortom: netstudenten zijn beter omdat elektronische leeromgevingen (elo's) samenwerkend leren vergemakkelijken.

Samenwerkend leren vraagt om samenwerkend beoordelen

Een logisch en algemeen geaccepteerd uitgangspunt is dat beoordelingsprocedures moeten aansluiten bij de wijze van studeren, bij de omstandigheden waarin de programma's worden bestudeerd, en bij de aard van de beoordeling zelf. Simpel gezegd: samenwerkend leren vraagt om samenwerkende beoordeling.

Wie samenwerkend leren wil stimuleren moet ook accepteren dat studenten behoefte hebben om actief in het leer- en beoordelingsproces betrokken te zijn. Hierdoor worden studenten geholpen (i) om zelfvertrouwen te ontwikkelen, (ii) om zelfreflexieve vaardigheden te verwerven in beoordeling en evaluatie, en (iii) om hun leerautonomie te vergroten.

Zelfbeoordeling en beoordeling door medestudenten ('peer assessment') betekent dat studenten verantwoordelijkheid nemen voor toezicht ('monitoring') en beoordelingen geven over onderdelen van hun eigen leren. Het vereist dat studenten kritisch nadenken over wat zij leren teneinde geschikte prestatienormen te identificeren en deze op hun eigen werk toe te passen.

Dat is makkelijker gezegd dan gedaan.

• Uiteraard moeten leerprestaties van individuen en groepen worden beoordeeld op grond van vooraf opgestelde criteria.
• Betrokkenheid van studenten in het beoordelingsproces vereist dat over deze criteria gesproken en onderhandeld moet kunnen worden.
• Zelfbeoordeling en beoordeling door medestudenten wordt uitgevoerd op basis van onderhandelde —en dus niet: opgelegde— criteria.

Elementaire vorm van peer assessment

Ik heb de laatste jaren in mijn eigen modules in Blackboard geëxperimenteerd met eenvoudige vormen van 'peerassessment'. Dit gebeurde o.a. in de module Internet, Communicatie en Technologie (ICT) bij de afdeling Communicatiewetenschap van de FMG. Daaraan namen in het eerste jaar zo'n zeshonderd studenten deel, en in het daarop volgende jaar ongeveer driehonderd. De studenten werden ingedeeld in werkgroepen van ± 25 mensen. Binnen de werkgroepen werden studenten ingedeeld in kleine subgroepen die geacht werden opdrachten uit te voeren en daarover een gezamenlijk paper in te dienen. Studenten konden daarbij zelf bepalen met wie zij wilden samenwerken.

De werkgroepen werden vervolgens in paren aan elkaar gekoppeld, zodat elke subgroep een eigen sparringgroep had. Na goedkeuring van de opzet ging elke groep aan de slag met de eigen opdracht. Die opdracht werd via de bestandsuitwisseling van de groep toegankelijk gemaakt voor andere groepen. Na verstrijking van de eerste deadline moest elke groep het werkstuk van de sparringgroep binnen een week beoordelen en online van commentaar voorzien. Daarbij werd gebruik gemaakt van een aantal vooraf opgestelde beoordelingscriteria. Daarna kregen alle groepen de tijd om hun werkstuk te herzien en in te dienen voor een finale beoordeling door de docent.

Zelfs deze elementaire vorm van 'group peer-assessment' (groepsgewijze beoordeling door medestudenten) leverde al een paar positieve ervaringen op:

• Ten eerste worden studenten gestimuleerd om zelf na te denken over de vraag of een paper voldoet aan de gestelde criteria. Omdat deze kritiek op het product van een partnergroep plaats vindt aan de hand van geobjectiveerde criteria en ook gepubliceerd wordt, is de kwaliteit daarvan aanzienlijk groter dan een gemiddelde verbale bijdrage in een lokale werkgroep.
• Ten tweede wordt studenten gelegenheid geboden om hun eigen fouten te corrigeren. Bij de uitoefening van dit 'recht om eigen fouten te corrigeren' worden zij geacht rekening te houden met de kritiek die zij ontvangen hebben.
• Tenslotte worden hierdoor de eindresultaten aanzienlijk beter.

Richtlijnen

Om studenten op een productieve wijze in het beoordelingsproces te betrekken moeten een aantal duidelijke spelregels worden opgesteld. Op grond van mijn eigen ervaringen en op basis van wat ik uit de literatuur heb opgepikt kom ik tot de volgende spelregels:

• Stel duidelijke richtlijnen en deadlines op voor alle aspecten van de beoordeling. Inclusief expliciete inhoudelijke beoordelingscriteria.
• Laat studenten in kleine groepen met elkaar samenwerken.
• Zorg ervoor dat alle studenten in staat zijn om gemakkelijk met elkaar online te communiceren: men heeft goede instrumenten nodig voor zelf- en peer-assessment die geïntegreerd zijn in de elektronische leeromgeving.
• Stel het beoordelen van werk van anderen verplicht: studenten hebben recht op een serieuze beoordeling van hun werk door andere studenten, maar zij hebben ook de verplichting tot een kritische wederdienst.

Beoordelingsvormen

Er zijn verschillende vormen denkbaar waarin studenten in het beoordelingsproces betrokken kunnen worden. Idealiter ontstaat er een beoordelingscyclus met drie elementen.

1. Self Assessment
2. Peer Assessment
3. Reflective self-assessment

Samenwerkingsvoorzieningen

In Blackboard 5.0 zijn geen speciale voorzieningen ingebouwd voor self en peer assessment. Maar er zijn wel een aantal voorzieningen die zich hiervoor uitstekend lenen. Dat zijn met name de groepsvoorzieningen met hun eigen mogelijkheden voor bestandsuitwisseling, discussieforum en chat. Daarbij kan elke (sub)groep het werk van andere groepen volgen en becommentariëren. De virtual classroom en het discussieforum bieden een multifunctionele omgeving voor zowel synchrone als asynchrone communicatie binnen de groep.

De meest recente 6.0 versie biedt in dit opzicht veel meer mogelijkheden. Groepen kunnen nu zelf ook beschikken over diverse typen cursusinhoud (items, folders, externe links, opdrachten, toetsen en links naar verwante discussieforums) in dezelfde inhoudelijke folder.

Problemen met peer-assessment van groepen

De deconcentratie of distributie van het educatieve beoordelingsproces is niet zonder problemen en risico's. Ik zal er ter afsluiting drie problemen noemen.

Tegengaan van vriendjespolitiek
Wanneer peer-assessment op een geobjectiveerde en duidelijk gestructureerde wijze wordt verricht kan het studenten belonen die er veel werk in gestopt hebben. Maar het lijkt dat peer-assessment ook een middel kan zijn voor studenten om elkaar aan hogere cijfers te helpen. Beoordelingen van medestudenten worden vaak vertroebeld door andere particuliere of emotionele factoren. Het bekendste voorbeeld daarvan is natuurlijk vriendjespolitiek. Wie is niet onbewust geneigd om zijn vriendje of vriendinnetje coulanter te beoordelen dan studenten waarmee men geen persoonlijke binding heeft? Naar mijn ervaring is vriendjespolitiek alleen maar tegen te gaan door een combinatie van twee activiteiten

• Het zoveel mogelijk objectiveren en specificeren van de beoordelingscriteria.
• Het toezicht van de docent op de handhaving van de beoordelingsprocedure en op de hantering van inhoudelijke criteria.

Ontmoediging van zwartrijders die gratis meeliften
Bij beoordeling van resultaten van groepswerk is het voor de docent meestal niet zichtbaar of controleerbaar wie wat heeft bijdragen aan het eind product. Alleen de groepsleden zelf weten wie welke bijdrage heeft geleverd, en wie slechts marginaal aan het eindproduct heeft bijgedragen. Het risico van beoordeling van groepsproducten is dat er te veel ruimte wordt geboden voor zwartrijders. Dat zijn studenten die niet of nauwelijks iets presteren, maar toch een voldoende krijgen omdat zij meeprofiteren van het werk van andere groepsleden. Hoe kan dit zwartrijdersgedrag worden ontmoedigd? Hoe kun je een beoordelingsprocedure zo inrichten dat het meeliften van zwartrijders niet meer 'gratis' is? Er zijn diverse manieren waarop men dit probleem kan benaderen. Maar de meest effectieve manier om met dit probleem om te gaan is deze: geef studenten het recht om het aan een groepsproduct toegekende aantal punten onderling te verdelen. Ik geef een voorbeeld. Wanneer een werkstuk van 4 studenten uiteindelijk met een 7 wordt beoordeeld, mogen studenten onderling uitmaken hoe zij dit cijfer (4 maal 7) verdelen. Dat kan in dit voorbeeld betekenen dat een student uiteindelijk een 6 krijgt, twee studenten een 7, en één een 8. Als in deze richting wil experimenteren is het raadzaam om voor deze finale 'verdeling van de buit' een aantal duidelijke spelregels op te stellen (en een helder arbitrage-regelement voor het geval er onoverbrugbare meningsverschillen ontstaan).

Speciale waardering van coöperatieve activiteiten
In de theorie van het groepsleren wordt meestal een onderscheid gemaakt tussen coöperatief en samenwerkend leren:

• Coöperatief leren
  Coöperatief leren komt tot stand door de arbeidsdeling tussen deelnemers, waarbij elke student verantwoordelijk is voor een deel van de probleemoplossing. Coöperatief leren is een onderwijsproces waarbij kleine groepen van 3-5 studenten samenwerken aan een duidelijk omschreven leertaak. De individuele studenten zijn verantwoordelijk voor hun eigen prestatie en de docent fungeert als coach van het groepsleerproces. Uit alle studies blijkt dat coöperatieve leerervaringen stimuleren tot hogere prestaties dan hun competetieve of individualistische alternatieven. Coöperatieve activiteiten bieden bovendien een stimulans voor de ontwikkeling van hogere denkniveaus, essentiële communicatievaardigheden, verbeterde motivatie, positieve zelfwaardering, sociaal bewustzijn en tolerantie voor individuele verschillen.
• Samenwerkend leren
  Samenwerkend leren is een gecoördineerde activiteit die het resultaat is van een continue poging om een gedeelde opvatting van een probleem te ontwikkelen en te handhaven. Het resultaat van coöperatief leren is de synthese van het werk van individuen. De kern van samenwerkend leren is de notie van gezamenlijk leren. De studenten werken samen aan een taak en worden gezamenlijk verantwoordelijk voor de strategieën die zij hanteren om een bevredigend resultaat te behalen.

Samenwerkend leren is dus meer dan de optelsom der delen. Het vereist dat studenten zelf het initiatief nemen om te komen tot een 'gedeelde opvatting van het probleem' en een 'gedeelde taakstelling'. Dat vereist speciale coördinerende en leidinggevende activiteiten. Daarom zou men kunnen overwegen om een beoordelingssysteem te hanteren waarin studenten die zich in het bijzonder hebben ingezet om deze coördinerende en leidinggevende activiteiten op zich te nemen, ook extra worden beloond.

Deconcentratie van beoordelingen
Deconcentratie van beoordelingen loont. Het loont omdat het past bij onderwijs waarin ruimte wordt geboden voor samenwerkend leren, omdat het bijdraagt aan het zelfreflexieve vermogen van studenten, en last but not least: omdat het docenten ontlast.

Onderwijs is 'verplaatsing van lucht'. In elektronische leeromgevingen slaan die luchtverplaatsingen neer in digitale bewegingen die zichtbaar zijn (en blijven) en daarom misschien ook beter beoordeeld kunnen worden. Ook en met name door studenten zelf.

Literatuur

1. Boud, D. [1995] Enhancing Learning Through Self Assessment. London: Kogan Page.
2. Brown, S. / Knight, P. [1994] Assessing Learners in Higher Education. London: Kogan Page.
3. Conway, R. / Kember, D. / Sivan, A. / Wu, M. [1993] Peer assessment of an individual's contribution to a group project.
   In: Assessment and Evaluation in Higher Education, 18: 45-56.
4. Kirkpatrick, D. / Fuller, R. [1995] The challenge of peer assessment.
   In: Summers, L. (ed.) A Focus on Learning, p. 146-9. Proceedings of the 4th Annual Teaching Learning Forum, Edit Cowan University, February 1995. Pert: Edit Cowan University.
5. Sluijsmans, Dominque [2002] Student involvement in assessment. The training of peer assessment skills.
   Maastricht: Datawyse.
6. Stefani, L.A.J. [1994] Peer, self and tutor assessment: relative reliabilities.
   In: Studies in Higher Education 19: 69 - 75.
7. Web, N.M. [1994] Group Collaboration in Assessment: Competing Objectives, Processes, and Outcomes.
   CSE Technical Report 386, National Center for Research on Evaluation, Standards, and Student Testing (CRESST)
8. University of Queensland Assessment site

Selecteer een thema Geschiedenis van internet Virtuele gemeenschap Hypertekst revolutie Teledemocratie Cyberterrorisme Oorlog in cyberspace Netliefde en Cyberseks Dood in cyberspace Verslaafd aan het internet =====ANNEXES===== Internet begrippen Zoeken op internet

dr. Albert Benschop Sociale en Gedragswetenschappen Sociologie & Antropologie Universiteit van Amsterdam Gepubliceerd: November, 2002 Laatst gewijzigd: 28 December, 2005