121208 Samenvatting dutch onderzoek tbv. Dudoc

Kort en goed ging mijn onderzoek over de wijze waarop ICT ingezet kan worden bij het verwerven, oefenen en toetsen van algebraïsche vaardigheden, gericht op de overgang Voortgezet Onderwijs - Hoger Onderwijs. Ik zal woensdag dit verhaal eerst even samenvatten.
Een kort resumé van het tot nu toe verrichte werk van het onderzoek:
1. Ik heb een evaluatie instrument gemaakt voor het evalueren van software tools voor het verwerven, oefenen en toetsen van algebraïsche vaardigheden. Het instrument is gebaseerd op een raamwerk met drie pijlers: tool use, assessment en algebraic skills. Dit instrument is extern gevalideerd door 27 experts.
2. Op basis van dit instrument heb ik alle beschikbare tools aan een analyse/beoordeling onderworpen. Deze scoring is ook door een expert (Chris Sangwin, Uni. van York) gedaan en ik heb hiermee een vastgesteld wat de mate van "agreement" was (Cohens Kappah, Krippendorffs Alpha). Dit leverde een toolkeuze op.
De punten 1 en 2 zijn verwerkt in een artikel voor het International Journal of Computers for Mathematical Learning. Het artikel is vrijwel rond en zal voor 31-12 worden ingeleverd. 
3. In deze tool heb ik vervolgens een prototype van een digitale toets gemaakt waarin de drie pijlers van mijn onderzoek, te weten tool use, assessment en algebraic skills, samen komen. De items voor de toets hebben tot doel om zowel basic skills als algebraïsch inzicht, te toetsen/oefenen.
4. Het prototype was onderwerp van vier 1-to-1s met leerlingen en twee met experts. Dit is nu in uitvoering, heden nog één te gaan. Doel van de 1-to-1s was om commentaar te krijgen op zaken als layout, gebruikersvriendelijkheid, de content zelf alsmede de op punten gewenste feedback in de tool. Dit laatste staat het meest centraal in deze cycle. Waar kan zinvolle feedback worden toegevoegd? Voorbeelden zijn:
- commentaar op gemaakte fouten (en goede antwoorden)
- hints als een leerling vastloopt
- verwijzingen naar theorie over de leerstof, als er fouten worden gemaakt.
De resultaten worden gebruikt om inzicht te krijgen in het gebruik van de tool, teneinde het prototype (of interventie, zo je wilt) bij te stellen voor de volgende cycle in de design cyclus.
3 en 4 vormen de basis voor een artikel voor "For the Learning of Mathematics". Dit artikel staat in de steigers en zal in februari af zijn. Centraal staat hier overigens de wiskundige inhoud (inclusief feedback), niet zozeer de tool.
 
Mijn vragen gaan over de uitwerking van deze de fase met punten 3 en 4.
Hoe strak moet je de 1-to-1s organiseren? Moet er volgens een bepaald protocol worden gewerkt? Maar is er dan genoeg ruimte voor "oprispingen". Voorbeeld: als leerlingen de toets maken kunnen ze al vanaf het begin vastlopen. Ik heb er voor gekozen om -als ze niet verder kunnen- wel te interveniëren. Uiteraard registreerde ik deze interventie wel (auditief, schriftelijk en visueel).
Hoe kan ik al deze data het beste verwerken. Ik heb een indeling in categorieën, met name op het gebied van feedback (zie referentie naar o.a. Hattie en Timperly in concept artikel hieronder). Maar...in hoeverre timmer je dit al helemaal dicht, als je het hebt over een in mijn ogen nog weinig ontgonnen gebied als ICT tools voor algebra?
Welke zaken in deze fase dienen verhelderd te worden, of omgekeerd gesteld: wat is er niet duidelijk? (Dit ook naar aanleiding van wat zaken in de vorige presentatie die verwarring veroorzaakten)
Tevens laat ik jullie enkele opgaven zien (plus resultaten van leerlingen) die wat zaken ui het onderzoek illustreren. Ook kan jullie hierbij twee opgaven aanbieden die het principe van symbol sense en dergelijke zullen illustreren. Dit zou natuurlijk bij voorkeur digitaal moeten, maar dat lijkt me logistiek niet haalbaar.
Bijlagen:
 
art2_flm_algebra_051208.doc
Hiertoe heb ik bijgesloten, een raamwerk voor het artikel plus knip/plak werk uit zaken die ik hier al eerder over geschreven heb/had. Het is geenszins af, en nog niet erg gestructureerd. het geeft echter wel een beeld van wat gedaan is.
Uit dit stuk:
"This paper reports on two questions emerging in the frame of a larger research on the question how ICT can support acquiring, practicing and assessing relevant mathematical skills. The general hypothesis is that ICT tools for algebra should support both conceptual understanding and procedural fluency.
This paper addresses the following sub-questions:
1. What questions and what categories of questions make "symbol sense" ?
2. How can these questions be incorporated into a prototypical digital intervention?"
opzet_1to1s_totaaldoc_111208.doc
Een document met beschrijving van de opzet van de 1-to-1s. Hierbij merk ik extra op dat het niet compleet is. Ik heb nog aardig wat punten op schrift staan, maar die zijn er nog niet in verwerkt. Het is feitelijk de basis voor het kopje "Methods" in het artikel van hierboven.