MOOC - La avaluació

1. Introducció
2. Eines d'avaluació
  • 2.1 Exàmens tipus test
  • 2.2 P2P
3. Què s'avalua?
4. Quan s'avalua?
5. La correcció automàtica
6. Els cursos realment massius i globals vs els cursos més locals i menys massius

1. INTRODUCCIÓ

L'avaluació dels coneixements o competències que s'adquireixen al llarg de un MOOC és un dels temes més debatuts, i que per suposat està molt lluny de tancar-se. De fet el molts dels criteris que s'han estat estudiant per avaluar en un entorn d'e-learning podrien ser aplicables.

Hi ha diferents factors que fan que un MOOC sigui diferent, sobretot en el tema de l'avaluació. El nombre d'estudiants que hi ha estan apuntats fa que sigui impossible una interacció més o menys directa amb l'equip de professorat, perdent una part de l'avaluació que tots estem acostumats en un entorn d'aprenentatge presencial o virtual (per exemple via Moodle). També s'ha de tenir en compte la motivació dels estudiants a involucrar-se amb els continguts, participant en els fòrums, etc. Aquests dos fets els hem de tenir a la ment quan dissenyem les activitats d'avaluació dins de un MOOC.

Actualment el debat està molt obert. Pel fet de que un MOOC és un curs (la seva C ho diu), donem per fet de que s'ha d'avaluar l'aprenentatge que han adquirit els seus participants, i fins i tot posar-hi una nota. En el cas de un MOOC, l'avaluació és més un saber a on et trobes a mesura que vas avançant pels diferents mòduls. Aquesta avaluació és important per tal de motivar a l'estudiant a seguir endavant, però sempre per ajudar, no per posar-hi traves. Una altra qüestió és si el coneixement que has adquirit al llarg del curs l'estudiant es capaç de portar-lo a la pràctica. Per tant l'acreditació de un curs MOOC (que ja en parlarem més endavant) dependrà bastant d'aquesta avaluació.

2. EINES D'AVALUACIÓ

Tot seguit passem a dissenyar l'avaluació del nostre curs MOOC, quines eines podem utilitzar. Tal com hem dit aquesta part és una de les que diferencien un curs MOOC de un curs obert, per exemple basat en MOODLE. No només l'avaluació és la que n'és diferent, però sobretot el paper del professor.

En un curs MOOC, el professors prepara totes les proves però després no hi intervé. Hem de recordar que en un curs podem tenir entre centenars i miles d'estudiants, per tant s'ha de buscar una forma sostenible de portar-la a terme.

La majoria de plataformes ofereixen dos tipus d'avaluació:
- Examens tipus test - correcció immediata
- Correcció entre parells, Peer-to-peer (P2P) . La correcció ve dels propis companys de curs.

Exàmens tipus test

Aquestes proves, les quals poden ser dissenyades de moltes maneres diferents. són les més utilitzades en avaluacions virtuals, les quals es poden adaptar a un nombre molt gran de participants. Bàsicament l'única limitació és la dimensió de la plataforma, que pugui absorbir més o menys respostes.

Les enquestes poden ser diferent tipologia, depenent del curs, del mòdul, dels continguts, etc. Per tant es fa un punt difícil donar unes directrius generals. S'ha de tenir en compte que ens interessa que l'estudiant vagi adquirint els coneixements que li oferim, però que també continuï endavant pels diferents mòduls i acabi el curs. La nostra experiència ens perment llistar una sèrie de consells a l'hora de dissenyar l'enquesta, tot i que no passen de consells.
  • - Enquestes no gaire llargues i de preguntes molt concises i relacionades directament amb el que l'estudiant ha estat llegint/veient. No es tracta de ser molt rebuscats, sinó que aquest tingui la sensació que avança de manera satisfactòria.
  • - El nombre de vegades que es pot contestar una enquesta es pot definir a la plataforma. No es tracta de què l'alumne ho sàpiga tot el primer moment, si no que ho sàpiga, o al menys hi hagi vist. Per tant no limitem respondre tota l'enquesta bé a la primera o a la segona vegada. El millor és donar un nombre més gran de oportunitats.
  • - El nombre de respostes correctes per tal de superar el test també és un paràmetre controlable. Ja que l'alumne pot contestar diferents vegades l'equesta, és important que aquest percetatge sigui alt. D'aquesta manera ens assegurem que no han respost de forma aleatòria, i que més o menys tenen una visió correcte del tema.
  • - Normalment les preguntes tipus test admenten FeedBack amb l'estudiant. Hi ha moltes preguntes on és convenient que hi sigui. Aquest pot ajudar a l'estudiant a respondre de forma correcte i a sentir-se acompanyat al llarg de l'avaluació.

Proves P2P (peer-to-peer)

L'evaluació per parells són les que diferencien un MOOC de la resta de cursos on line que es poden trobar. Aquesta avaluació està basada en treballs que porten a terme els estudiants i que són avaluats per la resta d'alumnes del curs. Aquesta prova pot tenir tipologia molt diferent depenent del curs, pot anar des de un petit treball escrit en format pdf, fins a un video que es pot trobar penjat a YouTube. Els propis participants del MOOC són els que avaluaran als companys.

Igual que amb l'eina anterior, a continuació llistem alguna sèrie de consells a l'hora de dissenyar un treball P2P. El disseny de l'activitat estarà lligada als continguts de curs, al mòdul, i a altres característiques de cada un dels cursos.
  • - Deixar molt clar què es vol del treball. Pensem sempre que estem treballant amb un nombre molt i molt gran d'estudiants, i que la pregunta del tema no haurai de generar un nombre molt gran de preguntes al fòrum. Limitem l'espai, pautem els continguts, preguntem de forma clara, etc.
  • - Rúbrica de com s'ha d'avaluar el treball. Ja hem dit que la resta d'estudiants en són els avaluadors. Per tant igual que saben com s'ha de fer el treball, han de tenir clar com han d'avaluar el dels companys. Per això millor poder tenir unes rúbriques que els permetin portar-la a terme de forma senzilla.
  • - Els treball podem qualificar-se com a aptes/no aptes però en alguns casos fins i tot s'hi pot afegir una nota. Les rúbriques ens ajudaran a poder denifinir-la.
  • - L'experiència ens diu que aquests treballs solen provocar una frenada a la hora de tirar endavant en el curs, el que fa que la seva posició en els móduls hagi ser molt estudiada, igual que el fet de ser més o menys atractiva.
  • - El nombre d'estudiants que avaluen cada treball és un dels paràmetres a controlar amb la plataforma. Si volem que sigui una avaluació pràctica no hauríem de passar mai de 2, i com a molt 3 estudiants, que avaluen cadascun dels treballs. A més, hauriem de tenir en compte que aquesta avaluació sol ser lenta i que millor no la supeditem al fet d'haver superat un mòdul (o sigui, que per avançar al mòdul següent no calgui haver avaluat els altres estudiants). Cal tenir en compte també que, al menys a la plataforma MiriadaX, la selecció dels avaluadors es fa de forma automàtica i aleatòria, encara que el sistema sembla que té en compte que avaluador i avaluat estiguin estiguin de forma coherent seguint el curs)
  • - Permetre el Feed-Back en l'avaluació. Això ens permet també crear xarxa entre estudiants, posant-los encara més en contacte.

3. QUÈ AVALUEM?

Per suposat aquesta pregunta no té una sola resposta, ja que ens dependrà del tipus de curs, i dins de cada curs del mòdul que estem impartint. Aquests poden ser més de conceptes, de pràctica, o una combinació d'ambdues. En els nostres MOOCs, les preguntes i treballs estaven basats amb el que es deia en el curs.

- Preguntes directes de detalls dels vídeos- Aquest fet ens ajudava a assegurar que els estudiants havien passat pels videos (en el cas de MiriadaX, on els videos estan a YouTube era potser la única manera d'assegurar que l'alumne mirés tot el video; a Coursera es permet fer preguntes a mig video - aquest és un tema en desenvolupament, per exemple al congrès de Màlaga de març http://gtea.uma.es/congresos/INDEX.PHP?page_id=417)
- Preguntes sobre continguts més subjectius lligats als continguts - En aquest cas la resposta no ha de ser única, necessàriament. Aquesta part es pot controlar amb la plataforma, definint una o més preguntes correctes.

4. QUAN AVALUEM?

En el disseny de l'avaluació s'ha de tenir molt en compte a on posem les diferents proves. S'ha vist que aquestes són part de l'èxit dels diferent cursos. Una avaluació "dura" en el primer mòdul fa que l'abandonament sigui més alt. Aquest fet és amb els que ens varem trobar en els dos cursos que varem oferir el curs passat. En un dels cursos, en el Mòdul 2, varem proposar un petit treball i en aquest punt és a on varen identificar el major nombre d'abandonaments. En el segon curs, el treball el varem proposat en un dels mòduls finals, i l'abandonament va ser bastant inferior, ja que quan et trobes al final és més senzill que l'estudiant estigui predisposat a fer més treballs.

El nostre consell, basat sempre en la nostra experiència, és que l'avaluació ha d'anar augmentat mica en mica de complexitat. L'estudiant s'ha de sentir acompanyat des del principi, igual que necessita des del primer mòdul veure que va pel camí correcte. Per això en els primers mòduls es proposen proves tipus test, a on hi hagi respostes clares, fàcils de identificar amb els continguts, amb un feedback per les diferents preguntes. Un cop els estudiants ja estan més involucrats en el curs se'ls hi pot començar a demanat treballs P2P. Com sempre no hi ha una directriu única, ja que no pots esperar al penúltim mòdul, necessites poder crear xarxa amb els estudiants una mica abans. Per tant es tracta de buscar l'equilibri entre els diferents objectius, i que dependran molt del tipus de curs.

5. LA CORRECCIÓ AUTOMÀTICA

Hi ha hagut alguns intents d'automatizar el procès de correcció. Actualment és un àmbit de recerca important. Per exemple, feu un cop d'ull a la pàgina "Moocs : de la correction automatique à la personnalisation des cursus"
https://who.rocq.inria.fr/Gilles.Dowek/MoocLab/13janvier/index.html (nota és d'un "MOOC Lab"). Hi ha força material, sobretot relacionat amb el fet que l'avaluador ha d'aprendre a avaluar (cal entrenar-lo a fer-ho). També cal tenir en compte que es tracta d'un grup tecnològic.

Pel que fa a correcció automática més relacionada amb textos, hi ha abundant literatura. Aquest n'és un, d'exemple:
"Assessing Writing in MOOCs: Automated Essay Scoring and Calibrated Peer Review"
http://www.rpajournal.com/dev/wp-content/uploads/2013/05/SF4.pdf

En la nostra opinió, automatitzar té l'avantatge de poder fer més seguiment de l'estudiant, però té el desavantatge que el propi procés d'avaluació (i d'entrenar-se per a l'avaluació) és també una forma d'aprenentatge. Com sempre, segurament un model mixt serà l'òptim.


6. Els cursos realment massius i globals vs els cursos més locals i menys massius

Tal com s'ha anat veient, una cosa són els MOOCs veritables (realment massius), i una altra cursos més limitats que tenen format MOOC. Un exemple d'aquest segon cas podria ser aquest mateix curs, que es podria oferir en format MOOC a tothom qui volgués de la comunitat UB, o de la comunitat unviersitària catalana. Un altre exemple de MOOC limitat (SMOOC, small MOOC) podria ser un curs d'introducció a la universitat, com el que estem planificant de química zero, adreçat a estudiants que no han fet química a Batxillerat, però que se la trobaran a primer curs (enginyeria, biologia, etc.). També podria tractar-se d'un curs d'introducció a un màster, orientat a la captació d'estudiants de postgrau.

Així doncs, en aquests casos amb un número baix d'estudiants inscrits, potser amb un grau previsible de fidelització més alt, es pot pensar en una dinamització que impliqui més contacte i interacció docents-estudiants. Un curs com el de química zero en català, segurament que abasta un territori geogràfic físic més reduït (un MOOC de veritat abasta tot el món). Com a eines d'avaluació s'hi podrien afegir, doncs, trobades presencials o hangouts, o algun element basat en jocs/concursos, que permetin als docents calibrar personalment l'avenç de cada participant.

Per a aquests MOOCs petits, serien vàlides algunes de les tècniques d'avaluació d'un curs basat en Moodle. De fet, en aquest mateix wiki hem senyalat les diferències entre un curs online normal i un MOOC, però encara queden moltes semblances. Per a un MOOC petit, es pot agafar tot allò que funciona per a un curs online normal. La frontera és més difusa en aquest cas. A part, hi ha el tema de la llengua. Un MOOC s'ha de fer en una llengua d'ús global. Un curs en format MOOC per a un territori determinat, es pot fer en una llengua menys global. Un exemple el tenim al curs XarxaMOOC (http://blooc.xarxamooc.cat) per ensenyar català especialitzat.