Cours entier non synthéthisé

Evaluation dans les dispositifs techno-pédagogiques
https://sites.google.com/view/evadisponumerique/Home
Innover
Innover, c’est tout simplement faire quelque chose différemment et mieux à l’aide de la connaissance
dont on dispose à un moment donné
Individu plus
L'individu, contrairement aux idées courantes, n'agit pas seul et sa connaissance ne se réduit pas à ce
qui se trouve dans sa tête. Perkins (1995) suggère en effet que même l'expert, face à une tâche ardue,
n'agit pas seul, mais en individu plus, c-à-d en utilisant des outils de son environnement et son
entourage social.
Hypothèse d’accès équivalent
Le siège de conservation d'une connaissance, que ce soit la mémoire ou un support écrit par exemple,
n'a pas d'importance en soi. C'est la facilité d'accès à l'information qui est bien plus cruciale. Des
informations se prêtent d'ailleurs mieux à être enregistrées dans un carnet de notes, sur internet,…que
dans la mémoire individuelle.
Consensor – création par armée américaine en 1977
Le Consensor est un boitier constitué d’un bouton de pondération, d’un bouton de sélection gradué
de 1 à 10 et d’une connexion filaire vers un circuit de contrôle central. Les questions sont posées
oralement sous la forme de questions à choix multiples. Chaque utilisateur indique sa réponse en
tournant le bouton sur la graduation correspondante de 1 à 10. Les résultats sont affichés sur un écran
sous la forme d’histogrammes.
Outils technologiques
Partout autour de nous… Cela devrait être ainsi maintenant en éducation :
1
Et pourtant à l’école
Selon le rapport, intitulé "Students, Computers and Learning: Making The Connection", montre que les
pays qui ont considérablement investi dans les technologies de l'information et de la communication
(TIC) dans l'éducation n'ont enregistré "aucune amélioration notable" de leurs résultats aux
évaluations PISA de compréhension de l'écrit, de mathématiques et de sciences (Pisa, 2015).
 C’est normal ; mauvaise formation, mauvaise utilisation
Les élèves utilisent peu le numérique
pour la conception. Ils l’utilisent
essentiellement PASSIVEMENT, pour
les réseaux, les musiques… Ils sont
consommateurs et non producteurs.
Au niveau des applications, elles sont
en constante augmentation. Mais
peu pour la recherche, production…
2
Pratiques pédagogiques
Si on n’a pas de numérique, on fait des
techniques pédagogiques pour voir si
cela aide à l’apprentissage. Avec le
numérique, on aura une interaction
supplémentaire.
Il pourra faciliter les pratiques
pédagogiques et peuvent soutenir le
développement des compétences. Mais
cela rend cela complexe.
Exemple : quizlet pour apprentissage
formatif, duolingo pour apprentissage
distribué, …
La première chose qui influence notre
perception positive des outils numériques : son
utilité
Enseignement : on ne sait jamais généraliser si
on veut évaluer un dispositif, cela dépendra du
contexte
3
Différents dispositifs techno-pédagogiques
Cycles 3 et 4 Eveil géographique Problème guidé &
apprentissage collaboratif Google Earth :
Permet un travail de recherche en géographie. Pas utile sans
activité prévue, il faut que cela soit guidé. Etudiant à Leuze
ont créé des fiches mettant en avant à chaque fois une
fonctionnalité de l’application => tâche => côté utilitaire
« Retenons en premier lieu la grande motivation des enfants
pour interagir avec l'outil numérique : l'enthousiasme était
chaque fois au rendez-vous et bien souvent, les séances
paraissaient souvent trop courtes aux yeux de tous. Aussi, plusieurs d'entre eux ont poursuivi
l'exploration de Google Earth à la maison : ils revenaient alors le lendemain en partageant leurs
nouvelles découvertes. Certains ont même initié leurs parents !
Organiser le travail par deux est intéressant : même si on n’a pas la souris en main, on peut apprendre
en guidant, observant, conseillant celui qui tient les commandes. Cela suppose, bien évidemment, de
développer en amont l'habitude de collaborer en binôme.
Travailler avec Google Earth demande d'opérer un va-et-vient constant entre l'espace réel (en 3D) et
sa représentation (en 2D). En effet, pour retrouver ma maison (que je connais en 3D), je prends des
indices tels que le chemin de fer, l’autoroute, le parc, etc. Ces indices 3D, je dois les rechercher en 2D
sur l’image que me donne Google Earth et vérifier, au besoin, en passant de Google Earth à Street View.
Ce travail nous semble vraiment aidant pour la lecture de cartes, tâche souvent difficile car le lien avec
le réel est à construire. Google Earth permet donc de jeter des ponts entre l'espace connu et sa
représentation abstraite » Watthez & Derrider (2014)
Scratchjunior :
Prof apporte des fiches en plus. Cela permet une
manipulation et une collaboration en plus. On prédit les
choses, on teste papier puis on encode. Complémentarité
avec les autres outils
Robot orientation :
Idem
4
Google forms :
On propose aux élèves de résoudre une série
d’exercices dessus avec feedback. On
constate que si les élèves visualisent leurs
réponses (compte rendu), ils réussissent
mieux (grain relatif) la fois d’après.
Plickers (scan) :
Tableau à double entrée permet de visualiser quelle question fut un
problème, les atouts de chaucun => remédiation plus facile, on sait cibler
ce qu’il faut.
Dropbox & audio splitter :
Travailler le savoir écouter en faisant de la
collaboration. Ecouter un truc seul et
répondre seul : on ne s’améliore pas, niveau
toujours le même. Or collaboration :
évolution
Curieux :
amélioration
également !
du
savoir-lire
Judo :
Hors contexte scolaire. Quand on travaille avec un tutorat augmenté avec des technologies, cela
fonctionne mieux car ils ont pu observer la qualité de leur geste.
« Il devient alors plus facile pour les étudiants, en se voyant, d'analyser leurs mouvements et de
comprendre ce qu'il reste à améliorer du côté technique. La rétroaction que je fais en classe (ou
celle de son coéquipier) est plus précise, et enfin possible pour tous ! Nous pouvons davantage tenir
compte des forces et faiblesses de chacun. L'intervention est plus rapide, le visionnement étant
instantané. » Cloutier (2012)
Sic’estpasmalheureux :
qq’un travaille en inversant la classe inversée. Eleves écrivent eux-mêmes leur capsule. Ils créent leur
histoire, leur matière, ils donnent une explication aux autres.
« L’aspect technique ayant quasiment disparu, on s’est concentré sur le fond ! Les story-boards ont été
accueillis comme le messie et finalement le plus gros du travail et de la réflexion s’est fait à l’oral entre
les élèves et sur une fiche de papier. Preuve que cette app est un catalyseur mais pas une fin en soi. Et
ça je pense pense que les élèves s’en s’ont très vite rendu compte. Ce qui prime ce sont les idées, et la
façon dont on les organise. Voice oblige les élèves à être au clair, à argumenter entre eux. La production
5
du « chef d’oeuvre » (dans son sens premier) est une vraie motivation. Ajoutez à cela la dimension
communicative de la publication sur Twitter et collaborative de la création de contenu par et pour la
classe… »
Badge Moodle :
Dispositif en ligne, reçoit un badge en testant leurs connaissances =>
autoévaluation + collaboration (on peut s’entrainer en voyant ce que les
autres ont comme badge)
Chatbots
Exploration de la possibilité d’utiliser l’intelligence artificielle pour la
personnalisation de feedbacks et relance
Variable pour évaluer un dispositif
La logique des 3P
Processus (qualité)
Collaboration, interactions,
test formatif, messages
postés, consultation des
ressources, temps de
connexion
Produit
Gain relatif, réalisation des
tests, test sommatif
Perception
Motivation, utilité, avis,
utilisabilité
6
Démarche qualité !!!!
On est toujours dans l’étape 1 ou l’étape 2.
1.
2.
3.
4.
Concevoir
Mettre en œuvre
Evaluer
Réguler
Learning analytics
Siemens & Long (2011, p.31) définissent les Learning analytics comme « la mesure, la collection,
l’analyse et l’interprétation des traces des apprenants et de leurs contextes, pour comprendre et
optimiser leur apprentissage dans l’environnement dans lequel il se produit. » Le niveau « micro »
concerne un dispositif de formation spécifique dans un contexte donné.
Le niveau méso concerne l’analyse des traces au sein d’une même institution et le niveau macro fait
référence à un terrain d’investigation à une plus large échelle comme un système éducatif.
Etudier des outils contextualisés – on récolte des traces, on analyse, on récupère de l’information
Tableau dillenbourg
7
Alignement pédagogique
On a un contenu et à partir de celui-ci, on crée des tâches, des objectifs et des outils d’évaluation
Ces éléments de base doivent être utilisé même dans un contexte numérique
Une méta-analyse
C’est une démarche statistique combinant les résultats d'une série d'études dépendantes sur un
problème donné. La méta-analyse permet une analyse plus précise des données par l'augmentation
du nombre de cas étudiés et de tirer une conclusion globale.
Environnement numérique d’apprentissage
1. Tâches
Il faut générer des tâches d’apprentissage
2. Modalités d’encadrement
Proactif / réactif
3. Outils et ressources
4. Gestion du temps
5. Organisation du groupe
On peut choisir groupe, équipe, seul, en présence ou à distance, puis on peut les regrouper …
On peut scénariser. Avec le numérique, on peut créer un scénario montrant l’évolution du groupe en
fonction du temps
8
« Quelle est la qualité des produits de l’apprentissage » ?
On a du contenu. Généralement, on créé une innovation et on s’intéresse pas à la qualité du produit.
Or ça doit être la première chose à laquelle penser. « Est-ce qu’ils apprennent mieux ? »
On a 4 variables pour caractériser ces outils (qualité) : progression, niveau de maitrise, transfert,
équité
« Quels processus d’apprentissage induit le dispositif »
On a 4 variables pour évaluer le processus (qu’ont-ils fait ?) : réalisation, temps engagé, usages,
interactions (grâce aux traces on essaie de comprendre le processus d’apprentissage, on analyse)
La compétence ne peut se voir et se mesurer qu’à travers l’empreinte qu’elle laisse dans sa mise en
œuvre. Cette empreinte peut prendre la forme d’indices, de signes perçus lors d’observations ou
d’artefacts laissés par l’action elle-même. Nous utilisons ici le terme générique de trace pour évoquer
toutes les formes possibles de cette empreinte.
9
« Comment les acteurs perçoivent-ils le dispositif »
On a 5 variables pour évaluer la perception : utilité, satisfaction, efficacité, motivation engagement,
utilisabilité contrabilité
« Quels liens entre les variables du processus et la qualité des produits de l’apprentissage »
On le fait rarement mais important. J’ai des gains d’apprentissage et j’essaie de voir s’il n’a pas des
comportements (pratiques pédagogiques) qui expliquent des progressions
« Comment les acteurs perçoivent-ils leur processus dans le dispositif ? Avec quelle cohérence ?
Que pensent les apprenants de ce qu’ils font au cours du processus, ce qui a été apprécié ou non
« Comment les acteurs perçoivent-ils les produits de l’apprentissage ? Avec quelle cohérence ? »
Que pensent les apprenants de ce qu’ils ont produit
« Les perceptions, les produits, les processus sont-ils influencés par les caractéristiques initiales ? »
2 Types de recherche
Appliquée : plupart des recherches en sciences de l’éducation. Parfois on peut grâce à l’application
refaire une loi générale
 Je teste une situation pédagogique en contexte réel
Fondamentale : on essaie de formuler des lois générales
 Je formule de nouvelles règles
Hattie : grâce aux démarches
10
Pourquoi évaluer ?
A partir du modèle, on peut faire 4 analyses possibles. De la rétrospection à l’anticipation.
« Comment faire pour que cela se produise » exemple : apprentissage adaptatif, on prend les traces
pour voir ce qu’il faut à l’apprenant (on anticipe)
On voit dans les recherches le plus souvent des analyses descriptives et diagnostiques. Les analyses
prédictive et prescriptive sont plus difficiles mais ont plus de valeur
Il n’est pas obligé d’user de toutes les variables pour réaliser un travail. Ce sont des pistes, tout ce qui
est possible d’évaluer.
PLAN
11
Introduction
1.1 Recherche appliquée vs recherche fondamentale
Dans la littérature, un relatif consensus existe autour de l’idée que l’évaluation est cruciale en
éducation (Crahay, 1999). Si son but premier est de prendre des informations à différents moments de
l’apprentissage pour mesurer les acquis des élèves, elle permet pour un enseignant dans une
perspective de « processus qualité » de disposer d’informations pour faire évoluer les dispositifs qu’il
met en oeuvre au quotidien. Cette prise de recul est importante dans la mesure où le dispositif est
souvent réutilisé et remis en oeuvre au fil du temps. Elle permet de dépasser la logique de "nous
croyons" et d'aboutir à de nouvelles connaissances sur l'apprentissage...nous permettant de dire "nous
savons". Cette logique induit que la recherche soit adossée aux pratiques pédagogiques comme l'est
la pratique médicale. En référence à la typologie de Van Der Maeren (1997), cette articulation revêt
clairement un enjeu pragmatique avec la recherche de solutions fonctionnelles pour l’apprentissage
et peut être associée à la recherche appliquée. Evaluer un dispositif peut également concerner le
chercheur en éducation dans la perspective de contribuer à une meilleure connaissance des conditions
d’apprentissage et ainsi produire de nouveaux savoirs. Ce type d’approche concerne alors davantage
la recherche fondamentale. Le cours "évaluation dans les dispositifs techno-pédagogique" s'oriente
davantage vers une logique de recherche appliquée. Il a pour objet de mettre en évidence les différents
questionnements possibles pour un chercheur et pour un enseignant autour des effets d’un dispositif
d’apprentissage dans un contexte donné. Dans les deux perspectives, la recherche reste toujours une
tentative de réponse instrumentée à une question ou à plusieurs questions qu'on estime pertinente(s)
(Reuter, 2017). Dans le cadre de ce cours, ce questionnement portera sur les environnements
numériques pour l'apprentissage humain.
1.2 Qu’entend-on par environnement numérique d’apprentissage ?
Avant de décrire ces propositions méthodologiques, il nous semble pertinent de préciser tout d’abord
le concept d’environnement d’apprentissage. Pour Lebrun (2005), il peut se définir comme un
ensemble cohérent constitué de ressources, de stratégies, de méthodes et d’acteurs interagissant dans
un contexte donné pour atteindre un but pédagogique qui consiste pour quelqu’un à apprendre
quelque chose de nouveau. Cet apprentissage concerne le développement d’une compétence. La mise
en place d’un environnement de formation demande donc de faire des choix pour scénariser
l’apprentissage et pour l’encadrer (Dillenbourg, 2012).
12
Dans le processus de scénarisation, il importe dans un premier temps d’analyser et de structurer le
contenu à maîtriser. Il convient ensuite de déterminer quelles tâches seront proposées aux apprenants
au travers du dispositif de formation en lien avec les compétences que l’on souhaite voir maîtriser par
les apprenants (Strijbos, 2004). L’importance de la tâche renvoie à l’idée que la connaissance est
toujours le résultat d’une reconstruction par l’individu qui apprend (Depover & Marchand, 2002). Pour
qu’un apprentissage significatif se réalise, l’apprenant doit être actif dans l’environnement où il est
amené à progresser. Il doit y mettre en œuvre un processus qui l’amène à sélectionner les
informations, à les organiser en une représentation cohérente et à les intégrer ensuite aux
connaissances déjà acquises (Mayer, 2010). Dans une perspective de cohérence, la tâche doit être
définie parallèlement aux compétences qui précisent les transformations intellectuelles à opérer chez
l’élève (Kollar, Fisher & Hesse, 2006). Il ne suffit donc pas de se focaliser exclusivement sur la question
de la démarche (« comment faire apprendre ? »). Encore faut-il ne pas oblitérer la question du contenu
(« que faire apprendre ? ») et la manière d’évaluer le développement des compétences ciblées.
L’efficacité d’une formation exige une articulation subtile de ces trois composantes de l’action
éducative : l’identification des compétences à développer, l’évaluation des résultats et la sélection des
moyens et des démarches qui correspondent aux tâches d’apprentissage. L’importance des liens entre
ces trois dimensions est à la base de la recherche de la qualité d’un dispositif de formation (Biggs,
1996). Nous estimons comme Dillenbourg & al. (2007) et Mayer (2010) que les tâches constituent en
effet la clef de voûte de la conception d’un dispositif d’apprentissage. Elles déterminent en quelque
sorte les formes de construction des savoirs qui doivent s’opérer. Pour Reuter (2007, p.215), « la notion
de tâche renvoie à la face visible de la transposition didactique. Le travail donné à réaliser à l’apprenant
manifeste la forme que prend le savoir à enseigner ». Reuter (2007) établit également une distinction
entre la notion de tâche et la notion d’activité. La tâche précise ce qui est à effectuer alors que l’activité
correspond à ce qui est effectivement réalisé par l’apprenant. L’apport des ressources renvoie à l’idée
que les connaissances sont disponibles à la fois chez l’individu qui apprend et dans l’environnement
proche de celui-ci. Différents outils sont ainsi susceptibles de supporter l’individu dans son traitement
d’une situation d’apprentissage. Les outils distribués dans l’environnement d’apprentissage peuvent
être à la fois langagiers, cognitifs, physiques ou numériques. Dans le champ de l’intelligence distribué,
Perkins (1995) met en avant au travers du principe « d’individu-plus » que l’apprenant peut adopter la
démarche d’un expert. Lorsque ce dernier est confronté à une tâche complexe, il n’agit, en effet, jamais
seul : « C’est entouré de tous ses outils que l’ « individu-plus » affronte la situation et parvient à
résoudre le problème. » (Perkins, 1995, p. 58).
Si l’on se réfère aux propositions de Bloom (1979) et au modèle de Slavin (1995), la gestion du temps
est cruciale dans la mise en oeuvre d’apprentissage. On peut évidemment observer des résultats très
13
différents chez les apprenants en fonction du temps alloué aux apprentissages. Cette gestion peut
concerner la durée, mais également la manière de distribuer les apprentissages dans le temps
(Temperman, 2013). L’organisation du groupe fait plutôt référence à la manière de gérer le groupe
dans le dispositif de formation. Pour Dillenbourg & Jermann (2012), on peut envisager différentes
formes de groupement dans le temps (travail individuel, travail en groupe, travail en groupe plénier,
...). Pour chaque type de groupement, il y a évidemment des choix à opérer. Dans le cas d’un travail
collaboratif, les modalités de constitution des groupes peuvent être évidemment très différentes au fil
du temps (voir figure ci-dessous). Dans cette schématisation, la variable "distance vs présence" peut
être également considérée.
1.3 Innover en éducation
Les recherches qui évaluent l'impact des technologies tendent à montrer que l'investissement en
technologie par un système éducatif n'entraîne pas forcément de bénéfices pour les élèves en termes
d'apprentissage. Selon le rapport, intitulé "Students, Computers and Learning: Making The
Connection", montre ainsi que les pays qui ont considérablementinvesti dans les technologies de
l'information et de la communication (TIC) dans l'éducation n'ont enregistré "aucune amélioration
notable" de leurs résultats aux évaluations PISA de compréhension de l'écrit, de mathématiques et
de sciences (Pisa, 2015). La principale raison est que l'apport technologique est souvent mobilisé selon
des protocoles anciens. L'intégration technologique n'est pas forcément synonyme d'innovation qui
consiste à faire quelque chose différemment et mieux à l’aide de la connaissance dont on dispose à un
moment donné. Si l'efficacité d'un système éducatif passait par l'usage d'outils, cela se saurait ! Si
l'innovation est censée avoir un impact sur l'activité humaine au moins égal à la solution précédente,
on l'évalue en réalité trop rarement. Morozov (2014) nomme ce comportement le solutionnisme c-àd apporter des solutions à des problèmes qui ne se posent pas.
14
Une innovation dans un contexte d'éducation peut passer par l'application du modèle TPAK
(Technology, Pedagogy & Knowledge) de Mishra & Koehler (2013). Celui-ci met en évidence que la
plus-value des technologies réside dans l'interaction de trois facteurs-clefs : Un choix d'outils
pertinents, des pratiques pédagogiques qui font la différence et l'analyse du contenu ciblé. Trois idées
interagissent dans ce modèle : des outils peuvent faciliter des pratiques pédagogiques efficaces, des
pratiques pédagogiques efficaces facilitent le développement de compétences et des outils peuvent
soutenir le développement de compétences. L'enjeu pour l'enseignant réside dans la conception et la
mise en place de tâches significatives qui jouent sur ces trois leviers complémentaires. Dans
son intervention, André Tricot abonde dans ce sens.
1.3.1 Par la pédagogie
Pour guider l'application de démarches pédagogiques innovantes et efficaces, l'enseignant-concepteur
peut s'appuyer sur les méta-analyses de Hattie (2009). Cet auteur a analysé des milliers d'expériences
en utilisant le principe de taille de l'effet en comparant des groupes dans différents contextes ayant
bénéficié d'une démarche pédagogique innovante à des groupes témoins. D'un point de vue
statistique, la taille de l'effet correspond à la différence standardisée des moyennes des groupes
expérimentaux et des groupes contrôles divisée par l’écart-type de l’ensemble de l’échantillon (Hattie,
2009). Un d de 1 signifie que 84 % des participants du groupe expérimental sera au-dessus du
participant ayant la moyenne dans le groupe-contrôle. Il y a également 76 % de chances qu’un
15
participant pris au hasard dans le groupe expérimental aura un résultat supérieur à un participant pris
au hasard dans le groupe-contrôle. Ce site développé par un chercheur suédois propose une
simulation pour mieux comprendre ce principe statistique. Sur la base de cette technique, Hattie met
en évidence différents principes qui ont des effets remarquables sur l'apprentissage. Si vous souhaitez
en savoir plus sur ces principes, vous pouvez découvrir la conférence de Hattie ici et ici. Depuis la
première publication de sa méga-analyse (synthèse de plus de 100 méta-analyses) en 2009, Hattie met
à jour sur ce site une échelle interactive reprenant les principes pédagogiques classés en fonction de
leur taille d'effet. Vous pouvez découvrir cette approche dans ce Moocproposé par le service de
pédagogie générale et des médias éducatifs.
Chi & Willie (2014) proposent de catégoriser le niveau d'engagement des élèves dans l'apprentissage
:
• Passif : l’élève reçoit l’information et est focalisé sur les explications données
• Actif : l’élève manipule des objets, opère des sélections. On le voit être en activité
• Constructif : l’élève génère des hypothèses, découvre par lui-même
• Interactif : plusieurs élèves collaborent, confrontent leurs hypothèses/découvertes
A l'aide de différentes expériences, ils observent que le dernier niveau est le plus efficace mais se
révèle plus chronophage (et donc moins efficient). Ils mettent également en évidence que ce dernier
niveau peut entraîner moins d'effets pour les élèves ayant un faible niveau au départ.
1.3.2 Avec les outils
Concernant les outils, on peut invoquer tout d'abord le modèle de Mayer qui à partir d'une série
d'expérimentations contrôlées met en avant que l'apprentissage est de meilleure qualité quand l'élève
peut s'appuyer de manière complémentaire sur la mémoire visuelle et la mémoire auditive (double
canal). Les outils multimédia offrent cette possibilité. Il met toutefois en avant que l'usage articulé des
différentes mémoires est modulé par différents principes ergonomiques qui peuvent faire la différence
en termes de performances dans la mesure où ils impactent directement la charge cognitive en
mémoire de travail. Pour en savoir plus sur ce modèle fondamental en éducation, vous pouvez
visionner ce podcast. En termes de formation, il est important que l'enseignant dispose d'une
formation à l'usage des outils et qu'il soit conscient qu'il existe différents niveaux d'intégration comme
le suggère le modèle SAMR proposé par Puentedura. On peut estimer que les outils constituent des
supports facilitateurs permettant aux élèves d'atteindre un niveau de connaissance supérieur à celui
qu'il possède (Zone Proximale de développement).
16
1.3.3 Pour développer des compétences
Il est évident que l'apport des technologies enrichi par des pratiques pédagogiques innovantes a pour
objectif de développer des compétences et de maîtriser un contenu pour les apprenants. Il n'y a aucun
intérêt à utiliser la technologie pour la technologie. Toute la difficulté pour les enseignants est
probablement que les référentiels et les programmes ne documentent pas à l'heure actuelle ces usages
précis. Les compétences disciplinaires et transversales n'intègrent que peu ou pas la dimension "outils"
dans leur formulation. Cette intégration est en lien avec l'idée d'intelligence distribuée proposée par
Perkins (1995) et qui postule que "L'individu, contrairement aux idées courantes, n'agit pas seul et sa
connaissance ne se réduit pas à ce qui se trouve dans sa tête. Perkins (1995) suggère en effet que même
l'expert, face à une tâche ardue, n'agit pas seul, mais en individu plus, c-à-d en utilisant des outils de
son environnement et son entourage social" n'est pas encore adopté par la communauté éducative. Ce
principe rejoint celui d'hypothèse d'accès équivalent (Crahay, 2007) qui met en avant que le siège de
conservation d'une connaissance, que ce soit la mémoire ou un support écrit par exemple, n'a pas
d'importance en soi. C'est la facilité d'accès à l'information qui est bien plus cruciale. Des informations
se prêtent d'ailleurs mieux à être enregistrées dans un carnet de notes, sur internet,…que dans la
mémoire individuelle. L'important actuellement est de pouvoir externaliser les savoirs afin de faciliter
le partage des connaissances de manière universelle via les nouveaux médias disponibles sur Internet.
17
Trianguler
2.1 Evaluer
On ne peut pas améliorer une situation sans évaluation de celle-ci. Pour évaluer les effets d’un
environnement d’apprentissage dans un contexte particulier concernant des apprenants avec des
caractéristiques initiales, un chercheur peut s’intéresser à différentes dimensions complémentaires.
La figure ci-dessous schématise cette approche méthodologique. Elle articule les différentes
observations à prendre en compte. Au total, on peut y distinguer trois sources d’observations
distinctes : les produits de l’apprentissage, le processus d’apprentissage et les perceptions des acteurs.
Sur le plan épistémologique, cette démarche d'évaluation de l'environnement a posteriori peut être
considérée comme une triangulation des méthodes et des sources (Pourtois & Desmet, 2007).
Cette approche découle de l'approche "processus-produit" qui au départ s'intéressait d'une part au
comportement des enseignants en classe (processus) et d'autre part à l'apprentissage des élèves
(produit) dans une perspective de recherche d'efficacité (Bressoux, 1994). A celui-là s'ajoute le
paradigme des processus médiateurs centrés sur l'élève. Les variations dans les résultats de
l'apprentissage sont liées aux procédures intermédiaires de traitement de l'information que l’élè ve
déploie lors de l'activité. Il nous semble utile d'associer à cette logique "l'avis des acteurs" (apprenants
ou enseignants) afin de mieux comprendre l'expérience d'apprentissage mise en place. Il est important
de préciser que tout dispositif est développé et inséré dans un contexte particulier. Lors d'une
démarche d'évaluation, le chercheur doit veiller à bien décrire et à caractériser celui-ci. Cela permet
de décider par la suite si les résultats sont généralisables à d'autres contextes et de mieux documenter
les méta-analyses (Hattie, 2009).
2.2 Réguler
Ces différentes sources permettent d’interroger a posteriori l’environnement d’apprentissage mis en
oeuvre. Ce questionnement correspond à une démarche de qualité dont l’objectif est l’amélioration
continue du scénario pédagogique par un usage réfléchi des moyens humains et technologiques à
disposition. Les réponses obtenues donnent alors la possibilité de réguler, le cas échéant,
l’environnement développé. Cette régulation consiste à modifier en conséquence l’environnement
d’apprentissage en opérant des ajustements dans le scénario pédagogique qui caractérise les
modalités d’encadrement, les tâches, la constitution des groupes, la sélection des outils et le temps
alloué.
L'enseignant-concepteur peut s'appuyer sur plusieurs expériences successives pour aboutir à un
environnement de qualité suffisante. Avec cette approche de rétro-ingénierie, l’enseignant peut
18
mettre en évidence a posteriori le modè le efficace de la tâche. Il a alors la possibilité de reconsidérer
le scénario en envisageant les améliorations utiles en matiè re de définition de la tâche, de choix
d’outils, de modalités de constitution de groupes et de possibilités de suivi. Il augmente ainsi ses
chances de développer un environnement d’apprentissage plus adapté, en mesure d’étayer la tâche
des apprenants et de faciliter ainsi leur progression dans la mai ̂trise des compétences visées. Bien plus
que les objets technologiques qui ne restent que des moyens, cette démarche itérative fondée sur
l’analyse des traces constitue un puissant levier en mesure de faire la différence pour faire apprendre.
2.3 Learning Analytics
Le développement de cette approche s’est particuliè rement accéléré avec l’émergence progressive du
champ de recherche « Learning analytics » que Siemens & Long (2011, p.31) définissent comme « la
mesure, la collection, l’analyse et l’interprétation des traces des apprenants et de leurs contextes, pour
comprendre et optimiser leur apprentissage dans l’environnement dans lequel il se produit. » Dans le
cadre fixé par le champ de recherche « learning analytics » (Buckingham, 2012), nous nous situons au
niveau micro (v. figure ci-dessous). Notre préoccupation principale concerne en effet, l’activité de
l’apprenant dans le contexte spécifique d’un cours. Le niveau méso concerne l’analyse des traces au
sein d’une même institution et le niveau macro fait référence à un terrain d’investigation à une plus
large échelle comme un systè me éducatif. Comme le suggè re la figure ci-dessous, les données
recueillies au niveau micro sont susceptibles d’alimenter les analyses menées aux niveaux supérieurs,
et inversement.
19
Produit
1. Créer l’outil d’évaluation
1.1 Varier les opérations mentales pour une même compétence
1.2 Intégrer des questions ouvertes et des questions fermées
- Les questions de sélection ou questions à réponse choisie ont pour caractéristique commune de
présenter à l'apprenant une série de propositions parmi lesquelles il devra choisir (question à choix
dichotomique ou à choix multiple), établir un ou plusieurs liens (question à appariement) ou qu'il
devra organiser selon un principe explicite (question à ordonnancement).
- Les questions de production exigent du sujet qu'il élabore puis rédige sa réponse avant de la
soumettre au correcteur pour qu'elle soit évaluée en fonction de critères plus ou moins explicites.
Le principal paramètre utilisé afin d'établir des distinctions parmi les questions de production
repose sur l'étendue et sur la forme de la réponse attendue. Ainsi, on distinguera les questions à
réponse courte, à réponse longue, à réponse élaborée, mais aussi les schémas à compléter, les
phrases à compléter et les textes lacunaires.
1.3 Utiliser des degrés de certitude
En nous appuyant sur les travaux de Leclercq & Poumay (2007), cette information supplémentaire
donne la possibilité de calculer un score de confiance qui correspond à la somme des degrés de
certitude fournis aux réponses correctes (idéalement, cette somme devrait être la plus élevée
possible).
À partir de ces informations, nous avons alors l’opportunité de calculer un score de prudence qui
correspond à la somme des degrés de certitude fournis aux réponses incorrectes (idéalement, cette
valeur devrait être la plus faible possible).
2. Utiliser les technologies pour…
2.1 Recueillir des données
Socrative, google forms, wooclap…
20
2.2 Analyser des données
Indice de difficulté : L’indice Pi (variant entre 0 et 1) est la proportion d’élèves ayant répondu
correctement à un item i. Un item est d’autant plus facile qu’il a un P élevé. De plus, il faudrait que
la majorité des items aient un P se distribuant autour de 0,5. Comment apprécier cette valeur ?
McAlpine (2002) considère que les réponses trop difficiles (P < 0,15, soit lorsque moins de 15 % des
participants ont répondu juste à la question donnée) ou trop faciles (P > 0,85, soit lorsque au moins
85 % y ont répondu juste) peuvent être écartées du QCM.
Les premières sont donc « impossibles », les secondes « triviales » et donc ni l’une ni l’autre ne
permettent la mesure efficace des compétences des personnes passant le QCM.
Analyser le pouvoir discriminant des items Analyser le pouvoir discriminant des items : Le but d’un
questionnaire peut être de mesurer une compétence/connaissance donnée, et donc de pouvoir
discriminer les élèves en fonction de cette dernière. L’indice de discrimination (ID) est une variante
du coefficient de corrélation de Pearson et est nommé r point-bisérial (rpbis), à utiliser lorsque l’une
des deux variables est dichotomique (en effet, les scores à un item sont soit 0 soit 1). Il varie, comme
tout coefficient de corrélation, entre –1 et 1, et correspond au coefficient de corrélation entre un
item et le score total au test. La valeur du rpbis d’un item donné peut être :
– positive et élevée, ce qui signifie que les élèves réussissant bien au test réussissent également
bien à l’item concerné.
– négative, ce qui signifie, soit que ce sont les élèves peu performants en général (sur l’ensemble du
questionnaire) qui réussissent bien à l’item, ce qui peut laisser penser que cet item est un faible
prédicteur de la connaissance ou compétence mesurée dans le test, et donc qu’il faut considérer sa
suppression. Soit encore que les élèves performants en général réussissent moins bien à cet item : il
convient dans ce cas de se demander pourquoi (il faut au passage noter qu’un rpbis élevé et négatif
est rarement rencontré, et témoigne très souvent d’une erreur de saisie des données).
– nulle ou faible (en valeur absolue inférieure à 0,40), ce qui signifie que le lien entre la réussite à
l’item et la réussite au test est nul ou faible. L’enseignant peut considérer sa suppression du test.
Trois idées importantes :
- Un item discriminant n’est pas nécessairement difficile. À l’inverse, un item problématique (donc
à rejeter ou reformuler) a presque toujours un ID faible.
- Si une question a une corrélation item-test faible (en valeur absolue inférieure à 0,40), cela peut
signifier qu’elle mesure une compétence/connaissance qui n’appartient pas au même domaine que
celui du test complet (un pouvoir discriminant est satisfaisant si la corrélation est supérieure à 0,40).
21
Si
le
test
est
conçu
pour
être
multidimensionnel
(mesure
plusieurs
types
de
compétences/connaissances), la corrélation est à réaliser entre la question et le sous-ensemble de
questions liées à une compétence particulière.
- Un test a une bonne cohérence interne (il est composé d’items qui concourent à mesure un type
de connaissance/compétence) si ses items ont des ID élevés (plutôt proches de 1).
2.3 Représenter des données
3. Valider l’outil d’évaluation
3.1 Analyser le degré de difficulté
Calculer le niveau de difficulté d’un item : proportion d’élèves ayant répondu correctement à un
item. Pour Mc Alpine (2002), ce niveau doit être compris entre 15 % et 85 %.
3.2 Utiliser les indices de discrimination
Calculer le niveau de discrimination de l’item : correspond au coefficient de corrélation (rpbis) entre
un item et le score total au test Si + et élevé (>= .40), alors conserver
La première dimension qu'un enseignant-chercheur peut investiguer concerne les résultats de
l'apprentissage. Il s'intéresse à la question de la qualité des apprentissages. Bon nombre d'articles et
de contributions scientifiques ont pour objet la plus-value au travers l'évaluation de la performance
des apprenants. Dans ce type d'analyse, on peut distinguer quatre variables complémentaires : la
progression, le degré de maîtrise, le transfert et l'équité.
La progression concerne la valeur ajoutée du dispositif sur le plan individuel. L’observation de cette
progression peut s’envisager à l’aide d’un dispositif de type « prétest/posttest » permettant de calculer
un gain relatif qui correspond au rapport de ce que l’élève a gagné à ce qu’il aurait pu gagner au
maximum (D’Hainaut, 1975). Cette évaluation du gain réel pondéré par le gain maximum qui est
possible permet d’apprécier l’efficacité intrinsèque du dispositif. Ce rapport entre la progression
possible et la progression observée donne ainsi la possibilité́ de comparer les progrè s des élè ves, quel
que soit leur niveau de départ. Le calcul du gain relatif (Posttest-Prétest)/(Maximum-Prétest) est
possible à la condition que le score au prétest soit inférieur ou égal au score du posttest. Par exemple,
l'élève a 2/10 au prétest et 6/10 au posttest. Il a un gain de 50 % ((6-2)/(10-2)). Si le score au prétest
est supérieur au posttest, il convient alors de calculer une perte relative (Posttest-Prétest/Prétest). Par
exemple, l'élève a 5/10 au prétest et 4/10 au posttest. Il a une perte relative de 20 % ((4-5)/5)). En lien
22
avec ce principe de progression, il peut être pertinent de mettre en évidence le nombre d'élèves ayant
évolué positivement, ayant régressé et ayant stagné.
Pour apprécier l'efficacité intrinsèque, nous pouvons également utiliser la taille de l'effet (d de Cohen)
qui correspond à la différence entre le post-test et pré-test divisé par l'écart-type de l'ensemble des
données (Hattie, 2009). Cohen considère l'échelle suivante pour apprécier l'efficacité d'une
intervention : faible (0,2), moyenne (0,5), large (0,8) et très large (1,3). Cette démarche peut être
intéressante à appliquer pour comparer la puissance de différentes interventions pédagogiques.
Le degré de maîtrise correspond tout simplement au niveau atteint par les élèves au terme de
l'apprentissage. Si nous référons à la pédagogie de la maîtrise, il est communément admis que ce
niveau doit être proche de 80 %. Cette maîtrise peut être envisagée à la fois au niveau individuel ou au
niveau d'une production collective dans le cadre d'un apprentissage collaboratif.
En lien avec la logique de compétences, il est nécessaire d'observer la capacité de l'apprenant à
réutiliser dans une autre situation les acquis de la formation. Cette évaluation du transfert des
apprentissages peut être envisagée de manière différée et selon une modalité différente que
l'évaluation proposée au terme de la formation.
Il importe enfin d’analyser l’effet du dispositif sur l’équité à partir d’une analyse de l’évolution de la
variance entre le prétest et le posttest. Il est commode d'utiliser comme indice le coefficient de
variation également appelé le taux d'hétérogénéité qui correspond au rapport entre l'écart-type et la
moyenne. Plus ce coefficient de variation est faible, plus la distribution est homogène (plus les
individus sont proches les uns des autres). Une diminution du coefficient de variation entre le prétest
et le posttest signifie que le dispositif permet de réduire les écarts initiaux entre les élèves. Une autre
information utile est la corrélation entre le prétest et le gain relatif. Elle permet, de mettre en évidence
pour quel type d’apprenant le dispositif a été le plus utile. Une corrélation positive entre le gain relatif
et le prétest nous indiquera que le dispositif a permis de faire progresser les plus forts au départ. A
contrario, une corrélation négative nous informera que celui-ci a plutôt été bénéfique pour les plus
faibles.
Le fichier Excel téléchargeable ici permet de traiter ces différentes statistiques.
3.1 Créer l'outil d'évaluation
Différentes démarches complémentaires peuvent guider la conception de l'outil d'évaluation. Au
niveau de la nature des questions, il peut être intéressant de faire référence à un modèle taxonomique
de manière à affiner l'analyse. En termes de modalités de réponse, il peut être utile de varier le type
de questionnement proposé à l'élève en proposant de manière complémentaire à la fois des questions
ouvertes et des questions fermées. Enfin, la prise en compte des degrés de certitude donne l'occasion
de dépasser le caractère binaire de l'évaluation : réponse correcte vs réponse incorrecte.
23
3.1.1 Varier les opérations mentales pour une même compétence
Issues des théories en technologie de l'éducation, les taxonomies constituent des outils intéressants
pour guider la définition des objectifs. Elles donnent en effet la possibilité à l'enseignant d'une part de
préciser le degré de complexité réelle de la tâche et d'autre part de varier les opérations cognitives
sollicitées chez les apprenants. On peut considérer que les taxonomies se situent dans la logique des
compétences dans la mesure où l'on considère que l'atteinte de la compétence se situe aux niveaux
les plus élevés des taxonomies. Amener les élèves à être compétents, c'est donc travailler sur tous les
niveaux taxonomiques et faire en sorte que même les niveaux les plus élevés soient atteints par un
maximum d'élèves (Gérard & Roegiers, 2002). Plusieurs modèles sont disponibles dans la littérature
pour guider la conception d'un outil d'évaluation.
Le modèle de Tirtiaux est intéressant à considérer dans la mesure où il permet d'évaluer une même
compétence en proposant différentes tâches mobilisant la pensée convergente et la pensée
divergente. Il permet de moduler les tâches d'apprentissage en fonction du degré d’initiative laissé aux
élèves. Dans cette progression, l’élève est guidé pour passer d’un mode de pensée convergente, basée
sur l’application des connaissances pour produire une réponse correcte (problème fermé) ; vers un
mode de pensée divergente - fondée sur l’utilisation des connaissances, du raisonnement, et de la
créativité afin de produire une réponse originale (problème ouvert). La taxonomie de Tirtiaux se
structure autour de sept niveaux ordonnés (reproduire, reconnaître, ajuster, appliquer, achever
d’initiative, imiter et inventer) allant du plus simple (initiative nulle) au plus complexe (initiative
optimale). Cette progression permet d'établir la relation entre un savoir ou savoir-faire et une situation
inédite, qui nécessite la mobilisation de ce savoir ou savoir-faire. Bien que cet outil semble quelque
peu opposer la pensée convergente et la pensée divergente, il est important de noter que ces deux
modes de pensée ne s'opposent en réalité pas, mais se complètent. Une démarche de résolution de
problème passe souvent par la divergence pour ensuite converger vers une solution réalisable.
Le modèle de Bloom propose une classification des degrés de maîtrise des connaissances.
Cette hiérarchie s'organise sur six niveaux qui vont de la simple restitution à la manipulation complexe
du contenu : connaissance, compréhension, application, analyse, synthèse et évaluation. Vous pouvez
générer automatiquement à partir de cet outil des objectifs pédagogiques qui s'appuient sur ce
modèle. Selon Grubert & Verniers (2017, p.22), « même si les étages de la pyramide de Bloom sont
présentés de manière hiérarchique, cette hiérarchie ne porte que sur la complexité des gestes
mentaux à exécuter et pas sur l’ordre idéal dans lequel les aborder ». Le modèle de Bloom peut être
mis en relation avec la progression dans la connaissance proposée par Biggs (1982) qui associe 5
niveaux de maîtrise spécifiques à des verbes opérationnels.
Le modèle de D'Hainaut cherche quant à lui à articuler les rapports entre la pensée en action, son
objet et son produit. Il est intéressant à considérer dans la mesure où il facilite la formulation
24
d'objectifs opérationnels précis. Il décrit six types de tâches différentes : reproduction,
conceptualisation, application, exploration, mobilisation et résolution de problèmes.
3.1.2 Intégrer des questions ouvertes et des questions fermées
Les questions de sélection ou questions à réponse choisie ont pour caractéristique commune de
présenter à l'apprenant une série de propositions parmi laquelle il devra choisir (question à choix
dichotomique ou à choix multiple), établir un ou plusieurs liens (question à appariement) ou qu'il devra
organiser selon un principe explicite (par exemple : une question à ordonnancement).
Les questions de production exigent de l'élève qu'il élabore puis rédige sa réponse avant de la
soumettre au correcteur pour qu'elle soit évaluée en fonction de critères plus ou moins explicites. Le
principal paramètre utilisé afin d'établir des distinctions parmi les questions de production repose sur
l'étendue et sur la forme de la réponse attendue. Ainsi, on distinguera les questions à réponse courte,
à réponse longue, à réponse élaborée, mais aussi les schémas à compléter, les phrases à compléter et
les textes lacunaires.
Pour générer des tâches, vous pouvez vous appuyer sur le tableau suivant qui articule la taxonomie de
Bloom et de Tirtiaux (identifier la solution, adapter la solution proposée, achever la solution proposée
et produire la solution). Plus vous vous situez dans la partie gauche du tableau, plus vous sollicitez la
pensée convergente chez l'apprenant. Si vous vous positionnez dans la partie inférieure droite du
tableau, alors vous solliciterez davantage la pensée divergente de l'élève.
25
3.1.3 Utiliser des degrés de certitude
Une réponse correcte avec une certitude élevée par rapport à celle-ci correspond évidemment à un
niveau de mai ̂trise plus élevé qu’une réponse correcte associée à un faible niveau de certitude.
L’analyse de la conviction avec laquelle l’apprenant a répondu offre ainsi la possibilité de mesurer de
maniè re subtile le niveau opérationnel de ses connaissances (Leclercq, 1998).D'un point de vue
pratique, demander à un apprenant de donner son degré de certitude permet aux enseignants et aux
chercheurs d'identifier l'incompétence dangereuse (réponse incorrecte avec un degré de certitude
élevé), l'incompétence reconnue (réponse incorrecte avec un degré de certitude faible), la compétence
non opérationnelle (réponse correcte avec un degré de certitude faible) et la compétence
opérationnelle (réponse correcte avec un degré de certitude élevé).
En nous appuyant sur les travaux de Leclercq & Poumay (2007), l'utilisation des degrés de
certitude donne la possibilité de calculer un score de confiance qui correspond à la somme des degrés
de certitude fournis aux réponses correctes (idéalement, cette somme devrait être la plus élevée
possible). À partir de ces informations, nous avons alors l’opportunité de calculer un score de prudence
qui correspond à la somme des degrés de certitude fournis aux réponses incorrectes (idéalement, cette
valeur devrait être la plus faible possible).
Vous pouvez découvrir l'application de cette démarche dans les deux études suivantes : étude
1 et étude 2. Vous pouvez également prendre connaissance de cet article qui présente l'application de
ce principe dans le domaine médical.
3.1.4 Utiliser des solutions générales implicites
Quand les solutions sont à sélectionner (QCM), il peut être intéressant de solliciter la vigilance
cognitive des apprenants. Cette sollicitation passe par l'intégration de 4 propositions complémentaires
que l'apprenant doit prendre en considération.
26

Aucune : aucune proposition n'est correcte

Toutes : toutes les solutions proposées sont correctes

Manque : il est impossible de répondre parce que l'information (au moins une donnée) manque dans
l'énoncé de la question

Absurde : une absurdité rend toute la question caduque
Vous pouvez découvrir des exemples de l'application de ces principes en téléchargeant le
fichier suivant.
3.2 Valider l'outil d'évaluation
D'un point de vue docimologique, deux indices sont utiles pour valider l'outil d'évaluation : le degré de
difficulté et l'indice de discrimination. Le fichier disponible ici en téléchargement donne la possibilité
de les calculer automatiquement. Le fichier est adapté en fonction de votre questionnaire d'évaluation.
3.2.1 Analyser le degré de difficulté
Pour Dessus (2014), il est nécessaire que le questionnaire comprenne quelques questions plutôt
faciles, de manière à rassurer l’élève ou l’étudiant. En revanche, une trop grande proportion de
questions faciles amène à un « effet-plafond » (et un effet-plancher pour des questions trop difficiles)
et donc ne représente pas une tâche suffisamment consistante et cognitivement engageante pour la
plupart des élèves. L’indice Pi (variant entre 0 et 1) est la proportion d’élèves ayant répondu
correctement à un item i. Un item est d’autant plus facile qu’il a un P élevé. De plus, il faudrait que la
majorité des items aient un P se distribuant autour de 0,5. Comment apprécier cette valeur ? McAlpine
(2002) considère que les réponses trop difficiles (P < 0,15, soit lorsque moins de 15 % des participants
ont répondu juste à la question donnée) ou trop faciles (P > 0,85, soit lorsqu'au moins 85 % y ont
répondu juste) peuvent être écartées du QCM. Les premières sont donc « impossibles », les secondes
« triviales » et donc ni l’une ni l’autre ne permettent la mesure efficace des compétences des
personnes passant le QCM. Il faut noter que, selon les auteurs, ces valeurs varient : 80 % et 25 %
(Bodner, 1980).
3.2.2 Utiliser les indices de discrimination
Pour
Dessus
(2014,
P.36),
le
but
d’un
questionnaire
peut
être
de
mesurer
une
compétence/connaissance donnée, et donc de pouvoir discriminer les élèves en fonction de cette
dernière. L’indice de discrimination (ID) est une variante du coefficient de corrélation de Pearson et
est nommé r point-bisérial (rpbis), à utiliser lorsque l’une des deux variables est dichotomique (en
27
effet, les scores à un item sont soit 0 soit 1). Il varie, comme tout coefficient de corrélation, entre –1
et 1, et correspond au coefficient de corrélation entre un item et le score total au test. La valeur du
rpbis d’un item donné peut être :

positive et élevée, ce qui signifie que les élèves réussissant bien au test réussissent également bien à
l’item concerné.

négative, ce qui signifie, soit que ce sont les élèves peu performants en général (sur l’ensemble du
questionnaire) qui réussissent bien à l’item, ce qui peut laisser penser que cet item est un faible
prédicteur de la connaissance ou compétence mesurée dans le test, et donc qu’il faut considérer sa
suppression. Soit encore que les élèves performants en général réussissent moins bien à cet item : il
convient dans ce cas de se demander pourquoi (il faut au passage noter qu’un rpbis élevé et négatif
est rarement rencontré, et témoigne très souvent d’une erreur de saisie des données).

nulle ou faible (en valeur absolue inférieure à 0,20), ce qui signifie que le lien entre la réussite à l’item
et la réussite au test est nul ou faible. L’enseignant peut considérer sa suppression du test.
L'usage d'un indice de discrimination implique trois idées importantes :

Un item discriminant n’est pas nécessairement difficile. À l’inverse, un item problématique (donc à
rejeter ou reformuler) a presque toujours un ID faible.

Si une question a une corrélation item-test faible (en valeur absolue inférieure à 0,20), cela peut
signifier qu’elle mesure une compétence/connaissance qui n’appartient pas au même domaine que
celui du test complet (un pouvoir discriminant est satisfaisant si la corrélation est supérieure à 0,40).
Si
le
test
est
conçu
pour
être
multidimensionnel
(mesure
plusieurs
types
de
compétences/connaissances), la corrélation est à réaliser entre la question et le sous-ensemble de
questions liées à une compétence particulière.

Un test a une bonne cohérence interne (il est composé d’items qui concourent à mesure un type de
connaissance/compétence) si ses items ont des ID élevés (plutôt proches de 1).

L'important est d'utiliser le degré de difficulté et l'indice de discrimination. L'idéal est d'avoir un item
dont le degré de difficulté est compris entre 30 et 70 % avec un indice de discrimination supérieur à
0.3. Le logiciel IRTSShiny permet d'obtenir ces différentes statistiques.
3.3 Utiliser les technologies pour évaluer les produits d'apprentissage
Plusieurs outils technologiques disponibles sur Internet peuvent être utilisés pour recueillir les
données (pas d'encodage manuel et forcer l'utilisateur à fournir une réponse) et pour faciliter le
traitement de celles-ci par la suite (avec l'exportation des données dans un tableau structuré) : Google
Forms, Socrative, Plickers. Oppia est un outil en ligne permettant de prendre des données. Il offre la
28
possibilité de traiter des structures conditionnelles et de proposer ainsi des parcours différenciés aux
apprenants. Vous pouvez tester votre maîtrise de cette section du cours avec les
différentes séquences créées avec Oppia par les étudiants de la promo 2016-2017..
29
Processus
L'analyse du processus d'apprentissage concerne le parcours des apprenants et les données recueillies
en cours de la réalisation de l'activité. Il s'agit de la dimension la moins investiguée en sciences de
l'éducation dans la mesure où les données sont plus difficilement accessibles et le traitement de cellesci est chronophage pour les professionnels. Etant donné le nombre d'élèves et la complexité des prises
d'informations (dresser un bilan personnalisé au fil de l'apprentissage, identifier les erreurs, détecter
la perte d'attention, etc.), ces observations doivent être instrumentées. Pour le chercheur ou pour
l'enseignant, cette instrumentation est dorénavant facilitée avec les environnements d'apprentissage
humain informatisés avec l'enregistrement et l'archivage des différentes activités de l'apprenant dans
ceux-ci.
Cette démarche est cohérente avec une approche socio-constructiviste de l'apprentissage qui accorde
de l'importance à la démarche d'apprentissage des individus et entre individus, et pas uniquement aux
résultats de celle-ci. Pour Chamberland & al. (2010), la compétence ne peut d'ailleurs se voir et se
mesurer qu’à travers l’empreinte qu’elle laisse dans sa mise en œuvre. Cette empreinte peut prendre
la forme d’indices, de signes perçus lors d’observations ou d’artefacts laissés par l’action elle-même.
Le terme générique de trace est généralement associé à toutes les formes possibles de cette
empreinte.
4.1 La notion de trace
Sur le plan conceptuel, la trace correspond à « un enregistrement automatique d’éléments en
interaction entre un utilisateur et son environnement dans le cadre d’une activité donnée »
(Laflaquiè re & Prié, 2007, p.1). Comme l’illustre la figure ci-dessous, la trace peut être associée à une
séquence temporelle d’opérations et d’outils mobilisés par l’utilisateur en interaction avec un systè me
informatique (Champin & Prié, 2002 cités par May, 2010).
30
D’un point de vue informatique, chaque activité de l’utilisateur avec les outils et les ressources
disponibles dans l’environnement est enregistrée avec une référence temporelle dans une base de
données. Les informaticiens désignent cet enregistrement de la trace de l’activité d’un utilisateur
comme une donnée brute ou plus communément par le terme de « logfile ».Au niveau de leur nature,
les données brutes peuvent concerner à la fois, les accè s à l’environnement, les données issues des
interactions sociales (messages postés, ouverture d’un message, création d’un fil de discussion...), les
actions dans un espace de structuration comme le wiki (éditions, consultations, enregistrements,
modifications...), les consultations d’une ressource en ligne, la navigation dans un glossaire, le
téléchargement d’un document mis à disposition, le remplissage d’un questionnaire, le temps utilisé
pour réaliser une activité, etc. Pour faciliter la lecture, il est indispensable de développer une synthè se
structurée de ces informations. Pour y parvenir, ces données brutes doivent être agrégées et traitées
à l’aide d’un logiciel dédié de maniè re à créer des indicateurs qui ont du sens pour les apprenants ou
pour les tuteurs et qui représentent au mieux l’activité mise en œuvre dans l’environnement. Pour
Dimitracopoulou & Bruillard (2007, p.8), « Un indicateur est une variable au sens mathématique à
laquelle est attribuée une série de caractéristiques. Chaque indicateur, en tant que variable, peut être
indépendant ou dépendant d’autres variables, voire d’autres indicateurs d’analyse d’interactions. Ainsi
certains indicateurs sont dépendants du temps (la contribution hebdomadaire dans le forum de
discussion, par exemple), d’autres peuvent être considérés comme étant indépendants du temps (la
densité du réseau social dans le forum de discussion, par exemple). »
En ce qui concerne la nature, Dimitracopoulou (2008) distingue les indicateurs cognitifs et les
indicateurs sociaux. Les indicateurs de nature cognitive fournissent des informations sur les activités
de l’individu ou du groupe, relatives au processus et au contenu de la tâche. Des informations peuvent
porter sur le degré d’interaction dans le temps, sur l’état d’avancement dans la séquence pédagogique
(en visualisant les différentes étapes effectuées), sur le temps passé pour chaque étape de la tâche.
Au sein de l’environnement Argunaut, les utilisateurs peuvent par exemple, visualiser les traces de
leur activité de conceptualisation. Les différents graphiques donnent la possibilité de mettre en
31
évidence le type d’actions réalisées par chaque membre (créations de liens, insertion d’une question,
insertion d’un argument, etc.) pour élaborer la carte conceptuelle commune. Dans le même ordre
d’idées, le logiciel C-Map Tools offre la possibilité à partir des traces informatiques de visualiser dans
l’ordre chronologique les différentes étapes qui ont permis d’aboutir à la carte définitive.
Au sein d’un wiki géré à partir du systè me Wikispaces, les apprenants et les enseignants peuvent
prendre connaissance de l’évolution de l’engagement dans les tâches d’écriture collaborative en cours.
La clef de lecture des graphiques linéaires proposés est relativement simple : une pastille vide indique
que l’apprenant n’a ni lu ni écrit dans le wiki, une pastille verte indique une activité en lecture du
document partagé, une pastille noire renvoie à l’intensité de sa production et enfin, un drapeau rouge
informe que l’apprenant a validé par un enregistrement sa contribution dans l’espace. Ces
informations peuvent être observées en fonction d’un intervalle de temps fixé par l’utilisateur.
Sur le plan cognitif, il peut être aussi intéressant de visualiser le contenu des échanges (Mochizuki &
al., 2005 ; Allaire, 2008). À partir d’une analyse lexicométrique alimentée par un glossaire de base,
Allaire (2008) suggè re ainsi de mettre en évidence l’usage effectif des concepts-clefs du cours dans les
échanges médiatisés. Au niveau de la nature des données, la visualisation décrit le nombre
d’occurrences par mot par contributeur et le niveau d’utilisation du lexique.
Pour évaluer l’activité des apprenants dans un contexte d'apprentissage collaboratif à distance, Jaillet
(2005) suggè re d’utiliser trois types informations complémentaires de surface que sont l’assiduité qui
correspond à la fréquence de connexion des apprenants à l’environnement, la disponibilité qu’il
associe à la durée de connexion et l’implication qui se caractérise par le nombre d’opérations
effectuées par l’apprenant avec les outils disponibles sur la plate-forme de travail. Dans le but de
stimuler les interactions entre les apprenants, l’élaboration de chacun de ces indicateurs à partir de
ces trois informations passe par le calcul d’un pourcentage par rapport à celui de ses partenaires qui
est le plus actif dans la dimension concernée. Le travail à réaliser en commun dépend en effet en
grande partie de l’assiduité, de la disponibilité et de l’implication de tous les membres.
Molinari (2011) utilise l'eye-tracking pour observer l'implication des apprenants dans
l'environnement c-map tools et pour mettre en évidence les éléments qui les intéressent dans
l'environnement d'apprentissage. L'analyse des usages d'un point de vue cognitif peut également
passer par l'observation des éléments sélectionnés par les apprenants en cours d'activité. Lors d'une
activité de lecture numérique, Boumazguida, Temperman & De Lièvre (2014) utilisent cette démarche
et montrent que ces usages peuvent varier en fonction du moment où l'élève utilise le média dans
l'apprentissage.
Sur le plan social, les indicateurs se focalisent plutô t sur la dynamique interactive établie entre les
partenaires ou entre les élèves et l'enseignant. Ils s’intéressent le plus souvent au réseau d’échanges
qui se met en place au sein de l’équipe ou de la communauté. L’outil Snappvis intè gre ce type de
visualisation. Chaque cercle aux intersections des axes représente un individu. Les apprenants et le
tuteur ont la possibilité d’observer les différents canaux de communication activés au sein du groupe
dans le forum de discussion. Ils peuvent ainsi évaluer l’état des relations établies entre les participants
en observant le nombre de messages échangés entre eux. Avec cette visualisation du réseau social, ils
peuvent identifier rapidement d’une part, les apprenants qui sont en retrait de la situation de
communication (cercle plus petit) et d’autre part, ceux qui à l’inverse exercent un rô le de leadership
au sein de la communauté (cercle plus large). Une vue globale du réseau social permet également de
mettre en évidence d’éventuelles situations conflictuelles qui peuvent être objectivées par la mise en
32
évidence d’absence d’échanges entre deux apprenants ou de la présence de canaux de communication
à sens unique (un étudiant ne fournit aucun retour aux messages adressés par un autre étudiant).
Dans le cadre du modèle, nous distinguons les traces en cours de processus qui portent sur les
interactions, le temps, les réalisations et les usages. La liste ci-dessous donne des exemples pour
chaque catégorie de variables.
1. Interactions : Echanges entre apprenants, échanges entre tuteur et apprenants (forum, chat, face-àface, etc.)
2. Temps : Durée effective d'apprentissage, distribution de l'apprentissage, temps de connexion,
régularité, temps de réponse à une interaction, etc.
3. Usages (eyetracking, logs, clics,...) : Utilisation des fonctionnalités d'un logiciel, consultation de
ressources, usages des outils,...
4. Réalisations (production) : Résultats à un questionnaire, Historique dans un wiki ou dans Etherpad,
Elaboration d'une carte conceptuelle, ...
Actuellement, certains auteurs vont plus loin et imaginent des algorithmes susceptibles d'exploiter les
traces et d'inférer des niveaux de maîtrise à partir de cette exploitation.
TACIT
Ce qui différencie TACIT des autres outils pédagogiques est la méthode grâce à laquelle le système
analyse le niveau de compétence des élèves : la méthodologie de développement de test utilisée est
celle des modèles de réponse à l'item. Elle permet d’évaluer simultanément le niveau de compétence
d'un enfant et le niveau de difficulté des exercices à proposer.
4.2 La mise à disposition des traces
Les traces peuvent être mises à disposition des utilisateurs de manière didactique. La visualisation
correspond à une association de données à des représentations (Tufte, 2001). Dans sa définition, Few
(2013) met en avant le principe d’amplification cognitive. Pour cet auteur, la visualisation recouvre
l’ensemble des représentations visuelles qui facilite l’exploration, l’analyse et la communication de
données. Dans les environnements d’apprentissage médiatisé, les visualisations offrent une mémoire
externe qui décrit les événements passés et sert de support à la communication et à la coordination
(Dimitracopoulou & Bruillard, 2007).
Sur le plan informatique, le développement de la visualisation s’opè re en plusieurs étapes successives
(May, 2010), à partir des activités médiatisées des apprenants dans leur environnement de travail
jusqu’à la visualisation de celles-ci.Le développement de la visualisation passe par différentes étapesclefs: l’enregistrement de la trace, le recueil des données, le traitement des données et l’élaboration
d’indicateurs, le design de la visualisation ainsi que la mise à disposition de celle-ci.
D’un point de vue conceptuel, les visualisations font partie intégrante des outils de suivi dans un
environnement d'apprentissage médiatisé. L’idée de visualiser l’apprentissage à partir de l’exploitation
des traces laissées par l’apprenant durant son parcours d’apprentissage a rapidement trouvé un
consensus dans la communauté EIAH ces derniè res années avec les recherches centrées sur l’analyse
automatique des interactions (Dimitracopoulou, 2008).
33
Si les visualisations sont susceptibles de synthétiser un nombre conséquent d’informations et de
faciliter leurs interprétations, elles ne permettent cependant pas de compenser un environnement en
face à face. Plusieurs publications récentes mettent en évidence l’importance de se doter d’outils qui
permettent de visualiser des informations directement liées à la médiation sociale et cognitive
(Janssen & al., 2011 ; Buder, 2010). On peut, en effet, considérer que les informations sont plus
facilement disponibles et traitables dans un environnement numérique grâce à l’archivisation et à la
disponibilité des traces informatiques. L’intérêt réside davantage dans la mise en évidence
d’informations, qui ne sont pas directement observables par l’apprenant, de maniè re à lui offrir une
réalité augmentée du processus d’apprentissage. Le principe est donc de rendre visible et persistant
ce qui est difficilement perceptible ou imperceptible.
Les outils offrant ces visualisations sont souvent désignés par les termes de tableau de bord. Ils
informent les sujets sur l’état de leurs actions et de leurs interactions à travers une série d’indicateurs
qui leur donnent la possibilité de découvrir la maniè re dont ils interagissent et évoluent dans
l'environnement (Janssen & al., 2007). Ces indicateurs peuvent communiquer des informations
qualitatives et quantitatives par rapport aux actions et aux interactions ayant eu lieu précédemment
dans l’environnement. Dimitracopoulou & Bruillard (2007) évoquent clairement cette idée dans leurs
travaux relatifs à l’usage des forums de discussion en éducation. Pour ces auteurs, il s’agit d’aider à
concevoir des interfaces enrichies, ouvrant à de multiples lectures des échanges enregistrés. Ces
supports permettant des représentations multiples et diversifiées peuvent apporter une assistance
métacognitive directe aux participants (étudiants, tuteurs ou modérateurs) des forums en cours de
formation. Dans ce cas, l’exploitation est endogè ne, car elle sert directement à l’activité
d’apprentissage (Laflaquiè re & Prié, 2007). Les visualisations peuvent aussi fournir une assistance
cognitive aux observateurs des interactions d’un forum (enseignants, chercheurs, etc.) qui sont
amenés à analyser a posteriori le processus mis en place. L’usage des visualisations est alors de type
exogè ne, car elles sont utilisées en dehors de l’activité elle-même (Laflaquiè re & Prié, 2007).
Sur le plan pédagogique, l’observation des informations disponibles dans la visualisation initie un
mécanisme de feed-back (Janssen & al., 2007) que définit Hattie (2009) comme une information
fournie par un agent extérieur par rapport à l’activité de l’apprenant. Hattie (2009) met clairement en
évidence au travers des méta-analyses que le feed-back constitue la pratique pédagogique qui a la
taille d’effet la plus importante (d=1.13) en contexte d’apprentissage. Le principe est simple ...il est
plus facile de s'améliorer quand on dispose d'éléments qui ont été objectivés et mesurés.
En nous appuyant sur les théories du feed-back, on peut considérer que la visualisation de l’activité
correspond davantage à ce que Crahay (2005, p.144) définit comme « un feed-back de contrô le qui
invite l’apprenant par lui-même à vérifier sa démarche». Dans une étude expérimentale, il montre que
cette sollicitation d’une auto-évaluation a davantage d’effet sur la qualité de l’apprentissage que des
rétroactions simples ou plus directes de l’enseignant. Dillenbourg (2011) va dans le même sens. Selon
lui, l’intérêt principal des outils de visualisation réside dans le fait qu’ils ne formulent pas directement
un feed-back expliqué sur la qualité des interactions et de la situation. Ils laissent plutô t la liberté aux
élè ves de disposer d’une rétroaction qu’ils ont eux-mêmes élaborée à partir des informations
disponibles au sein de la visualisation.
Par ailleurs, en nous référant à Hattie & Timperley (2007) qui s’appuient sur les travaux de Kulik & Kulik
(1988), le feed-back au cours du processus d’apprentissage est d’autant plus efficace qu’il est
34
administré immédiatement. Nous pouvons considérer que la visualisation obtenue à partir d’un
processus informatique automatisée offre cette possibilité de fournir aux apprenants une rétroaction
« just in time ». Un certain nombre d’auteurs considè re que, par le biais des visualisations, cette
rétroaction d’informations exerce également un rô le motivationnel au niveau des apprenants (Janssen
& al., 2007 ; Michinov & Primois, 2005).
4.3 Le degré d'étayage de la visualisation des traces
Le statut des indicateurs correspond au degré d’étayage de la visualisation. Pour bien comprendre
cette idée d’étayage, Jermann & Dillenbourg (2008) proposent un modè le pragmatique à prendre en
compte d’un point de vue pédagogique.
4.3.1 Le niveau "miroir" !!
Il correspond à la logique du miroir et consiste à afficher les indicateurs de l’activité dans
l’environnement (Phase 1 et Phase 2). Dans notre vie quotidienne, ce principe est souvent mis en
œuvre dans les technologies que nous utilisons afin de réguler certaines de nos actions (par exemple :
l’affichage instantané et permanent de la consommation aide la conduite automobile). Lors de cette
phase, le contrô le de l’activité reste alors entiè rement entre les mains de l’utilisateur dans
l’environnement de travail dans la mesure où il doit interpréter lui-même les données fournies par les
indicateurs.
4.3.2 Le niveau "métacognitif"
Le modè le de Jermann & Dillenbourg (2008) met également en évidence que la visualisation peut
dépasser la simple fonction de miroir. Le concepteur associe alors l’indicateur ou plusieurs indicateurs
à un modè le de référence qui induit un état désiré de la collaboration (Phase 3). Pour Dimitracopoulou
(2008), les valeurs de l’indicateur doivent alors être graduées par le biais d’un mécanisme de calibrage
qui fixe une norme prédéfinie et adaptée au contexte de la situation. Cette norme correspond à la
fixation d’un objectif précis à atteindre pour les apprenants. Le but de cette approche plus normative
est de fournir à l’apprenant une aide cognitivo- perceptive pour mieux diagnostiquer et interpréter la
situation en question. Une visualisation qui correspond à cette logique de norme et d’objectif est le
35
cadran proposé par le systè me Nike Runnning GPS pour les coureurs à pied. En course, il les informe
de leur progression (jauge du bas) par rapport à un objectif fixé (pastille blanche qui représente un
coureur virtuel) sur une distance donnée. Dans l’exemple proposé ci-dessous, il indique que le coureur
est en retard par rapport à la vitesse choisie au départ comme référence. Il a encore la possibilité de
se réguler et de compenser son retard dans la derniè re partie de la course.
En contexte collaboratif, le logiciel Streamy (Duval & al., 2012) donne à un élè ve la possibilité
d’observer son niveau d’implication dans un cours en prenant en compte différents indicateurs comme
le nombre de tweets en lien avec le cours, le nombre de liens fournis avec le cours, l’investissement
du temps, les commentaires apportés aux informations fournies par les partenaires... Le point de vue
métacognitif est obtenu à l’aide d’une jauge qui synthétise son niveau d’engagement dans la
collaboration. Elle stimule l’apprenant à se questionner et à prendre du recul par rapport à son
implication. Une aiguille orientée vers la gauche indique une collaboration restreinte alors qu’une
aiguille orientée vers la droite montre un niveau élevé de collaboration.
Le statut métacognitif peut également faire référence à la moyenne des autres groupes dans
l’environnement. Calvani & al. (2009) se sont appuyés sur ce principe de comparaison. Leur outil
visualise l’activité collaborative au sein d’un forum de discussion. Il informe le groupe sur la qualité de
ses interactions au travers d’une série d’indicateurs (degré d’assiduité, approfondissement de la
discussion, réponses fournies, équilibre des échanges, types d’interventions, lecture réciproque, etc.)
avec les moyennes des indicateurs des autres équipes collaboratives présentes dans l’environnement
comme point de comparaison (v.diaporama du cours 3). Complémentairement au graphique, un
tableau de type miroir signale également la présence d’apprenants qui adoptent au sein du groupe un
comportement plus en retrait (nombre d’apprenants uniquement lecteurs : lurkers et nombre
d’apprenants inactifs : inactive). Dans cette troisiè me phase, le contrô le est davantage partagé entre
le systè me et l’utilisateur. Le systè me fournit en effet une indication relative par rapport à une norme
avec laquelle l’utilisateur prend la décision de modifier le cas échéant son comportement.
4.3.3 Le niveau "guidance"
Le systè me peut également fournir de maniè re automatique une information explicite de type de
guidance (Phase 4) qui passe alors par l’élaboration et par l’affichage d’une relance automatique à
l’apprenant et associée à la visualisation (encourager la participation, suggérer l’usage d’outils, etc.).
Pour Jermann & Dillenbourg (2008), le systè me doit alors interpréter les valeurs calibrées par
comparaison avec un modè le de référence fixé au départ (Phase 3). À partir de traitement, le systè me
prend la décision par rapport à la nécessité d’informer les individus en vue de réguler leur activité. Si
36
l’on prend l’exemple de la voiture, le niveau de guidance peut être associé à un signal lumineux ou
sonore qui informe d’un volume d’essence faible et qui rappelle au conducteur de s’approvisionner au
plus vite. Intégré dans un contexte d’apprentissage collaboratif, l’outil d’assistance
de Duolingocorrespond à cette approche de guidance automatique. Sur la base d’une analyse de leurs
activités, le systè me informe les apprenants de leur niveau d’engagement dans l'apprentissage. Par le
biais d’un courriel, il délivre aux apprenants une notification automatisée intégrant des
recommandations adaptées pour remédier à la situation problématique.
Au niveau psychomoteur, un exemple intéressant est proposée par l'outil Swimbot. Il est basé sur le
principe de l'apprentissage profond . Le dispositif consiste à analyser l'activité des nageurs pour leur
fournir un retour sur la qualité de leur nage en temps réel (position de la tête, mouvements des bras,
des jambes, ...). Un signal sonore envoie l'information aux nageurs quand un mouvement n'est pas
efficace. Le jeu consiste pour le nageur à supprimer ce bruit signe d'une correction du geste. Au niveau
de la course à pied, Moov propose un dispositif similaire pour améliorer sa démarche en fournissant
un f-b par rapport au nombre de pas par foulée, à l'impact de votre corps sur le sol, ...
Ce dernier niveau peut être associé à la démarche d'adaptative learning qui consiste à tenir compte de
l'activité antérieure des élèves pour leur proposer des tâches dans leur zone proximale de
développement. Le site Tacit s'appuie sur ce système pour aider les élèves dans le développement de
la compétence inférentielle en lecture. Le modèle statistique de réponse à l'item développé par les
concepteurs de Tacit permet d'établir une correspondance précise entre le niveau de compétence d'un
enfant et la difficulté relative des exercices. Le service Duolingo fonctionne sur le même principe
d'adaptation aux apprenants. La programmation d'une séquence pédagogique devient alors
rationnelle et individualisée. Elle permet de mettre en oeuvre un véritable apprentissage différencié.
Dans la phase 4 du modè le de Jermann & Dillenbourg (2008), le contrô le est donc davantage entre les
mains du systè me, car celui- ci génè re des injonctions à l’utilisateur et peut même s’adapter
automatiquement à son comportement antérieur.
Karsenti (2018) propose un système d'analyse de type adaptatif qui module les parcours
d'apprentissage en fonction de leurs démarches antérieures.
37
Perception
Alors que les deux premières dimensions (performance et processus) s'intéressent à ce que les
apprenants réalisent effectivement, la dimension perception va porter sur ce que les élèves expriment
par rapport à leur expérience d'apprentissage ou sur ce que les enseignants expriment par rapport à
l'environnement d'apprentissage. Une opinion est une réponse verbale à une question. Elle peut varier
en fonction des caractéristiques des acteurs et de la situation. Ce questionnement peut concerner
différents aspects : l'utilité, l'efficacité, l'utilisabilité, la motivation et la satisfaction.
En termes d'échantillonnage, il y a deux cas de figures : la liste des individus est disponible ou est
indisponible. Quand elle est disponible, on peut envisager un sondage aléatoire simple ou un sondage
aléatoire stratifié. Quand elle est indisponible, on peut mettre en oeuvre un sondage à deux ou
plusieurs degrés (on tire aléatoirement des grappes et des individus dans ces grappes) ou un sondage
par méthode des quotas dans le cas d'une population (le chercheur crée alors un modèle réduit de la
population).
Lors d'une recherche, la perception des acteurs est parfois la seule source d'informations disponible.
Dans ce cas, le chercheur peut rechercher à questionner différents types d'intervenants.
Cette étude centrée sur l'apprentissage du tableau noir en formation initiale questionne à la plusieurs
reprises d'une part, les enseignants "pré-service" et d'autre part, les maîtres de stage qui les
accueillent.
Plusieurs outils complémentaires peuvent être utilisés pour recueillir l'avis et les caractéristiques
initiales des différents utilisateurs (élèves, enseignants, tuteurs, concepteurs, responsables de
formation, ... ) de l'environnement technopédagogique.
Outils de prise de l’information
Questionnaire avec items fermées, échelles de likert, qcm…
38
5.1 Questionnaire d'opinion
L'approche par questionnaire est pertinent pour recueillir l'opinion d'un nombre important de sujets.
On peut soit construire un nouveau questionnaire soit réutiliser un questionnaire validé d'un point de
vue édumétrique.
5.1.1 Questionnaires validés
Concernant les questionnaires validés, plusieurs d'entre-eux peuvent être mobilisés.
Le questionnaire de Davis (1989) permet de recueillir à l'aide de douze items l'avis des individus
concernant l'utilité et l'utilisabilité. Le tableau ci-dessous reprend l'ensemble des items proposés aux
étudiants et leurs unités de sens correspondantes à la suite de leur expérience dans un wiki. Chaque
item est associé à une échelle de Likert de 6 niveaux (tout à fait en désaccord -> tout à fait d'accord).
Vous pouvez prendre connaissance de l'analyse réalisée à partir de ce recueil d'informations dans
cet article.
Utilité
Rapidité : L’utilisation du wiki dans mon emploi me permettrait d’accomplir les tâches plus rapidement.
Performance : L’utilisation du wiki améliorerait la qualité de mon travail.
Productivité : L’utilisation du wiki dans mon emploi augmenterait ma productivité
Efficacité : L’utilisation du wiki améliorerait mon efficacité dans mon emploi.
Facilité : L’utilisation du wiki faciliterait l’accomplissement de ma tâche.
Transfert : L’utilisation du wiki serait utile dans mon contexte professionnel.
Utilisabilité
Apprentissage : Il m’a été aisé d’apprendre le fonctionnement du wiki.
Contrôlabilité : J’ai trouvé facile d’utiliser le wiki pour réaliser les tâches souhaitées.
Clarté et compréhension : Mon interaction avec le wiki a été claire et compréhensible.
Flexibilité : J’ai pu interagir en souplesse avec le wiki.
Habileté : Il m’a été facile de devenir compétent dans l’utilisation du wiki.
Facilité : Le wiki m’a semblé facile à utiliser.
De manière complémentaire, Campbell & al. (2003) cités par Feyfant (2011, p.5) mettent en avant
l’importance de prendre en compte les caractéristiques initiales des élèves. « Des différences relatives
aux capacités intellectuelles et psychomotrices, à l’état des connaissances antérieures, aux sources
39
d’intérêt et de motivation, au style cognitif et au niveau socioéconomique des élèves doivent être prises
en compte pour saisir l’influence (ou l’absence d’influence) de pratiques pédagogiques ». Concernant
la nature de ces caractéristiques, il peut être ainsi instructif en nous référant au modèle de Slavin
(1995) de prendre en considération les buts motivationnels et le niveau de départ des apprenants
susceptibles d’avoir un effet de modulation sur les variables décrites ci-dessus. Elles peuvent
contribuer à expliquer la qualité de l’apprentissage sur le plan individuel (Rienties & al., 2009). Les buts
motivationnels font référence au sens de l’apprentissage et à la valeur que l’élève accorde à la tâche.
Deci & Ryan (2000) formulent ainsi l’existence de plusieurs niveaux de motivation déterminés par les
buts que se fixe l’apprenant par rapport à la tâche au moment d’initier un comportement. Le modèle
distingue trois types de buts : les buts d’évitement, les buts de performance et les buts de maîtrise. La
motivation intrinsèque est considérée comme le plus haut niveau de motivation autodéterminée que
peut atteindre un individu. L’apprenant animé par des buts de maîtrise ou de compétence réalise une
activité pour l’intérêt que lui procure l’apprentissage ou pour le plaisir d’apprendre. La motivation
extrinsèque apparaît quand l’individu tente d’obtenir quelque chose en échange de la pratique de
l’activité ou pour éviter des conséquences négatives. Elle est donc davantage liée à des raisons
instrumentales (performance, récompense, besoin de reconnaissance). Enfin, l’amotivation se traduit
plutôt chez l’apprenant par une tendance à éviter la tâche proposée. Le questionnaire de Bouffard &
al. (1998) permet de mesurer les buts de maîtrise, les buts de performance et les buts d'évitement.
Dans un environnement de type CSCL, Rienties & al. (2009) mettent en évidence que les apprenants
animés de buts de maîtrise participent davantage aux échanges centrés sur la tâche à réaliser et sur
les aspects cognitifs. Ces résultats corroborent en partie ceux obtenus par De Lièvre & al. (2009) qui
montrent que les apprenants avec un degré de motivation intrinsèque plus élevé procèdent plus
souvent à une évaluation critique de ce que réalisent ou énoncent leurs partenaires dans le forum de
discussion. Quintin (2008) met en avant quant à lui à l’aide d’une analyse de régression qu’un niveau
élevé de motivation orientée vers la performance explique en partie la progression individuelle dans
un contexte d’apprentissage collaboratif réalisé à distance.
40
Au niveau des styles d'apprentissage, le modè le de Grasha (1996) suppose l’existence de trois
dimensions prenant place lors d’interactions sociales : participatif vs fuyant, collaborateur vs
compétitif, autonome vs dépendant.
· Le style participatif se caractérise par le désir d’apprendre le contenu du cours et de s’engager dans
la tâche alors que le style fuyant témoigne plutô t d’un intérêt réduit pour apprendre et une faible
participation lors d’une activité.
· Le style collaboratif passe quant à lui par le besoin d’interagir avec d’autres tandis que le style
compétitif se caractérise par une motivation extrinsè que importante.
· Le style indépendant se traduit davantage par une pensée autonome, une bonne confiance en soi,
une capacité de se structurer son travail, tandis que le style dépendant est lié au besoin de considérer
l’enseignant comme une source d’informations qui structure l’apprentissage.
Le questionnaire de Kolb peut également être intéressant à considérer dans la mesure où il s'intéresse
à la manière dont les élèves traitent l'information. Il permet de mettre en évidence
quatre profils d'apprentissage distincts.
Le questionnaire TPACK permet par exemple d'évaluer les perceptions du degré de maîtrise d'un
contenu, des connaissances pédagogiques et des habiletés technologiques.
Le questionnaire Nasa-TLX permet d'avoir un évaluation subjective par l'apprenant de la charge
cognitive qu'il mobilise pour réaliser les tâches d'apprentissage ou pour assurer celle-ci. Il se compose
de six sous-échelles complémentaires qui permettent d'évaluer l'exigence mentale, l'exigence
physique,
l'exigence
temporelle,
la
performance,
l'effort
demandé
et
la
frustration.
Une application (en anglais) sur tablette est désormais disponible pour administrer ce questionnaire.
Les trois premières dimensions concernent les contraintes imposées au sujet par la tâche et les trois
dernières s'intéressent aux interactions du sujet avec la tâche.
41
5.1.2 Questionnaires à construire
Quand il construit un questionnaire d'opinions, le chercheur peut mobiliser différents types d'échelles
: le choix d'un niveau par rapport à une affirmation sur une échelle (Likert) et le positionnement par
rapport à une échelle bipolaire (différenciateur sémantique d’Osgood). Certaines questions peuvent
être proposées sous la forme d'un choix dichotomique. Le chercheur peut enfin solliciter les sujets en
leur demandant de classer une série de propositions ou de répondre à une question ouverte. De
nombreux outils en ligne existent pour construire et pour administrer un questionnaire (Par exemple
: Google Forms). L'avantage de ce type d'outil est de pouvoir recueillir les données directement dans
une feuille de calcul exportable ensuite dans un logiciel de statistique (Par exemple : Jasp).
Lors de la construction d'un questionnaire, il importe d'identifier le concept (par exemple : la classe
inversée) investigué. Plusieurs dimensions seront utiles pour l'appréhender (par exemple : utilité,
satisfaction, ...). Chaque dimension sera évaluée à l'aide de différentes questions complémentaires.
Chaque item pourra être associé à une variable et chaque réponse sera ainsi un indice pour le
chercheur. Concept - Dimensions (1, 2, 3) - Variables (questions 11, 12,...) - Indices (indice 111 =
réponse 1 à Q1, indice 112 = réponse 2 à Q1, ...). Au niveau de l'élaboration des questions, évitez le
vocabulaire technique et spécialisé (par exemple l'usage d'un jargon lié à la technologie ou à la
pédagogie) ainsi que les questions trop longues.
5.2 Entretien
L'entretien est plus approprié pour un nombre plus réduit de sujets. Au travers des échanges entre le
chercheur et les sujets, il est souvent utilisé pour approfondir certains aspects à partir d'un guide
d'entretien élaboré au préalable. Il peut être utilisé de manière complémentaire au questionnaire
d'opinion (en sélectionnant un nombre de sujets au profil contrasté et objectivé par l'analyse de leurs
réponses aux questionnaires par exemple). La difficulté réside ensuite dans l'analyse des verbatim
recueillis. Certains outils de traitement automatique du langage peuvent aider le chercheur à
recherche des informations précises dans les textes retranscrits et à les visualiser ensuite (Par exemple
: Voyant Tools ou TXM).
Vous pouvez également utiliser un logiciel comme wordcounter pour avoir des informations
quantitatives sur votre corpus. Ces indicateurs peuvent porter sur différents aspects : nombre de mots,
nombre de mots uniques, ... Le logiciel Readerbench offre également de nombreuses possibilités pour
traiter le contenu de textes à l'aide de différents modules d'analyses.
42
Traitement des données
Voyant Tools urlz.fr/6wNx :
43
Buts motivationnels (Questionnaire reconnu)
Questionnaire étabi par Bouffard, Vezeau, Romano, Chouinard, Bordeleau et Filion, Revue Canadienne des
Sciences du Comportement, 30 (3), 1998
Mise en évidence de trois axes :
Buts d’’évitement (fuir la tâche)
Buts de maîtrise
Buts de performance (reconnaissance sociale)
Echelle de Lickert : (de 1: tout à fait en désaccord à 6: tout à fait d'accord)
1. Dans ce cours, je fais seulement ce qui est nécessaire pour éviter l'échec.
=> Evitement
2. Dans ce cours, il m'arrive de faire du travail facultatif.
=> Evitement (score peut être négatif) (si le score est haut, on n’évite pas le travail) (si le score est pas, on évite
le travail)
3. Il est important pour moi de bien maîtriser les connaissances et les habiletés qu'on est supposé apprendre
dans ce cours.
=> Maitrise
4. Ce qui est d'abord important pour moi dans ce cours, c'est d'apprendre des choses nouvelles.
=> Maitrise
5. Dans ce cours, je consacre le moins de temps possible aux activités qui ne comptent pas dans la note.
=> Evitement
6. Dans ce cours, je suis prêt à travailler fort seulement quand je suis sûr d'avoir des notes élevées.
=> Performance
7. Dans ce cours, je fais seulement ce qui est vraiment obligatoire.
=> Evitement
8. Ce qui est d’abord important pour moi dans ce cours, c'est d'avoir des notes élevées.
=> Performance
9. Je veux terminer ce cours en ayant le sentiment d'avoir appris de nouvelles choses.
=> Maitrise
10. J'aime quand ce cours me permet de découvrir des choses que j'ignorais.
=> Maitrise
11. C'est important pour moi de faire mieux que les autres dans ce cours.
=> Performance
12. Je trouve important d'améliorer mes capacités dans cette matière.
=> Maitrise
44
13. Dans ce cours, je vise simplement à obtenir la note de passage.
=> Evitement
14. Ça m'est égal de ne pas être parmi ceux qui ont les meilleures notes dans ce cours.
=> Performance (social)
15. Dans ce cours, j'aime les tâches difficiles si elles me permettent d'acquérir de nouvelles connaissances.
=> Maitrise
16. Ça ne me fait rien de perdre des points en autant que je n'échoue pas ce cours.
=> Evitement
17. Dans ce cours, je fais de mon mieux même si je sais que je n’arriverai pas à avoir une note élevée.
=> Performance
18. Il m'arrive de faire du travail supplémentaire afin de mieux comprendre la matière de ce cours.
=> Evitement (il m’arrive, mais cela peut être négatif)
19. Dans ce cours, je suis en compétition avec les autres élèves pour obtenir des notes élevées.
=> Performance
20. Dans ce cours, je suis prêt à travailler fort pour apprendre de nouvelles choses.
=> Maitrise
21. Dans ce cours, je veux apprendre le plus de choses possible.
=> Maitrise
22. Dans ce cours, je suis d'abord et avant tout préoccupé par les notes que j'aurai.
=> Performance
45
Analyses croisées
Si nous pouvons envisager des analyses croisées intra-dimensions (par exemple dans le processus : les
liens entre les usages et la qualité des productions), quatre questions dans le modèle qui structure le
cours portent sur les analyses inter-dimensions :
- Q 4 : Quels liens entre les variables du processus et la qualité des produits de l’apprentissage ?
- Q 5 : Comment les acteurs perçoivent-ils les produits d’apprentissage ? Avec quelle cohérence ?
- Q 6 : Comment les acteurs perçoivent-ils leur processus d’apprentissage ? Avec quelle cohérence ?
- Q 7 : Les perceptions, les produits, les processus sont-ils modulés par les caractéristiques initiales ?
Pour apporter des éléments de réponse à ces différentes questions, le principe de base consiste à
croiser les observations issues d’au moins deux dimensions différentes (perceptions, caractéristiques,
produit et processus).
D'un point de vue épistémologique, ce croisement peut être associé à une logique de triangulation qui
consiste à confronter des sources d'informations et qui implique la référence à des informations
multiples. Elle permet d'améliorer la validité interne de l'étude. Elle évite par ailleurs au chercheur de
s'enfermer dans une représentation unique du phénomène et d'aboutir à une meilleure
compréhension de la dynamique d’apprentissage. Dans cette perspective, le chercheur peut mobiliser
différentes approches analytiques. Il peut ainsi corréler, comparer, prédire, classer, catégoriser et
résumer. Cette liste n'est toutefois pas exhaustive. La littérature dans le champ des "Learning
Analytics" propose de nombreuses approches complémentaires.
Ce croisement peut à la fois s'appuyer sur des démarches qualitatives ou quantitatives (Machine
Learning).
46
JASP (guide en ligne : https://jasp-stats.org/2018/09/13/a-new-manual-for-jasp/)
Décrire : descriptives
Comparer : ANOVA + t-tests
Corréler : Regression => correlation
Prédire : idem que corréler mais pour plus de 3
variables
Catégoriser : pas possible sur l’application, c’est faire
des PAQUETS
Classer : Frequenties + factor
Résumer : Frequenties + factor
1. Décrire

Nommer les variables (indépendante/dépendante)

Visualiser les pré test et post tests

Graphique de ces tests : degré de maitrise et équité
2. Corréler
La corrélation consiste à rechercher s'il existe des liens entre les variables considérées. Par exemple,
on peut croiser ce que les acteurs nous disent (échelle de Likert d'un questionnaire) par rapport à un
outil avec leur usage réel de l'outil technologique (observations dans le dispositif). Une analyse de ce
type peut aussi passer par le croisement entre le niveau initial des apprenants (pré-test) et leur usage
d'une fonctionnalité dans l'environnement d'apprentissage. Toute la difficulté réside bien évidemment
dans l'interprétation d'une corrélation. Une erreur de raisonnement courante consiste à mettre en
évidence : « La variable 1 et la variable 2 sont corrélées, donc la variable 1 est la cause de la variable 2
». Le chercheur effectue une confusion entre corrélation et causalité. En réalité, il se peut aussi que la
variable 2 cause la variable 1, ou bien que les deux variables aient une cause commune avec une
troisième variable, ou encore que les deux variables soient accidentellement (par le hasard) liées, mais
n’aient aucun lien de causalité. Enfin, il est important de ne pas s'enfermer dans une relation linéaire
(droite). Il est tout à fait possible que la relation suive une courbe (polynomiale). La représentation
graphique (à l'aide d'un tableur) d'une corrélation est par conséquent essentielle.
47
Dans un plan expérimental, il peut être intéressant de calculer la corrélation entre deux variables dans
les différentes conditions expérimentales. Cette démarche est appliquée dans cette étude où les
chercheurs comparent entre deux conditions (incitation vs pas d'incitation) le lien entre l'usage d'un
tableau de bord et le nombre de jours nécessaires pour effectuer le parcours d'apprentissage. Dans la
condition "incitation", il n'y a aucune relation entre les deux variables considérées alors que le lien est
significatif et négatif entre l'usage et la durée dans la modalité "incitation".
Une autre analyse facile à mettre en oeuvre est d'observer le lien entre une performance et l'usage
d'une ressources. Dans cette étude, nous observons plusieurs relations : la corrélation entre le niveau
de départ (pré-test) et l'usage des aides par QR codes, la corrélation entre la performance en cours
d'apprentissage (et au terme) et le type de prompts (QR Codes) utilisés (pour accéder à la présentation
de cette étude).
3. Prédire
Souvent utilisée dans les études de type Learning analytics, la prédiction consiste à identifier des
variables (indépendantes) permettant d’expliquer une variable cible (dépendante). Elle permet
d’aboutir à une équation comme celle proposée ci-dessous. On est dans une situation où on essaie à
partir de certaines valeurs en avoir une autre.
Y correspond à la variable à prédire. X1, X2, etc... sont les variables indépendantes de la prédiction. Le
βo (Bêta zéro) est la constante qui correspond à la prédiction quand X1, X2 valent zéro. Enfin, ∈ (Eta)
correspond à la valeur résiduelle de la prédiction (il restera toujours une erreur irréductible dans un
algorithme de ce type qui est liée à l'incertitude). Par exemple, il peut être pertinent d'identifier les
variables du processus et les caractéristiques initiales qui expliquent la progression des apprenants
dans la maîtrise des compétences. Les différents β1, β2 correspondent aux coefficients de la pente. Ils
expliquent la valeur de Y quand la valeur des X varient.
Cette séquence vous propose une explication complémentaire et didactique de la prédiction.
D'un point statistique, l'analyse de régression linéaire donne la possibilité d'effectuer ce type de
traitement. Pour utiliser de manière appropriée cette méthode, il faut à la fois veiller à obtenir un
nombre restreint de prédicteurs pertinents et significatifs tout en s’intéressant au degré de prédiction
48
fourni par la valeur du R2 ajusté. Le logiciel Jasp (open source et gratuit) propose cette fonction
d'analyse multivariée.
4. Comparer
Il peut être également intéressant de créer une nouvelle variable à partir de deux variables issues de
dimensions différentes. Dans cet article, nous calculons le degré d'efficience (= logique coût - bénéfice)
des groupes collaboratifs. Il est obtenu par le rapport entre la qualité de la production collaborative au
terme de l'apprentissage (produit) sur le temps effectué pour réaliser cette synthèse (processus). On
peut ensuite utiliser cette nouvelle variable dépendante pour évaluer les effets des variables
indépendantes manipulées dans le dispositif dans la perspective de mettre en avant les conditions les
plus intéressantes d'un point de vue pédagogique.
5. Catégoriser (= faire des paquets) RAPIDMINER
1er principe : faire des groupes très différents (si 3 groupes, 3 groupes différents) (recherche de
séparation)
2e principe : dans le même groupe, les personnes se ressemblent beaucoup (recherche de cohésion)
L'objectif de cette dernière démarche est d'identifier des profils d'acteurs différents qui ont progressé
dans le dispositif. Sur le plan statistique, le chercheur peut s'appuyer sur les démarches de
catégorisation automatique (Clusters). Cette procédure statistique vise à trouver une structure
intrinsèque aux données en les organisant en groupes homogènes et distincts, appelés « clusters ».
Pour former un « cluster », les éléments doivent être à la fois similaires entre eux et différents des
objets regroupés dans d’autres « clusters » (Quintin, 2008).
49
On distingue trois algorithmes principaux pour créer des clusters (groupe : nuées dynamiques,
classification hiérarchique et classification two-step. Si ces algorithmes génèrent des catégories de
manière automatique, il reste bien évidemment un travail d'interprétation qui passe par une
interprétation des différentes classes (= mettre une étiquette sur chaque classe). L'intérêt de cette
méthode permet de générer une nouvelle variable (le profil spécifique) permettant aux chercheurs
d'effectuer de nouvelles analyses des données à sa disposition. Le logiciel SPSS propose un module de
classification automatique. Vous pouvez également utiliser le logiciel Weka pour mener à bien ce
traitement sur les données.
En médecine : identifier des patients qui ont des symptômes similaires à partir d’observations et de
caractéristiques individuelles
En biologie : Elaborer des taxonomies avec des groupes et sousgroupes dans la faune et dans la flore
à partir d’observations
En éducation : créer des profils d’apprenants (d’enseignants) homogènes à partir de ce qu’ils font ou
de ce qu’ils disent
En marketing : Dresser des profils de consommateurs qui ont les mêmes besoins et les mêmes
comportements
Rapidminer :
Importer donnée, cliquer sur « auto model », choisir « clusters », choisir maximum 4 variables à
regrouper, choisir ensuite plutôt le « k » pour choisir le nombre de clusters qu’on veut.
Cliquer sur « centroid table » pour avoir les valeurs. On peut imaginer faire un tableau excel grâce à
cela.
50
La démarche par clusters est…
-
Complémentaire à d’autres analyses quantitatives et/ou qualitatives : analyse plus approfondie
-
Pertinente pour identifier de nouvelles variables indépendantes a posteriori : créer des profils avec
comportements différents (catégoriser)
-
Utilisable avec ses différentes sources d’informations (produits, processus, perceptions,
caractéristiques individuelles) : nouvelle VI (voir les individus dans quel cluster il se trouve !)
-
Utile pour synthétiser et visualiser des quantités importantes de données : visualisation globale
6. Classer
La logique du classement est un peu différente de celle de la catégorisation. Elle s’appuie sur la création
d’arbres de décision. Ceux-ci ont pour but de répartir les sujets de l’échantillon en groupes homogènes
selon un ensemble de variables discriminantes (par exemple : les caractéristiques individuelles, les
variables du processus) et en fonction d’une variable de sortie (par exemple : échec ou réussite à un
post-test) et non par rapport aux groupes. Les résultats de cette analyse permettent d'aboutir à la mise
en évidence d'une série de règles de type "Si..., alors...".
7. Résumer
Le chercheur se retrouve souvent devant une masse importante de données. Selon une logique de
réduction, il est donc parfois utile de synthétiser celles-ci afin de mieux les appréhender. Une analyse
factorielle des correspondances multiples (AFC) et une analyse en composantes principales (ACP)
donnent la possibilité de prendre du recul par rapport à un ensemble de données important.
L'analyse en composantes principales articule des variables liées (ou corrélées) pour créer de nouvelles
variables décorrélées les unes des autres, appelées composantes principales. Un bel exemple d'analyse
de ce type est proposé ici avec le logiciel "je lève la main."
51
L'Analyse Factorielle des Correspondances (AFC) est une méthode qui permet d'étudier l'association
entre deux variables qualitatives issues d'un tableau de contingence (tableau à double-entrée) et de
créer une nouvelle représentation des données issues de celui-ci. L'objectif est de résumer la structure
des oppositions et des rapprochements entre les lignes et les colonnes du tableau. Cette méthode
s'appuie sur le principe de l'inertie et donne la possibilité de situer différents groupes dans un systè me
de coordonnées à deux dimensions. Elle met en évidence les distances ou les rapprochements qui
peuvent exister entre ces groupes. Khaneboubi (2015) mobilise cette démarche pour associer des
caractéristiques individuelles des utilisateurs d'un MOOC et leur perception de leur expérience
d'apprentissage. Le site Voyant Tools ou l'application TXM vous donnent la possibilité d'effectuer ce
type d'analyses croisées.
A retenir de ce cours, selon M. Temperman
1. Choisir les outils en fonction du questionnement (et vice versa, à l’envers !)
2. Sortir des sentiers battus : il n’y a pas que du questionnaire en Sciences de
l’Education. Les études de terrain existent. Différente type d’analyse, ça
permet de trianguler, c’est super !
3. Combiner différents types d’analyse : schéma, tableau, analyse… essayer de
les démontrer de manière didactique
4. Veiller aux aspects didactiques dans la communication des résultats
Objectifs du cours :
• Recueillir et exploiter les traces issues d’un environnement d’apprentissage
• Différencier les variables relatives au processus, au produit et à la perception d’apprentissage
• Mettre en oeuvre de manière complémentaire des démarches d’analyse quantitative et qualitative
• Utiliser des logiciels d'observation et de traitement des données
52
Conclusion
Dans le cadre de ce cours, la démarche présentée s’adresse au chercheur qui s’engage dans une étude
que l’on peut qualifier d’empirique dans la mesure où les éléments de réponse qu’il tente de trouver
aux questions qu’il se pose se fonde sur des faits observés sur son « terrain » d’investigation. Les
différentes analyses proposées et découvertes dans ce cours peuvent être classées dans la quadrant
ci-dessous en considérant la manière de prendre de l'information auprès des acteurs et le type de
démarche (quantitatif vs qualitatif).
Nous devrions dire « se fonde en partie sur des faits observés » car ce type de recherche ne peut
faire l’économie du mouvement, inévitable nous semble-t-il, entre les faits observés et analysés
(son terrain d’étude) : d’une part, les résultats engrangés par d’autres chercheurs du domaine et,
d’autre, part la « théorie » scientifique qui permet de « faire du sens » à partir des différents
résultats obtenus
Si les technologies sont des outils au service de
l'apprentissage, nous pouvons également considérer que
les outils eux-mêmes constituent des outils précieux
entre les mains des chercheurs pour mieux comprendre
l'apprentissage mis en oeuvre avec ou sans les
technologies.
Enfin, ne tombons pas dans le piège d'une logique de la
mesure à tout prix...Ce qui compte ne peut pas toujours être compté, et ce qui peut être compté ne
compte pas forcément" (Einstein) ;-)
53
Wooclap
- Les degrés de certitude permettent d’évaluer le niveau de compétence opérationnelle
- Un coefficient de discrimination proche de 0.6 indique que l’item est bien formulé
- Si la corrélation entre le prétest et le gain relatif est négatif cela signifie que les élèves faibles au
départ ont progressé
- Il existe 4 indicateurs complémentaires pour évaluer les résultats d’apprentissage la progression,
le degré de maitrise, le transfert et l'équité. Un enseignant-chercheur réalise un pré-test et un
post-test et calcule l'évolution de la variance entre le pré-test et le post-test en utilisant le
coefficient de variation. Il observe également le pourcentage obtenu lors de post-test et met en
évidence tous les scores inférieurs à 80.
 Il évalue donc le degré maitrise (posttest) et l’équité
-
L'utilisation des degrés de certitude dans les QCM donne la possibilité de calculer un score de
prudence. Que signifie la situation où un apprenant obtient un score de prudence élevé ? L'élève
répond incorrectement mais n'est pas sûr de ses réponses (il est prudent)
-
Voici une situation : Nicolas accède au tableau de bord de la plateforme esprit. Différentes
informations qualitatives et quantitatives concernant les actions et interactions lui sont fournies.
Il observe que son nombre de messages postés sur le forum est fortement inférieur à ceux des
autres membres de son équipe. Nicolas va participer plus régulièrement sur le forum d’équipe.
Quelles sont les propositions correctes relatives à cette situation ?
a. L’usage des visualisations est de type exogène
b. Le nombre de messages postés sur le forum est un indicateur cognitif
c. Les informations reçues par l’apprenant quant aux traces l’amènent à poser un feed-back
de contrôle et à se réguler.
d. La variable mentionnée est relative à la catégorie des interactions
 Principe de mémoire
-
La Khan Academy est une plateforme mettant à disposition des cours et des exercices dans
différentes disciplines et niveaux. Dans certains modules, l’apprenant peut réaliser un test
diagnostique et en fonction des résultats obtenus, un parcours individualisé est défini où des
exercices lui sont suggérés. L’application « Le Secret du Poids » vous a été présentée
précédemment. Quelles sont les propositions correctes ?
a.
b.
c.
d.
Ces 2 exemples sont tous les deux liés au niveau « miroir »
Le Secret du Poids peut être associé à de l’adaptative learning
La Khan Academy peut être associée à de l’adaptative learning
La Khan Academy propose des tâches dans la zone proximale de développement de
l’apprenant
54
-
Selon le modèle de l’acceptation technologique, quelles sont les affirmations correctes ?
a. Les connaissances technologiques de l’individu influencent l'utilité et l’utilisabilité de
l’outil
b. L’utilisabilité a le plus d’impact sur l’intention d’utiliser : c’est le contraire !!
c. Si l’outil est facile à utiliser, il est probable qu’il soit perçu comme utile
d. L’utilité impacte l’utilisabilité : c’est le contraire
-
Le questionnaire de Davis questionne l’acceptation d’une technologie à travers 2 dimensions. Voici
2 items inspirés de ce questionnaire : 1/ L’utilisation de l’application améliorerait mon efficacité
dans mon emploi. 2/ L’utilisation de l’application dans mon emploi me permettrait d’accomplir les
tâches plus rapidement.
a.
b.
c.
d.
L’item 1 est de la dimension « utilité » et l’item 2 est de la dimension « utilisabilité »
L’item 1 est de la dimension « utilisabilité » et l’item 2 est de la dimension « utilité »
Les 2 items sont de la dimension « utilisabilité »
Les 2 items sont de la dimension « utilité » (efficacité, ca va aller plus vite donc utile) Q.
davis
-
En mars 2016, une étude analysant les facteurs qui poussent un apprenant à aller au bout d’un
dispositif d’apprentissage numérique a été publiée. Les chercheurs se sont notamment intéressés
au potentiel lien existant entre le genre des sujets et les taux de complétion (nombre de sujets
terminant le dispositif d’apprentissage). Entre ces 2 variables, l’équipe a dû réaliser :
a. une corrélation
b. une prédiction
c. une catégorisation
d. une comparaison
-
Une équipe de chercheurs s’intéresse aux effets des modalités d’intégration d’un outil d’autorégulation dans un environnement d’apprentissage collaboratif à distance. Cette recherche est
basée sur un plan factoriel à 2 variables indépendantes. Celles-ci sont l’incitation à l’usage de l’outil
et la planification de la tâche à réaliser. La première est à 2 niveaux : incitation à utiliser l’outil vs
non incitation à utiliser l’outil. La seconde variable est à 3 niveaux : planification imposée,
planification négociée, aucune planification. Dans lequel des énoncés suivants est mobilisée une
approche analytique de comparaison ?
A.
B.
C.
D.
L’équipe cherche un lien entre l’usage de l’outil et le niveau initial des apprenants
L’équipe calcule le degré d’efficience (note obtenue/temps) et l’utilise pour voir les effets
des variables indépendantes manipulées VD : degré d’efficience
L’équipe identifie des profils d’apprenants différents qui ont progressé dans le dispositif
L’équipe répartit les apprenants en groupes homogènes selon les caractéristiques de ceuxci et la réussite ou échec à la tâche finale
55
-
On calcule le taux d’hétérogénéité au pré-test et au post-test. On obtient 58,45% au post-test.
Sachant que le dispositif a augmenté les écarts initiaux entre les élèves, le taux d’hétérogénéité au
pré-test peut valoir :
Taux d’hétérogénité : plus il se rapproche de 0 et plus les élèves sont dans une situation
d’équité : partage de compétence
a. 42,83%
b. 68,14%
c. 53,19%
- Cette démarche consiste à identifier des variables indépendantes permettant d’expliquer des
variables dépendantes. Il s’agit d’une … :
a.
b.
c.
d.
-
Prédiction
Comparaison
Catégorisation
Corrélation
Assertion (donner la conséquence) : dans le cadre d’une étude, on obtient une corrélation positive
entre le niveau initial des apprenants et leur degré d’utilisation du tableau de bord d’un
environnement numérique d’apprentissage. Plus le niveau initial des apprenants est haut, plus ils
utilisent le tableau de bord de l’environnement numérique d’apprentissage. Raison (cause) : le
niveau initial des apprenants est la cause de leur usage du tableau de bord de l’environnement
numérique d’apprentissage
A. A et R sont vraies et R est l’explication correcte de A
B. A et R sont vraies et R n’est pas l’explication correcte de A
C. A est vraie et R est fausse. On ne peut pas déduire cette raison-là. C’est le problème des
corrélations, ça va peut-être dans un sens mais pas dans l’autre.
D. A est fausse et R est vraie
E. A et R sont fausses
- Dans le cadre d’une recherche appliquée, que signifie le concept « triangulation » ?
a. Le chercheur met en perspective les faits observés au regard des résultats antérieurs et du
cadre conceptuel
b. Le chercheur génère des questions de recherche en considérant la manière de prendre de
c.
l'information auprès des acteurs et le type de démarche
Le chercheur s’engage dans une étude empirique où les éléments de réponse qu’il tente de
trouver aux questions qu’il se pose se fonde sur des faits observés sur son « terrain »
d’investigation
56
Examen :
1. Dimension conceptuelle :
+ questions à piocher (N=35) sur des concepts du cours. Être capable avec mes mots de
débattre sur ces notions.
57