La question de l’efficacité pédagogique des TICE (technologies d’information et de communication pour l’enseignement) est redoutable. On a envie de dire que c’est une question impossible. Non pas que sa difficulté extrême la mette pour toujours hors de notre portée, ni même que sa formulation, trop vague, empêche tout accord sur une façon de l’aborder ; mais comme l’on dit d’un individu, d’un élève par exemple : « il est impossible ! », parce que, quelle que soit la façon de s’y prendre avec lui, toute tentative de relation tourne mal, de même, l’on pourrait dire d’une question qu’elle est impossible, non seulement lorsqu’il est impossible d’y répondre, mais lorsqu’un accord sur le caractère impossible de la question serait lui-même… impossible. 

Comme il y a des croyants et des athées, il y a des partisans des TICE et des adversaires des TICE, mais aussi des agnostiques, qui ne se prononcent pas, soit parce qu’ils attendent qu’une preuve leur soit apportée, d’un côté ou de l’autre, soit qu’ils considèrent la question comme insoluble ou sans intérêt. Les croyants des TICE sont aujourd’hui les plus nombreux ; ils tiennent le haut du pavé, prêchent sans relâche, cherchant à convaincre, à évangéliser ceux qui ne le sont pas encore. Et face aux voix qui s’élèvent pour dire : « les TICE ne servent à rien ! », la réaction est souvent brutale et la contre-critique sans nuance. Pour ne pas raviver inutilement de récentes querelles françaises, on se contentera d’évoquer ici certaines de celles qui se tiennent aux États-Unis et au Canada.
 

Incroyants des TICE aux États-Unis et au Canada

Dans un ouvrage publié en 1999 et intitulé « The Child and the Machine : How Computers Put Our Children’s Education at Risk »[1], la Canadienne Alison Armstrong  a recensé les raisons qui la conduisent à rejeter l’idée que l’informatique puisse être efficace en matière d’éducation. L’essentiel de son argumentation repose sur une constatation empirique : dans toute démarche d’apprentissage, il y a presque toujours mieux à faire que de recourir à un ordinateur, même connecté à Internet. L’écran installe, entre l’élève et l’objet de son apprentissage, une distance préjudiciable sur le plan cognitif et qui peut également avoir des effets physiques et psychologiques nocifs, en particulier chez les enfants. On retrouve des arguments semblables dans un copieux rapport réalisé en mai 2000 par l’association Alliance for Childhood[2] et largement diffusé sur le Web. Dans un registre différent, le journaliste Todd Oppenheimer, après une enquête approfondie dans des écoles primaires et secondaires américaines, a publié en 1997 un article retentissant intitulé The Computer Delusion (le fantasme de l’ordinateur)[3] dans lequel il montre que l’usage des équipements informatiques dans les écoles est, en réalité, très loin de l’image qu’en donnent généralement les médias, les hommes politiques pour lesquels la connexion des écoles à Internet est avant tout un argument électoral, les industriels des TIC et, plus généralement, les pédagogues qui soutiennent la cause des technologies éducatives. 

Tous ces opposants réclament un moratoire de l’informatique à l’école, au nom d’un principe que l’on pourrait qualifier de « principe de précaution » : tant que l’efficacité des TICE et l’absence d’effets secondaires négatifs n’a pas été démontrée, mieux vaudrait ne pas prendre de risques inutiles avec la santé des enfants et l’argent du contribuable.

Face à ces critiques, la parade des partisans des TICE est simple et empirique elle aussi, même si elle s’exprime parfois avec une certaine vigueur. Il en va, disent-ils, de l’ordinateur comme de toute chose : seul, l’excès est néfaste. Qu’il s’agisse d’ordinateur, de sucre, de télévision, de lecture ou de sport, tout abus est dangereux. 
Ce n’est qu’en prêtant aux partisans des TICE des tentations exclusives - qu’ils n’ont évidemment pas - que leurs adversaires peuvent développer leur argumentaire jusqu’au bout : une simple mise au point suffit à désamorcer la critique. C’est par exemple ce que fait Clément Laberge dans l’Infobourg, en réponse au rapport de l’
Alliance : « Il faut dénoncer la vision manichéenne de l’ordinateur à l’école qui est développée par les auteurs. Comme si utiliser l’ordinateur empêchait de s’asseoir en groupe pour lire une histoire, de monter une pièce de théâtre ou de tenir des débats sur différents sujets qui touchent les enfants. L’ordinateur doit servir à enrichir toutes ses activités, pas les remplacer »[4].

De même, avoir observé, comme l’a fait Todd Oppenheimer, dans des familles ou des établissements d’enseignement, des utilisations visiblement inefficaces des TICE, ne suffit pas à disqualifier l’ensemble des  usages et des initiatives. Qui songerait à fermer les autoroutes au premier carambolage ou les stations de ski 
à la première jambe cassée ? Face à chaque échec et à chaque usage réputé mauvais, on trouvera sans difficulté vingt exemples de pratiques pédagogiques réputées réussies, enthousiasmantes, efficaces.

Mais une réponse empirique à un argument empirique, satisfaisante sur le coup, ne l’est pas sur le fond. Car, même si l’on admet que les TICE peuvent, dans certaines circonstances, s’avérer efficaces, il reste encore à démontrer que des résultats équivalents ne pourraient pas être obtenus par des moyens moins coûteux, 
moins hasardeux et plus facilement généralisables. Faut-il enfin que la préparation à l’entrée dans la société de l’information  commence dès la maternelle ? Cela ne peut-il attendre, par exemple, la fin de l’enseignement secondaire ? Que n’apportez-vous donc, une fois pour toutes, la preuve de l’efficacité pédagogique des TICE, s’impatientent incroyants et agnostiques, et l’affaire sera entendue !

Bref, pas moyen d’y échapper ; le débat contradictoire ramène, inéluctable, l’impossible question. Pour s’en sortir, il n’est qu’un moyen, en appeler à un arbitre impartial : la science. La méthode scientifique est en effet la seule qui expose ses hypothèses, ses outils et ses raisonnements, dans une totale transparence. C’est à elle qu’il faut donc accepter de s’en remettre.
 

Le salut par la science ?

La démarche scientifique suggère que l’efficacité d’une méthode ou d’un dispositif éducatif se mesure par les effets que celui-ci exerce sur l’état cognitif du sujet apprenant. De plus, les mesures individuelles peuvent être étendues à des groupes, et même à des grands groupes, grâce à des tests normalisés. On peut faire des mesures absolues ou des mesures comparatives. Ce sont ces dernières qui, dans notre cas, sont les plus utiles car c’est la supériorité statistique des dispositifs incluant des TICE sur les méthodes traditionnelles qu’il s’agit de démontrer. On mesurera, par exemple, l’efficacité d’une méthode d’apprentissage de la lecture fondée sur l’exploitation d’un logiciel en constituant plusieurs groupes d’élèves dont certains apprendront à lire avec le logiciel et d’autres en suivant une méthode plus traditionnelle. Si les règles fixées au départ sont respectées et si aucun biais n’est introduit dans la constitution des groupes, la mesure finale permettra de répondre d’une façon convaincante à la question : lequel des deux dispositifs est le plus efficace ?

Ces expériences, faciles à concevoir en théorie, sont malheureusement longues et coûteuses à mettre en œuvre concrètement. L’instabilité des TIC, les moyens limités des laboratoires de sciences de l’éducation, expliquent pourquoi de tels projets sont rarement entrepris, du moins en Europe. Aux États-Unis où les moyens financiers et le goût pour la mesure et la statistique sont plus développés qu’en Europe, ils sont nombreux. Leurs conclusions donnent majoritairement l’avantage aux TICE mais un nombre non négligeable d’études concluent à l’absence d’effet significatif des méthodes sur les résultats. 

Thomas L. Russell de l’Université d’Etat de Caroline du Nord a analysé 355 travaux de recherche portant sur l’efficacité des médias dans l’éducation ; son étude bibliographique, publiée en 1999 et intitulée « The No Significant Difference Phenomenon », aboutit à la conclusion que les technologies n’ont pas fait la preuve de leur supériorité : « Si un jour, les leçons des volumineuses recherches existantes étaient acceptées, la promesse d’améliorer l’éducation à l’aide des technologies cesserait. Le jour où le progrès technologique permettra de façon convaincante d’améliorer l’éducation, alors, et seulement alors, cette promesse pourra être rétablie ».

Mais ce n’est pas tout ; rassembler un grand nombre d’études à prétention scientifique ne suffit pas. Encore faut-il s’assurer, pour chacune d’elles, que le processus expérimental a été respecté et que la formulation des conclusions tient compte de tous les paramètres de l’expérience. C’est l’objectif que se fixent ce qu’on appelle les « méta-analyses » dont les Américains sont friands. Il existe des méta-analyses qui concluent avec enthousiasme à l’efficacité des TICE mais il en existe aussi qui sont plus mesurées et d’autres enfin qui expriment des doutes sérieux quant à la valeur scientifique d’une partie des travaux recensés. Une analyse très sérieuse réalisée par l’IHEP (Institute for Higher Education Policy) en 1999 et intitulée « What’s the difference ? »[5],se termine par ce constat sans appel : « la qualité globale des recherches est discutable et leurs résultats ne sont pas convaincants ». 

Face à ce qu’il faut bien considérer comme une incapacité des spécialistes à se mettre d’accord sur une méthode et sur des résultats scientifiquement validés, deux attitudes sont possibles : attendre et espérer que la science triomphe, ou bien revenir à la question et poser à nouveau celle des méthodes.
Vérité et méthode

La méthode scientifique expérimentale est-elle la seule à notre disposition pour démontrer l’efficacité des TICE ? Ne pouvons-nous, dans ce domaine, produire des résultats vrais par d’autres voies ? Les sciences humaines, sociologie, ethnologie, psychologie, ont développé tout un éventail de méthodes qui se démarquent du schéma hypothético-déductif expérimental. Malheureusement, ni les sociologues de l’éducation, ni les ethnologues n’ont jugé bon, jusqu’à présent, d’inscrire les TICE à leur ordre du jour[6].. Quant aux recherches réalisées dans les laboratoires de sciences de l’éducation, qu’elles soient inspirées par la pédagogie générale ou par la didactique des disciplines, elles se consacrent souvent à l’étude de dispositifs expérimentaux, construits, par exemple autour d’une application informatique, dans lesquels on limite artificiellement le nombre de variables afin de permettre des analyses quantitatives. Ces recherches confirment que les TICE ont, sur l’apprentissage, un effet ambiguë, positif sur le plan de la motivation du sujet mais souvent accompagné d’effets secondaires négatifs dus à la surcharge cognitive qu’entraîne la manipulation de fonctions techniques complexes, par ailleurs très variables selon les profils des élèves.

L’accumulation de résultats épars pourra-t-elle jamais fournir une réponse à l’impossible question ? On est en droit de se poser la question. En attendant, l’argumentaire en faveur de l’efficacité continue de reposer principalement sur les nombreux exemples repérés de « bons usages ». Chaque jour, des enseignants, des parents, des observateurs constatent que, dans certaines circonstances, les TICE ont, sur certains sujets, des effets pédagogiques qu’ils jugent positifs. Cette accumulation de témoignages signale l’existence d’une puissante intuition collective en faveur de l’efficacité pédagogique des TICE. La recherche ne gagnerait-elle pas à en tenir compte plutôt qu’à s’en défier au prétexte de son caractère non-scientifique ? Les études de laboratoires gagneraient à être complétées par des approches plus empiriques, fondées sur des enquêtes de terrain, des études de cas, l’observation et l’analyse de situations non-expérimentales ? Depuis longtemps, les sociologues et les ethnologues ont fait, de l’observation de situations naturelles, sans hypothèses préalables, une sorte d’équivalent pour les sciences de l’esprit de ce qu’est la méthode scientifique expérimentale pour les sciences de la nature. Mais de telles études sont encore rares dans le domaine des TICE. Une nouvelle voie de recherche s’ouvre et, avec elle, l’espoir renaît. La question réputée impossible ne l’est peut-être pas car toutes les tentatives pour la rendre possible n’ont pas été épuisées. Mais le seront-elles jamais ? 

Vraiment, une question impossible…
 

[1] L’enfant et la machine : comment les ordinateurs font courir des risques à l’éducation de nos enfants.
[2]Fools Gold: A Critical Look at Children and Computer ;   http://www.allianceforchildhood.org/
[3]http://www.theatlantic.com/issues/97jul/computer.htm
[4]http://www.infobourg.com/AfficheTexte/long.asp?DevID=572
[5]http://www.ihep.com/difference.pdf
[6] Dans le récent ouvrage « Ecole – Etat des savoirs » (La Découverte, 2000) dirigé par Agnès van Zanten, les TICE ne sont jamais mentionnées, sinon dans un article qui leur est spécifiquement consacré, le seul du reste à ne pas avoir été rédigé par un sociologue…

source : http://www.txtnet.com/ote/Une%20question%20impossible.htm
 

The question of the teaching effectiveness of ICT is a formidable one. We could say that it is an impossible question. It is neither its extreme difficulty which puts it for ever out of our reach, nor even that its wording, too vague, prevents any agreement on a way to tackle it ; but like one says of an individual, of a student for instance: "he or she is impossible! ". This is because, no matter which way we deal with him or her, any attempt at forming a relationship turns out badly. Similarly, one could say that a question is impossible, not only since it is impossible to respond to it, but since reaching an agreement on the impossible nature of the question would be itself... impossible.

There are believiers and atheists, there are pro-ICT and anti-ICT, but there are also agnostics, who do not want to decide, either because they are waiting proof to be brought to them, on one side or the other, or because they think the question is insoluble or uninteresting. Believiers of ICT are most numerous today; they hold the top of the paving stone, preach without slackening, try to convince, to evangelize those who do not yet believe in it. And to the anti-Ict, who claim "ICT is useless", the reaction is often brutal and the criticism may lacking subtility. In order not to pointlessly revive recent French quarrels, we shall examine some aspects of this quarrel in the United States and Canada.

In her book published in 1999 and entitled "The Child and the Machine: How Computers Put Our Children' S Education At Risk "[ 1 ], Alison Armstrong, a canadian author, listed the reasons which led her to reject the idea that teaching with computers could be effective in education. The essence of her argument lies in an empirical observation : in any step of training, there is always a better way to work in class than to use a computer, even connected to the Internet. The machine installs, between the pupil and the object of his training, a distance which may affect the cognitive level and which can also have harmful physical and psychological effects, particularly on the children. 

Similar arguments can be found in an extensive report carried out in May 2000 by The Alliance for Childhood [ 2 ] and widely diffused on the Web. 

On a different basis, Todd Oppenheimer, a journalist, led a deep investigation in primary and secondary American schools. In 1997, he published a resounding article entitled "The Computer Delusion" [3 ] in which he showed that the use of computers in schools was, actually, very far from the image that was generally given by the media, politicians, companies, or teachers.

All these opponents claim a moratorium on ICT. Their main argument is a safety principle : as long as ICT efficiency and the absence of side effects from using computers are not demonstrated, it would be better not to take risks with children ‘s health, and save the taxpayer’s money.

In opposition to these criticisms, the pros and cons of ICT have simple and empirical answers. 

For them, the use of computer resembles other social behavior : only the excess is to blame and may be harmful. Eating sugar, watching TV, reading books or playing sports, any abuse may be dangerous (…)."We must fight the Manichean view developed by these authors on using the computers at school. The use of a computer has never prevented sitting down in group to read a story, to assemble a play or to hold debates on various subjects which touch the children. The computer must be used to enrich all its activities, not to replace them " writes Clément Laberge in Infobourg [ 4 ].

As Todd Oppenheimer observed, the visibly ineffective uses of ICT, in both families and schools, are too insufficient to disqualify all of its uses and initiatives. Who would think of closing the motorways after the first pile-up or the ski resorts after the first broken leg ? On the contrary, each bad practice, each failure could be counterbalanced by at least twenty examples of teaching practices thought to be successful, exciting and effective.

But an empirical answer to an empirical argument may be momentarily satisfactory, but not entirely sufficient.

First, even if one may admits, that under certain circumstances, ICT can be effective, we still must demonstrate that equivalent results could not be have been obtained by less expensive means, less hazardous and more easily generalizable methods.
If pupils have to enter the information age, is it necessary to do this as early as nursery school ?
Would it not be better to wait, for instance, until the end of the secondary education? 
Anti and agnostics may again ask for a definitive proof on ICT efficiency. 

Briefly, we cannot escape the debate ; the inescapable, the impossible question is back again. To find a way out, we still have a choice : we must ask Science, an impartial referee, to give a final answer. The scientific method is indeed the only one which exposes its assumptions, its tools and its reasoning, in a total transparency. We have to rely on it.
 

Science, the last hope ?

The scientific approach tells that, in education, the efficiency of a method or a device is measured by the effects that it has on the cognitive state of the learning subject. Moreover, individual measurements can be extended to groups, and even to large groups, thanks to standardized tests. We can make absolute measurements or comparative measurements. In our case, we need to use comparative measurements to show the statistical superiority of the ICT ‘s device over the traditional methods.
We can, for instance, set up several groups of pupils, one learning how to read using a software, while another may follow a more traditional method. If we obey the rules settled at the beginning and if no bias is introduced into the constitution of the groups, the final measurement will make it possible to answer, in a convincing way, the question: which of the two devices is the most effective one ? 

These experiments, easy to conceive in theory, are unfortunately long and expensive to implement concretely. The ICT instability, the limited means of the laboratories of scientific Education, explains why such projects are seldom undertaken, at least in Europe. Within the United States, where financial means and the taste for measurement and statistics is more developed than in Europe, they are numerous. Their conclusions mainly give the advantage to ICT use, but the results of a considerable number of studies conclude with the method’s lack of significant effect. 

Thomas L Russell, from the University of North Carolina, has analyzed 355 research tasks related to the efficiency of the media in education. His bibliographical study, published in 1999 is entitled "The No Significant Phenomenon Difference". He concludes that technology did not prove its superiority: "If one day, the lessons of these bulky existing researches were accepted, the promise to improve education using technology would cease. This promise can be restored only when technological progress will allow in a convincing way to improve education". 

But that is not all ; to gather a great number of studies with scientific claim is not wholly sufficient. Still should it be made sure, for each one of them, that the experimental process was respected and that the formulation of the conclusions accounts for all the parameters of the experiment. 

Meta-analysis, frequently used in USA, have these same objectives.
Some conclude with enthusiasm that ICT is effective, while others are more measured ; still others express serious doubts about the scientific value of a part of listed work.. A very serious analysis carried out by the IHEP (Institute for Higher Policy Education) in 1999 and entitled "What's the difference? "[ 5 ], ends its report with : "the total quality of research is debatable and their results are unconvincing". 

If we consider the specialists ‘s incapacity to agree on a method and to accept scientifically validated results, two attitudes are possible: to wait and hope that science may some day overcome, or to again question the subject, and find another way out.

Truth and method 

Is the experimental scientific method the only one we can use to explore this question ?
Can we find a way out by using other means ? 

Social sciences, sociology, ethnology, and psychology have developed a whole range of methods which do not rely on the experimental approach. Unfortunately, neither the sociologists of education, nor the ethnologists have decided to measure ICT effects on education? [6 ].
Scientific education laboratories study experimental teaching devices in which they try to artificially limit the number of variables, in order to allow quantitative analysis. Their work may be inspired by general pedagogy or the didactic of the disciplines.

These researches confirm that ICT has an equivocal effect on education, positive in relation with motivation, but often also negative in relation with cognition, due to the cognitive overload involved in the handling of complex technical functions.

Will the accumulation of scattered results be able to provide a final answer to the impossible question? 
We are allowed to ask this question.

For the time being, the argument for ICT efficiency relies mainly on many located examples of "good uses". Everyday, teachers, parents, and observers note that, under certain circumstances, ICT has, on certain subjects, effects on teaching and learning which they consider positive. This accumulation of these testimonies shows the existence of a powerful collective intuition in favour of the ICT efficiency.

Wouldn't research gain from respecting rather than denying this aspect, on the basis that this approach is not a scientific one ?
Laboratory studies would be enhanced if they were supplemented by more empirical approaches, based on ground investigations, case studies, the non-experimental situations observation analysis.
For a long time, sociologists and ethnologists have made use of this pratical observation, a kind of equivalent to the experimental approach for natural sciences.
Such studies about ICT use are still uncommon.

Hope is renewed in new research methods. The question seen as impossible may be solvable, if all the methods have not been exhausted. But will they even be implemented? 

Really, an impossible question... 
 

[1] L’enfant et la machine : comment les ordinateurs font courir des risques à l’éducation de nos enfants.
[2] Fools Gold: A Critical Look at Children and Computer ;   http://www.allianceforchildhood.org/
[3] http://www.theatlantic.com/issues/97jul/computer.htm
[4] http://www.infobourg.com/AfficheTexte/long.asp?DevID=572
[5] http://www.ihep.com/difference.pdf
[6] Dans le récent ouvrage « Ecole – Etat des savoirs » (La Découverte, 2000) dirigé par Agnès van Zanten, les TICE ne sont jamais mentionnées, sinon dans un article qui leur est spécifiquement consacré, le seul du reste à ne pas avoir été rédigé par un sociologue…

Serge Pouts-Lajus - 2001- http://www.txtnet.com/ote/HomePage.html
adaptation D Letouzey - relecture EW - 01/2004

source : http://www.txtnet.com/ote/Une%20question%20impossible.htm