Comment tester la validité des prédictions

Démarche de l'expérience

Difficulté de quantifier une prévision

Les statistiques permettent d'étudier un comportement collectif (populations, étoiles, actions financières...), pour savoir si un modèle explique correctement des observations ou si deux populations se comportent de la même façon. Dans le cas d'une influence du signe astrologique, cette influence ne peut être que très faible sinon elle serait depuis longtemps reconnue et vérifiée.

Il n'est pas toujours facile de savoir si une prédiction s'est réalisée. Il faut quantifier les phénomènes prédits, qui sont :

Les données du thème astral d'un individu sont facile à quantifier. Les interprétations événementielles peuvent aussi être quantifiées si elles sont suffisamment précises. Par exemple si un astrologue annonce la mort du Pape ou la chute de la station Mir (Paco Rabane en 1999). Malheureusement ils s’y risquent rarement. Les prévisions sur l'avenir d'une personne sont souvent beaucoup plus floues : « succès professionnel », « vie affective », ne sont guère quantifiables. Le profil psychologique d'un individu encore moins.

On a donc à étudier l’influence de phénomènes précis (le thème) sur d’autres (l’interprétation) qui sont, au mieux, mal définis. Il est facile de dire si un pape est mort en telle année. Il est beaucoup plus difficile de dire si une prévision du type de celles qu'on lit dans les horoscopes s'est réalisée ou pas, comme par exemple : "De nouvelles idées et des projets se développeront".

Un moyen de quantifier la pertinence d'un profil psychologique est de faire choisir par une personne un profil parmi plusieurs comme étant celui qui lui ressemble. De même, un moyen de quantifier la réalité d'une prédiction personnelle est de proposer plusieurs prédictions et de faire choisir à une personne celle qui lui semble la plus proche de ce qui s'est réalisé.

methodeLa démarche scientifique

Trois conditions fondamentales sont nécessaires pour la validité des tests statistiques :

  1. Un protocole expérimental est soigneusement défini avant l'expérience. Après quoi, on s'y tiendra rigoureusement. Il est hors de question de modifier après coup les données, par exemple en éliminant les cas qui « ne marchent pas ». Cela doit sembler évident, mais de telles manipulations sont courantes dans la littérature consacrée aux fausses sciences, parfois dans le but de tricher, mais quelquefois même en toute bonne foi !

    Un petit nombre de paramètres, qui sont censés varier avec eux, sont choisis. On choisira des paramètres qui peuvent être quantifiés. On établira alors, strictement, le corpus des données.

  2. Les données sont analysées statistiquement pour tester l’aspect significatif des résultats obtenus (tests de confiance, analyse des biais possibles, etc.)

  3. Tous les résultats sont publiés dans un compte-rendu d’expérience.

proposition de test 1

Expérience test sur les horoscopes

On cherche à tester la validité des horoscopes des journaux. Pour cela, on vérifie s'il y a une corrélation entre le signe de naissance d'un sujet et ce qu'il choisit à posteriori comme horoscope parmi les 12 qui lui sont proposés en cachant le signe associé.

methodeProtocole expérimental

  • On choisit un horoscope d'une revue populaire, que les élèves ne lisent pas. Il est préférable qu'ils ne soient pas au courant de l'expérience à ce moment, pour éviter qu'ils cherchent à lire des horoscopes.
  • On enlève les signes du zodiaque sur l'horoscope, et on cache toute information qui permettrait de repérer un signe (comme le titre ou quelque chose indiquant que c'est le premier ou le dernier).
  • A la fin de la semaine dont on a pris l'horoscope, on demande à chaque élève de choisir le texte correspondant le mieux à sa semaine. Le résultat pour cette mesure est "correct" ou "faux".
  • Interprétation des résultats : Si les prédictions de l'horoscope étaient justes, tous les résultats devraient être corrects. Si une seule mesure n'a pas le résultat "correct", on peut on conclure que l'horoscope ne donne pas toujours de bons résultats.
  • On peut aller au-delà, et tester si l'horoscope donne des résultats qui sont significativement différents de résultats aléatoires ou pas. Si le résultat d'une mesure est parfaitement aléatoire, il a une chance sur 12 d'être "correct". La moyenne des résultats des mesures doit donc se rapprocher de 1/12 quand le nombre de mesures augmente.

On dispose donc de N élèves répartis dans p=12 signes du zodiaque. Il est important que la taille de l'échantillon soit suffisante pour que le nombre d'élèves par signe soit suffisant (au moins 5).

Supposons qu'on ait f1, f2,....f12 élèves dans chaque signe. Si la répartition était seulement due au hasard, on aurait, en moyenne, g = N/12 élèves dans chaque signe i.

On calcule alors Q = Σ[(fi-g)2/g]. Cette quantité est une mesure de l’écart entre le nombres moyen g et ceux observés (f1,f2...f12).

conclusionInterprétation

Interprétation : Il existe des tables qui donnent la probabilité pour que les écarts observés puissent être dus au hasard. Cette valeur, χ2 p-1, a, dépend du nombre de degrés de liberté (ici p-1=11) et d'un seuil de tolérance, a. Les études statistiques choisissent en général un seuil de tolérance de 5%.

Avec une tolérance de 5% et 11 degrés de liberté, le tableau montre que χ2 11,5% vaut 19,68. Cela veut dire que Q sera supérieur à 19.68 dans 5% des cas.

Si Q est supérieur à χ2 p-1, a, on peut rejeter l'hypothèse que la répartition des élèves est aléatoire.

Cet outil permet de faire le test.

Un groupe témoin avec de faux horoscopes peut être constitué avec l'utilisation de générateurs aléatoires accessibles sur le Web.

Proposition de test 2

Expérience test sur les horoscopes - 2

Résumé: On cherche à voir si un sujet se reconnaît dans son thème astral, ou s'il reconnaît quelqu'un d'autre qu'il connaît.

methodeProtocole expérimental

  • On demande aux élèves de chercher leur lieu, date et heure de naissance, et de remplir un formulaire.
  • Le thème astral de chaque élève est défini par l'enseignant. Il existe des sites en ligne qui calculent automatiquement les thèmes.
  • On soumet à chaque élève l'ensemble des thèmes en lui demandant de retrouver celui qui lui ressemble le plus.
  • On peut aussi demander à l'élève de retrouver les thèmes qui lui semblent correspondre à ses camarades.
  • On peut aussi tester un seul élément du thème, comme par exemple l'ascendant en soumettant à chaque élève des thèmes correspondant à son signe avec plusieurs ascendants.

Biais possible : Si un élève a déjà lu un thème astral pour lui-même et que celui-ci ressemble à celui donné, il risque d'être biaisé dans la reconnaissance (positivement s'il croit en l'astrologie et négativement s'il n'y croit pas). On limite ce biais en demandant la reconnaissance de quelqu'un d'autre. On peut aussi exclure tous ceux qui disent avoir déjà lu un thème astral pour eux-mêmes par le passé.

Une alternative est de proposer le même thème à tous les élèves et que chacun dise s'il se reconnaît parfaitement, un peu, ou pas du tout dans cette description. Le scénario du test doit empêcher que les élèves interagissent avant de faire leur choix. Il est intéressant ensuite d'analyser les phrases qui ont amené les élèves à se déterminer. Cette expérience est décrite dans un rapport de monitorat du CIES de Grenoble, référencé plus loin.

Tester la réussite scolaire ?

On peut vouloir chercher si le signe solaire des élèves influe sur leurs résultats scolaires. Si les signes ont une influence, on devrait trouver plus d’élèves dans certains des 12 signes du zodiaque.

Le biais de la date de naissance

Mais il faut faire attention aux possibles biais cachés.

Le signe astrologique est lié à l'âge, et l'âge a un impact sur les résultats scolaires, comme le montre une étude sociologique de Julien Grenet, « La date de naissance influence t-elle les trajectoires scolaires et professionnelles ? » .

Effet de la date de naissance sur la scolarité
resutatscol.png
Proportion d’élèves ayant au moins un an de retard scolaire à l’âge de 7, 11 et 15 ans en fonction de leur mois de naissance.
Crédit : Julien Grenet « La date de naissance influence t-elle les trajectoires scolaires et professionnelles ? », Revue économique 3/2010 (Vol. 61), p. 589-598.

On peut noter que s'il y avait un effet du signe astrologique sur les résultats scolaires, cela serait apparu sur l'étude ci-dessus, qui porte sur des dizaines de milliers d'élèves.

Webographie

Il existe des prédictions dans beaucoup d'autres domaines, ce sont celles des météorologues, des banquiers, des pronostiqueurs sportifs, des économistes, des hommes politiques... Ces prédictions peuvent aussi être testées.