À tous ceux qui pensent que l’AIMSIB se complaît perpétuellement dans la dénonciation systématique des effets adverses liés aux produits de santé, considérez ceci : un jour de 2008, les autorités sanitaires françaises se sont crues confrontées à une avalanche d’effets secondaires post-vaccinaux alors que la publication à l’origine de cette crainte ne le montrait même pas. Ce qui est intéressant ici c’est d’étudier la raison pour laquelle nos élites ont perçu une catastrophe sanitaire dont l’existence cependant possible n’avait pas été établie, et la manière qu’ils ont choisie pour nous camoufler leurs pseudo-découvertes de l’époque. Ce qui du coup revient à expliquer les raisons pour lesquelles ils ne voient toujours rien venir ou affectent de ne jamais rien voir en matière d’effets secondaires post vaccinaux : car aucune de leurs désastreuses méthodes de travail n’a jamais changé depuis 2008. Ceci a l’air compliqué, voire obscur ? Presque pas, Bernard Guennebaud est de retour ! Bonne lecture.
|
Résumé Le fameux signal statistique sur les « observants » au calendrier vaccinal fit beaucoup de bruit à partir du 25 septembre 2008. En réalité il n’existait pas ! Ce fut le fruit de 3 erreurs cumulées : |
Introduction
Réunis en urgence, les Comités institutionnels, sans nier l’existence du signal statistique, affirmeront que le résultat avait un très fort risque d’être aléatoire alors qu’il n’était que de 5 %.
Cette affaire offre l’opportunité de rappeler certains fondamentaux incontournables des tests statistiques et qui semblent totalement ignorés et pourrait précipiter l’expertise dans le ridicule s’il y avait un public pour le comprendre.
Chacun se souvient du fameux résultat significatif trouvé par l’équipe de Marc Tardieu sur les enfants dits « observants » au calendrier vaccinal et qui étaient statistiquement trouvés plus à risque de sclérose en plaques s’ils étaient vaccinés plus tard contre l’hépatite B avec le vaccin Engerix B de GSK. Ce fut une énorme affaire qui s’étala sur la place publique et qui mis le président du CTV Daniel Floret en ébullition avec réunion au ministère dès le mercredi 24 sept 2008, la publication étant prévue pour le 8 octobre (*). Le lendemain à 9h45, le journal Le Monde annonce qu’il s’est procuré l’étude et parle d’un résultat significatif pour les ‘’observants’’ au calendrier vaccinal. Daniel Floret, constatant que la presse s’était déjà emparée du sujet (informée par qui ?), annonce aussitôt une conférence de presse pour l’après midi. Réunion en urgence du CTV (pour le dimanche qui suivait, avait même dit son président …) et de la Commission nationale de pharmacovigilance le lundi avec publication de son compte-rendu le lendemain (généralement le délai est d’au moins 8 jours).
(*) Pour l’anecdote, c’est la revue britannique [3] qui allait publier l’article qui avait lancé l’affaire en annonçant que la publication, prévue pour le mois de décembre, était avancée de 2 mois en raison d’un résultat important pour la France. Notons que la Grande Bretagne ne vaccinait pas les enfants contre l’hépatite B (de même d’ailleurs que la Suède ainsi que d’autres pays européens). Cette initiative a sans doute surpris les auteurs qui avaient prévu d’annoncer le résultat par une conférence de presse le 8 octobre …
La conférence de presse de Marc Tardieu, annoncée pour le 8 octobre, jour de la publication de l’étude, sera INTERDITE par le ministère une heure avant au motif qu’il ne pouvait parler le jour de la publication de l’avis du HCSP. Elle n’aura JAMAIS lieu.
Le 14 octobre, dans un communiqué, l’Académie de Médecine « regrette … la médiatisation hâtive » [5]. Fin octobre le journal Le Monde note que la conférence de presse de Marc Tardieu n’a toujours pas eu lieu. Le 4 mars 2009, à un colloque(**) sur les vaccinations organisé par des parlementaires à la Maison de la Chimie, le sénateur Paul Blanc annoncera que Marc Tardieu devait venir mais »il n’est pas venu » se contentera-t-il de dire…
(**) Pour donner une idée de l’importance de ce colloque auquel j’avais assisté, 4 grands producteurs de vaccins étaient représentés ; le directeur général de la Santé Didier Houssin manifesta son désir de pandémie, inévitable et qui devrait arriver un jour ou l’autre ; un mois plus tard, il allait être servi ! la ministre Roselyne Bachelot viendra y faire un discours.
Aussi incroyable que cela puisse paraître, il n’y avait en réalité AUCUN signal !!! Aucun commentateur de cette affaire ne s’en était aperçu. La démonstration de ce fait va me permettre, chemin faisant, de mettre en évidence de grossières erreurs techniques communes à toute l’expertise française et internationale. Elles ne concernent donc pas que les auteurs. C’est d’ailleurs pourquoi aucun commentateur ‘’autorisé’’ n’en avait pris conscience.
Le groupe des « observants » au calendrier vaccinal
Le 8 octobre 2008 les auteurs publiaient [3] un résultat significatif relatif au sous-groupe qualifié »d’observants au calendrier vaccinal », c’est à dire les enfants, cas et témoins, ayant reçu 4 DTP, 1 ROR et 1 BCG avant l’âge de 2 ans. Bien que publié près d’un an plus tard, ce résultat complète les données et tests de la publication de décembre 2007 sur l’apparition de la sclérose en plaques. Les auteurs y ont trouvé un facteur d’exposition donnant un signal statistique avec un odds ratio OR=2,77 et un intervalle de confiance IC 95% [1,23 6,24] significatif. Voici la conclusion du résumé :
La vaccination contre l’hépatite B n’augmente généralement pas le risque de démyélinisation inflammatoire du système nerveux central pendant l’enfance. Cependant, le vaccin Engerix B semble augmenter ce risque, en particulier pour la sclérose en plaques confirmée, à long terme. Nos résultats doivent être confirmés dans les études futures.
Voici les données : « Les observants au calendrier vaccinal »
| Vaccinés hépatite B | 72 cas dont 30 vaccinés par Engerix B | 347 témoins dont 91 vaccinés par Engerix B |
| Engerix B < 3 ans | 11 | 43 |
| Engerix B > 3 ans | 19 | 48 |
| Non Vaccinés par Engerix B | 42 | 256 |
Pour que ce soit clair, les 72 cas et leurs 347 témoins étaient tous observants au calendrier vaccinal. Les éventuels cas ‘’observants’’ et qui n’avaient aucun témoin associé observant n’avaient pas été retenus. Le groupe significatif est caractérisé par (ligne 3) :
1- 30 cas et 91 témoins qui avaient été vaccinés par Engerix B ;
2- pour 19 de ces cas, la première atteinte démyélinisante était apparue plus de 3 ans après cette vaccination.
Il s’agit donc d’un test sur des délais c’est à dire ici sur une fenêtre temporelle.
Ce terme serait mieux choisi mais il est long à écrire, aussi je parlerai de délais. En conséquence, la seule bonne méthode consiste à comparer directement les nombres de cas apparus au cours du délai testé (au delà de 3 ans) et du délai complémentaire (les 3 premières années), soit 19 cas d’une part et 11 d’autre part. Il faut tester avec la seule modélisation disponible dans cette situation, une loi de Poisson. Cela demande des délais précis, aussi je vais supposer que les 19 cas apparus au delà des 3 premières années le furent au cours des années 4, 5 et 6 cumulées. Comme le résultat ne sera pas significatif, il le serait encore moins s’il y avait moins de cas sur cette période. On compare donc 11 et 19 sur une même durée en supposant que les nombres de cas apparus suivent une même loi de Poisson. Le test donne une probabilité de 7,1% pour obtenir un écart au moins aussi important que celui observé. Ce n’est donc pas significatif car il faudrait qu’elle soit inférieure à 2,5% au niveau usuel du test significatif en épidémiologie.
La question se pose alors : pourquoi le test cas-témoins est-il significatif alors que celui qui porte directement sur les cas ne l’est pas ?
La réponse est double :
1- Le test cas-témoins compare les cas aux témoins. Un résultat significatif signifie seulement que les proportions de cas par rapport aux témoins n’évoluent pas de la même façon quand on passe du délai testé à son délai complémentaire. Par contre, il n’apporte aucune information sur la variation du nombre de cas entre ces 2 délais alors que le test sur les cas par une loi de Poisson apporte cette information. Utiliser le cas-témoins pour tester sur des délais est une aberration car les délais constituent par eux-mêmes un système de référence où on attend le même nombre de cas sur des durées égales, par exemple chaque année. L’objet du test par une loi de Poisson sera de vérifier si les écarts observés sont compatibles avec des variations aléatoires. En utilisant des témoins on introduit un deuxième système de référence qui n’a rien à faire dans l’étude de la répartition des cas selon les délais.
2- Le test cas-témoins pratiqué par les auteurs comporte en plus une erreur technique monumentale : ils ont conservé dans les calculs les cas et témoins non vaccinés Engerix B pour lesquels le délai entre la vaccination par Engerix et la date du début de la maladie n’est pas défini.
Comment ce pseudo-signal a-t-il été créé ?
On peut le comprendre facilement : il y a 2,5 témoins exposés pour un cas exposé (48/19). Mais pour ceux qui ne devraient pas figurer dans les calculs car non vaccinés par Engerix B, il y a 6 témoins pour un cas (256/42).
C’est cette différence importante de proportions qui crée le signal qui n’existe que parce que les auteurs ne savent pas utiliser correctement les tests statistiques. Mais ils ne sont pas les seuls et ils ne sont pas individuellement responsables, c’est leur formation qui est en cause, d’ailleurs personne ne s’en était aperçu.
Toute cette agitation (d’ailleurs dénoncée par l’Académie de Médecine dans son communiqué du 14 octobre 2008 [5]) parce que pour les experts il va de soi que l’on peut laisser traîner dans les calculs des cas non vaccinés pour étudier l’existence et la durée d’une éventuelle incubation d’une maladie à partir de cette vaccination. Analogiquement cela reviendrait à utiliser des souris non fécondées pour étudier la durée de gestation !
À peine croyable !!!
En fait cela s’explique par l’usage qui est fait du logiciel de statistique. Une étude épidémiologique débute par la collecte de données médicales. Celles qui seront retenues pour l’étude sont envoyées au logiciel. Les auteurs choisissent un facteur d’exposition comme celui utilisé ici : « la maladie apparaît plus de 3 années après la vaccination par Engerix B ». Le logiciel sélectionne alors les cas et témoins qui satisfont à ces conditions. Il trouve 19 cas et 48 témoins. Ce seront les cas et témoins dits ‘’exposés’’. Les autres, tous les autres, seront les ‘’non exposés’’. Parmi eux il y aura non seulement les cas et témoins vaccinés par Engerix B mais aussi ceux qui ne l’ont pas été et qui n’avaient aucune chance d’appartenir aux délais testés.
Peut-être que certains lecteurs ne sont pas encore convaincus par mes explications. Alors voici une simulation pédagogique montrant que les Shadocks sont dépassés !
Quand 15 devient significativement supérieur à 15 !
Voici ce qu’on peut obtenir en modifiant un peu les données relatives aux observants et en leur appliquant la même méthode que celle des auteurs, méthode validée à l’international comme l’attestent d’autres publications comme celle de Langer Gould qui présente 72 tests tous sur des délais, tous en cas-témoins et tous conservant dans les calculs les cas et témoins pour lesquels les délais ne sont pas définis !
Pour distinguer les nombres égaux, je les ai marqués par des primes.
| Vaccinés hépatite B | 75 cas dont 30 vaccinés
Engerix B |
405 témoins dont 90 vaccinés Engerix B |
| Engerix B < 3 ans | 15 | 45 |
| Engerix B > 3 ans | 15’ | 45’ |
| Non Vaccinés
Engerix B |
45’’ | 315 |
Quand on teste par rapport aux 3 premières années, c’est à dire avec 15 cas et 45 témoins exposés on aura 15’+45’’=60 cas non exposés ainsi que 45’+315=360 témoins non exposés. Le test est significatif. On l’acceptera aisément car 15/45=1/3 alors que 60/360=1/6 qui donne un odds ratio OR=2.
La probabilité associée au test vaut 1,71 %. Selon l’usage, la conclusion sera que le premier 15 est statistiquement augmenté par rapport au second 15’ !!!!!
Maintenant, si on teste par rapport aux cas et témoins apparus après les 3 premières années, les cas et témoins exposés sont 15’ et 45’ alors que les cas et témoins non exposés seront 15+45’’=60 et 45+315=360, les non vaccinés Engerix étant non exposés quels que soient les délais.
La conclusion sera donc que ce 15’ est statistiquement augmenté par rapport au premier 15 qui lui même est statistiquement augmenté par rapport au second, le 15’ ….Non, les Shadocks ne sont pas morts !!!
Les témoins sont neutres parce qu’ils sont des témoins !
La principale erreur commise par l’expertise ici est qu’elle admet comme allant de soi que les témoins sont neutres par rapport aux délais. En fait, avec ces deux systèmes de références que sont les délais et les témoins, on dispose de deux tests très différents et qui ne testent pas la même chose. Cependant, si les témoins sont neutres par rapport au délai testé et à son délai complémentaire -ce qu’on teste en modélisant par une loi de Poisson – les deux tests donneront les mêmes résultats. C’est à dire qu’ils seront tous les deux non significatifs ou tous les deux significatifs avec à peu près la même force. Dans ces conditions, un résultat significatif en cas-témoins indiquera un résultat significatif par Poisson. Mais pour vérifier que les témoins sont neutres, il faut les tester directement sur les délais par Poisson. Autant le faire de suite sur les cas sans passer par l’inutile et risqué détour des témoins.
Que tout soit très clair : Quand on teste sur des délais, les témoins sont inutiles. Espérons que maintenant vous soyez tous convaincus qu’il y a là un très gros problème méthodologique que nous n’avons pas le droit de laisser passer sans rien dire ni rien faire. Pour contribuer à améliorer notablement la qualité de l’expertise, si celle-ci veut bien un jour accepter de se remettre en cause.
Car avec ce système qui poursuit imperturbablement sa route et qu’on appelle la santé publique, la santé du public est entre de bonnes mains !!!
Une bonne idée mal réalisée ?
Et si les auteurs avaient eu une bonne idée mais l’avaient seulement mal réalisée en ne choisissant pas le meilleur délai ? En effet, les commentateurs « autorisés » n’ont pas montré qu’il n’existait pas de signal pour un autre délai que celui choisi par les auteurs et qui donnerait le résultat qu’ils pensaient avoir obtenu. Par exemple pour les années 3+4 cumulées qui paraissent beaucoup plus favorables. Voici une simulation compatible avec les données publiées et qui en montre la possibilité avec, pour les vaccinés Engerix, 16 cas sur les années 3+4 cumulées et 7 pour chacune des années 1+2 et 5+6 cumulées. En modélisant par une loi de Poisson, on compare les 16 cas apparus au cours des années 3+4 aux 14 cas apparus au cours des années 1+2+5+6. La probabilité significative associée au test est 2,1 %.
| Années
Cas vaccinés HB |
1
14 |
2
14 |
3
18 |
4
16 |
5
9 |
6
3 |
>6
6 |
| CAS vaccinés Engerix B | 11 cas | 19 cas > 3 ans | |||||
| Répartition par année | 3 | 4 | 4 | 12 | 4 | 3 | 0 |
| avec 2 années cumulées | 7 | 16 | 7 | 0 | |||
Un biais de sélection caractérisé
En réalité pour couronner le tout, il existe aussi, très vraisemblablement, un biais de sélection vers lequel j’ai été conduit par la remarque suivante :
Si le fait d’être observant au calendrier vaccinal favorisait l’apparition d’atteintes démyélinisantes et de scléroses en plaques après vaccination hépatite B, cela devrait réduire la durée entre cette vaccination et l’apparition de la maladie.
Le signal devrait donc se manifester de préférence sur les premières années plutôt qu’au delà.
Voici la répartition des cas vaccinés pour Engerix B :
| Années | 1, 2 et 3 | >3 |
| Cas vaccinés Engerix B | 25 | 25 |
| Cas vaccinés Engerix B et »observants » | 11 | 19 |
On constate que le critère »observants » élimine beaucoup plus de cas (14) parmi les 3 premières années que les suivantes (6) alors que les nombres de vaccinés Engerix B sont initialement les mêmes (25). Il y a au moins une raison bien spécifique à cela. En effet, n’étaient retenus dans l’étude que ceux dont la première atteinte apparaissait avant la limite de 16 ans. Aussi, ceux qui ont été vaccinés dans les 3 années qui précèdent la barrière à 16 ans ne pourront pas figurer parmi ceux dont la première atteinte est apparue au delà des 3 premières années :
Ceux vaccinés par exemple en 1996 à l’âge de 14 ans étaient nés en 1982. Il y avait donc très peu de chance pour qu’ils reçoivent le vaccin ROR avant l’âge de 2 ans. Aussi, ce critère les élimine automatiquement. Par contre, ceux qui figurent parmi les 25 cas vaccinés Engerix B et apparus au delà de la troisième année devaient avoir été vaccinés plus jeunes (en particulier en classe de sixième au collège entre 1994 et 1998) et pouvaient donc être nés plus tard, ce qui offrait plus d’opportunités pour qu’ils aient aussi reçu le ROR avant l’âge de 2 ans.
Le critère « avoir reçu le ROR avant 2 ans » va donc créer un biais de sélection caractérisé en éliminant spécifiquement des cas, ce qui ne permet pas d’étudier valablement la question posée. Il faudrait procéder ainsi : les auteurs connaissent les dates des vaccinations hépatite B ainsi que les dates d’apparition de la première atteinte ainsi que de la sclérose en plaques. Ils disposent aussi du carnet de santé. Il devrait donc être possible d’étudier si on observe des différences significatives entre ces délais selon le statut vaccinal de l’enfant en évitant de mélanger des enfants ayant des suivis très différents comme des enfants vaccinés à 11 ans et d’autres à 15 ans par exemple avec la même barrière à 16 ans. Il devrait paraître indispensable d’étudier tout particulièrement ceux qui ont été vaccinés au collège en classe de sixième et qui ont tous la même durée de suivi.
Par exemple, avec les données disponibles on peut dire que l’âge moyen de la première atteinte démyélinisante pour ceux qui convertiront en sclérose en plaques dans les limites du suivi est 11,5 ans contre 7,8 pour les premières atteintes démyélinisantes non devenues SEP. Comme la date retenue est la date de la première atteinte et non du début de la SEP proprement dite, les âges des 2 groupes peuvent être comparés. Cet écart de 3,7 années est énorme comparé aux âges absolus. Pour ces âges moyens, les données publiées cumulent les cas vaccinés et non vaccinés contre l’hépatite B.
Il serait évidemment très intéressant de connaître ces âges moyens pour, d’une part le groupe des vaccinés HB et d’autre part celui des non vaccinés HB. Supposons que l’écart entre les âges moyens des SEP et des non SEP soit beaucoup plus élevé dans l’un des groupes que dans l’autre, on aurait alors une information très importante. Elle est enfermée dans les données dont les auteurs disposent. Elle doit être publiée.
On disserte beaucoup sur la démocratie sanitaire. Ce fut l’un des thèmes du congrès de la SFSP à Lille (4-6 nov 2011) et auquel j’avais assisté.
Si l’on veut que la démocratie sanitaire ne soit pas un vain mot, il serait indispensable que les données des études soient accessibles aux citoyens motivés qui en feraient la demande.
Invocation au dieu Hasard pour casser un signal qui n’existait pas
Cette affaire fut très révélatrice car, à l’exception des auteurs, les commentateurs »autorisés », agissant individuellement ou regroupés en Comités officiels, furent très motivés pour casser ce signal. Aucun ne fut capable de comprendre comment il avait été artificiellement crée par le cumul d’erreurs techniques monumentales. Cette incapacité va se révéler et s’expliciter par les arguments qu’ils vont avancer pour tenter de casser ce signal sans pour autant en nier l’existence comme il était pourtant possible et facile de le faire. Tous vont affirmer péremptoirement que ce résultat « présentait les caractéristiques d’un résultat fortuit « .
– Le risque de première espèce
Ce fut donc pour tenter de neutraliser l’impact médiatique du pseudo-signal statistique relatif aux »observants » au calendrier vaccinal, que le risque de première espèce fut avancé. Tout particulièrement par la Commission nationale de pharmacovigilance qui développa cet argument dans son compte-rendu du 30 septembre 2008 [4].
Compte tenu de l’ensemble des analyses de sous-groupes réalisées, et donc de la multiplicité des tests qui ont été effectués (environ 160), il existe une augmentation très importante du risque de première espèce, et la probabilité de détecter une association significative par le simple fait du hasard est donc très élevée.
Le risque de première espèce sera aussi avancé sur la place publique, d’abord par le président en exercice du CTV Daniel Floret au cours de sa conférence de presse du 25 septembre 2008 puis aussi, à la télévision, par Dominique Costagliola considérée comme une de nos meilleurs experts sur le plan théorique : « – à force de triturer les données on finit toujours par trouver quelque chose ! »
Affirmation confirmée dans le résumé du compte-rendu de la Commission nationale de pharmacovigilance : «- les résultats de l’analyse du sous-groupe d’enfants ayant respecté le calendrier vaccinal présentent les caractéristiques d’un résultat fortuit. »
– Le risque de première espèce, c’est quoi ?
Admettons que l’on veuille veut tester un dé pour savoir s’il est équilibré par rapport à l’as.
S’il l’est effectivement et qu’après avoir réalisé une série de 120 jets on décide de tester cette hypothèse au seuil de 5%, on aura 5% de chances d’obtenir un résultat significatif d’un déséquilibre. Le risque de première espèce est, par définition, le risque de refuser une hypothèse vraie. Ce risque sera ici de 5 %.
Si on répète 100 fois cette expérience de façon indépendante, ce qui demande de lancer le dé 12 000 fois, on obtiendra en moyenne 5 expériences (constituées chacune de 120 jets) qui donneront un résultat significatif d’un déséquilibre alors que le dé est parfaitement équilibré par rapport à l’as. Mais encore faudra-t-il avoir la possibilité de lancer le dé 12 000 fois et de façon aléatoire à chaque fois. C’est bien le problème pour cette affaire sur les »observants » au calendrier vaccinal :
Il y a eu confusion entre une multiplicité de tests crée par :
1 – la répétition d’une expérience en testant à chaque fois la même chose mais avec de nouvelles données
2 – en faisant varier l’objet du test sur les mêmes données.
L’exploration des données
Ayant lancé 120 fois un dé on décide d’explorer les données ainsi : d’abord on teste si le nombre d’as obtenus est conforme à la moyenne attendue, soit 20 si le dé est équilibré et qu’il a été correctement lancé pour créer à chaque jet des conditions aléatoires. Ce sera le premier test. Puis on teste l’équilibre du dé par rapport au nombre de 2 obtenus, de 3 etc. Puis on poursuit avec l’événement »on a obtenu l’as ou le 2 » dont la moyenne attendue est 40. On poursuit ainsi en testant sur les jets de rang pair, de rang impair, entre le 32ième jet et le 87ième etc… On peut ainsi multiplier les tests sur les mêmes données. Il faut évidement comprendre qu’on ne crée pas de nouvelles données en faisant varier l’objet du test au sein des mêmes données. L’augmentation du risque de première espèce n’est donc pas engagé dans ce processus.
C’est exactement ce qui se produit pour la vingtaine de tests présentée dans le tableau 2 de la publication Mikaeloff-Tardieu de décembre 2007 [2], où les auteurs modifient l’objet du test au sein des mêmes données exactement comme avec les 120 jets du dé. Il n’y a aucune donnée nouvelle.
Il s’agit, sans discussion possible, d’une exploration des données collectées, en aucun cas de la répétition d’une expérience qui apporterait de nouvelles données comme ce pourrait être avec les données allemandes ou italiennes ou pour une autre période suffisamment décalée.
Dans la situation présente, affirmer qu’il s’agirait du risque de première espèce revient à ceci :
Après avoir compté le nombre de voix obtenues par un candidat à une élection, puis compté les voix obtenues par de nombreux autres candidats, il serait affirmé très autoritairement que cela a très certainement modifié la proportion des voix obtenues par le premier candidat. Pour modifier ce nombre il faut soit retirer des bulletins de l’urne, soit en ajouter en provenance d’autres…
Conclusion
Avec cet article et le suivant j’espère faire comprendre que la collecte de données médicales, aussi importante qu’elle soit, n’est pas le seul problème. Que les conflits d’intérêts, aussi préoccupants qu’ils puissent être, ne sont pas tout. Il ne suffit pas de faire une collecte parfaite de données médicales et d’être totalement désintéressé pour produire des résultats incontestables.
Il faut aussi appliquer correctement les tests statistiques utilisés en toute fin d’étude pour que les données collectées révèlent ce qu’elles contiennent en secret et non pas d’autres choses qui ne s’y trouvent pas.
Un mésusage des tests statistiques peut tout aussi bien produire des signaux qui n’existent pas que neutraliser des signaux qui existent.
La compréhension des problèmes posés par l’utilisation des tests statistiques demande un investissement mental mais ce n’est pas si compliqué, il faut s’y plonger. L’eau est froide ? Il faut y aller, elle deviendra bonne !
Il FAUT y aller et s’investir suffisamment dans ce domaine car c’est la seule arme consistante pour avoir une chance non seulement de résister mais de passer à l’offensive face à une propagande qui n’a plus peur de rien sauf du ridicule.
Elle s’appuie, cette propagande, sur des résultats présentés comme étant LA SCIENCE alors que cette science pourrait aisément sombrer dans le ridicule. Mais pour être ridicule encore faut-il qu’il y ait un public, un public qui comprenne suffisamment comment elle procède, volontairement ou non – c’est selon les situations et peu importe – pour pouvoir lui crier au visage qu’elle est ridicule.
« Le pire de tout : ne pas savoir qu’on ne sait pas. » Bernard Guennebaud
Sources:
[1] https://academic.oup.com/brain/article/130/4/1105/275673 étude Mikaeloff-Tardieu février 2007. Texte complet en accès libre.
[2] http://archpedi.ama-assn.org/cgi/content/full/161/12/1176 étude Mikaeloff-Tardieu décembre 2007. Texte complet en accès libre.
[3] http://www.ncbi.nlm.nih.gov/pubmed/18843097 étude Mikaeloff-Tardieu octobre 2008. Résumé seul.
[4] http://ansm.sante.fr/var/ansm_site/storage/original/application/44c88f6d7ce134fc2c4f0a337ce33109.pdf Compte-rendu Commission de pharmacovigilance. (30 septembre 2008)
[5] http://www.academie-medecine.fr/la-vaccination-contre-lhepatite-b-en-france-maintien-des-recommandations-et-renforcement-de-la-couverture-vaccinale/ Communiqué de l’Académie de Médecine du 14 octobre 2008.
Quel silence !!! Il me rappelle le silence absolu lors de ma présentation sur le thème du « mésusage des tests statistiques en épidémiologie » au congrès Adelf-Sfsp des 4-6 octobre 2017 à Amiens (diaporama sur le site du congrès [1]). Pendant tout mon exposé (12mn) il n’y a pas eu le moindre bruit même quand j’ai dit, après avoir comparé aux souris non fécondées pour étudier une durée de gestation, « d’où l’importance du respect des critères mathématiques pour éviter le ridicule ! ». Pas une réaction audible !
Après que mon exposé ait été salué par des applaudissements nourris, ce fut à nouveau le silence absolu alors qu’il y avait 5mn d’échanges avec la salle. Je tente alors un « ça va ? » pour voir. Il y aura un hum féminin sur ma droite … Un modérateur va se dévouer pour dire que je citais des études anciennes (la plus anciennes datait de déc 2007, puis 2008 et oct 2014, c’était très anciens !) et qu’à ces époques (reculées sans doute ) « on n’avait que la cas-témoins ».
Un autre prendra la parole pour dire qu’on ne leur enseignait pas les lois de Poisson. C’est bien là une des causes des problèmes que je soulève ici. Ils font des centaines de tests sur des délais en cas-témoins car ils ne connaissent que cela alors que les lois de Poisson ont été inventées justement pour travailler sur des délais. Poisson est un mathématicien français de la première moitié du 19è.
Le problème c’est d’abord la formation. Avant de débuter la session à Amiens, un modérateur m’avait demandé si l’accepterai de former des médecins en une demi-heure. Si on me reposait cette question je répondrai qu’en une demi-heure on ne forme pas des médecins mais des assassins. Il faut commencer à dire les choses sur ces questions car elles sont trop importantes, trop lourdes de conséquences et trop ignorées, y compris parmi ceux qui critiquent l’expertise médicale, pour se taire plus longtemps afin de ne pas froisser les susceptibilités. Je ne cherche nullement à froisser les susceptibilités mais c’est inévitable.
Nous sommes dans une société dominée par les analphabètes du nombre, qui sont fiers de l’être et qui sont convaincus qu’il ne sert à rien de comprendre la logique des nombres car celle-ci ne peut être d’aucune utilité pour décrire le réel. J’ai pu lire cela il y a peu sur un site.
Rien n’est plus faux, c’est le contraire exact qui est vrai. Il faut en prendre conscience et j’espère que cet article et le suivant vont y contribuer.
Au congrès d’Amiens, avant le début de la session où j’intervenais, j’échangeais avec un autre intervenant. Je lui dit qu’après avoir collecté les données vous les envoyez au logiciel et basta … Il me répond « c’est tout à fait ça ! ». Oui, c’était facile à deviner vu ce que j’avais observé. Le logiciel ne peut faire que ce qu’on lui a appris.
[1] http://www.adelf-sfsp.fr/
Silence oui, mais que dire. C’est incompréhensible, sauf en creusant bien à condition d’en avoir envie.
Il est probable que c’est à cause de l’incohérence de l’étude elle-même ; qu’est-ce qui distingue les cas des témoins par exemple ?
Oui sans doute, on rentre des données dans un logiciel mal conçu et on obtient des résultats. C’est grave ! Mais au fait quelle était la conclusion de l’étude en question ? et quelle aurait du être cette conclusion si les données avaient été correctement analysées, s’il est possible d’en donner une conclusion.
Une réponse rapide Brigitte : en premier, ne pas s’occuper de ce que les données pourraient montrer mais d’abord regarder l’utilisation qui est faite des tests statistiques. C’est complètement délirant et international. Quand on réalise cela, que les données puissent nous apprendre ceci ou cela n’a que peu d’importance.
Pourtant, tu verras dans le second article à suivre que ces données nous montrent quelque chose de très intéressant sur le lien entre vaccination HB, atteintes démyélinisantes et SEP. Un peu de patience…
Ceci dit, ce n’est pas du tout incompréhensible. Ce que j’ai écrit est très clair et cohérent mais quand on n’a pas les bases, il semble que ce soit du chinois. Pourtant, le chinois peut aussi exprimer de très belles et bonnes choses. Mais il y a une barrière à franchir. Laisse tomber le chinois (la langue).
Ce que je décris ici est en réalité tout ce qu’il y a de plus basique et élémentaire. Il faudrait instituer une formation. Ces 2 articles peuvent faire partie de la formation écrite, c’est ce que j’ai essayé de faire en les rédigeant mais il faudrait sans doute aussi une formation orale pour voir où ça cloche, où sont les blocages. Je suis mauvais juge pour cela et j’ai du mal à concevoir qu’on puisse bloquer à ce point sur des choses aussi simples. C’est pourquoi il faudrait les traiter oralement comme avec un psy si j’ose dire !
Quand on comprend il y aurait de quoi mourir de rire si ce n’était pas dramatique. Je l’ai écrit, il ne faut pas lâcher, nous serions IMPARDONNABLES
Brigitte, je reprends ta phrase :
« C’est incompréhensible, sauf en creusant bien à condition d’en avoir envie. Il est probable que c’est à cause de l’incohérence de l’étude elle-même ; qu’est-ce qui distingue les cas des témoins par exemple ? »
Elle montre que les bases sur ces questions te font défaut. Ce n’est pas pour te le reprocher, on a le droit de ne pas comprendre le chinois quand on n’est pas chinois. Mais il ne faut pas en rester là et ce n’est pas si difficile de faire un pas significatif même s’il faudra un peu de temps. Il faut que j’explique les bases et que vus fassiez un effort pour vous les appropriez. Il le faut !
D’abord le principe d’un test. Sous forme qualitative, nous faisons ça tous les jours des centaines de fois et depuis le plus jeune âge. J’observe un animal et je me demande si c’est un chat. Le chat est en fait un modèle théorique avec un ovale avec une queue, un rond au dessus avec des oreilles, des moustaches … C’est ce qu’on me présentait quand j’était tout jeune pour que je construise le modèle théorique du chat. En classe, l’instituteur puis le prof de français passaient la moitié du temps à forger en nous des modèles théoriques comme ceux du courage et de la témérité. Ensuite nous passions au test sur un personnage de la littérature : est-il courageux ou téméraire ? Nous faisions ainsi des tests qualitatifs.
Un soir d’élection il en va de même : mon quartier a-t-il voté comme la France, le résultat général tenant lieu de modèle théorique. Sauf qu’ici les données sont quantitatives et que notre cerveau est incapable de gérer spontanément de telles données de façon correcte. Mais le principe est le même : on compare des données observées avec un modèle théorique. Il est donc ESSENTIEL de disposer de modèles théoriques pour pouvoir tester comme il est essentiel de disposer des modèles théoriques du chat, du singe, du rouge, du cuivre, du courage et de la lâcheté pour pouvoir faire sa disserte le jour du bac.
Mais avez-vous, ceux qui liront ces lignes, au moins un modèle théorique en tête pour pouvoir envisager de tester des données observées ? La première carence est là sans doute.
J’aborderai cette question dans mon prochain commentaire.
L’article commente un seul test. je vais donc décrire plus précisément le modèle théorique qui doit être utilisé dans cette situation. D’abord un exemple « pédagogique » pour simplifier :
100 cas sont apparus dans l’année qui suit une vaccination contre 20 l’année suivante. Un tel écart est-il compatible avec des variations aléatoires ou peut-on envisager une cause particulière à l’origine de cet écart ?
Le modèle adapté, le seul disponible en fait, est la modélisation par une loi de Poisson qui est caractérisée, parmi les lois de Poisson, par un seul paramètre, sa moyenne qui est de plus égale à sa variance. On estime ce paramètre par les valeurs observés 100 et 20, soit 120 sur 2 ans soit une moyenne de 60 par année. On comparera les valeurs observées 100 et 20 à celles que donnerait une loi de Poisson de moyenne 60 et donc aussi de variance 60. Son écart-type est la racine carrée de 60 soit 7,75.
Il faut savoir que l’unité en proba-stats est l’écart-type et non pas 1. On évalue donc l’écart constaté entre l’estimation de la moyenne théorique, ici 60 et les valeurs observées 100 et 20, par le nombre d’écarts-type qui les sépare. Ici cet écart est 40 (60+40=100 et 60-40=20). On divise 40 par l’écart-type 7,75 soit 5,16. Il y a donc 5,16 écarts-type entre la valeur théorique (estimée) 60 et les valeurs observées. C’est un écart énorme : on admet que l’écart est significatif quand il dépasse 2 écarts-type. Il est donc très important et parait très peu compatible avec le hasard. On sera ainsi fondé à en chercher une raison particulière.
APPLICATION PRATIQUE
Les auteurs du test que j’ai commenté dans l’article veulent décider s’il y a eu significativement plus de cas apparus au delà des 3 premières années qui suivent un événement, en l’occurrence ici une vaccination HB, qu’au cours des 3 premières. Il y en a eu 11 sur les 3 premières années contre au plus 19 au cours des années 4,5,6.
Je modélise de la même façon par une loi de Poisson de moyenne 15 qui est à la même distance 4 de 11 et 19. La variance vaut aussi 15 et l’écart-type est la racine carrée de 15, soit 3,87. Je divise 4 par 3,87 qui donne 1,04.
Il y a donc 1,04 écarts-type entre la valeur attendue 15 et les valeurs observées 11 et 19 alors qu’il en faudrait au moins 2 pour avoir un écart significatif. On en est très loin. Il n’y a donc pas du tout de signal statistique contrairement à l’affirmation des auteurs. Affirmation qui n’a pas été démentie par les commentateurs « autorisés » qui n’y ont vu que du feu.
POURQUOI ? Auteurs et commentateurs « autorisés » n’utilisent pas le bon modèle. J’ai expliqué pourquoi mais je pourrai y revenir s’il le faut.
Bernard, merci pour tes explications. Mais le problème n’est pas là, tu sais très bien que je suis capable de comprendre les statistiques, je suis une matheuse, mais bizarrement j’ai toujours fait l’impasse sur les stat. C’est comme çà. Pourtant çà donne envie quand je sens cette passion que tu as, je serais tentée. Mais tu sais que j’approfondis d’autres sujets scientifiques et que oui, il faut dénoncer les aberrations des études statistiques mais bien plus dénoncer les manquements de la science de mon point de vue (qui diverge en cela du tien). A chacun son truc.
Non, ce n’est pas à chacun son truc, ce n’est pas « mon » truc. Les fautes de méthodologie révélées sur cette exemple ne sont pas des fautes de quelques auteurs et commentateurs, elles sont systémiques au moins en épidémiologie et à l’international. Elles pourraient aussi se retrouver en sociologie ou en biologie par exemples.
Ces outils mal adaptés et mal utilisés conduisent à des résultats qui sont affirmés comme des lois scientifiques pour devenir des lois de la société avec contraintes pénales. Nous pouvons tous souffrir, sans le savoir, des conséquences de ces fantaisies « scientifiques ».
Je l’ai écrit dans l’article, « l’expertise actuelle est dangereuse et potentiellement ridicule » et la seule chose qu’elle redoute c’est le ridicule. Mais pour être ridicule il faut un public qui comprenne suffisamment la situation et qui lui dise à cette expertise qu’elle est ridicule.
Si la réponse donnée est : « trop compliqué pour moi ; j’ai autre chose de mieux à faire ; ils peuvent continuer ainsi, il y a plus important » alors ils pourront continuer ainsi encore longtemps et cette fois ci en toute conscience.
Je donne le turc à tout le monde pour effacer un signal statistique gênant en utilisant la méthode mise en oeuvre involontairement dans l’exemple que j’ai traité dans cet article :
Ayant obtenu ce résultat gênant statistiquement très significatif, je réalise sur les mêmes données une succession de tests en cas-témoins sur des délais assez longs. On peut en avoir autant qu’on veut en faisant varier le délai et les résultats seront automatiquement non significatifs dès que le délai testé sera assez long, c’est structurel car alors les cas et leurs témoins associés sont en phase par rapport au délai testé : si le cas est dans le délai, ses témoins y seront aussi et inversement, il n’y a plus d’aléatoire. C’est ce qui se produit dans l’étude en question. Les tests sur des délais sont des pseudos-tests qui ne testent rien et il y en a au moins 150.
Obtenant ainsi 30 ou 50 tests non significatifs je déclarerai que le premier test était marqué par le risque de première espèce comme l’ont fait les Comités d’experts. La Commission nationale de pharmacovigilance c’est au moins 30 experts, le CTV c’est une vingtaine plus tous ceux qui s’étaient exprimés en individuels.
Non, nous n’avons pas le droit de laisser passer de telles choses. Ce n’est pas une question de passions personnelles. Je ne suis pas statisticien mais maths pures et je suis beaucoup plus passionné par la dimension vibratoire de la vie que par des données statistiques qui m’ennuient. Mais nous n’avons pas le choix, il y a aussi un combat à mener contre un ennemi qui n’a peur de rien sauf du ridicule.
Ceci dit, je garde, pour d’autres raisons, mon admiration pour les auteurs comme Marc Tardieu et ses équipiers car même s’ils ont fait des erreurs techniques – mais ils n’ont fait qu’utiliser les méthodes en vigueur dans leur discipline – ils ont aussi fait preuve de beaucoup de courage et cela vous pourrez le comprendre avec le prochain article à suivre, ce signal qui n’existait pas ayant pu être le train qui en cachait un autre… Mystère ?
Bernard, n’interprète pas ! Je suis d’accord et même admirative de tes recherches sur ces sujets et de ta volonté de les faire connaître, de lancer l’alerte avec forces explications et justifications. C’est indispensable sans aucun doute. J’adhère complètement. Mon créneau est différent et complémentaire, c’est tout. Au final nous avançons dans le même sens.
Merci pour cet article !
Pour un lecteur comme moi, ce qui est le plus intéressant, c’est la conclusion : à savoir que les outils utilisés en recherche médicale ne sont pas toujours les bons, mais il est vrai que c’est très difficile, à mon niveau, de rentrer dans la démonstration, et de la comprendre.
Ce qui pourrait aider peut être c’est : une sorte de résumé – définition de chaque terme statistique : loi de poisson, cas témoin, OR, etc. Définition très succincte, puis un résumé des cas où ça s’applique, de façon la moins rédigée possible. Voire des compléments d’explication des termes et concepts sous forme schématique, pour que nos cerveaux, le mien en tout cas, puissent se raccrocher à quelque chose. Avec ces bases j’imagine que le reste deviendra plus facile à lire.
Pour confirmer ce qui a été dit, les stats restent quand même un monde très à part, dans les termes et dans les concepts.
J’ai eu (il y a longtemps …) une formation en biologie universitaire, classique, les stats étaient enseignées mais ça n’allait pas du tout aussi loin. Et c’était déjà difficile.
Difficile de réagir donc avec ce niveau de formation de base.
Par contre, l’absence de réaction du monde scientifique mis en cause, celui qui utilise les mauvais outils, m’étonne beaucoup plus. J’imagine que l’article a été lu par beaucoup, je m’attendais à une tentative d’explication de la part par exemple des auteurs cités. Ce vide là est étonnant.
Olive verte, au congrès Adelf-Sfsp d’Amiens (asso des épidémiologistes de langue française et société française de santé publique) il y a un peu plus de 2 ans, j’avais en face de moi plus d’une centaine d’épidémiologistes dont le président de l’Adelf. C’était la session sur les fondamentaux en épidémiologie. Je l’ai raconté dans mon premier commentaire, ils étaient « sciés », le modérateur qui était intervenu avait le visage défait alors qu’il était arrivé très tonique. Il y a de quoi d’ailleurs !!!
Ce qui les avait le plus frappé, frappés comme un coup sur la tête, c’est le fait que le test cas-témoins est totalement inadapté pour tester sur des délais (j’avais donné d’autres exemples) et que le seul test adapté et crée pour cela est le test par Poisson avec les délais eux-mêmes comme système de référence et non pas les témoins.
Cela fut dit au cours de ce congrès par le modérateur comme par un autre intervenant dans la salle : on ne nous apprenait pas les lois de POISSON !!! Ce n’est pas une spécificité française, c’est INTERNATIONALE comme l’illustre par exemple la publication américaine Langer-Gould d’octobre 2014 :
301 cas (d’ADC) sont apparus dans les 3 années qui suivent la dernière vaccination reçue (quel que soit le vaccin). Tout le monde devrait se dire aussitôt : « ça fait une moyenne de 100 cas par ans » c’est pas trop dur ! Sur la ligne juste au dessus on lit : 195 cas dans l’année qui suit cette vaccination. Tout le monde devrait aussitôt réaliser que cela est anormal et qu’il y a un très fort signal statistique sans qu’il soit nécessaire de faire une modélisation par une loi de Poisson ni le moindre calcul : 195 cas sur 1 an contre 106 sur 2 années cumulées.
Il existe de même un signal statistique très fort et immédiat avec les témoins : 854 témoins dans l’année contre 508 pour les années 2+3 cumulées. Mais les cas et témoins évoluant en phase il n’y a pas de signal quand on compare les cas aux témoins. Que vont-ils en déduire comme le président du CTV Daniel Floret : que ce résultat est très rassurant car il DÉMONTRE sur une durée de 3 ans l’absence de lien entre toute vaccination et l’apparition d’une atteinte démyélinisante centrale !
La seule chose que ça démontre c’est que les auteurs comme les commentateurs « autorisés » n’ont rien compris à l’affaire : les signaux extrêmement forts sur les cas comme sur les témoins pointent la répartition des vaccinations dans le temps. Si vous faites une vaccination tous les ans vous aurez 0 cas et 0 témoin au delà d’un an. Vous aurez donc un signal extrêmement fort mais qui ne peut pointer ni l’innocuité ni la dangerosité des vaccins. Cela est écrasé par autre chose de beaucoup plus fort qui est la répartition des vaccinations dans le temps.
En fait, dans une telle situation il n’y a pratiquement plus d’aléatoire or l’aléatoire est indispensable pour que les tests statistiques puissent se pratiquer valablement. Les obligations vaccinales par exemple tuent l’aléatoire. C’est pourtant la PREMIÈRE condition qui préside à une analyse statistique valable : il faut suffisamment d’aléatoire par rapport à ce qui est testé. C’est tout ce qu’il y a de plus fondamental mais tout le monde l’oublie.
Dans le prochain article à suivre je présenterai un résultat très fort, vous verrez. Les auteurs et commentateurs cités ne viendront pas. Je le regrette d’ailleurs. J’espère seulement qu’ils feront évoluer leur discipline. Ce pourrait être le rôle caché des articles publiés ici : qu’ils prennent conscience de la nécessité de révolutionner leur discipline. L’essentiel n’est pas que les lecteurs comprennent tous en détails de quoi il s’agit, l’essentiel est que cela contribue à les faire bouger. J’étais prêt à les aider directement pour le faire comme par exemple pour former non pas des médecins comme ils l’avaient envisagé, mais leurs formateurs et d’abord à l’école dite des hautes études en santé publique à Rennes. Mais non, c’était trop dur pour eux. L’essentiel sera qu’ils bougent, rapidement, efficacement et à l’international.
Merci pour article Bernard. Un silence qui en dit long peut-être? Non pas car il manque d’intérêt bien au contraire, mais par sa conclusion qui est plutôt gênante pour une partie de la communauté scientifique, et puis aussi car il faut une solide culture mathématique pour rebondir sur votre article Bernard, et je ne pense être de ceux qui en ont assez pour remettre en cause vos arguments.
Celà dit, votre dernier commentaire est tout aussi instructif (la démonstration par l’exemple avec votre histoire au congrès Adelf-Sfsp) et pour tout cela, merci.
La conclusion des commentaires est claire : il faut lancer une formation incluant certaines bases. J’ai déjà commencé. Je propose maintenant ; le cas-témoins c’est quoi ? Voilà :
On a collecté une centaine de malades d’une même maladie, disons la sclérose en plaques pour fixer les idées. On constate que 50 % d’entre-eux avaient été vaccinés contre l’hépatite B. Pour apprécier cette proportion on peut la comparer à la couverture vaccinale de la population d’où ces 100 malades proviennent.
Supposons que cette couverture vaccinale soit de 30 %. La maladie serait donc apparue beaucoup plus souvent chez des vaccinés que chez des non vaccinés, ce qui donnerait à penser que la vaccination aurait pu favoriser la maladie.
Supposons maintenant que cette couverture vaccinale soit de 80 %. On pourrait alors penser que la vaccination aurait protégé de la maladie.
Par contre, s’il était de 53 % on pourrait penser que la vaccination n’a pas de lien avec l’apparition de la maladie.
On peut objecter que la couverture vaccinale de la population n’est pas forcément homogène et que les malades peuvent ne pas être un échantillon aléatoire de la population. Ainsi, la couverture vaccinale globale pourrait ne pas être un bon indicateur pour effectuer une comparaison valable.
On a alors eu l’idée d’associer à chaque cas (chaque malade) un certain nombre de non malades, par exemple 10, ayant le même sexe et le même âge que le malade et qui, de plus, aurait une grande proximité géographique avec lui (par exemple le même code postal). Ce seront les témoins associés au cas.
On obtiendra ainsi 1000 témoins ayant une bonne correspondance avec les 100 cas. A priori, s’il n’y a pas de lien entre la maladie et la vaccination, ces 2 groupes, cas et témoins, devraient avoir des taux de vaccination très proches, c’est à dire, plus précisément, avec un écart compatible avec des variations aléatoires.
ATTENTION ! Le mot témoin est utilisé avec diverses significations. La plus connue est celle du groupe témoin pour les souris de laboratoire : on dispose de 100 souris aussi identiques que possible : on en tire 50 au hasard pour les vacciner toutes le même jour ; les autres seront le groupe témoin non vacciné. Plus tard, on comparera les nombres de malades observés dans les 2 groupes. Il s’agit d’une étude prospective. On apprend ce type d’étude dès l’école primaire. On les appelle études exposés/non exposés.
Les témoins d’une études dite cas-témoins sont définis d’une toute autre façon et on compare les proportions de vaccinés (plus généralement d’exposés) entre les 2 groupes. C’est une étude rétrospective puisque les cas sont connus avant de lancer l’étude.
Il y a souvent confusion entre ces 2 types de témoins et ce même à un niveau auquel on ne s’attend pas à rencontrer une telle confusion. Il y a quelques années, j’avais échangé 3 mails avec une épidémiologiste qui avait été membre du conseil scientifique de l’Afssaps (l’agence du médicament). En voulant lui expliquer le problème posé par les tests en cas-témoins sur des délais elle a violemment réagi car pour elle les témoins ne pouvaient pas voir été exposés alors que l’objectif est de comparer les taux d’exposition !!! Elle confondait visiblement avec le groupe témoin pour les souris de laboratoire. Incroyable !!!
A SUIVRE … oui, oui le cours est commencé ! A la fin, interro écrite.
La formation continue se poursuit ! Allez, au travail !!!
Un test cas-témoins, ça teste quoi ?
On compare les cas aux témoins par rapport à une exposition à une substance : malgré les différences observées sur les proportions, peut-on accepter que les cas et les témoins aient été exposés de la même façon au produit ? C’est la question à laquelle le test tente de répondre.
Par contre, il ne donne aucun renseignement sur l’importance de cette exposition et cela est important à comprendre pour éviter des interprétations erronées en pratique.
C’est le même test que pour comparer les probabilités de tomber sur pile pour des pièces de 1 et 2 euros. Chacune ayant été lancée 100 fois, le test conclura à l’absence de signal statistique avec par exemples 80 piles pour l’une et 83 pour l’autre ou 30 piles pour l’une et 33 pour l’autre ou 47 pour l’une et 51 pour l’autre. Pourtant, dans le premier cas les pièces sont très déséquilibrées en faveur des piles alors que c’est l’inverse dans le second exemple et qu’elle apparaissent comme étant équilibrées dans le troisième. Ces informations ne sont pas apportées par le test de comparaison de deux proportions.
C’est pour cela qu’il sera complètement inadapté pour tester sur des délais, des fenêtres temporelles si c’est plus clair. Pourtant, cette utilisation en épidémiologie est aussi systématique que systémique et internationale.
Quand on veut tester sur des délais, le facteur d’exposition devient « la maladie est apparue dans l’année qui suit l’exposition à un produit » ce qui est très différent de « avoir été exposé à ce produit ». Je pense avoir suffisamment montré que la comparaison de l’exposition des cas et des témoins ne permettait pas de tester l’évolution du nombre de cas quand on passe d’une fenêtre temporelle à une autre.
Dans cette situation il faut modéliser par une loi de Poisson et, bien sûr, ne retenir que les cas pour lesquels le délai entre l’exposition et le début de la maladie est défini ! Pas de souris non fécondées ou stériles pour étudier une durée de gestation !!! Les témoins vaccinés mais qui par définition ne sont pas tombés malades correspondent à des souris inséminées mais stériles. Quant aux cas et témoins non vaccinés ils correspondent à des souris non fécondées. L’expertise internationale ne trouve rien à redire à ces façons de travailler sur des questions à très haute responsabilité. Je l’ai déjà écrit, elle n’a peur de rien sauf du ridicule. Ridicule, elle l’est potentiellement. Pour que cela devienne réalité il faut un public qui comprenne.
La critique vaccinale serait dans l’obscurantisme a-t-on pu lire et entendre un peu partout. Vous connaissez l’effet boomerang. Nous n’avons pas le choix, nous avons l’obligation morale de comprendre et de chercher à faire comprendre. Merci à l’Aimsib et à Vincent de me permettre de la faire.
LA FORMATION CONTINUE, C’EST PAR ICI ! C’est pas la galère quand même ?
Le test cas-témoins suppose implicitement une modélisation par un modèle mathématique qui demande 5 conditions :
1- Les cas sont supposés avoir une même probabilité p d’avoir été exposés à un produit (disons le mercure par exemple). Si on veut comparer les pièces de 1 et 2 euros pour leur probabilité de tomber sur pile, le modèle suppose que chaque pièce de 1€ ait une même probabilité p de tomber sur pile.
2- De même pour les témoins qui sont supposés avoir une même probabilité p’ d’avoir été vaccinés. Ou pour la pièce de 2€ de tomber sur pile.
L’objectif du test sera de rechercher si on peut accepter l’égalité entre p et p’ malgré les différences sur les proportions observées.
Mais pour cela le modèle suppose 3 autres conditions :
3- Les cas ont été exposés au mercure de façon indépendante. Cela signifie que le fait qu’un cas ait été exposé au mercure ne modifie pas la probabilité pour les autres cas d’y avoir été exposés. Pour les pièces on pourrait dire qu’elle n’ont pas de mémoire.
4- Idem pour les témoins et les pièces de 2€.
5- Les cas et les témoins sont supposés avoir été exposés de façon mutuellement indépendante. C’est plus difficile à comprendre : le fait qu’un cas ait été exposé ne modifie pas la probabilité pour les témoins d’y être exposés.
Pour la validité du test cas-témoins on devrait chercher à s’assurer que ces conditions sont à peu près réalisées. Elles ne le seront jamais rigoureusement bien sûr mais il ne faudrait pas que le non respect de ces conditions soit trop important pour modifier le résultat du test. Or cela peut se produire très facilement. Un exemple :
La publication que j’ai citée dans l’article débute par un test non significatif avec comme facteur d’exposition la vaccination HB. Il signifie donc que les cas et les témoins pourraient avoir eu une même probabilité d’avoir été vaccinés contre l’hépatite B. Mais regardons les conditions :
Condition 1 : il y a 56 % de vaccinés HB parmi les 143 SEP contre 36 % parmi les 206 atteintes démyélinisantes centrales non SEP. L’écart entre ces 2 groupes est très significatif : moins d’une chance sur 10 000 qu’ils aient une même probabilité d’avoir été vaccinés HB. On ne doit donc pas les regrouper. De même pour les témoins correspondants.
Le test en question affirme donc l’égalité de 2 probabilités qui n’ont pratiquement aucune chance d’exister !!! Il fut pourtant largement commenté pour affirmer l’innocuité du vaccin ! Pourtant, on constate facilement qu’il y a très significativement beaucoup plus de vaccinés HB parmi les SEP que parmi les atteintes non SEP ce qui pourrait signifier médicalement quelque chose : la vaccination HB aurait favorisé l’évolution en SEP chez ceux qui sans elle auraient fait une atteinte démyélinisante mais sans la convertir en SEP ni sans qu’on puisse exclure que la vaccination ait pu aussi créer la première atteinte pour la convertir en SEP.
CONSTAT : dès qu’on cherche à respecter les critères mathématiques, on trouve des choses fort intéressantes et médicalement très utiles qui nous changent du discours lénifiant à ce sujet
ATTENTION : SAVOIR DONNE DES RESPONSABILITES. Si vous n’en voulez pas, ne lisez pas !
Voici un exemple très répandu en épidémiologie et qui ne respecte pas du tout la condition n°5 et aussi la n°4. Il s’agit du test sur des délais en cas-témoins qui est utilisé de façon aussi systématique que systémique par l’expertise institutionnelle et qui est à l’oeuvre dans le test faussement significatif que j’ai étudié dans cet article.
Vous savez qu’à chaque cas sont associés un certain nombre de témoins qui sont du même sexe bien sûr, du même âge à quelques mois près et d’une même proximité géographique, ce afin que le futur cas et ses futurs témoins aient eu a priori une même probabilité d’être vaccinés.
Le délai retenu pour le cas est la durée écoulée entre sa date de vaccination et le début de sa maladie dite date index. Les témoins ne tombent pas malades, aussi il a été décidé de prendre cette date index pour définir la durée écoulée entre leur vaccination et le début de la maladie du cas associé.
CONSEQUENCE : si le malade et ses témoins ont été vaccinés le même jour, les durées retenues seront les mêmes pour tous. Si le cas est dans le délai testé, par exemple dans l’année qui suit la vaccination, ce cas et ses témoins seront tous dans l’année qui suit leur vaccination. Si le cas est au-delà de la première année, tous ses témoins seront aussi au-delà. Il n’y a pas d’aléatoire par rapport à l’appartenance au délai testé.
Si les écarts entre les dates de vaccination du cas et de ses témoins sont faibles par rapport au délai testé, il en ira de même. C’est pourquoi, au moins dès que le délai testé est un peu long, il n’y aura pas d’indépendance entre les cas et les témoins associés. La condition 5 ne sera pas du tout satisfaite ni la 4. C’est pourquoi le test cas-témoins échoue quand on veut l’appliquer sur des délais. Il peut tout aussi bien neutraliser des signaux existants qu’en faire apparaître qui n’existent pas !
IL FAUT ABSOLUMENT PROSCRIRE LE TEST CAS-TÉMOINS SUR DES DÉLAIS !!!
L’EXPERTISE INTERNATIONALE NE L’A PAS COMPRIS. C’EST PRATIQUEMENT UN CRIME.
SAVOIR NOUS DONNE DES RESPONSABILITÉS.
NE SOYONS PAS PLUS LONGTEMPS COMPLICES !
Faut battre le fer quand il est chaud et les galériens du test statistique quand ils sont encore là ou, comme disait Robert Cohen à une assemblée de pédiatres venus tout exprès pour se faire formater : « il faut vacciner les enfants tout jeune quand vous les avez sous la main. Plus tard, quand ils sont plus grands, c’est plus difficile ! » Alors je continue ! Oui, je suis chaud comme le fer mais les galériens c’est vous !
Pour illustrer mon dernier propos voici d’abord une analogie. Le cas, le malade, c’est le chef de famille, le patriarche et ses témoins associés c’est la famille. Les années qui suivent la vaccination ce sont les wagons d’un train. Deuxième wagon , deuxième année… Si le patriarche monte dans le second wagon toute la famille suivra et tous se retrouveront dans le même wagon. L’aléatoire demande que la famille se répartisse au hasard dans les différents wagons du train. Voilà ce qui condamne définitivement l’utilisation du test cas-témoins appliqué à des délais.
Voici maintenant un exemple réel pris dans la publication Mikaeloff-Tardieu de décembre 2007 réservée aux seules SEP et en accès libre [1]. Dans le tableau 2 les auteurs présentent des tests sur des délais dont celui sur les 4 premières années qui suivent la vaccination HB. Sur ces 4 années il y a 62 cas et 476 témoins contre 12 cas et 102 témoins pour les années 5+6.
On constate qu’il y a 5,1 fois plus de cas sur 4 ans que sur 2 ans et 4,7 fois plus de témoins sur 4 ans que sur 2 ans. Vu l’importance des nombres on peut se douter qu’il y a un signal statistique fort sur les cas comme sur les témoins quand on passe des 4 premières années aux 2 suivantes. Un calcul après modélisation par une loi de Poisson donne 1,5 chances sur 10 000 d’avoir un tel écart par le seul fait du hasard.
On constate aussi, les proportions 5,1 et 4,7 paraissant proches, que les cas et les témoins restent en phase quand on passe des 4 premières années aux 2 suivantes et c’est ce que confirme l’absence de signal en cas-témoins comme trouvé par les auteurs.
L’analogie du train fonctionne très bien ici : ce sont des enfants, donc vaccinés à peu près au même âge et qui plus est, avec une campagne de vaccination dans les collèges où presque tous les enfants d’une même classe furent vaccinés en même temps. Il est fort probable que certains devinrent plus tard les témoins associés à leurs camarades malchanceux.
La conclusion de cette « étude » sera qu’il n’existe pas de lien entre l’apparition de la SEP (première atteinte) et le délai écoulé depuis la vaccination …
Certains ont écrit, il y a peu, que les mathématiques ne servaient à rien sur ces questions !!! Certains le pensent aussi, la critique vaccinale n’a pas besoin de mathématiques. Je l’ai entendu aussi. Que dirent les révolutionnaires à Lavoisier en 1794 avant de lui couper la tête ? « La République n’a pas besoin de chimistes ! »
[1] http://archpedi.ama-assn.org/cgi/content/full/161/12/1176
LE MYTHE DE L’ÉCHANTILLON REPRÉSENTATIF
Je poursuis la ‘’formation’’ proposée même si je ne sais pas si quelqu’un a essayé de suivre. Il est vrai que Bossuet prêchait dans des églises vides … Mais pendant ce temps, la propagande poursuit sa route en s’appuyant, pour avancer, sur ce que nous ne comprenons pas et avons accepté de ne pas comprendre …
Vous savez tous que les sondages pré électoraux s’appuient sur un échantillon d’environ 1000 personnes. Vous pensez tous, sans doute, qu’il s’agit d’un échantillon représentatif de l’ensemble des votants potentiels à l’élection. Rien n’est plus faux !
Comment cela ? Pour un référendum il y a 2 réponses, oui/non et les sondeurs retiennent les zones urbaines, 90 % des votants et les zones rurales 10 % des votants. Avec ce découpage simplifié j’ai droit à choisir un échantillon de 100 personnes. Bien sûr, il paraîtra logique et naturel de prendre 10 % de ruraux et 90 % d’urbains. Non ! Il faut prendre 50 % de chaque !
Pourquoi ? Avec seulement 10 ruraux, le vote des ruraux sera très mal estimé, alors qu’il le sera mieux sur 50. Ce sera la meilleure répartition même si le vote des urbains sera moins bien estimé sur 50 que sur 90. On voit ainsi que l’estimation du résultat global se fera en 2 temps et non pas un seul avec un échantillon représentatif :
1- Estimer le plus correctement possible le vote des ruraux et celui des urbains.
2- Puis calculer le résultat final en utilisant les proportions de ruraux et d’urbains.
Par exemple, si les ruraux votent à 30 % en faveur du oui et les urbains à 70 %, on trouvera aussitôt 66 % de oui au final. Si c’était l’inverse avec 70 % pour les ruraux on trouverait 34 % de oui.
On voit ainsi qu’il ne faut pas se focaliser sur la représentativité de l’échantillon. Par contre, il faut absolument réaliser les partitions judicieuses où les votes seront à peu près homogènes. Il devrait en aller de même en épidémiologie. On en est très loin !
EXEMPLE : la publication Mickaeloff-Tardieu 2008 donne un résultat non significatif en cas-témoins relativement à l’exposition à la vaccination HB. Les 349 cas regroupent 143 SEP avec 56 % de vaccinés HB contre 36 % pour les 206 atteintes qui n’avaient pas évolué en SEP. L’écart entre les 2 groupes est très significatif : une chance sur 10000 d’avoir un tel écart par le seul hasard. On doit donc traiter séparément les 2 groupes.
De plus, ce signal statistique montrant qu’il y a beaucoup plus de vaccinés HB parmi les SEP pourrait être en faveur de l’hypothèse que cette vaccination aurait favorisé l’évolution en SEP d’une première atteinte qui n’aurait pas évolué vers la SEP en l’absence de cette vaccination ou même de la création d’une SEP qui ne serait pas apparue (première atteinte) sans cette vaccination.
On peut facilement voir ainsi que l’expertise en santé publique n’applique pas les principes de base utilisés par tous les instituts de sondage.
LE PARADOXE DE SIMPSON
Le paradoxe de Simpson est un grand classique dont la compréhension devrait être incontournable dans la panoplie de tout candidat à l’analyse de données de terrain. L’exemple le plus célèbre est celui de 2 médicaments A et B destinés à traiter les calculs rénaux. Sur les données (qu’on trouve facilement mais peu importe ici) le B est plus efficace que le A.
Par contre, le A est plus efficace que le B sur les gros calculs comme sur les petits. Comment est-il possible que B étant moins efficace que A sur ces 2 types de calculs rénaux pour devenir plus efficace que A quand on cumule les données de ces 2 groupes ?
Voilà un bel exemple de paradoxe n’est-il pas vrai ? On trouve beaucoup de commentaires sur ce paradoxe mais aucun n’a pointé la cause première et principale qui est pourtant simple :
Le A n’a pas du tout la même probabilité de traiter les gros et petits calculs. De ce fait, on ne doit pas cumuler leurs données car cela reviendrait à chercher l’estimation d’une probabilité qui n’a à peu près aucune chance d’exister. De même pour le B.
Aussi, quand on cumule les données pour les 2 types de calculs rénaux, on en arrive à chercher à comparer 2 probabilités qui n’existent pas !!!
Wikipedia sur le paradoxe :
Le paradoxe de Simpson ou effet de Yule-Simpson est un paradoxe statistique décrit par Edward Simpson en 1951 et George Udny Yule en 1903, dans lequel un phénomène observé de plusieurs groupes semble s’inverser lorsque les groupes sont combinés. Ce résultat qui semble impossible au premier abord est lié à des éléments qui ne sont pas pris en compte (comme la présence de variables non-indépendantes ou de différences d’effectifs entre les groupes, etc.) est souvent rencontré dans la réalité, en particulier dans les sciences sociales et les statistiques médicales.
L’explication n’est pas satisfaisante et n’a contribué qu’à embrouiller les pistes. D’un point de vue théorique, ce paradoxe est lié au fait que la somme de 2 lois binomiales (loi des pièces de monnaies) est rarement binomiale : il faut pour cela que les probabilités des 2 pièces de tomber sur pile soient égales.
C’est exactement la situation rencontrée avec ce signal qui n’existait pas : 30 pièces de 1€ ont donné 19 piles (63%) et une fausse pièce ayant deux cotés face et qui, lancée 42 fois aura donné 0 piles. Ces 2 pièces n’ayant pas du tout une même probabilité de tomber sur pile on ne doit pas les cumuler. Pourtant ils procèdent tous ainsi en testant sur des délais en cas-témoins.
LA FORMATION CONTINUE SE POURSUIT ICI ! A la rentrée, interro écrite !!!
FAUSSES CROYANCES SUR LES AJUSTEMENTS
Les tests cas-témoins publiés sont généralement précédés d’un ajustement par une régression logistique conditionnelle. Une telle expression a de quoi impressionner. Après ça on n’a plus qu’à ce taire faute de comprendre de quoi il s’agit.
Le principe des ajustements de données est assez simple à comprendre avec l’exemple suivant :
On note les tailles et poids d’une centaine de garçons. Ces couples de données se répartissent dans le plan sur une droite croissante à 45°.
De même, les tailles et poids d’une centaine de filles se répartissent sur une droite décroissante à 45°. Ce sont des anorexiques, plus elles sont grandes et moins elles pèsent lourd.
De plus on suppose que les points sont suffisamment espacés sur les droites.
Je regroupe les 200 points pour chercher un ajustement linéaire, c’est à dire la meilleure droite ajustant ce nuage de 200 points, encore appelée droite de régression. Elle existe mais cette ‘’meilleure droite’’ sera très mauvaise pour ajuster convenablement ces 200 points car leur répartition n’est pas du tout linéaire. Il existe d’ailleurs le coefficient de corrélation linéaire qui permet d’apprécier si ces points ne sont pas globalement trop éloignés de cette meilleure droite.
Bien sûr ici ce coefficient indiquera que l’ajustement est désastreux et qu’il faut chercher autre chose. La seule bonne réponse sera de séparer les garçons des filles. Là, les 2 relations linéaires deviendront lumineuses.
Il en va de même pour tous les ajustements, y compris les ajustements de données statistiques comme pour les cas et les témoins d’une étude dite cas-témoins.
Reprenons encore une fois les 72 cas de SEP dits « observants au calendrier vaccinal » de la publication Mikaeloff-Tardieu de 2008. Avec 30 cas vaccinés Engerix dont 19 dans le délai testé et 42 cas non vaccinés Engerix et donc 0 cas dans le délai testé puisqu’il fallait avoir été vacciné Engerix pour y figurer, les données ne se répartissent pas du tout selon une loi binomiale qui est la loi de probabilité d’une pièce de monnaie : c’est comme si on lançait 30 fois une pièce de 1€ tombant 19 fois sur pile et 42 fois une fausse pièce ayant 2 côtés face.
On cherche à remplacer cette expérience avec 2 pièces très différentes par une expérience avec une seule pièce lancée 72 fois avec une certaine probabilité p de tomber sur pile. L’ajustement consiste en fait à chercher la meilleure valeur possible pour p. Cette meilleure valeur existe mais elle ne peut être que très mauvaise. Il faut donc chercher autre chose et ici, en l’occurrence ce sera de dissocier les 2 pièces pour les traiter séparément.
L’erreur commise par ce qu’on appelle l’expertise aux immenses responsabilités est de croire que l’ajustement réalisé permettrait de s’affranchir des conditions de validité. Il n’en est rien bien sûr !
Ces conditions de validité sont connues depuis longtemps. En cas-témoins ou quand on veut comparer une pièce de 1€ et une de 2€ par rapport à leurs probabilités de tomber sur pile (ou d’avoir été exposés à une vaccination pour les cas et les témoins) elles sont au nombre de 5 :
1- La pièce de 1€ doit avoir une même probabilité de tomber sur pile à chaque jet. Chaque cas doit avoir une même probabilité d’avoir été exposé (à une vaccination par exemple).
1’ – De même pour la pièce de 2€ et les témoins.
2- Les jets successifs de la pièce de 1€ sont indépendants ou, autrement dit, la pièce n’a pas de mémoire. Les cas sont exposés de façon indépendante les uns des autres. Ce pourrait ne pas être le cas pour des jumeaux par exemple.
2’- Idem pour la pièce de 2€ et pour les témoins.
Cela fait 4 conditions. La cinquième est que les pièces de 1 et 2 euros tombent sur pile de façon mutuellement indépendante ce qui signifie que les résultats obtenus avec la pièce de 1€ n’influencent pas les résultats de la pièce de 2€.
Pour les cas et les témoins, cela signifie que les témoins doivent être exposés de façon indépendante des cas.
Cette condition n’est pas du tout réalisée quand on teste en cas-témoins sur des fenêtre temporelles assez larges car les témoins associés à un même cas seront tous dans la même fenêtre que le cas auxquels ils ont été associés. De façon imagée, le cas c’est le chef de famille et les témoins la famille. Les fenêtre temporelles successives ce sont les wagons d’un train. Si le chef de famille monte dans le second wagon, toute la famille suivra.
La conséquence de cela est que les tests en cas-témoins sur des fenêtres temporelles seront tous non significatifs, du moins en ne retenant que les cas et témoins pour lesquels le délai écoulé entre la vaccination et l’apparition de la maladie est défini. Le signal sur les observants au calendrier vaccinal n’est pas une exception car il a été obtenu grâce aux non vaccinés Engerix qui n’ont évidemment rien à faire dans l’histoire (souris non fécondées pour étudier une durée de gestation).
En fait, auteurs, formateurs et commentateurs croient que les ajustements permettent de s’affranchir des 5 conditions que je viens de rappeler. Il n’en est rien bien sûr ! Les ajustements ne modifient pas les données, heureusement ! Ils cherchent seulement la meilleure loi de probabilité au sein d’une famille donnée indexée par un paramètre, Mais la meilleure peut être très mauvaise pour ajuster correctement les données.
Plus de détails sur les fausses croyances sur les ajustements dans mon article
http://questionvaccins.canalblog.com/archives/2016/04/29/33737022.html
Je serais désolé, vraiment, d’attenter à votre sérénité par ma rugosité (défendu toute ma vie plus faibles que moi contre plus forts que moi) ou par la démesure de ma contradiction, mais quand faut y aller, faut y aller.
Cas + témoins, je connais, mais je vous arrête tout de suite : s’agissant de vaccins, cela devient de l’expérimentation humaine (nazie) et aucune transaction statistique avec elle n’est supportable (par un humaniste).
Écart-type, l’ai utilisé jadis (dans le plan) mais ce n’est pas à un médecin que je vais apprendre qu’un état de santé, un cas réel (non rabougri pour les besoins de la cause) serait plutôt un vecteur à N dimensions (ou un point dans espace vectoriel à N dimensions). Alors les statistiques, ici, m’impressionnent à peine plus que les sacro-saintes »valeurs admissibles d’exposition » (droits patronaux de cancériser) combattues par moi contre tout le monde pendant 20 ans.
Les »cas’’ sont-ils seulement énumérés ? Quant à être minutieusement documentés…
Jouant la susceptibilité avec un clin d’œil appuyé, je dirais que ce n’est pas en me trouvant insuffisamment (dé)formé ni motivé (en somme, vaguement cancre, procédé assez courant en face) que vous donnerez soif à l’âne. La loi de Poisson ? Elle prendrait plutôt l’imbécile de référence (ou, si vous préférez, le con étalon) pour un canard sauvage.
Pour renouer avec un peu de sérieux, je préférerais que vous me donniez votre point de vue sur les 2 exemples résumés en bas des commentaires à la notice Aimsib du 6.11.19 (sous une photo de MdL) sur les effets secondaires :
• DÉCUPLEMENT de mortalité toutes causes en Guinée-Bissau ;
• QUADRUPLEMENT d’atteintes cérébrales US.
À vous lire avec plaisir.
Addendum (début) : Bien cher Dr Guennebaud,