Pardon de revenir sur les sujets qui fâchent, par exemple l’influence du choix des méthodes scientifiques destinées à influencer les conduites à tenir des médecins de terrain. Toute la planète a cherché sa propre vérité ressentie concernant le traitement idéal de la Covid-19 et l’épidémie s’éteignant probablement, de quelles vérités disposons-nous aujourd’hui? Dernière charge sur ce sujet par le très apprécié Docteur Willy Kostucki qui nous écrit dans sa langue natale, le Bruxellois Impeccable. Bonne lecture.
Introduction
Toutes les épidémies ont plusieurs choses en commun : l’irrationalité, la recherche de coupables et la croyance dans le remède-miracle.
Relire les histoires, l’Histoire, et c’est toujours pareil. Un confrère me demande ce que je pense de cette “recette” thérapeutique, une de plus qu’il vient de recevoir via les médias.
Voici ma réponse.
Randomisation en double aveugle contre placebo, le choix du roi
S’il y a un seul procès que je ferais pendant cette crise Covid c’est celui de la “science » médicale et de tout ce monde de “scientifiques » aux titres ronflants qui sont en réalité les vrais conseillers de nos dirigeants. Ce ne sont pas les politiciens qui sont -seuls- responsables, ils sont autant démunis que le quidam de la rue, mais bien tous les “spécialistes » qui sont derrière, ceux que j’appelle nos sorciers modernes.
Depuis le début nous avons vu défiler les hypra-experts, comme diraient le jeunes, qui nous ont balancé toutes leurs hypothèses avec force de savoir et de conviction allant du blanc au noir en passant par toutes les nuances de gris.
Les gué-guerres pour la dominance intellectuelle (querelle de priorité, reconnaissance, prix à la con, …), scientifique, politique et bien entendu économique ont fait en sorte qu’on a raté, depuis le début, ce qui aurait du être fait par des esprits éclairés et désintéressés: des études randomisées (RCT, Randomized Clinical Trial) en double aveugle contre placebo.
C’est la seule façon de démontrer qu’un médicament fonctionne ou ne fonctionne pas.
Avec les dizaines de milliers de morts en Occident et en Orient on aurait pu faire, depuis des mois, des dizaines d’études randomisées contre placebo, puisqu’il ne faut qu’une vingtaine de jours au maximum pour avoir la réponse à la question posée (décès ou vie), à condition de bien définir le “primary endpoint” (critère principal unique) à savoir le décès, de tester médoc X contre placebo, sous contrôle d’une méthodologie béton.
C’est la seule façon de neutraliser le plus grand empêcheur de tourner en rond : le hasard ! Il n’y a qu’une seule façon d’exclure le hasard d’une expérience médicale et c’est l’étude randomisée contre placebo.
Avec les centaines de milliers de contaminés, qu’on ne viennent pas me dire que le matériel humain manquait! Et pour une fois en Europe et sans devoir acheter des populations dans les lointaines contrées.
Mais pour engager une étude de ce type il faut commencer par modestement avouer et dire “je ne sais pas”. Suit alors automatiquement la réponse : pour savoir je dois faire une étude RCT (Randomized Clinical Trial) médicament contre placebo.
Pauvre médecine
Et que l’on ne vienne pas non plus me brandir l’argument du serment d’Hippocrate à savoir “quand j’ai un patient en face de moi mon devoir est de le traiter”. Il y a actuellement dans le monde au moins 75 médicaments ou protocoles utilisés contre la Covid!
L’un d’eux est d’ailleurs de ne « rien donner du tout », c’était d’ailleurs la seule alternative imposée aux généralistes français!
Raisonnement par l’absurde : dans “l’urgence” et pour « respecter le serment d’Hippocrate », il faudrait logiquement donner tous les 75 traitements ou protocoles d’un coup car “on ne sait jamais” … Sans oublier “ne rien donner du tout” qui, ne l’oublions pas, est aussi une option.
Que mes confrères arrêtent d’être irrationnels!
Comme je l’ai dit, et je ne suis pas le seul, l’irrationalité est un élément central de toutes les épidémies. Le niveau d’intelligence n’y fait rien, la preuve. Les biais de jugements font partie de notre inconscient. Les neurosciences ont beaucoup à nous apprendre sur nous mêmes.
Se souvenir de la streptomycine
Une des premières études (la première?) randomisées est celle qui a démontré l’efficacité de la streptomycine dans la tuberculose. Et bien entendu comme chez tous les humains, tout commence ou se termine par la recherche de la gloire avec la querelle de priorité entre celui qui a reçu le prix Nobel en 1948, Waksman, et Schatz qui est probablement celui qui a découvert la streptomycine. Ben oui : Nihil nuevo sub sole (1).
Vous verrez après Covid ce qui se passera dans les hautes sphères des temples scientifiques … je me marre déjà.
Revenons à l’étude randomisée.
L’étude randomisée a été publiée par les Anglais dans le BMJ en 1948. (2) Oui oui : 1948!!
Pour démontrer l’efficacité du traitement contre placebo il aura fallu 55 patients dans le groupe traité et 52 patients dans le groupe placebo ! 107 patients au total, c’est tout ce qu’il aura fallu pour démontrer l’efficacité du médicament qui sauvera des millions de patients.
Et ceci sans formules statistiques complexes et sans aucune des manipulations statistiques que l’on rencontre dans nos papiers modernes.
Conclusion
Combien d’études auraient-on pu réaliser à ce jour depuis le début de la crise avec nos dizaines de milliers de morts et les centaines de milliers de vivants contaminés? Combien d’information vitale a t-on perdue? Combien de vies auraient pu être sauvées si le monde scientifique s’était comporté en scientifiques éclairés?
Comme tout le monde j’aimerais tellement croire que tel médicament est le bon … Mais voilà : l’approche scientifique c’est la seule façon de faire la différence entre croire et démontrer.
Dr Willy KOSTUCKI
Juin 2020
Notes et sources:
(1) « Il n’y a rien de nouveau sous le soleil« , pour ceux qui aurait choisi le Grec à l’école…
(2) Streptomycin in tuberculosis trial committee. Streptomycin treatment of pulmonary tuberculosis. Medical research council investigation. Br Med J 1948; ii : 769-82
124 Responses
Dans l’exemple de la tuberculose et de la streptomycine la randomisation avait été appliquée à 107 cas dont 52 non traités contre 55 traités. Cette randomisation peut permettre de gommer les biais de sélection au sein des 107 cas retenus dans l’étude mais est évidemment sans effets sur les biais qui pourraient exister entre la population générale et la sélection de ces 107 cas. Je vais illustrer cela sur un exemple fabriqué à partir d’une situation réelle avec 2 traitements A et A’ pour traiter les calculs rénaux qui n’auront pas la même efficacité sur les petits et les gros calculs, ce qui peut être un facteur caché de confusion.
Ainsi, A aura une probabilité p1 de guérison des petits calculs et p2 pour les gros. De même A’ aura une probabilité p’1 pour guérir les petits calculs et p’2 pour les gros. On aura donc en réalité 4 inconnues. Un échantillon où l’on ne dissocie pas entre les petits et les gros calculs conduira à une équation (ou inéquation) avec 4 inconnues ce qui sera tout à fait insuffisant pour conclure que A et A’ seraient équivalents (ou différents), cette équivalence devant s’exprimer par p1=p’1 et p2=p’2. Il s’agit là d’une certitude mathématique que je vais illustrer numériquement.
Je prends p1=p’2=30 % et p2=p’1=70 % qui assure p1+p2=p’1+p’2. Mon échantillon sera constitué de 200 cas dont 100 petits calculs et autant de gros. Grâce à la randomisation j’aurai 2 échantillons de 100 cas avec 50 petits et 50 gros calculs dans chacun de ces 2 groupes. Le groupe traité par A donnera 50×30%+50×70%=50 guérisons. Celui traité par A’ donnera 50×70%+50×30%=50 guérisons. Je vais donc déclarer que les 2 traitements A et A’ sont équivalents alors qu’en réalité il n’en est rien ! Cette erreur peut conduire à des situations dommageables en pratique.
Ainsi, dans une population il y a 1000 cas dont 200 petits calculs et 800 gros. Si je traite par A j’aurai 200×30%+800×70%=620 guérisons alors que par A’ j’aurais 200×70%+800×30%=380 guérisons.
Comme la répartition des petits et gros calculs a toute chance d’être liée aux habitudes alimentaires très variables d’une région à une autre, on voit que l’affirmation fausse que les 2 traitements seraient équivalents ne sera pas sans conséquences. Mais peu importe ici. Cet exemple devrait suffire pour démontrer clairement que la randomisation à elle seule n’apporte aucune garantie d’élimination des biais de sélection entre la population générale et l’échantillon retenu pour procéder à la randomisation pourtant présentée comme un tampon officiel de garantie de qualité.
Grand merci Akira de m’offrir l’opportunité de revenir sur le paradoxe de Simpson qui est un de mes thèmes préférés. Certes tous les biostatisticiens et les épidémiologistes ont entendu parler de ce paradoxe mais les faits démontrent qu’ils ne le maîtrisent pas. D’abord un exemple réel :
Dans les données Mikaeloff-Tardieu il y a 56 % de vaccinés HB chez les SEP contre 36 % pour les ADC non SEP (atteintes démyélinisantes centrales) ce qui donne un signal statistique très fort avec moins d’une chance sur 10 000 d’avoir un tel écart par les eul hasard. Si on cumule ces données, ce que les auteurs ont fait et que l’on compare aux témoins associés, le signal s’évanouit car il y a significativement plus de témoins vaccinés HB dans le groupe des ADC non SEP ce qui fait une compensation avec le groupe SEP. (L’explication la plus vraisemblable de ces 2 signaux étant que la vaccination HB aurait favorisé l’évolution en SEP d’un certain nombre d’ADC non SEP).
La leçon à tirer de cet exemple est que l’on ne devrait pas cumuler les SEP avec les ADC non SEP. Or cela n’a dérangé personne, ni les commentateurs autorisés ni les autres. Si les épidémiologistes et les biostatisticiens avaient bien compris comment se génère le paradoxe de Simpson ils auraient pu voir qu’il fallait étudier séparément les 2 groupes et en aucun cas les regrouper. En voici la raison théorique :
En regroupant, dans le but de tester, les SEP avec les ADC non SEP on cherche une probabilité commune d’avoir été vacciné HB. Or l’écart entre les deux groupe montre que cette probabilité n’existe pas ou, pour être plus strict, n’a à peu près aucune chance d’exister. De même pour les témoins. En validant le test on accepte l’égalité de 2 probabilités qui n’existent pas !!!
C’est la première condition à la réalisation du paradoxe de Simpson : accepter de prendre en compte, même implicitement, des probabilités qui n’existent pas.
Il en existe une seconde : un déséquilibre entre certains effectifs. C’est cette seconde condition qui donne une coloration spectaculaire à certains exemples de paradoxe de Simpson. Cependant elle n’est pas indispensable pour créer des problèmes important. En fait c’est la première condition qui est essentielle et qu’il faut chercher à éviter. On est très loin du compte en pratique car c’est la seconde condition qui a été retenue comme étant à l’origine du paradoxe. De fait elle a occulté la première dans l’esprit des experts.
Un autre exemple : dans le seul groupe SEP des données Mikaeloff-Tardieu il y a 24 % de cas vaccinés HB parmi les moins de 10 ans contre 69 % chez les autres. Cet écart énorme compte tenu des effectifs impose de ne pas regrouper. Pourtant c’est ce que les auteurs ont fait et, là aussi, aucun commentateur n’y a trouvé à redire …Et devant une telle carence je devrais me taire parce que les biostatisticiens connaîtraient le mot ?
Bonjour Messieurs les Sachants!……il me semble,…j’ai « l’impression »…que chacun cherche, et trouve!
les « études » qui vont confirmer son opinion initiale! (en caricaturant: pour ou contre le Gourou!)
est-ce bien raisonnable?……en adepte du bon sens populaire, je ferais plutôt confiance aux médecins,
…qui sont sur le terrain, et mouillent la chemise, plutôt qu’aux piliers assermentés des plateaux TV!
https://c19study.com/
http://www.francesoir.fr/opinions-tribunes/la-cle-pour-vaincre-la-covid-19-existe-deja-nous-devons-commencer-lutiliser
http://www.francesoir.fr/opinions-tribunes/efficacite-de-lhydroxychloroquine-confirmee-dans-letude-des-donnees-de-lessai
http://www.francesoir.fr/societe-sante/covid-19-lhydroxychloroquine-marche-une-preuve-irrefutable
…vous me conseillez donc de lire le Lancet! (humour!)
mais son responsable à une époque, avez été très clair: 80% ? (à vérifier) des articles scientifiques étaient bidonnés!,
de même que les essais randomisés, financés par les labos, selon le vieux principe: « qui paye l’ orchestre, choisit la musique! »
Vous me parlerez des conditions scandaleuses qui ont permis de valider le Remdesivir?…avec le tampon officiel de l’ UE.
Alors je vous l’ accorde: l’ étude parue dans F.S., est un peu …capillotractée!
Mais sur la synthèse des + de 60 cas du premier lien, ….aucun commentaire?….dommage…
Je pense aussi au docteur Moussa Seydi, au Sénégal, un autre Gourou, sans doute! (Black Doctor Matter!)
vous trouverez facilement ses comptes rendus ….en cherchant un peu…
Bien à vous.
Puisqu’il faut tout expliquer ! Je ne parle pas de SEP mais de méthodologie en illustrant certaines problématiques par des exemples réels. C’est la méthodologie qui conditionne la qualité des études et on retrouve les mêmes problématiques partout y compris la problématique du paradoxe de Simpson qui apparaît dès que les cas n’ont pas tous la même probabilité en relation avec la chose testée qui peut être la probabilité de guérison, d’avoir été vacciné etc …
En effet si les cas sont le cumul de 2 groupes G1 et G2; chacun des n1 cas de G1 ayant une probabilité p1 de guérison par exemple (ou d’avoir été vacciné ou …) et de même une probabilité p2 pour les n2 cas de G2, la différence entre les variances de G1+G2 (le cumul des 2 groupes) et la somme des variances de G1 et G2 sera n1n2(p1-p2)².
Elle sera donc nulle seulement si p1=p2. Sinon elle sera positive et d’autant plus grande que p1 et p2 seront différents. Or la somme des variances est la variance « vraie » alors que la variance de la somme résulte d’un cumul non mathématiquement exact dès que p1 et p2 sont différents.
Or c’est cette valeur non exacte que l’on utilise dans les tests statistiques de comparaison qui consistent à mesurer le nombre d’écarts-type séparant la valeur théorique, qu’on appelle « l’hypothèse nulle », de la valeur observée. L’écart-type étant la racine carrée de la variance, plus cette variance sera grande et plus le nombre d’écarts-type séparant la valeur théorique de la valeur observée sera faible et donc moins on aura de chances d’obtenir un résultat significatif.
C’est mathématique et cela peut avoir des conséquences importantes en faussant complètement les résultats des tests, tout particulièrement si p1 et p2 sont très éloignés ou si on a non seulement 2 groupes mais 3, 4 ou 5.
Comme l’écrit Marc Henry dans son article Aimsib du 26 janvier [1] :
« celui qui fait de la science cherche à savoir et à comprendre. Au scientifique, on peut opposer l’ignorant qui est celui qui ne veut pas savoir. De manière assez paradoxale, les deux personnages utilisent les mêmes mathématiques, le scientifique pour formuler des modèles théoriques qui permettent de prévoir le futur avec une marge d’incertitude la plus faible possible, l’ignorant pour obtenir des probabilités en l’absence de toute considération théorique.
On reconnaît donc un ignorant par son outil de prédilection qui est le raisonnement statistique appliqué hors de toute conception théorique. »
[1] https://www.aimsib.org/2020/01/26/homeopathie-medecine-science-et-ignorance-lavis-du-professeur-marc-henry/
CONCLUSION : il n’y a pas de statistiques valables sans modèles théoriques valables. Il est donc indispensable de leur accorder beaucoup d’importance. Je ne demande pas mieux de développer ces modèles de façon abstraite comme je viens de le faire plutôt que d’essayer de faire comprendre à partir d’exemples pour illustrer. Je peux faire les deux, je n’ai pas de problèmes avec ça. Après il faut se faire comprendre … Les exemples apportés par les publication Tardieu sont un exceptionnel cas d’école dont il serait très dommageable, pour des raisons pédagogiques, de se priver.
Pour enfoncer le clou : la médecine procède de façon exactement inverse des instituts de sondages électoraux. Chacun croit sans doute ici (et ailleurs) que les échantillons de 1000 personnes qui permettent à ces instituts de suivre l’évolution des intentions de votes sont représentatifs des électeurs. Pas du tout ! Ils ont découpé l’électorat en strates homogènes dont le vote évolue de la même façon dans l’ensemble du pays. Par exemple les femmes à la tête d’un petit commerce dans le nord de la France. Une connaissance de leur vote sur un échantillon de telles femmes pourra s’appliquer à la strate complète ainsi définie.
Pour faire simple prenons 2 strates, les ruraux (20% des électeurs) et les citadins (80%). On a droit à un échantillon de 100. Tout le monde va dire « je prends 20 ruraux et 80 citadins ! » Non ce n’est pas la bonne réponse ! Il faut prendre 50 ruraux et 50 citadins. Pourquoi ? Avec 20 ruraux leur vote serait mal évalué, c’est une première raison mais pas la seule. Le résultat final se joue sur les votes exprimés et non sur les inscrits. Si le jour du vote ils choisissaient un échantillon représentatif des inscrits il pourrait y avoir une distorsion préjudiciable alors que si on dispose du vote des ruraux et des citadins il suffira, en fin de journée, quand on connaîtra les répartitions des votants réels, de faire un petit calcul.
Pour travailler correctement il faudrait faire de même en médecine. Si je reprends mon exemple des petits et gros calculs rénaux traités de 2 façons il faudrait d’abord identifier la taille des calculs comme un facteur modifiant de façon significative l’efficacité des 2 traitements que l’on veut comparer puis tester les traitements sur 2 échantillons de petits calculs d’une part et 2 échantillons de gros calculs d’autre part et non pas de mélanger les petits et gros calculs par randomisation dans le même échantillon. J’avais montré (commentaire du 26 juillet 8h55) que la méthode n’était pas valable quand les probabilités de guérison étaient très différentes.
De même, penser que plus l’échantillon sera grand et mieux ce sera est illusoire car cela accroît le risque d’avoir un échantillon hétérogène. Il faut au contraire avoir des échantillons les plus homogènes possibles. Croire que la randomisation permet d’avoir des résultats fiables même en ignorant les facteurs modifiant les probabilités de guérison des traitements est un leurre. Si les instituts de sondages électoraux travaillaient ainsi ils nous feraient bien rire les soirs d’élections, à minuit quand les vrais résultats seraient connus. En médecine on n’a jamais les vraies réponses.
Un statisticien me disait vers l’an 2000 « on devrait interdire aux médecins d’utiliser la statistique, ils font n’importe quoi avec ». Pas facile à faire accepter !
En 2014 j’avais écrit plusieurs articles sur ce qu’on pourrait appeler la théorie des biais. Le premier :
« Comparer 2 moyennes ? Danger c’est risqué ! »
http://questionvaccins.canalblog.com/archives/2014/02/06/29133753.html
Je pense avoir mis le doigt sur une cause de la « maladie » qui est cette incompréhension chronique sur ces question : l’utilisation d’un vocabulaire trompeur pour éviter de « rentrer » dans le problème. Voici le remède que je propose :
Avant de randomiser il faut d’abord dissocier judicieusement afin de ne conserver que les petits calculs ou que les gros calculs, le tirage au sort n’intervenant qu’après. J’ai pu constater que pour justifier la randomisation sur des données combinant petits et gros calculs, il est affirmé que celle-ci « équilibre » les facteurs de confusion, les répartis de façon « homogène » entre les 2 groupes. C’est vrai mais c’est justement cette opération qui va favoriser la neutralisation des signaux ! Il faut au contraire déséquilibrer le plus possible la répartition des petits et gros calculs, l’idéal étant qu’il n’y en ait que d’une seule catégorie.
Les connotations favorables ou défavorables du vocabulaire utilisé servent de justification et de démonstration. Homogène et équilibré étant des termes dotés d’un connotation favorable, le fait que la randomisation équilibre dans les 2 groupes la répartition des personnes n’ayant pas du tout la même probabilité de guérison, rendant ainsi homogène leur répartition, chacun devra se montrer satisfait et considérer la méthode et sa justification comme … scientifiques !!!
Quand on mélange de l’eau avec de la farine, si ça fait des grumeaux c’est pas bien mais si on utilise un batteur pour bien mélanger alors on est très satisfait. Oui, dans cette situation c’est vrai mais dans celle qui nous occupe il faut au contraire séparer l’eau de la farine !
Est-ce clair ?
Bien sûr on retrouve exactement la même situation dans les tests dits cas-témoins quand la probabilité d’exposition à ceci ou cela n’est pas du tout la même parmi l’ensemble des cas considérés. Là aussi il faut impérativement dissocier et pour cela prendre conscience du problème. La réponse (mauvaise) apportée au problème n’est pas une randomisation mais un ajustement par régression logistique conditionnelle. Face à cette avalanche de gros mots, chacun s’incline et pense que ce doit être très scientifique ! Là aussi il faut d’abord dissocier judicieusement et ne pratiquer l’ajustement qu’après.