"Selon une étude..." : comment faire pour s'y retrouver ?

"Selon une étude..." : comment faire pour s'y retrouver ?
A lire aussi

, publié le mercredi 27 mai 2020 à 12h20

"Alors, ça marche ou pas ? " : avec le Covid, le nombre d'études scientifiques, souvent contradictoires, explose, donnant l'impression d'une incompréhensible cacophonie, incarnée de façon flagrante par les controverses autour de l'hydroxychloroquine. Si la controverse et le doute sont inhérents à la recherche, il existe pourtant des repères pour s'y retrouver.

Rendre publics ses travaux est un passage quasi-obligé pour un scientifique. Il soumet ses résultats à d'autres experts du même domaine - ses pairs - qui vont les commenter, les critiquer, en pointer les limites et/ou les points forts, voire parfois les réfuter. 

La controverse, moteur de la science 

C'est pour cela qu'une étude ne fait en général pas de conclusions définitives, ses auteurs indiquant habituellement que d'autres travaux sont nécessaires, qui viendront le cas échéant compléter, étayer ou contredire les résultats déjà rendus publics. 

C'est un faisceau d'études allant dans le même sens qui va éventuellement permettre de valider des hypothèses et de dégager un consensus scientifique. Cela peut être très long et parfois, aucun consensus clair ne se dégage malgré des années de recherches.

Du coup, sur de nombreux sujets, la science n'a pas toujours de réponse tranchée permettant de répondre par "oui" ou par "non", une réalité d'autant plus frustrante dans un contexte de pandémie mondiale et meurtrière.

"La science avance par controverses, réfutations, y compris des choses que l'on considérait comme acquises", rappelle auprès de l'AFP Jean-François Chambon, médecin et directeur de communication de l'Institut Pasteur.

Cela fait partie du mode normal de fonctionnement des scientifiques mais avec la pandémie, les débats ont très largement débordé du seul monde scientifique. 

Reprises abondamment par la presse, relayées et débattues avec virulence sur les réseaux sociaux, citées et parfois instrumentalisées par des personnalités politiques, les études sont mises à toutes les sauces dans le débat public.

 Il y a "étude" et "étude"  

Pour autant, doutes, controverses et instrumentalisations ne signifient pas que les études ne veulent rien dire ou qu'elles se valent toutes. 

Premier  point, il y a en quelques sortes "étude" et "étude". Si le mot est communément utilisé pour désigner, grosso modo, tout travail de recherche rendu public, il recouvre des choses un peu différentes.

La prestigieuse revue scientifique Nature explique par exemple qu'un "article de recherche" est une publication "dont les conclusions font avancer de façon substantielle la compréhension d'un problème important", à la différence des "lettres", correspondances etc..., des documents plus courts en général. 

Elle détaille ici les différents types de textes qu'elle publie. 

De plus, une étude peut porter sur des choses très différentes. Rien que dans le cas du Covid, parmi la multitude d'études qui circulent, certaines se penchent sur l'examen de symptômes, d'autres sur l'efficacité potentielle d'un traitement et ce, in vitro ou sur de "vrais patients".

A tire d'indication, on peut voir ici, de nombreux exemples d'études liées au Covid en ligne sur le site du Journal of the American Medical Association (JAMA).

Deuxième point : où trouve-t-on cette étude ? 

Dans le monde de la recherche, le terme de "publication" désigne les études publiées dans une revue scientifique.

Traditionnellement, le Graal est d'être publié dans un titre prestigieux, comme, en médecine, The Lancet ou The JAMA ou the New England Journal of Medicine... 

Il existe des milliers de revues scientifiques, plus ou moins connues, considérées comme plus ou moins sérieuses du point de vue des textes acceptés et de la rigueur de leurs processus de relecture.

Pour être "publié" , il faut "soumettre" son texte à une revue. S'il est jugé d'un niveau suffisant, elle pourra le faire viser par des scientifiques indépendants, c'est la "revue par les pairs" ("peer-review"), qui vont commenter en détail le texte et le cas échéant demander à l'auteur des précisions et de modifier son texte.

Vient alors la décision finale de publier ou non.

Le processus peut prendre plusieurs semaines voire davantage mais dans le contexte actuel, les processus sont souvent accélérés. 

Le processus est expliqué en détail dans la vidéo (en anglais) ci-dessous par le JAMA, qui affirme n'accepter que 10% des milliers de textes reçus chaque année.

Attention: il existe aussi des titres considérés comme des revues "prédatrices", aux pratiques peu éthiques et peu regardantes sur ce qu'elles publient.

"Les auteurs, généralement sollicités par mail, sont invités à soumettre des articles, lesquels sont systématiquement acceptés moyennant des frais de publication, quelle que soit la valeur scientifique des travaux soumis", explique par exemple ici l'université de Rennes 1. 

Elle renvoie sur cette liste en anglais qui répertorie des titres fortement soupçonnés d'être des revues prédatrices selon ces critères. 

La publication dans une revue prestigieuse "à comité de lecture indépendant" est vue comme un bon gage de qualité, même si ce n'est pas une garantie absolue.  Il existe des exemples célèbres -mais très rares- d'études rétractées (dépubliées), comme cette étude de 1998 liant autisme et vaccin, retirée par The Lancet en 2010.

Le site Retractationwatch recense les rétractations de travaux scientifiques. Il a signalé par exemple le 21 mai la rétraction par ses auteurs d'une prépublication française signée notamment du Pr Christian Perronne de l'hôpital de Garches et qui "suggérait un intérêt potentiel" de l'HCQ associée à l'azithromycine dans le traitement de malades du Covid hospitalisés.

En attendant d'être éventuellement publié, un auteur peut mettre en ligne son étude sur une plateforme de "pré-publication" ("preprints" en anglais), comme medRxiv (médecine) ou bioRxiv (biologie).

"C'est très bien" parce que ça permet de "partager" son travail rapidement mais "il y a eu une explosion de +preprints+ de très mauvaise qualité, souvent avec de gros problèmes méthodologiques, publiés très vite juste pour pouvoir évoquer le coronavirus", regrette le chercheur en biochimie Mathieu Rebeaud, de l'Université de Lausanne en Suisse, interrogé par l'AFP.

Et "le problème, c'est que certains sont utilisés tels quels par des sites internet ou même des médias alors qu'ils ne sont pas faits pour ça", poursuit-il.

MedRxiv prévient pourtant sur sa page d'accueil : "attention, les prépublications sont des compte-rendus  préliminaires de travaux qui n'ont pas été validés par une revue par les pairs. Ils ne doivent pas servir de base à une pratique clinique ou d'un acte lié à la santé, et ne doit pas être repris dans les médias d'information comme une information établie".

La rigueur scientifique  

De façon générale, toutes les études ont des biais, comme le rappelle dans ce thread Twitter le cardiologue Florian Zores consacrée à la lecture critique de la vaste étude du Lancet estimant que l'hydroxychloroquine (HCQ) n'est pas efficace et peut même être néfaste aux malades du Covid.

Reste à savoir s'ils sont nombreux, dans quelle mesure ils influent sur les résultats et s'ils sont clairement exposés et pris en compte par les auteurs.

Certains chercheurs ont même fait de l'analyse de la validité et de l'intégrité scientifiques une de leurs spécialités, comme la microbiologiste néerlandaire Elisabeth Bik, qui y consacre même un blog où elle décortique des études. 

Prenons l'exemple des études cliniques (sur des patients) sur l'HCQ. Certaines affirment qu'elle est efficace et d'autres non, alimentant des controverses scientifiques et des débats publics interminables. Certaines ont été publiées dans une revue, d'autres pas.

Certaines sont des essais cliniques sur des patients, d'autres des analyses retrospectives de données médicales de patients.

Pour tester l'efficacité d'un traitement, il existe plusieurs types d'études (rétrospective, interventionnelle, observationnelle...) et différentes critères pour mener l'essai : groupe-contrôle (patients qui ne reçoivent pas le traitement), nombre de patients, "randomisation" (les patients sont tirés au sort pour déterminer s'ils sont dans le groupe traitement ou dans le groupe contrôle)...

De plus, l'efficacité peut s'évaluer selon différents critères : baisse de la charge virale ou amélioration de l'état clinique des patients par exemple.

L'étude doit aussi prendre en compte du mieux possible un certain nombre de variables, comme par exemple les autres facteurs de risques (âge, poids, autres maladies...).

L'idée est d'être en mesure de déterminer si c'est bien le médicament lui-même, le plus indépendamment possible d'autres facteurs, qui a eu un effet, qu'il soit négatif ou positif ou nul. 

Sont considérés comme les plus solides les "essais randomisés contrôlés", avec le moins de biais statistiques possibles, sur de larges groupes de patients.

L'Académie nationale de médecine explique ici  que la "'médecine factuelle' d'aujourd'hui, ou 'evidence-based medicine' des Anglo-saxons, correspond à un souci de rationalisation des choix thérapeutiques" et "repose sur les résultats des essais cliniques contrôlés qui garantissent le niveau de preuve le moins discutable et le plus fiable". 

Et "pour être valable, un essai clinique contrôlé doit remplir des conditions méthodologiques précises": ajoute l'institution, citant notamment la randomisation et le groupe-contrôle permettant la comparaison.

Mais ce type d'essai est lourd et long à mettre sur pied, comme en témoignent les débuts difficiles de l'essai européen Discovery, comme expliqué dans cette dépêche de l'AFP du 7 mai (l'essai a cessé depuis d'inclure des patients dans le groupe testant l'hydroxychloroquine).

Pour l'heure, il n'y a pas de résultats disponibles d'essais cliniques sur des grosses cohortes de patients, randomisés et controlés testant l'hydroxychloroquine.

La lenteur de ce type d'essais est la principale justification du Pr Didier Raoult, qui a décidé d'administrer HCQ et antibiotique azithromycine à des patients dès les premiers symptômes. Il a rendu publiques plusieurs études affirmant que le traitement était efficace contre le Covid.

Les premières études portaient sur quelques dizaines de patients seulement. La troisième portait cette fois sur plus de 1.000 personnes mais, sans groupe contrôle, ne permettait pas de comparaison et donc de déterminer une efficacité du traitement, comme expliqué dans cette dépêche de l'AFP.

Celle du Lancet parue vendredi porte sur 96.000 patients et affirme que l'effet s'est révélé nul et même néfaste pour les 15.000 patients qui ont reçu le traitement, comparé à ceux qui ne l'ont pas reçu. Les auteurs ont étudié retrospectivement les données des patients pour effectuer ses comparaisons.


Capture d'écran du site du Lancet faite le 27 mai 2020

Considérée comme plus solide du fait du nombre très important de patients, elle n'est toutefois pas exempte de limites, notamment parce qu'il manque des données sur certains patients et en raison de critères d'exclusion de certains patients.

Didier Raoult reproche à l'étude, notamment, de ne faire qu'analyser des données après coup alors que lui-même a traité des patients.

En tout état de cause, l'étude du Lancet, et à l'image de nombre de scientifiques et autorités sanitaires, appelle à compléter ses observations avec des "essais cliniques contrôlés randomisés".

 

Vos réactions doivent respecter nos CGU.