Le site Web catalogofbias.org définit le biais vis-à-vis des résultats positifs comme « la tendance à soumettre, accepter et publier des résultats positifs plutôt que des résultats non significatifs ou négatifs ».
Il continue : « Le biais en faveur des résultats positifs se produit parce qu'une quantité considérable de résultats de recherche ne sont pas publiés, parmi lesquels plus de résultats négatifs ou nuls que de résultats positifs. Cela conduit à des allégations fallacieuses et à une surestimation des résultats des revues systématiques et peut également être considéré comme contraire à l'éthique. La non-publication des résultats peut également entraîner un gaspillage de la recherche, car les chercheurs peuvent répéter inutilement des études parce que les résultats ne sont pas publiés. »
Une étude d'août 2018 dans Psychological Medecine a démontré le biais vis-à-vis des résultats positifs d'essais sur les médicaments antidépresseurs. Dans « The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: the case of depression » les chercheurs examinent 105 essais de médicaments enregistrés auprès de l'agence américaine de l'alimentation et des médicaments (FDA). Ils expliquent que « les compagnies pharmaceutiques doivent préenregistrer tous les essais qu'elles ont l'intention d'utiliser pour obtenir l'approbation de la FDA ; par conséquent, les essais dont les résultats ne sont pas significatifs, même non publiés, sont toujours accessibles. »
C'est un point important sur lequel nous reviendrons. Mais les principales conclusions de l'étude constituent une lecture surprenante :
« Des 105 essais cliniques sur les antidépresseurs, 53 (50 %) ont été jugés positifs par la FDA et 52 (50 %) ont été jugés négatifs ou douteux (figure 1a). Bien que tous les essais positifs (98 %) sauf un ont été publiés, seulement 25 (48 %) des essais négatifs ont été publiés. Ainsi, 77 essais ont été publiés, dont 25 (32 %) étaient négatifs (Fig. 1b). Dix essais négatifs, cependant, sont devenus « positifs » dans la littérature publiée, en omettant les résultats défavorables ou en changeant le statut des résultats primaires et secondaires (Fig. 1c). Sans l'accès aux revues de la FDA, il n'aurait pas été possible de conclure que ces essais n'étaient pas positifs lorsqu'ils étaient analysés suivant le protocole. Parmi les 15 essais négatifs restants (19 %), cinq ont été publiés avec un résumé indiquant l'inverse (c'est-à-dire concluant que le traitement était efficace). Par exemple, un article a rapporté des résultats non significatifs pour le résultat principal (p = 0,10), mais a conclu que l'essai « démontre un effet antidépresseur de la fluoxétine significativement plus marqué que l'effet produit par le placebo » (Rickels et al., 1986). Cinq autres articles contenaient une légère pirouette (p. ex. suggérant que le traitement est au moins numériquement meilleur que le placebo). Un article n'a pas de résumé, mais la section de discussion conclu qu'il y a une « tendance à l'efficacité ». Par conséquent, seulement quatre (5 %) des 77 essais publiés ont déclaré sans ambiguïté que le traitement n'était pas plus efficace que le placebo dans cet essai particulier (figure 1d). Pour aggraver le problème, les essais positifs ont été cités trois fois plus souvent que les essais négatifs. »
L'effet cumulatif des biais dans la présentation et les citations des résultats expérimentaux pour des antidépresseurs (de Vries, et al. 2018)
Un article d'Aaron E. Carroll dans le New York Times à propos de cette étude (Congratulations, Your study went nowhere!) indique d'autres études qui ont révélé ce type de distorsions. Il fait également l'observation déterminante que, comme la recherche positive a tendance à être citée beaucoup plus souvent que la recherche négative (biais de citation), cette distorsion prolifère rapidement dans la littérature scientifique :
« Une étude de modélisation publiée dans BMJ Open en 2014 a montré que si un biais de publication entraînait la publication de résultats positifs à un taux quatre fois plus élevé que celle des résultats négatifs pour un traitement particulier, 90 % des méta-analyses de grande envergure concluraient par la suite faussement que le traitement fonctionnait. »
Il s'agit clairement d'un problème grave qui remet en question l'intégrité de la recherche scientifique. En bref, pourquoi devrions-nous accepter des « preuves scientifiques » si ces preuves sont davantage le produit d'un biais institutionnalisé que d'une enquête scientifique ouverte ?
Le biais vis-à-vis des résultats positifs est l'un des nombreux problèmes scientifiques auxquels on pourrait s'attaquer en adoptant une approche scientifique ouverte. La science ouverte peut être définie comme « la pratique consistant à mener des recherches scientifiques d'une manière totalement transparente et à mettre les résultats de ces recherches à la disposition de tous ». (Watson, 2015). La FDA exige que tous les essais de médicaments destinés à aider un traitement à obtenir l'approbation de la FDA soient préenregistrés auprès d'elle et que les résultats soient publiés, quelque soit le résultat. Il s'agit d'une forme de science ouverte parce qu'elle ouvre l'accès à la recherche scientifique à tous. Il semble évident que plus la science est diffusée, moins il y aura d'incitations pour que des choses comme les biais vis-à-vis des résultats positifs la déforment.
Ce billet a été publié en premier sur Afroscientific.com