Aujourd'hui, notre lettre sur un article dans @Nature Scientific Reports qui prétendait ne trouver aucune preuve que "rester à la maison" réduisait les décès dus au #COVID19 a été publiée. Un exemple déprimant de l'échec de la correction scientifique 1/n
nature.com/articles/s4159…
2/n Le document original a été publié en mars, au milieu des grandes épidémies mondiales, et a immédiatement connu un succès massif. Neuf mois plus tard, il a été consulté près de 400 000 fois et a obtenu l'un des meilleurs scores Altmetric de tous les articles jamais publiés.
3/n L'article a également été, je pense qu'il est juste de le dire, l'un des travaux les plus influents de la pandémie. Il est encore régulièrement cité partout pour soutenir l'idée que les restrictions gouvernementales contre le Covid-19 ne fonctionnent pas...
4/n Cependant, il y a des problèmes clairs avec cet article. Lorsqu'il a été publié, nous avons écrit une série de fils de discussion sur Twitter à ce sujet, ainsi qu'un préprint OSF
5/n En plus de cela, @goescarlos a aussi écrit sur cet article. Il a écrit un préprint mathématique détaillé qui a maintenant été publié aussi.
nature.com/articles/s4159…
6/n @goescarlos a prouvé que le modèle utilisé par les auteurs produira toujours ce qui est essentiellement du bruit.
7/n @RaphaelWimmer a ensuite fait des simulations et prouvé que, quelle que soit l'importance du lien entre les décès et le comportement des personnes restant à la maison, le modèle ne trouve aucune corrélation.
8/n En effet, même si vous créez un ensemble de données où rester à la maison augmente les décès de Covid-19 dans un rapport de 1:1, le modèle des auteurs donne des résultats non significatifs.
9/n L'article soulève également de nombreux autres problèmes méthodologiques. Par exemple, les auteurs utilisent de manière non critique les données sur les décès en Biélorussie, qui sont notoirement fausses et ne répondent pas aux contrôles les plus simples.
10/n Fondamentalement, l'article est totalement inutile. Il ne prouve absolument rien sur Covid-19 ou sur le fait de rester à la maison. Et pourtant, rappelez-vous, il a un impact énorme. Utilisé dans la prise de décision dans des pays à travers le monde
11/n Le fait est que les éditeurs de Scientific Reports ont fait tout ce qu'il fallait ici, selon les normes académiques habituelles. Peu de temps après que nous ayons fait part de nos inquiétudes via Twitter/@PubPeer , ils ont publié un expression of concerns sur l'article.
12/n Les éditeurs ont été très réactifs avec nous tout au long du processus. Ils ont écouté les problèmes, les ont fait examiner par des pairs pour s'assurer qu'il s'agissait de problèmes réels, et ont généralement fait tout ce que nous attendons des éditeurs dans cette situation
13/n Et pourtant, l'ensemble du processus est un échec monumental. Pourquoi ? Parce que tout cela prend BEAUCOUP TROP DE TEMPS
14/n L'étude est devenue virale du jour au lendemain. Elle a été lue par 100 000 personnes en un mois. Bien que la note d'inquiétude soit montée rapidement, elle a dit très peu de choses et n'était pas vraiment en désaccord avec les principaux arguments de l'article.
15/n Ce document, qui a toujours été inutile en tant que preuve, a été utilisé comme tel pendant près d'un an, tandis que nous nous assurions lentement que les énormes et sérieuses critiques dont il faisait l'objet étaient exactes... Ce n'est tout simplement pas assez rapide
16/n Pour 1 pandémie, les décisions sont prises du jour au lendemain. Un article qui devient viral aujourd'hui peut être dans les mains du chef d'État albanais le lendemain. Une réponse officielle qui met plus de 9 mois à arriver est simplement inadéquate pour atténuer les dégâts
17/n Aucune bonne solution cependant. L'évaluation par les pairs, imparfaite qu'elle est, laissera toujours passer certaines recherches terribles.
18/n Avec les connections virtuelles actuelles, ces recherches deviennent parfois virales et ont des impacts négatifs importants avant que nous puissions les corriger.
19/n Je peux dire, cependant, que s'il faut près d'un an pour faire un commentaire majeur sur un article qui, mathématiquement, ne peut fournir aucune preuve sur le sujet qu'il examine, alors notre système de contrôle des erreurs a de sérieux problèmes...
C'était une traduction du thread de @GidMK mon co-auteur sur cet article avec @FLAHAULT et @RaphaelWimmer J'en partage évidemment le message. Le thread en anglais est ici:
