“A información que se publicou sobre a covid-19 non sempre supuxo un avance real no coñecemento científico”

Unha dúbida que xurdiu e que se debate intensamente entre a comunidade científica é se o acelerado ritmo de produción de papers sobre a covid-19 en revistas científicas puido relaxar os controis de calidade, ante as urxencias da pandemia. Aínda que a revisión por pares é o principal filtro de calidade científica, non garante ao 100 % a fiabilidade de todos os estudos que se publican en revistas científicas. Por exemplo, na base de datos Retraction Watch rexistráronse 35.000 retractacións de artigos científicos publicados en calquera período e sobre calquera ámbito científico. Sobre as retractacións de papers relacionados coa covid-19, ata novembro deste ano retiráronse 267 artigos de revistas científicas por deficiencias, segundo Retraction Watch.

Nunha análise cualitativa da revisión por pares de manuscritos en revistas médicas atopouse que, aínda que o contido relacionado coa covid-19 se revisou moito máis rápido que nos procesos de revisión antes da pandemia, os informes de revisión non parecen ser menos exhaustivos, aínda que se identificaron criterios diferentes para os artigos sobre a covid-19 que parecen ser algo máis suaves, “aceptándose deficiencias que normalmente non pasarían unha avaliación editorial ou o mecanismo de selección da revista”, ante as necesidades pola pandemia de “axilidade e adaptabilidade dun sistema que xeralmente se tipifica como conservador, tradicional ou mesmo ‘obsoleto’”.

Nesta liña, investigadores do Instituto de Investigación Sanitaria de Santiago de Compostela (IDIS) alertan de deficiencias, fundamentalmente metodolóxicas, en parte da literatura científica publicada nos últimos dous anos sobre a covid-19.

Desde o inicio da pandemia publicáronse nada menos que 1.116.948 artigos científicos relacionados coa covid-19, ademais de 117.085 preprints

Cristina Candal Pedreira, Alberto Ruano Ravina e Mónica Pérez Ríos realizaron un estudo de casos e controis emparellados por revista científica para comparar o proceso de publicación e calidade de papers sobre a covid-19 e papers sobre outras cuestións científicas non relacionadas coa pandemia do coronavirus. Estes expertos lembran que “o interese espertado polo novo coronavirus, sumado á urxente necesidade de xerar evidencias sobre a enfermidade e o seu tratamento, entre outras cousas, provocou un aumento exponencial dos traballos relacionados coa covid-19; isto, á súa vez, produciu unha avalancha de información de difícil xestión e aplicación, xa sexa por parte dos profesionais sanitarios ou dos organismos encargados de aplicar as políticas públicas de saúde”.

De feito, segundo a base de datos Dimensions, desde o inicio da pandemia, en xaneiro de 2020, até o 5 de novembro de 2022, publicáronse nada menos que 1.116.948 artigos científicos relacionados coa covid-19, ademais de 117.085 preimpresións (preprints, na xerga científica), é dicir, publicacións publicadas en liña antes da revisión por pares. Son cifras extraordinarias.

“Tanto os traballos revisados ​​por pares como as preimpresións serviron para xerar un gran volume de información sobre a covid-19. Porén, observouse que un número substancial de traballos revisados ​​por pares teñen limitacións metodolóxicas ou dan lugar a conclusións erróneas, co que resulta potencialmente nocivo para a saúde pública”, advirten os investigadores do IDIS, que piden “preservar a calidade dos artigos relacionados coa covid-19 para asegurar a publicación de boa evidencia científica”.

MENOR CALIDADE, MAIOR IMPACTO

Os casos analizados neste estudo foron 81 artigos sobre a covid-19 e os controis, 143 artigos non covid-19, todos eles publicados en 20 revistas científicas no mesmo período, desde marzo de 2020 ata xaneiro de 2021. O que viron os investigadores do IDIS foi que os estudos observacionais descritivos e os estudos observacionais analíticos tiñan, respectivamente, unha probabilidade 55 veces e 19 veces maior de ser artigos covid-19 e de ter un tamaño de mostra menor. De feito, os estudos co tamaño de mostra máis pequeno (menos de 500 individuos) tiñan unha probabilidade 6 veces maior de ser artigos sobre covid-19, en comparación cos estudos co maior tamaño de mostra (máís de 500 individuos incluídos no estudo). E os artigos máis citados desde a súa publicación tiñan 5 veces máis probabilidades de ser artigos covid-19.

Un dato relevante deste estudo é que o tempo transcorrido desde o envío de papers sobre a covid-19 para a súa revisión, até a súa publicación, foi máis curto que o dos artigos non relacionados con esta pandemia. Ademais, observouse que os artigos relacionados coa covid-19 recibiron un maior número de citas en comparación cos demais, cunha media de tres citas os primeiro, fronte a unha media dunha cita dos segundos.

 “Os artigos covid-19 parecen ter maior impacto bibliométrico, malia ter menor calidade metodolóxica”

Os resultados, din, “suxiren que existen diferenzas entre os traballos de investigación orixinais publicados nos primeiros meses da pandemia, segundo informen de estudos covid-19 ou non covid-19. A pesar de recibir máis citas, os estudos sobre covid-19 teñen máis probabilidades de ter certas características (deseño do estudo, tamaño da mostra) que xeralmente están asociadas cunha baixa calidade metodolóxica, que os estudos non relacionados coa covid-19, segundo algunhas ferramentas de avaliación da calidade, como GRADE”

E isto preocúpalles, xa que “os artigos covid-19 parecen ter maior impacto bibliométrico, malia ter menor calidade metodolóxica”. A publicación de artigos de baixa calidade é un problema con impactos de gran calibre, xa que, como advirten os investigadores do IDIS, “os profesionais sanitarios poderían basearse en conclusións erróneas ou non válidas para orientar a súa práctica clínica, co posible prexuízo que isto supón para os pacientes; do mesmo xeito, as autoridades sanitarias poderían tomar decisións que poidan poñer en perigo a saúde da poboación”, baseadas nesas publicación de dubidosa calidade pero avaladas por revistas científicas.

En definitiva, para estes expertos, “a información que se publicou sobre a covid-19 non sempre supuxo un avance real no coñecemento científico”, polo que piden “fomentar a publicación de revisións bibliográficas sistemáticas que recompilen e resuman a información xerada sobre diferentes aspectos da covid-19, co obxectivo de facela máis manexable”

Sumado a isto, critican “unha superposición innecesaria de evidencia científica relacionada coa covid-19, coa consecuente perda de tempo e recursos (humanos e económicos) que isto supón”, mentres que “hai campos relacionados coa covid-19 que apenas se están estudando, como os efectos da pandemia sobre outras enfermidades ou o uso das novas tecnoloxías”, din.

E temen que “ao dar prioridade á publicación de estudos sobre a covid-19, os estudos relevantes de maior calidade que aborden outros temas científicos poderían pasarse por alto ou mesmo excluírse”.

POLÉMICA SOBRE OS ‘PREPRINTS’

John P.A. Ioannidis, un dos científicos de maior renome no mundo –profesor na prestixiosa Universidade de Stanford nos departamentos de Medicina, Epidemioloxía e Saúde Pública, e Datos Biomédicos e Estatística–, advertiu da existencia dunha “epidemia de afirmacións falsas e accións potencialmente daniñas” en relación coa crise mundial do SARS-CoV-2. Ioannidis apunta á urxente produción científica non revisada por pares que se lanzou na web como preprints como un dos focos de desinformación, ou de información errónea.

Volvendo aos científicos do IDIS e o seu estudo, estes tamén se mostran críticos cos servidores de preimpresións, cuxo uso “xa fora en aumento antes da pandemia, debido ás críticas vertidas ao actual sistema de publicación das revistas científicas, e en particular á revisión por pares, por ralentizar a difusión dos resultados”. “No contexto da pandemia, publicáronse como preimpresións un número considerable de manuscritos relacionados coa covid-19. Cómpre ter en conta que non existe ningún mecanismo que permita verificar que a información publicada como preimpresión sexa de feito auténtica e fiable. Durante a pandemia, os resultados publicados en forma de preimpresión levaron a algunhas personalidades políticas e médicas a promover certos tratamentos para a covid-19, sen que estes fosen validados de ningún xeito, co posible prexuízo que isto puido supoñer para a poboación”, lamentan.

Algúns expertos piden non usar preprints como fontes de información, pero tamén hai evidencias de que a maioría son publicados finalmente en revistas científicas

Precisamente, unha das maneiras nas que os negacionistas alimentan as súas teorías conspirativas é cos erros da ciencia. E, obviamente, a multiplicación de preprints multiplica os erros científicos publicados. Antes da pandemia da covid-19, un estudo de investigadores da Universidade de Minnesota atopou que ao redor de dous terzos dos preprints publicados na plataforma bioRxiv acabaron sendo publicados en revistas científicas revisadas por pares. Aínda que a taxa é considerable, suxire tamén que esoutro terzo de traballos non aprobados e que permanecen en repositorios abertos pode converterse nun enorme caudal de erros científicos ao aumentar o seu número. Como xa advertira Howard Bauchner, editor do Journal of the American Medical Association (JAMA), o uso de preprints como referencias, nalgúns casos, pode “ser devastador para algúns pacientes se os resultados que se fan públicos antes da revisión por pares son incorrectos ou se interpretan incorrectamente”.

O auxe destas publicacións e do seu uso como fontes de información xornalística levou ao Science Media Centre a pedir a científicos e responsables de gabinetes de prensa que non difundan preprints entre os medios e xornalistas ata que os achados se publiquen nunha revista científica tras unha revisión por pares.

Con todo, é xusto tamén recoñecer que moitos preprints foron moi útiles, acelerando a difusión e comprensión de achados científicos sobre o SARS-CoV2 e a covid-19. Nunha avaliación de preprints de bioRxiv e medRxiv que se publicaron posteriormente en revistas con revisión por pares ata o 30 de abril de 2020, na fase inicial da pandemia, atopouse que a maioría de preprints non difire substancialmente, nos seus resumos, cifras ou conclusións, das versións finais revisadas por pares.

En definitiva, o debate sobre a calidade da literatura científica relacionada coa covid-19 segue xerando controversias entre investigadores de todo o mundo. A pandemia supuxo unha aprendizaxe para a comunidade científica. O reto é identificar os puntos fortes e débiles do sistema de revisión e publicación para melloralo e, así, asegurar a calidade e fiabilidade dos estudos que se publican en revistas e fixar criterios sobre o uso de preprints.