Tal y como describí en mi última post, el sistema actual de revisión por pares tiene su germen en el siglo XVIII, comenzó a involucrar a revisores externos a mediados del siglo XIX y no se volvió habitual hasta mediados del siglo XX.
La revisión por pares se convirtió en la piedra angular del método científico, pero hasta finales del siglo XIX la realizaba a menudo directamente un editor en jefe o un comité editorial. Los editores de revistas científicas en ese momento tomaban decisiones de publicación sin buscar la opinión de expertos externos, y dando por lo tanto más libertad a los propios autores. Por ejemplo, los cuatro artículos revolucionarios de Albert Einstein, comúnmente conocidos como Annus Mirabilis, y publicados en el número de 1905 de Annalen der Physik, fueron evaluados por el editor en jefe de la revista, Max Planck, y su coeditor, Wilhelm Wien, ambos futuros ganadores del Premio Nobel y expertos en los temas de estos artículos. En una ocasión mucho más tarde, Einstein criticó severamente el proceso de revisión externa, diciendo que no había autorizado al editor en jefe a mostrar su manuscrito "a los especialistas antes de imprimirlo" e informándole que "publicaría el artículo en otro lugar." – lo cual hizo, con modificaciones sustanciales.
Si bien algunas revistas médicas comenzaron a designar sistemáticamente revisores externos, sólo a partir de mediados del siglo XX esta práctica se extendió ampliamente y los revisores externos obtuvieron cierta visibilidad dentro de las revistas académicas, incluido el agradecimiento de los autores y editores. ¿Qué pasó? Sigamos detallando la historia.
Las revistas no eran las únicas instituciones destinadas a evaluar la calidad de la ciencia. En los organismos de financiación, la evaluación externa de las propuestas de subvención era bastante rara antes de la Segunda Guerra Mundial. Las organizaciones benéficas, como la Fundación Rockefeller, por ejemplo, generalmente dejaban las decisiones de financiación en manos de sus empleados, a quienes se confiaba la tarea de evaluar internamente si un científico merecía una subvención, independientemente de que entendieran o no la ciencia en juego. Las organizaciones de subvenciones asociadas con gobiernos o sociedades científicas eran más propensas a utilizar arbitraje externo, aunque la práctica no era de ninguna manera universal.
Tanto las revistas como los organismos de financiación comenzaron a poner más énfasis en el arbitraje externo después de la Segunda Guerra Mundial. Una de las razones del cambio hacia el arbitraje en las revistas fue la carga cada vez mayor que pesaba sobre los editores a medida que aumentaba el número de científicos (y artículos científicos) debido a la generosa financiación científica durante la Guerra Fría. Aunque a principios de siglo las revistas hacían todas las tareas de revisión internamente, en la década de 1950, los miembros del consejo editorial del semanario estadounidense Science se quejaron de que “la tarea de revisar y sugerir revisiones para cientos de artículos técnicos no un trabajo nada placentero ni satisfactorio”, y acordó comenzar a enviar artículos a expertos externos. De manera similar, cuando se fundó el American Journal of Medicine en 1946, su editor Alexander Gutman quería ofrecer a sus autores una publicación rápida (¿les suena familiar hoy en día?) y decidió gestionar las aceptaciones y rechazos casi exclusivamente por su cuenta. Sin embargo, a medida que la revista se hizo más popular, Gutman no pudo mantener el ritmo de la producción científica y, en la década de 1960, él también comenzó a enviar artículos para obtener opiniones externas.
Pero la creciente carga de trabajo en las revistas científicas no explica cómo el arbitraje se volvió crucial para la idea misma de rigor científico. El vínculo entre el arbitraje y la legitimidad científica parece haber surgido tras el dramático aumento de la investigación patrocinada por el gobierno en los Estados Unidos de la posguerra. Entre 1948 y 1953, el gasto federal en investigación científica en Estados Unidos se multiplicó por 25. La expansión masiva de la financiación gubernamental llevó a una mayor atención pública a los científicos y a peticiones de que la ciencia debería rendir más cuentas ante el público y ante el Congreso de los EE.UU. Los científicos, por otro lado, no estaban muy entusiasmados con la idea de que sus propuestas de subvención fueran evaluadas por personas sin formación científica.
La tensión entre esta rendición de cuentas y la autonomía científica alcanzó su punto máximo a mediados de la década de 1970, durante una controversia sobre las subvenciones de investigación otorgadas por la Fundación Nacional de Ciencias (NSF). Los primeros años de la década de 1970 fueron una época de creciente crisis económica para Estados Unidos, y tres legisladores, los congresistas republicanos John Conlan y Robert Bauman, y el senador demócrata William Proxmire, lanzaron una serie de ataques públicos contra subvenciones específicas que había otorgado la NSF. Los tres hombres acusaron a la NSF de otorgar subvenciones frívolamente (principalmente en ciencias sociales) y de desperdiciar el dinero de los contribuyentes en proyectos como un plan de estudios de sociología para la escuela secundaria y un estudio del estrés en ratas y monos. Bauman y Proxmire argumentaron que la mala toma de decisiones de la NSF justificaba mucho más control del Congreso sobre las subvenciones que concedían. No pensemos en un renovado interés de los políticos por la ciencia: simplemente se trataba de la campaña política que Jimmy Carter (que llegó a la presidencia en 1976) desplegó contra muchas instituciones en Washington.
En ese momento, los revisores de las revistas y de los pocos organismos de financiación que las utilizaban sistemáticamente habían llegado a esperar que sus identidades permanecieran en secreto para los autores, y el director de la NSF, H. Guyford Stever, consideró la solicitud de Conlan como una ruptura importante con el protocolo científico. Curiosamente, a mediados de la década de 1970 también fue el momento en que los estadounidenses llamaban cada vez más al arbitraje con un nuevo término: “revisión por pares” (peer review, en inglés).
Probablemente, el resto de la historia sea más conocida para los lectores actuales, y muchos de ellos conocerán el proceso secreto de revisión por pares que se lleva a cabo hoy en día para publicar un artículo de investigación en cualquier revista o conseguir una subvención. Sin embargo, la perversa creación del índice H como una de las peores ideas para medir el desempeño científico, la proliferación de revistas depredadoras, el aumento de los precios de publicación y las dificultades para la replicabilidad de los experimentos han convertido esta actividad en una locura, y han llevaron a perder gran parte de su rigor y prestigio incluso entre los científicos y la sociedad.
ChatGPT y su capacidad para crear textos largos que suenan naturales sobre cualquier tema científico ha traído las últimas malas noticias a este mundo, y aquí hay solo algunos enlaces a algunos de los síntomas más importantes de un sistema de publicación o perdición agonizante que está a punto de sufrir un gran impacto. implosión, con suerte:
- La explosión de datos falsos y desprestigio en la ciencia.
- ¿Cuántos artículos académicos se escriben con la ayuda de ChatGPT?
- Muchos están utilizando los LLM para reemplazar a los humanos (investigadores y participantes) en la investigación y el desarrollo.
- Cada vez es más difícil encontrar revisores científicos.
- El experimento académico de Google: cómo indexar artículos falsos y manipular indicadores bibliométricos.
- El personal de Springer Nature, editor de Nature y cientos de otras revistas científicas con sede en el Reino Unido, se declara en huelga por una disputa salarial.
