Biblioteca en español > Proceso de la Ciencia > Comunicación Científica: Revisión de Pares
por Anthony Carpi, Ph.D., Anne E. Egger, Ph.D., Natalie H. Kuldell
hide
Cuando usted va a ver a su doctor con una queja de salud, él o ella le puede realizar un diagnóstico preliminar y luego enviarlo a un especialista para que obtenga un examen más detallado. Por ejemplo, si a usted le duele el pie, podría enviarlo a un podiatra. Un sarpullidlo puede ser indicador de un desorden de la piel y merecer el examen de un dermatólogo, o puede ser algún tipo de alergia, lo que demandaría la opinión de un alergólogo. Los pacientes que se quejan de dolor de pecho podrían ser derivados a diferentes especialistas, incluidos un cardiólogo, neumólogo, gastroenterólogo u otros, dependiendo de la naturaleza de su dolor. Los médicos generalistas saben que hay demasiadas enfermedades diferentes y muy especificas, así que cuentan con un equipo de especialistas para mantener saludables a sus pacientes. De igual manera, los científicos cuentan con un equipo de otros científicos, cada uno con su especialidad, para revisar y comentar investigaciones antes de que sean publicadas, financiadas por agencias de subvención, presentadas en congresos científicos o difundidas de otra manera a la comunidad científica.
Los editores de las revistas científicas (vea nuestro módulo Scientific Writing I: Understanding Scientific Journals and Articles, los directores que financian programas y los presidentes de reuniones científicas reciben muchas propuestas de investigación, muy diversas y detalladas de científicos. Por ejemplo, en un solo ejemplar de la revista Science (Figura 1), se pueden leer artículos de investigación sobre temas tan diversos como los factores genéticos que influyen en el tamaño de los perros, la influencia del cambio climático en los patrones de los hongos de las frutas, la geomorfología de los depósitos de hielo en Marte, y la nueva tecnología para generar pequeñas corrientes eléctricas, usando ondas ultrasónicas (Science, 2007). Sería imposible para una persona poseer la maestría y el conocimiento de fondo necesarios para revisar y evaluar estas propuestas. Como consecuencia, los editores de las revistas cuentan con especialistas y expertos en esas ramas para el proceso de la revisión de las propuestas y es por ese motivo que les piden a otros científicos (colegas o pares), con mayor familiaridad con los métodos de esos trabajos, que revisen y comenten la investigación presentada. Los pares revisores proporcionan comentarios acerca de la validez de los métodos usados, la sensatez de las técnicas de análisis de los datos, la lógica de las interpretaciones de los autores, y la calidad de la redacción y los gráficos. Los pares revisores que evalúan esos trabajos, comúnmente hacen recomendaciones acerca de si creen que un manuscrito debe ser publicado o una presentación de investigación debe exponerse en un congreso, o, en el caso de una oportunidad de subvención, si un estudio debe ser financiado. Los colegas que revisan estas propuestas también son requeridos por instituciones académicas, y de otro tipo, para proveer criterios de evaluación cuando un científico va a alcanzar una cátedra o va a ser promovido a un rango superior.
| ||
Figura 2: Tapa del ejemplar de la revista Transacciones filosóficas publicada por la Real Sociedad. La revista estableció una de las primeras políticas de revisión por pares. |
El origen de la revisión por pares está estrechamente relacionado al desarrollo de las instituciones científicas y de las revistas científicas. Cuando la Real Sociedad de Londres (vea nuestro módulo Scientific Institutions)empezó a publicar su revista Transacciones Filosóficas en 1665 (Figura 2), el proceso de revisión era exclusivamente la responsabilidad del editor (en ese momento, Henry Oldenburg). El editor a veces reclutaba a otros científicos para ofrecer las opiniones necesarias, pero era su única responsabilidad decidir si los trabajos iban a ser revisados por otros o no. En 1752, la Sociedad en sí tomó el mando de las responsabilidades editoriales para la revista e instituyó una política de revisión donde se mandaba cada manuscrito a un pequeño grupo de expertos en ese campo, antes de que fuese publicado (Spier, 2002). Esta práctica fue el comienzo del proceso de revisión por pares tal como se lo conoce hoy en día. El proceso se diseminó esporádicamente a través de las ciencias en el siglo XIX, pero se estandarizó para la revisión científica a mediados del siglo XX. Algunos han relacionado el proceso de revisión por pares en el siglo pasado, a la popularización de las máquinas de fotocopiar Xerox® que facilitaron la réplica y distribución de los manuscritos a los revisores o evaluadores (Speir, 2002). Cualquiera que haya sido la motivación, ambas revistas Science y Journal of the American Medical Association implementaron prácticas de revisión por pares consistentemente, en los años 1940, y luego le siguieron otras revistas.
Hoy en día, existen más de 5.000 diferentes revistas científicas y cada una de ellas recibe muchos manuscritos de científicos que piensan que su trabajo debería ser publicado. Solamente la revista Science recibe hasta 200 manuscritos por semana. Para evaluar la propiedad para la publicación de cada manuscrito, los editores de las revistas identifican dos o tres pares que los revisan, los leen y comentan cada manuscrito presentado.
Los pares que revisan son científicos entendidos que no están directamente involucrados con la investigación que está siendo evaluada, sino que tienen familiaridad con el campo de estudio o los métodos de investigación usados. Los evaluadores o revisores puede que no conozcan a los científicos que escribieron el trabajo o la propuesta de subvención, pueden ser colegas, o hasta pueden ser rivales científicos con los autores. Así que en un intento de eliminar el sesgo del proceso de revisión, la mayoría de los manuscritos son considerados independientemente por múltiples revisores y se deja que el editor de la revista tome la decisión final acerca de la publicación, basándose en los comentarios de los revisores. Éstos consideran la relevancia del trabajo frente a la revista, el programa de financiación que obtuvieron, la validez de los métodos e interpretaciones, la originalidad de sus descubrimientos y la claridad de su redacción. Los revisores luego proveen comentarios, generalmente en forma escrita, sobre el trabajo que han leído. Y estos comentarios son enviados frecuentemente a los autores para que los autores puedan usar los comentarios de los revisores para refinar y mejorar el texto de sus manuscritos o su investigación. Los revisores pueden elegir, frecuentemente, si desean permanecer anónimos para los autores o no. Los editores de revistas o los directores de programas de subvención confían en los comentarios de los revisores para guiarlos en sus decisiones. Así, pueden elegir si aceptan su trabajo tal como está, pueden pedir al o los autores revisiones, o pueden rechazar el trabajo, basados en los comentarios de las evaluaciones por los pares.
El 22 de enero del 2007, Conrad Mauclair y sus colegas presentaron un manuscrito titulado “Cuantificando los efectos de la materia húmeda en la supresión de las emisiones de mercurio de las superficies de suelo artificiales” para la consideración de la revista Applied Geochemistry. El editor mandó el manuscrito a dos pares para que revisen el trabajo, y se les dio de uno a dos meses para completar la revisión. Los revisores mandaron sus comentarios a los editores y después de considerar los comentarios de los revisores, el editor eligió aceptar el manuscrito con las revisiones y así se les respondió a los autores, aproximadamente cinco meses después de la presentación inicial. A continuación se pueden leer fragmentos de la carta que el editor escribió detallando su decisión.
|
Se adjuntaron los comentarios de los revisores a la carta del editor, sin los nombres de aquéllos. En el caso de los manuscritos de revistas aceptados con revisión, los autores tienen la oportunidad de leer y responder a los comentarios de los revisores y hacer cambios al artículo en cuestión. En el caso de presentaciones para recibir subvenciones, los científicos leen los comentarios de los revisores y usan estos para fortalecer su presentación la próxima vez que soliciten esa subvención. Para el artículo de Mauclair y sus colegas, los revisores hicieron varias recomendaciones para mejorar el artículo, como se lee en los fragmentos siguientes.
|
|
Una vez que se reciben los comentarios acerca de un manuscrito, son los autores los que tienen que considerar esos comentarios, o en caso de discrepar con los comentarios de los revisores, proveer una explicación de por qué no han considerado estos comentarios. En el caso antedicho, los autores consideraron la mayoría de los comentarios de los revisores y enviaron una carta al editor el 10 de junio de 2007 detallando los cambios que habían hecho en el artículo y discutiendo porque no habían hecho algunos otros:
|
Los comentarios del Revisor 2 resaltan el hecho que la revisión por pares ayuda al sistema de publicación científica para asegurar que los manuscritos alcancen ciertos estándares mínimos. El Revisor 2 comentó la originalidad de la presentación, la importancia aparente del trabajo en el campo científico, la forma de presentación de la redacción del texto, la calidad de las figuras y tablas y el análisis de datos en general. Y lo hizo así, independientemente de si él o ella hubiera encontrado cualquier falla seria en el trabajo y, específicamente, la propiedad del título del manuscrito y el resumen, puesto que estos son parte del trabajo que será catalogado en las bases de datos de la literatura (vea nuestro módulo Scientific Writing: Literature) y por lo tanto leído ampliamente. Los revisores pueden recomendar que los autores aclaren el texto o añadan ciertas referencias que no habían considerado previamente; pueden sugerir cambios porque piensan que las interpretaciones de los autores no confirman sus datos; pueden recomendar investigación adicional para aclarar puntos cuestionables en el estudio o pueden recomendar que el manuscrito sea rechazado completamente debido a dudas sobre los métodos de investigación, la recopilación de datos o la interpretación. De igual manera, los revisores de las propuestas para subvención pueden hacer recomendaciones especificas para mejorar un estudio y recomendar que los autores presenten otra vez su propuesta, en otro ciclo de subvención, una vez que haya sido mejorada. Los revisores de subvenciones pueden también recomendar que se realice una mayor investigación de fondo antes de que los autores presenten otra vez su propuesta, que otro científico con experiencia diferente sea incluido en el equipo de investigación o que se amplíe o se acote el ámbito de la investigación.
Muclair y sus colegas introdujeron en el manuscrito la mayoría de los cambios solicitados por los revisores: revisaron el título, añadieron explicaciones adicionales al texto, y hasta realizaron experimentos adicionales para sastisfacer una pregunta del Revisor 1. En las revisiones, el Revisor 2 calculó un área de equilibrio de mercurio en los experimentos y concluyó que los ejemplares perdían más mercurio de lo que se añadía al sistema; el editor luego añadió a este comentario la explicación de la razón por la que esto ocurría y sugirió reportar los datos de una manera diferente. Los autores incorporaron este comentario al corregir una presunción errónea del revisor y explicar por qué habían elegido no reportar los datos de la manera sugerida por el editor. Por lo tanto, aunque no siguieron la sugerencia hecha por el revisor, si proveyeron una explicación detallada del por qué. Una vez que se vuelve a presentar un manuscrito revisado, el editor lee las respuestas de los autores, y si queda satisfecho de que los autores trataron adecuadamente todas las cuestiones de los comentarios, introducen el manuscrito en el ciclo de la publicación de la revista. En algunos casos donde se requieren mayores revisiones, el editor puede redistribuir el manuscrito a los revisores una segunda vez antes de aceptarla. El manuscrito Mauclair fue aceptado para ser publicado en agosto del 2007, apareció primero en el sitio en línea de la revista en enero del 2008, y finalmente fue publicado en la versión impresa de la revista en marzo del 2008 (Mauclair et al., 2008).
| |
Figura 3: Parte de la figura 1 de Maucliar et al. (2008). Los datos resaltados en rojo son de experimentos nuevos que se realizaron como respuesta de los comentarios de los revisores. Esta figura fue publicada en la revista Applied Geochemistry, 23(3), Mauclair et al., 594-601, Copyright Elsevier (2008). |
Vale la pena resaltar la larga duración que supone la publicación de artículos científicos. Desde la presentación inicial hasta la impresión final, tomó 14 meses publicar el artículo descrito con anterioridad, lo que ni siquiera incluye el tiempo que se tomó para el trabajo inicial que luego desembocó en la publicación. Frecuentemente, se critica la pereza del proceso de la revisión por pares, pero éste refleja la idea que el trabajo publicado entra en la literatura científica permanentemente, como parte del trabajo sobre el que se puede construir otros trabajos por otros científicos, y por tanto debe ser considerado cuidadosamente.
Adicionalmente, las revistas y las agencias de financiación varían en su selectividad y enfoque de investigación. Consecuentemente, los científicos eligen dónde presentar sus manuscritos basándose en el impacto que se percibirá de su investigación, la probabilidad de que sea aceptado y el tamaño de la audiencia a la que quieren dirigirse. A su vez, los revisores consideran si la investigación es adecuada para la audiencia de la revista. Por ejemplo, mientras que la revista Applied Geochemistry se enfoca en artículos de investigación que discuten las transformaciones y procesos químicos que tienen lugar en el ambiente, la revista Cell publica artículos enfocados en procesos biológicos relacionados con la función celular. El artículo de Mauclair y sus colegas fue publicado en Applied Geochemistry ; sin embargo, hubiese sido probablemente rechazado en la revista Cell .
Como parte del proceso científico, se espera que los revisores mantengan la información del manuscrito confidencial hasta que este sea publicado, pero es raro que el trabajo sea una sorpresa completa en la comunidad científica en general. Esto se debe a que la revisión por pares está integrada en casi cada paso de la ciencia, incluida la petición de financiación pública para investigación. Las decisiones para financiación están hechas por un comité de revisores científicos que debaten la probabilidad de éxito de cada propuesta, la validez de su enfoque, y la importancia de la cuestión que se trata. Los métodos y las ideas de investigación publicadas por Mauclair y sus colegas en el 2008 fueron revisados como parte de un pedido de subvención presentado a la Research Foundation of the City University of New York, que fue financiado en el 2005 (Carpi & Frei, 2005). Una vez financiada, la investigación puede comenzar, y se pueden presentar los datos preliminares en reuniones científicas. Esto permite describir y debatir los descubrimientos con los colegas antes de su publicación. Los datos que se usaron eventualmente en el manuscrito, fueron presentados a la comunidad científica en agosto del 2006 en una gran conferencia internacional sobre el contaminante mercurio (Mauclair et al., 2006), y, por lo tanto, algunos científicos en la disciplina anticipaban la publicación final.
Las publicaciones revisadas por pares y las propuestas de investigación financiadas tienen gran importancia para los científicos individuales, más allá de simplemente la actividad de hacer ciencia. En muchos casos, las decisiones para contratar, promover y premiar se realizan basándose en la cantidad y la calidad de las publicaciones revisadas por pares, o los pedidos de subvenciones hechas por un individuo. Los científicos también se benefician de muchas maneras cuando son revisores: cuando se le pide a un científico que sea revisor, es un reconocimiento de su maestría en un área. Todos los científicos reciben revisiones de sus pares y revisan el trabajo de otros, y este proceso tiene su costo. Un informe reciente de la Red de Investigaciones Científicas (Research Information Network) estimó que el costo del tiempo que los científicos ofrecen volutariamente para hacer revisiones es de $3.7 billion (Research Information Network, 2008). Entonces, ¿porqué los científicos ofrecen tanto de su tiempo como voluntarios para este proceso? Porque es una de las obligaciones de su profesión y uno de los factores que ayuda a construir la comunidad de la ciencia (vea nuestro módulo Scientists).
La revisión por pares es sólo uno de los varios mecanismos inherentes en el proceso de la ciencia para ayudar a validar el trabajo de los científicos. A pesar de que ayuda a validar las presentaciones a revistas y las propuestas para subvenciones, no es un filtro a prueba de errores que asegure la calidad de las publicaciones científicas, especialmente cuando los autores de un estudio defraudan o engañan (vea nuestro módulo Scientific Ethics). Por ejemplo, entre los años 2000 y 2003, Jan Hendrick Schon y sus colegas publicaron más de 25 trabajos sobre la superconductividad, todos los cuales pasaron por el proceso de la revisión por pares. Después de varios trabajos publicados, los profesores Lydia Sohn y Professor Paul McEuen notaron que diferentes experimentos tenían condiciones muy diferentes y que, publicados en diferentes artículos, presentaban el mismo error de fondo (Figura 4). Cuando fueron confrontados con el problema, Schon dijo, primero, que se había reproducido por error un gráfico en los diferentes artículos. Poco después Bell Labs, la institución de investigación donde Schon trabajaba (vea nuestros módulos Scientific Institutions y Societies), realizó una investigación y encontró varias instancias de mala conducta y fraude. Consecuentemente botaron a Schon. Al menos 16 de los trabajos de Shon habían sido declarados como falsos, y la revista Science ha retractado ocho de sus trabajos (Bao et al., 2002).
| |||
Figura 4: Una figura de Schon et al. – retractada. Los científicos primero notaron problemas con la publicación cuando el índice de la curva (resaltada en rojo) parecía idéntica a lo publicado en otro trabajo (Schon at al., 2001A) |
Aunque los casos de mala conducta científica pueden ser vergonzosos por la publicidad que reciben, iluminan la naturaleza auto correctora de la ciencia. Un aspecto clave de la ciencia es que los resultados de la investigación deben ser reproducibles y bien documentados. Instancias de la mala conducta científica que han pasado por el sistema de revisión por pares han sido expuestas con rapidez, frecuentemente cuando otros científicos escudriñan los datos y tratan de reproducir los resultados. Para mantener este sistema en funcionamiento, los artículos científicos incluyen descripciones detalladas de los protocolos de investigación que les permite a otros reproducir experimentos, e incluyen presentaciones tabuladas o gráficas de los datos para que puedan ser analizadas por la comunidad en general (vea nuestro módulo Scientific Writing I: Understanding Scientific Journals and Articles). Una de las primeras piezas de evidencia que levantó las sospechas en el trabajo de Schon, era el hecho de que otros científicos tenían dificultad para reproducir sus experimentos con resultados similares. Como ocurría con la mayoría de las publicaciones de Schon, los artículos de investigación científica pueden ser retractados si se los encuentra errados (aunque el error no sea el resultado de la mala conducta), pudiendo retirarlos luego de la literatura científica.
La verdad es que las retractaciones son raras, y las debidas a la mala conducta científica son aún más raras. En un análisis de la literatura científica catalogada en la base de datos MEDLINE, mantenido por la biblioteca de la Librería Nacional de Medicina (National Library of Medicine), Sara Nath y sus colegas identificaron 359 artículos que habían sido retractados en las dos décadas, entre los años 1982 y 2002, de los más de 8.5 millones de referencias incluidas en la base de datos MEDLINE durante ese mismo periodo (Nath et al., 2006). De los artículos retractados, sólo 27% era por casos de mala conducta científica, 62% por errores sin intención y 11% de las retractaciones no pudieron ser categorizadas. Nash y sus colegas también encontraron que una suma de 2772, que fueron publicados durante este mismo periodo, son correcciones simples de pequeños errores en los manuscritos publicados.
Una de las consecuencias del sistema de la revisión por pares es que puede influenciar la diseminación y el progreso de la investigación científica. Son los revisores los que hacen recomendaciones de qué investigación se publica en qué revista. Y son los revisores los que influyen el tipo de los estudios de investigación que recibe financiación. Generalmente, este proceso tiene un efecto positivo, puesto que se abre a la comunidad científica sin restricciones. Pero el sesgo entre los revisores puede impactar negativamente este proceso. Por ejemplo, algunos investigadores han sugerido que los revisores pueden tener un sesgo a favor de una investigación que informe sobre los efectos positivos (i.e. que el medicamento X tiene un efecto) en vez de la investigación que informe que no tiene ningún efecto (i.e. el medicamente Y no tiene ningún efecto significativo) (Callaham et al., 1998). Por consiguiente, los estudios publicados que muestran efectos positivos son mayores que los que muestran que no hay ningún efecto. Otra complicación que afecta el proceso de revisión por pares es que en un sistema cerrado de revisión, donde se mantiene el anonimato de los revisores, es posible que los revisores emitan juicios duros sin necesidad – o halagos inmerecidos – a un manuscrito o solicitud de financiamiento, simplemente porque tienen diferencias personales o amistad con los autores.
El uso amplio de la publicación electrónica ha provocado una reevaluación reciente del proceso de revisión por pares en su totalidad. Aunque los científicos todavía estén de acuerdo con el valor de la revisión por pares, a veces se desalientan por la cantidad de tiempo que pasa entre la presentación del manuscrito, la revisión y la segunda presentación, que puede ser de hasta un año o más – como en el caso del artículo descrito con anterioridad. Como consecuencia, algunos autores han sugerido que se abandone la cantidad de tiempo y que, en vez de que el proceso de revisión por pares antes de la publicación sea cerrado, se pase a favor de un proceso abierto, de publicación en línea que permita una revisión constante y puesta al día. Varios medios de publicación científica se están adaptando a la naturaleza de cambio de la publicación. Por ejemplo, la Biblioteca Pública de Ciencias (Public Library of Science -PLoS) publica varias revistas que hacen parte de la PLoS en las cuales la revisión formal por pares está disponible al público y también proveen un mecanismo para que el público haga comentarios y revisiones adicionales a los artículos publicados en su sitio en línea. Hasta la revista Nature, que se publica desde hace 130 años, ha experimentado recientemente con el acceso abierto de la revisión por pares para los manuscritos presentados.
Hay publicaciones en las ciencias que no usan la revisión por pares. Por ejemplo, muchas revistas, incluidas Science y Nature, publican secciones de noticias y comentarios en los que proveen actualizaciones semanales sobre eventos y cuestiones científicas importantes. Varias revistas también publican “cartas.” Las cartas a las revistas incluyen comentarios de artículos impresos previamente, pero también pueden informar sobre resultados científicos nuevos, preliminares y cargados de dudas, que todavía no han sido probados y replicados lo suficiente como para pasar una revisión de pares completa.
Los científicos también escriben materiales específicamente para publicaciones que no usan la revisión por pares. Por ejemplo, el biólogo evolutivo Steven J. Gould era un escritor prodigioso y se hizo famoso por sus libros y artículos de revistas sobre temas que iban de la evolución al baseball. El físico teórico Stephen Hawking es muy conocido por sus libros que explican la cosmología, como los populares Una breve historia del tiempo y El universo en una cascara de nuez. Y el astrónomo Carl Sagan no sólo escribió numerosos artículos de revistas que fueron muy populares, sino que también escribió el libro best-seller Contacto, que se convirtió en una película muy famosa. Los artículos y libros que los científicos escriben para publicaciones que no sean revistas que usan la revisión por pares, tienen un propósito importante, pero muy diferente a la literatura que usa la revisión por pares. Estos trabajos están escritos, frecuentemente, para explicar la ciencia en un lenguaje más común para los que no son científicos y por lo tanto tiene un rol crucial en la descripción del impacto de la ciencia en el público general (vea nuestro módulo The Benefits and Outcomes of Science). Como tal, se basan generalmente, pero no siempre, en la literatura que usa la revisión por pares y que forma la base de nuestro conocimiento científico.
hideScience (2007). Science Magazine. 316(5821), April 6, 2007, The American Association for the Advancement of Science, Washington, DC.
Research Information Network (2008). Activities, costs and funding flows in the scholarly communications system in the UK. Research Information Network, London.
Mauclair, C., Layshock, J., Carpi, A. (2008). Quantifying the Effect of Humic Matter on the Suppression of Mercury Emissions from Soil. Applied Geochemistry, 23(3):594-601.
Mauclair, C., Layshock, J., Carpi, A. (2006). The Effect of Humic Matter on Soil Mercury Emissions, presented at the 8th International Conference on Mercury as a Global Pollutant, Madison, Wisconsin, August 5-11, 2006.
Carpi, A., Frei, A. (2005). The Terrestrial Mercury Cycle and Climate: Measuring and Modeling the Impact of Global Change. Grant funded by the Research Foundation of CUNY, Collaborative Research Incentive Award program, funding period, August 2005 – September 2008.
Bao, Z., Batlogg, B., Berg, S., Dodabalapur, A., Haddon, R.C., Hwang, H., Kloc, C., Meng, H., Schön, J.H. (2002). Retraction of Schön et al., Science 294 (5549) 2138-2140. Retraction of Schön et al., Science 293 (5539) 2432-2434. Retraction of Schön et al., Science 292 (5515) 252-254. Retraction of Schön et al., Science 290 (5493) 963-965. Retraction of Schön et al., Science 289 (5479) 599-601. Retraction of Schön et al., Science 288 (5475) 2338-2340. Retraction of Schön et al., Science 288 (5466) 656-658. Retraction of Schön et al., Science 287 (5455) 1022-1023. Science, 298(5595):961.
Callaham, M.L., Wears, R.L., Weber, E.J., Barton, C., Young, G. (1998). Positive-Outcome Bias and Other Limitations in the Outcome of Research Abstracts Submitted to a Scientific Meeting. Journal of the American Medical Association, 280: 254-257.
Hixson, J. (1976). The Patchwork Mouse. Anchor Press/Doubleday Garden City, New York
Langfeldt, L. (2001). The Decision-Making Constraints and Processes of Grant Peer Review, and Their Effects on the Review Outcome. Social Studies of Science, 31(6):820-841.
Nath, S., Marcus, S.C., Druss, B.G. (2006). Retractions in the research literature: misconduct or mistakes? Medical Journal of Australia, 185(3):152-154.
Nature (2006). Nature peer review trial and debate. Retrieved January 7, 2008 from Nature http://www.nature.com/nature/peerreview/.
PLoS (2008). Public Library of Science. Retrieved January 7, 2008 from http://www.plos.org/.
Spier, R. (2002). The history of the peer-review process. Trends in Biotechnology, 20(8), 357-358.
van Rooyen, S., Godlee, F., Evans, S., Black, N., & Smith, R. (1999). Effect of open peer review on quality of reviews and on reviewers' recommendations: a randomised trial. BMJ, 318(7175), 23-27.
Schon, J. H., Meng, H., Bao, Z. (2001A). Self-assembled monolayer organic field-effect transistors. Nature, 413(6857): 713-716.
Schon, J. H., Meng, H., Bao, Z. (2001B). Field-Effect Modulation of the Conductance of Single Molecules. Science 294 (5549), 2138.
Anthony Carpi, Ph.D., Anne E. Egger, Ph.D., Natalie H. Kuldell "Comunicación Científica: Revisión de Pares," Visionlearning Vol. POS-2 (2s), 2009.
http://www.visionlearning.com/library/module_viewer.php?mid=159&l=s