Libros Nacionales

Un comentario a la calidad y reputación de revistas indexadas

Freddy A. Paniagua
Escrito por Freddy A. Paniagua

Introducción

El tema de “revistas indexadas” es de  mucha relevancia en las universidades en casi todos los países del mundo, incluyendo la  República Dominicana (Melo, 2017). El concepto “revistas indexadas”, sin embargo, tiene una historia muy larga pues  se originó  hacen 125 años  con la publicacion del Index Medicus en el 1879 (Blake, 1980). Al paso de los años, otros servicios de indexación han surgido, entre ellos MedLine, PubMed, Science Citation Index (SCI),  (Journal Citation Reports (JRC),  Social Science Citation Index (SSCI), Arts and Humanities Citation Index (AHCI), PsychNet, Google Scholar, SCOPUS. Otros servicios indexados, pero con menos influencia en relacion a los anteriores son el  Director of Research Journals Indexing (DRJI),   International Scientific Indexing (ISI), y Emerging Sources Citation Index.

¿Es una revista indexada evidencia  de la “alta calidad” or “reputación” de esa revista?  La respuesta a esta pregunta está relacionada con la definición de “indexado” en este contexto.  Cuando decimos que una revista es “indexada” esto indica que esa revista  está disponible  (mediante una suscripción) para todas las personas y universidades que  utilizan el servicio  indexado particular. En este contexto, la revista es “visible” para las personas (si la suscripción es personal) y universidades (si la suscripción es institucional) que están buscando informacion  en relacion a un área determinada.  Por ejemplo, si el área es medicina, psicología,  o sociología, podemos ir  a un servicio de revistas indexadas y buscar todas las revistas que tratan con esas áreas, y entonces buscar el tema de interés en los  articulos  publicados en revistas que tratan con esas áreas. Pero esto no significa que  la revista en cuestión is the “alta calidad” or de “mucha reputación”.  Esto es, una revista “indexada” solamente implica que uno puede “ver”  y revisar el contenido de esa revista en un servicio indexado (e.g., MedLine, Science Citation Index, Emerging Sources Citation Index, Google Scholar, etc.).

¿Cómo Asegurar la Revista Será Indexada?

Si usted es el editor de una revista científica o académica de circulación nacional o internacional y quiere estar seguro que su revista será indexada, las siguientes alternativas están disponibles. Primero,  evite servicios indexados que requiere un número muy alto en los criterios de selección (ej., el MedLine require cumplir con 30 criterios) y seleccione servicios con criterios más reducidos.  Por ejemplo, en el caso del    Emerging Sources Citation Index el editor  solamente tiene que cumplir con cinco criterios  de selección para indexar la revista en este servicio (algunos ya incluidos en el MedLine; ej.,  tener el ISSN). El SCOPUS Index también requiere que la revista cumpla con un mínimo de 5 criterios  de selección para  ser indexada. Segundo,  seleccione un servicio indexado en el cual el criterio  primario de selección es que la revista pague por ese servicio.  Por ejemplo la Internacional Scientific Indexing (ISI) requiere $30 (en dólares) para incluir la revista en ese Index; y si el editor también quiere que el ISI calcule el “impact factor” (factor de impacto) de la revista el editor tiene que pagar $100 (dólares) extra para este servicio. [El factor de impacto es una medida de la frecuencia de citación de la revista o un artículo en otras fuentes de publicacion].  Entonces, si usted quiere estar seguro que la revista será indexada lo prudente es seleccionar un servicio con un  número mínimo de criterios de selección o pagar por ese servicio.   El lector puede revidar esa informacion  en http://isindexing.com/isi/evaluation.php  (ISI),  en la página del MedLine https://www.nlm.nih.gov/pubs/factsheets/jsel.html   y en la página de SCOPUS  https://www.asianeditor.org/event/2015/workshop7/4.How%20to%20add%20Journal.pdf.

El Juicio de Pares” (Peer-reviewed) No  Garantizar la Calidad de una Revista Indexada

Otra falsa creencia en este contexto es asumir que las revistas indexadas son de “alta calidad” o de mucha “reputación” debido a que un criterio  de selección en la mayoría de  servicios indexados es que los articulos sean revisados en un sistema  de juicio de  pares (peer review; Novelle, 2008; Smith, 2006).  En este sistema, el editor envía el articulo a por lo menos tres  expertos en el área del articulo con la meta de aconsejar al editor sobre la  decisión de aceptar or rechazar el artículo.

Sin embargo, el sistema de juicio de pares  tampoco garantiza la “calidad” or “reputación” de la revista.  Este sistema es generalmente efectivo   cuando el artículo es revisado de manera muy detallada  o exhaustiva y con enfasis  en  la introducción  que justicia porque ese artículo es importante, la metodología y procedimientos, análisis estadísticos, relacion entre los resultados del artículo, importancia de las referencias citadas, y escribir un  análisis muy detallado con enfasis en las deficiencias del articulo y áreas que necesitan más detalles.   Pero este tipo de revisión en el proceso de juicio de pares  es muy rara (Novella, 2008; Smith, 2006) pues el mismo requiere de  mucho tiempo (horas, semanas, o meses) revisando el articulo y la mayoría de los revisores no tienen ese tiempo disponible debido a sus responsabilidades académicas (ej., la investigacion, producción de articulos y libros, dando  clases a nivel  de la maestria o el doctorado, presentación en conferencias nacionales e internacionales, coordinador de áreas académica, etc.). Debido a esta realidad en el  proceso  de juicio de  pares,  lo más común es una revisión cursoria  o superficial del artículo sin enfatizar detalles que podrían demostrar fallos esenciales en el artículo (ej., uso erróneo del análisis estadístico, resultados  no apoyado por el diseño experimental, etc.). En este caso, el revisor del artículo que enfatiza el proceso cursorio o superficial  en juicio de pares envía una nota al editor diciendo  que “el articulo me parce bien” (Smith, 2006, p. 2) y entonces recomienda la aceptación del mismo. Debido a que el editor generalmente selecciona revisores que son “expertos” en el área del artículo y con una “reputación” nacional e internacional, el editor generalmente acepta la decisión cursoria o superficial del revisor.

Otra alternativa ofrecida en  el proceso editorial  de la revista es sugerirle al revisor tomar  una decisión  de aceptar  or rechazar el artículo  marcando  (√) en un formulario  varias áreas  con una escala de 1-5 (5 = lo mejor; ej., el artículo es apropiado para la revista, es significativo, el diseño experimental y análisis estadísticos son apropiados, etc.).   El revisor sencillamente marca esas áreas y si el puntaje es de 4 a 5 el revisor generalmente acepta el artículo sin tener que escribir un resumen  detallados para justificar esa aceptación. Lo  mismo ocurre si el revisor rechaza el artículo en base solamente a esas áreas marcadas en esa escala.

Soy miembro del sistema de juicio de pares en varias revistas indexadas en los Estados Unidos y puedo testificar que  el enfasis en la revisión cursoria o  superficial o  pedirle al revisor que marque esas áreas en ese formulario son más comunes que  el  caso de escribir un resumen muy detallados sobre ese artículo. Yo siempre envio al editor  un resumen detallados de mis revisiones, pero  no me sorprendo cuando el editor me envía  la justificación  de otros revisores  en términos de aceptar o rechazar el artículo, pero  en la cual ellos  evidentemente utilizaron el proceso cursorio o superficial en la revisión del articulo o decidieron solamente marcar esas áreas en ese formulario.    Esta situación generalmente termina en inconsistencias entre los revisores y confusión en el autor del artículo.  Por ejemplo, Smith (2006) cita el caso en el cual el Revisor A envía  una nota al editor diciendo “encuentro este artículo extremadamente desorganizado y con un número muy elevado de deficiencias” y rechaza el artículo. El Revisor B, sin embargo,  también envía una nota al mismo editor diciendo que el artículo “ha sido escrito de manera muy clara y será entendido por el lector” y acepta el artículo.  Estas son, por supuesto, observaciones  contradictorias en relacion al mismo artículo  entre los revisores (Solomon, 2007), lo que confunde al autor del artículo  cuando el editor le envía las razones por las cuales el artículo fue rechazado (si el editor sigue la recomendación del Revisor A, en ese ejemplo). Por esta razón, Smith (2006) considera que el proceso de juicio de pares es como una lotería en el sentido de que los artículo  son  aceptado o rechazado dependiendo de quién  es el revisor.  Si el revisor enfatiza la revisión cursoria o artificial, más probabilidad  habrá de que el articulo será aceptado; si el revisor enfatiza una evaluacion exhaustiva y con enfasis en detalles muy específicos, más cerca está el artículo de ser rechazado,  or aceptado con  revisiones mayores el autor tiene que responder y luego enviar el mismo artículo al  editor para una segunda revisión.  En una revisión exhaustiva no es raro  múltiple revisiones, lo que estimula al autor enviar el artículo a otra revista que enfatiza la revisión cursoria or artificial para evitar pasar meses y a veces años revisando el mismo artículo.

La Evaluación Empírica de las Deficiencias de “Juicios de Pares” en Revistas Indexadas 

Las deficiencias del proceso de  juicio de pares  ha sido empíricamente validada or confirmada. Por ejemplo, el editor y sus editores asociados (Godlee, Gale, &, Martyn, 1998) en el  British Medical Journal (BMJ), la cual es  una revista indexada de mucha reputación en medicina, y con enfasis en juicios de pares (peer-reviewed),  aceptaron un artículo para publicacion en el BMJ. Con el permiso de los autores del artículo ya aceptado  en BMJ, Godlee et al.  alteraron el artículo incluyendo   8 errores  muy graves y lo enviaron de nuevo a 420 revisores. En general, de un total  de 221 (52.7%)  revisores  que aceptaron revisar el artículo (sin saber sobre  esos errores introducidos por Godlee et al.)  73  revisores aceptaron el artículo con mínimas revisiones, 27 revisores  recomendaron publicar el artículo pero con revisiones mayores, y 66 aconsejaron al editor rechazar el artículo.  Debido a los errores significativos  en ese artículo, se esperada que todos los revisores debían rechazar el articulo sin recomendar revisiones pero solamente  66 revisores recomendaron rechazar el artículo, y otros revisores aceptaron el articulo con algunas revisiones.

En otra investigacion similar (Baxt, Waeckerle, Berlin,  & Callahm, 1998; Solomon, 2007) los autores inventaron (esto es, no real) un artículo con 10 errores mayores y 13 errores menores. El artículo fue enviado para revisión a todos los revisores (n = 262) del  Annals of Emergency Medicine la cual  también es una revista  indexada de mucha reputación en medicina.  Un  total de  199 (98%)  revisores enviaron sus comentarios al editor con los siguientes resultados: 15 recomendaron aceptar el artículo, 117 rechazaron el artículo, y 67 optaron por revisión.   Además, 68% de los revisores no reportaron que las conclusiones del artículo no estaban  apoyadas por los resultados.   En este ejemplo, si el editor decide aceptar el artículo en base al juicio de pares (peer-review) entre los  15 revisores  recomendando el artículo para publicacion, el editor entonces publicará un artículo  con errores metodológicos  y estadísticos muy significativos.

Debido a esos resultados en la investigacion del proceso de juicio de pares en revistas indexadas, tres observaciones han sido ofrecidas (Baxt et al., 1998; Godlee et al., 1998).).  Primero, ese proceso no es necesariamente efectivo  en la identificación de  errores metodológicos graves  en articulos sometidos a revistas indexadas (que tradicionalmente siguen  ese proceso).  Segundo,  ese proceso está basado en la fé de sus efectos en el sentido de que si   el enfasis es en juicio de pares, entonces  ese proceso es efectivo en la selección de articulos.  Tercero, tenemos  pocas evidencias de que ese proceso es realmente  efectivo en la exclusión de articulos que no debería ser publicado en revistas indexadas  debido a  graves errores metodológicos y estadísticos.

Mayores Defectos en el Proceso de Juicio de Pares en Revistas Indexadas

Smith (2006)  identificó los mayores defectos en el proceso de juicio de pares, entre ellos (1) el problema de la inconsistencia entre los revisores; (2) prejuicios en los revisores que se oponen a publicar articulos con resultados negativos (esto es, la hipótesis nula no es rechazada)  o  rechazan  evaluar  articulos  que no formulan hipóteses (pues esos revisores creen, erróneamente,  que una ciencia no puede avanzar sin la formulación de hipóteses); (3)  favoritismo en la aceptación del articulo (ej.,  si el artículo es sometido por un autor de mucho prestigio y de una universidad también de mucho prestigio, el articulo debe ser aceptado);  y (4) el abuso en el proceso de juicio de  pares (ver a Smith, 2006).  En este tipo de abuso en el proceso  el proceso de juicio de pares (peer review)  el revisor del articulo  envía al editor una revisión  extremadamente negativa y sin sentido (excepto en la cabeza del revisor) con el fin de evitar que el artículo no sea publicado  debido a que ese revisor esta también planeando  enviar un artículo con el mismo tema a otra revista indexada.  En este caso,  la meta del revisor es buscar una manera de  convencer al editor que no publique el articulo o que extienda  el proceso de revisión del artículo  por meses (y a veces años) para asi evitar una competencia entre ese artículo y  el artículo  que ese revisor esta también planeando enviar para publicación.

En el caso de rechazar el articulo porque este no formula hipótesis (ver a Ferguson, 2015),  un ejemplo es mi artículo en Military Psychology (Paniagua, Black, & Gallaway, 2016).  En ese artículo yo no formulé hipóteses y fue rechazado por un revisor precisamente por la  ausencia de hipóteses.  Convencí al editor que ese revisor  estaba errado por tres razones: (1) el artículo es un sumario de la instrumentación en la evaluacion de problemas cognitivos y conductuales en el contexto militar  y no un artículo en la evaluacion de la hipótesis nula en contra de la hipótesis experimental; (2) sometí ejemplos de articulos publicados en otras revistas científicas  con enfasis en el mismo tema pero sin la formulación de hipóteses;  (3) demostré que Military Psychology ya había  publicado varios articulos sin hipóteses y relacionados con el tema de mi artículo, y (4) cité el estadístico de más influencia en nuestro tiempo, Jacob Cohen, el cual escribió que la formulación  de hipóteses “no solamente  ha fracasado en apoyar el avance de la psicología  como una ciencia [y otras ciencias] pero también ha seriamente impedido ese avance” (Cohen, 1994, p. 997).  En este contexto también es importante señalar que la hipótesis nula siempre is rechazada, si uno sabes sobre los “engaños” estadísticos para rechazar  esta hipótesis (ej., es más fácil rechazar esa hipótesis con un valor the p = 0.05 en lugar de 0.01).  Es también más difícil rechazar esa hipótesis cuando las dos “colas” de la curva normal son consideradas en las tablas estadísticas (ej., la tabla  para el t-test). Es por esos “engaños” estadísticos que Cohen (1990) concluyó que la “hipótesis nula es siempre falsa” (p. 1308).  Por tanto,  si esa hipótesis es siempre falsa, la pregunta es  ¿Por qué usted necesita esa hipótesis si  usted sabe que la rechazará con esos engaños estadísticos?   A pesar de la observación de Cohen (1990), la mayoría de las revistas indexadas requieren la formulación de hipótesis en la evaluacion del artículo, lo que “fuerza” al autor del artículo a formular la hipótesis nula cuando el autor estar seguro que rechazará ese hipótesis con engaños estadísticos (Ferguson, 2015; Paniagua, en prensa).

Otros defectos en el proceso de juicio de pares (peer-review) son formulados por  Rahman (2003), incluyendo que este proceso  no es una validación de los resultados  y tampoco enfatiza la veracidad o la potencial replicación del artículo. Rhaman (2003) también observa que la validez de los resultados del articulo sometido a publicacion no ocurre during ese proceso, pero después de meses o años de la publicacion del artículo cuando  otros investigadores replican la metodología del artículo, lo que es un evento muy raro pues solamente el 1% de articulos publicados en revistas científicas son replicados (ver a Kline, 2013. p. 269) debido al hecho de que la mayoría de editores de esas revistas  no publican replicaciones de articulos ya publicados (Nix & Barnette, 1998).

Para responder a prejuicios  y abusos en los revisores es importante tener paciencia, pues esto generalmente  require de varios meses y a veces años tratando de convencer al editor que algunos revisores están prejuiciados en contra del articulo  o  que no tienen experiencia cientifica  en el área del artículo.  Pero si usted no quiere perder el tiempo “peleando” con los revisores de su artículo  o no puede convencer al editor que esos revisores están prejuiciados en contra del artículo sin razones metodológicas justificables, entonces envía su artículo a otras de las miles de revistas indexadas en su profesión, y de seguro que encontrara una revista indexada en la cual su articulos será aceptado.  Pero es importante recordar que el término “indexado” no significa que la revista  que decidió publicar su artículo es de “mucha calidad”, por razones discutidas anteriormente.

Conclusión

Este comentario demuestra que, el hecho de que una revista es indexada, esto no necesariamente significa que esa revista es de mucha “calidad” o “reputación” en un área determinada.  La razón de esta observación es que existen múltiples procesos para indexar una revista, y la meta del editor de la revista es buscar el  proceso de revistas indexadas que garantiza que la revista será indexada  incluyendo, por ejemplo, pagar para indexar la revista.  Este comentario también demuestra que  el uso del  proceso de juicios de pares en la mayoría de las revistas indexadas durante la revisión de  articulos y la eventual decisión del editor (ej., aceptarlo con revisiones mayores),  no es un  proceso generalmente  válido, no es confiable, con bastante inconsistencia  entre los revisores, y con abusos por algunos revisores.   En este sentido, Smith (2006) concluye que “tenemos muy poca evidencia de la efectividad del [proceso de juicio de pares], pero tenemos evidencia considerable en sus defectos” (p. 3).     Entonces, justificar la  “calidad” o  la “reputación” de una revista indexada en base al proceso de juicio de pares es tan problemático  como  asi también justificar la relevancia de la revista en términos de que la misma es indexada.   Lo más importante no es que el artículo es publicado  en una revista indexada con énfasis en juicio de pares (peer-reviewed), pero que otros investigadores consideran que ese artículo contribuye al  avance científico de la profesión del autor (ej., física, medicina, psicología, sociología, etc.) y que, aunque es un evento muy raro en el proceso editorial,  es posible replicar  la metodología  del articulo para verificar sus resultados (Fisher, 1971).

Bibliografia

Baxt, W. G., Waeckerle, J. F.,   Berlin, J. A.,    & Callahm, M. L. (1998). Who reviews the  reviewers? Feasibility of using fictitious manuscript to evaluate peer reviewer  performance. Annals of Emergency  Medicine, 32, 310-317. [doi: 10.1016/S0196- 0644(98)70006-X].

Blake, J. B. (1980). Centenary of Index Medicus, 1879-1979. Bethesda,    Md.: U.S. Dept. of     Health and Human Services, Public Health         Service, National Institutes of Health, Library of Medicine.  (NIH   publication; no. 80-2068).

Cohen, J. (1990). Things I have learned (so far).  American Psychologist, 45, 1304-1312.

Cohen, J. (1994).  The earth is round (p < .05). American Psychologists, 49, 997-1003.

Ferguson, C. J. (2015). “Everybody knows psychology is not a real science”: Public perceptions of psychology and how we can improve our relationship with policymakers, the  scientific community and the general public.  American Psychologist, 70, 527-542.  http/dex.doi.org/10.1037/a0039405

Fisher, R. A. (1971). The design of experiments. (8th ed.). New York: Hafner Publishing.

Godlee F, Gale C.R., &, Martyn, C. N.  (1998). Effect on the quality of peer review of blinding  reviewers and asking them to sign their reports: a randomized controlled trial. JAMA.    280(3), 237-240. doi:10.1001/jama.280.3.237

Kline, R. B. (2013). Beyond significance testing: Statistics reform in the behavioral sciences.       Washington, DC: American Psychological Association.

Melo, W. (2017, segunda quincena de julio). Artículos en revistas indexados afianza rol investigativo en la UASD. El Universitario. Universidad Autónoma de Santo Domingo.            https://issuu.com/eluniversitariouasd/docs/el_universitario_-               _segunda_quincena_515797fdccb8ec

Nix, T. W., & Barnette, J. J. (1998). The data analysis dilemma: Ban or abandon: A review of null hypothesis significance testing.  Research in the Schools, 5(2), 3-14.

Novella, S. (2008). The importance and limitations of peer-review. Science-Base Medicine.             https://sciencebasedmedicine.org/the-importance-and-limitations-of-peer-review/

Paniagua, F. A. (En prensa). The Null hypothesis is always rejected  with statistical Tricks: Why do you need it? Interamerican Journal of Psychology.

Paniagua, F. A., Black, S. A., & Gallaway, M. S. (2016). Psychometrics of behavioral health screening scales in military contexts. Military Psychology, 28 (6), 448-467

Rahman, J. (2003). The scientific peer review process and its limitations. The Next Generation.

https://thenextregeneration.wordpress.com/2013/07/16/the-scientific-peer-review-           process-and-its-limitations/

Salomon, D. J. (2007). The role of peer review for scholarly journals in the information age. The Journal of Electronic Publishing, 10 (1). [DOI: http://dx.doi.org/10.3998/3336451.0010.107]

Smith, R. (2006). Peer review: A flaw process at the heart of science journals. Journal of the      Royal Society             of Medicine, 99(4), 178–182.doi: 10.1258/jrsm.99.4.178

 

 

Acerca del autor

Freddy A. Paniagua

Freddy A. Paniagua

Profesor (retirado) y actualmente profesor adjunto en la Escuela de Medicina de la Universidad de Texas, Galveston, Texas, USA; con la maestria y doctorado (Ph.D.) de la Universidad de Kansas y postdoctorado de la Escuela de Medicina de la Universidad de Johns Hopkins, USA. Es miembro honorífico (Fellow) y de por vida en la Asociación Americana de Psicología, con más de 50 articulos en revistas cientificas, y ocho libros con tres utilizados en programa de maestria y doctorado en los Estados Unidos y otros paises.

Dejar un comentario