Para las revistas científicas el factor de impacto (FI) se ha convertido en un objetivo en sí mismo. El objetivo de nuestro estudio es describir la influencia de los distintos tipos de artículo en el FI de las revistas dermatológicas.
Material y métodosEmpleando la base de datos Scopus hemos reproducido los cálculos del FI de 2015 de Actas Dermo-Sifiliográficas y las principales revistas dermatológicas. Hemos eliminado artículos sin resumen, cartas al editor y actas de congresos. Los artículos incluidos se clasificaron en casos clínicos, artículos originales, revisiones narrativas y «otros». Calculamos el FI medio para cada tipo de artículo. Los datos obtenidos son comparados con los proporcionados por el Institute for Scientific Information.
ResultadosLas revistas tienen distribuciones diferentes en cuanto a tipos de artículos predominantes. Los originales son los artículos que más se publican en las revistas analizadas (BJD: 76,8%, Contact: 81,1%, JAAD: 63,4%, JAMA Dermatol: 63,7%), a excepción de Actas, en la que corresponden el 31,7% de los artículos publicados. Los tipos de artículo que se asocian con un FI medio menor al global son los casos clínicos y otros, mientras que revisiones y originales tienen un mayor FI.
ConclusionesLos casos clínicos, al ser menos citados, disminuyen el FI medio de la revista. Revisiones y originales aumentan el FI. Las revistas centradas en mejorar el FI podrían publicar menos casos y más revisiones y originales. Los comités editoriales deben mantener un equilibrio entre la necesidad de aumentar su FI y el interés de los lectores clínicos.
For scientific journals, achieving a high impact factor (IF) has become a goal in its own right. Our aim was to describe the influence of article type on the IF of dermatology journals.
Material and methodsWe used the Scopus database to calculate an IF for Actas Dermo-Sifiliográficas and the major dermatology journals, excluding articles without abstracts, letters to the editor, and conference proceedings. Included articles were classified into 4 categories: case reports, original articles, narrative reviews, and other. We also calculated the mean IF for each article type. We then compared our results with IFs published by the Institute for Scientific Information.
ResultsThe proportion of each type of article differed between journals. Original articles carried the greatest weight in the major journals (BJD, 76.8%; Contact, 81.1%; JAAD, 63.4%; JAMA Dermatol, 63.7%.) but not in Actas Dermo-Sifiliográficas, where only 31.7% were original research articles. A higher IF was associated with the publication of reviews and original articles; a lower IF was associated with the publication of case reports and other article types.
ConclusionsPublishing case reports, which have lower citation rates, leads to a lower IF. Publishing reviews and original articles will lead to a higher IF. Journals that seek a higher IF should probably publish more reviews and original articles and fewer case reports. Editorial boards should seek a balance between the interests of their clinician readers and the journal's need for a higher IF.
El factor de impacto (FI) ha ido adquiriendo cada vez más peso a la hora de valorar y dirigir las revistas. Por ello, los comités editoriales plantean estrategias para aumentar el FI. Una de ellas es seleccionar los tipos de artículos que generan un mayor número de citas. Quizás esto tenga como consecuencia la reducción de algunos tipos de artículos, como los casos clínicos1.
El FI fue inicialmente concebido como una herramienta para comparar el impacto o influencia entre las distintas revistas científicas2. Actualmente, aunque pueda ser inadecuado3, también es utilizado como medida para evaluar la calidad y prestigio de una revista. El ISI Thomson Reuters Web of Knowledge publica anualmente las listas de los FI, conocidas como Journal Citation Reports, a partir de las revistas incluidas en Web of Science. Para que una revista científica sea incluida en Web of Science tiene que cumplir una serie de requisitos, entre los que se incluyen la regularidad de la publicación, la facilidad para la recuperación de las fuentes, el idioma (revistas que publican el texto íntegro o la información bibliográfica en inglés) o el contenido editorial (interés científico que permita explorar temas emergentes)4.
El cálculo del FI de una revista en un año (por ejemplo, el 2015), se realiza mediante un cociente. En el numerador se incluye el número de veces que las revistas analizadas por el índice concreto (por ejemplo, ISI) han citado durante el año analizado artículos publicados en los 2 años inmediatamente anteriores (por ejemplo, citas en 2015 de ítems publicados en 2014 y 2013). El denominador es el número de publicaciones de la revista durante esos mismos 2 años (por ejemplo, ítems publicados en 2014 y 2013). Al dividir el número de citas entre las publicaciones obtenemos el número de veces que se cita por término medio un artículo publicado en dicha revista5.
En el numerador del cociente se incluyen las citas de cualquier tipo de artículo publicado. El FI está relacionado directamente con el número de citas. Un mayor número de artículos publicados por una revista facilita el incremento del FI. Hay que tener en cuenta que aquellas revistas que tratan sobre áreas clínicas más especializadas, como dermatología, tendrán a priori un FI menor que revistas de medicina general, como New England Journal of Medicine6. Para ilustrar esta diferencia basta reseñar que en 2015, la revista dermatológica con mayor índice de impacto fue Journal of Investigative Dermatology con 6,915, mientras que New England Journal of Medicine consiguió ese mismo año un 59,5587.
En el denominador solo figuran los artículos que son considerados «citables» por los criterios del índice (por ejemplo, ISI). Por sus repercusiones de visibilidad e incluso económicas, muchas revistas científicas tienen como principal objetivo conseguir un FI elevado. Diversas son las estrategias que pueden aumentar el FI de una revista: si por ejemplo, se publica un artículo en la sección de cartas al editor, se aumenta el numerador pero no el denominador (pues ISI incluye esta sección como no citable). Muchas revistas utilizan esta estrategia de aumentar el número de artículos considerados no citables para aumentar el FI. Otras estrategias son: publicar revisiones, publicar artículos originales de grupos de referencia, publicar estudios de enfermedades comunes, o incluso no publicar estudios que se presume que van a ser poco citados8. En este aspecto, varios son los estudios que han intentado mostrar de qué manera influye el tipo de artículo con el número de citas. Comparando las citas que reciben revisiones y casos clínicos de revistas de otorrinolaringología en Reino Unido, se evidenció que los artículos de revisión son los más citados. Por su parte, los casos clínicos tienen en promedio la mitad de citas que los anteriores9.
En el campo de la dermatología, algunas revistas han experimentado en los últimos años una mejoría sorprendente del FI. Contact Dermatitis, con un FI de 2,701 en 2005, obtuvo un FI de 5,514 en 2015. Ello puede deberse a la publicación de artículos de carácter general más susceptibles de ser citados: biología molecular, biología vascular, inmunología, infección o tejido conjuntivo, entre otros y a la eliminación del resumen en los casos clínicos cortos10.
Una limitación del FI de ISI es que es un dato que publica Thomson Reuters (aunque hay otros proveedores científicos que generan los suyos) pero que es difícilmente reproducible. No se conocen claramente los criterios para considerar un artículo citable ni para saber cuáles son los artículos que Thomson ha tenido en cuenta para realizar el cálculo en cada revista. Por ello, reproducir exactamente el FI es difícil o imposible. Esta limitación ha sido puesta de manifiesto en varios trabajos previos11,12.
El objetivo de nuestro estudio es describir la influencia de los distintos tipos de artículo (caso clínico, original, revisión, «otros») en el FI de las revistas dermatológicas.
Material y métodosSelección de artículosSe han recogido todos los artículos publicados en 2013 y 2014 en algunas de las revistas dermatológicas más importantes: JAMA Dermatology, Journal of the American Academy of Dermatology (JAAD), Contact Dermatitis y British Journal of Dermatology (BJD). Se ha incluido Actas Dermo-Sifiliográficas por ser de referencia en España, aunque no dispone actualmente de FI calculado por Thomson Reuters.
A su vez, se han obtenido las citas en 2015 de todos aquellos artículos publicados en 2013 y 2014.
Para la búsqueda empleamos la base de datos Scopus, porque incluye Actas Dermo-Sifiliográficas.
Clasificación de los artículos por tipoExcluimos los artículos sin resumen, las cartas al editor y las actas de congresos. Los artículos seleccionados como citables son los que quedan tras el proceso de exclusión anteriormente citado.
Los artículos incluidos se clasificaron en: casos clínicos (o series de casos), artículos originales incluyendo revisiones sistemáticas, revisiones narrativas y «otros».
Los artículos seleccionados como citables, se incluyeron en el denominador del cálculo del FI. Con la intención de reproducir lo más fielmente posible los cálculos de ISI y ante la dificultad de precisar cuáles son los artículos citables hemos eliminado artículos dudosos sin citas hasta llegar al número de artículos citables empleado por ISI, a sabiendas de que esta estrategia podría dar un FI superior al de ISI. En el cálculo no se han tenido en cuenta las citas recibidas por los artículos eliminados.
Realizamos estadística descriptiva de los artículos incluidos y calculamos el FI de 2015 y el FI medio para cada tipo de artículo. Comparamos los resultados obtenidos con los homólogos proporcionados por Thomson Reuters.
ÉticaSiendo un estudio bibliométrico no se consideró necesaria la aprobación por un comité de ética.
ResultadosCon la estrategia de búsqueda se identificaron 6.934 documentos publicados entre los años 2013 y 2014 en las cinco revistas analizadas. Tras el proceso de clasificación, se excluyeron 5.099 artículos, quedando 1.835 para el análisis.
En muchas de las revistas la exclusión de artículos supone más de la mitad de los artículos (p.e., BJD, 1.830/2528 y JAMA Dermatol, 526/785), a excepción de Actas (170/378).
El gran número de artículos excluidos en las revistas se debe a la presencia de muchas actas de conferencias internacionales. En 2013, con motivo del 93rd Annual Meeting of the British-Association-of-Dermatologists y 27th Annual Meeting of the British-Society-for-Paediatric-Dermatology, entre otros, se publicaron 1.239 referencias.
Por otra parte, muchos artículos se publican sin resumen. La mayoría de ellos se incluyen en secciones especialmente destinadas para casos clínicos, incluyendo cartas al editor.
Citas y factor de impacto calculadoEn la tabla 1 se puede apreciar la discrepancia existente entre el número de citas proporcionado por el ISI y el número de las mismas obtenido mediante nuestra búsqueda.
Artículos excluidos, incluidos y datos de citas
| Revista | Artículos publicados 2013 | Citas en 2015 a artículos 2013 | Artículos publicados 2014 | Citas en 2015 a artículos 2014 | Total artículos excluidos | Total artículos incluidos | Total citas | Total citas usado por ISI | FI calculado |
|---|---|---|---|---|---|---|---|---|---|
| Actas | 81 | 124 | 127 | 96 | 170 | 208 | 220 | 1,06 | |
| BJD | 341 | 1.611 | 357 | 848 | 1.830 | 698 | 2459 | 3.013 | 3,52 |
| Contact Dermatitis | 79 | 313 | 77 | 331 | 166 | 156 | 644 | 888 | 4,13 |
| JAAD | 262 | 1.008 | 251 | 1.080 | 2.407 | 514 | 2.088 | 2.889 | 4,07 |
| JAMA Dermatol | 129 | 645 | 130 | 433 | 526 | 259 | 1.078 | 1.320 | 4,16 |
Las citas no siguen una distribución normal. En la figura 1, se observa el porcentaje de artículos que reciben cada número de citas: la distribución es muy sesgada ya que gran parte de los artículos no tienen ninguna cita.
El mayor FI obtenido es para JAMA Dermatol (FI: 4.16) seguida muy de cerca por Contact Dermatitis (FI: 4.13), JAAD (FI: 4.07) y BJD (FI: 3.52), valores bastante alejados del resultado de Actas (FI: 1.06), tabla 2.
Distribuciones por tipo de artículosLas revistas tienen distribuciones diferentes en cuanto al tipo de artículos predominantes. Los originales son los artículos que más se publican en las revistas analizadas (BJD: 76,8%, Contact: 81,1%, JAAD: 63,4%, JAMA Dermatol: 63,7%), a excepción de Actas, en la que corresponden el 31,7% de los artículos publicados.
En la tabla 3 se reflejan los resultados del FI por tipo de artículo. En negrita se resaltan los tipos de artículo con FI medio menor al de la revista. En general casos clínicos y «otros» tienen FI menores que los del global de la revista. Así, el que muestra ese efecto de forma más marcada es BJD: con un FI global de 3,52, disminuye hasta un FI de 1,51 al ser calculado solo teniendo en cuenta casos clínicos.
FI por cada tipo de artículo
| Casos clínicos | Originales | Revisión narrativa | Otros | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Número | % del total de incluidos | FI medio | Relación entre FI global y de estos artículos | Número | % del total de incluidos | FI medio | Relación entre FI global y de estos artículos | Número | % del total de incluidos | FI medio | Relacion entre FI global y de estos artículos | Número | % del total de incluidos | FI medio | Relación entre FI global y de estos artículos | |
| Actas | 55 | 26,4 | 0,47 | 0,44 | 66 | 31,7 | 1,14 | 1,08 | 81 | 38,9 | 1,47 | 1,39 | 6 | 2,9% | 0 | NA |
| BJD | 63 | 9,0 | 1,51 | 0,43 | 536 | 76,8 | 3,54 | 1,01 | 81 | 11,6 | 4,95 | 1,41 | 18 | 2,6% | 3,78 | 1,07 |
| Contact | 12 | 7,8 | 2,58 | 0,62 | 128 | 82,1 | 4,16 | 1 | 16 | 10,3 | 5,00 | 1,20 | 0 | 0% | NA | NA |
| JAAD | 37 | 7,2 | 2,14 | 0,53 | 325 | 63,4 | 4,34 | 1,07 | 140 | 27,3 | 4,16 | 1,02 | 11 | 2,1% | 1,45 | 0,36 |
| JAMA Dermatol | 86 | 33,2 | 2,53 | 0,62 | 165 | 63,7 | 5,00 | 1,23 | 2 | 0,8 | 10,5 | 2,58 | 6 | 2,3% | 2,33 | 0,57 |
En negrita los tipos de artículo con FI medio menor al de la revista.
Los resultados de nuestro estudio muestran que, en las revistas dermatológicas, los diferentes tipos de artículos generan un efecto diferente sobre el FI. Las revisiones y originales tienden a subirlo, mientras los casos clínicos lo disminuyen. Este efecto está presente en todas las revistas analizadas, como se ve en la tabla 3. En general cada tipo de artículo tiene un impacto similar en el FI global. Sin embargo, pueden apreciarse pequeñas diferencias al realizar el cociente entre el FI de cada tipo de artículo y el FI global de la revista. Por ejemplo, los casos clínicos publicados en Contact y JAMA Dermatol tienen menor efecto negativo en el FI global que los publicados en otras revistas. A su vez, los originales publicados en JAMA Dermatol son los que tienen un efecto más positivo. En cuanto a las revisiones narrativas, BJD y Actas tienen el efecto más positivo. El efecto de las revisiones en JAMA Dermatol no es interpretable al estar calculado sobre solo 2 artículos de este tipo. La diversidad de tipos de artículos incluidos en la categoría «otros» hacen que el efecto que ejercen sobre el FI no sea interpretable.
Una limitación de nuestro estudio es la dificultad para reproducir los cálculos del FI. Esto ya ha sido descrito previamente y es un problema importante si tenemos en cuenta el valor que el FI tiene para las revistas12. De hecho, en las revistas que hemos estudiado, con pequeñas diferencias entre sus índices de impacto ISI, el empleo de pequeñas modificaciones del método hace que el orden de las revistas se modifique. En la tabla 2 se ve la importante diferencia en el FI ISI con los calculados empleando Scopus (Scopus genera otro indicador: el SJR, pero no es fácil reproducirlo porque usa datos de tres años y el número de citas ponderado) (Scimago Journal Ranking 2015: Actas: 0,623, BJD: 2.021, Contact: 1.010, JAAD: 2.242, JAMA Dermatol: 1.485)13. A su vez, el FI ISI de 2015 difiere del FI calculado, obteniéndose valores menores mediante nuestro cálculo. Esta diferencia de valores tiene su repercusión en el orden de las revistas, como se ve reflejado en la tabla 2. En el FI calculado el ranking es liderado por JAMA Dermatol mientras que en el FI de ISI esta misma revista ocupa el tercer puesto, por detrás de Contact y JAAD. Actas Dermo-Sifiliográficas, como revista de menor difusión, obtiene un resultado inferior de FI. Sin embargo, se observa una tendencia creciente de su valor en los últimos años, pasando de un valor de 0,04 en 200314 a 1,06 en 2015.
Esta incertidumbre metodológica se debe a que las fuentes de citas de distintas bases de datos son diferentes (hemos usado Scopus y no ISI), el número de citas no coincide en Scopus e ISI ya que es muy difícil saber cuáles son los artículos que se incluyen en el denominador del cálculo como artículos citables. Nosotros hemos hecho un esfuerzo para obtener cifras similares a las de ISI en el denominador, pero el número de referencias es menor.
Es llamativo que se excluyan muchas referencias del cálculo del FI. En algunas revistas son publicaciones de resúmenes de congresos. Aparte de este motivo de exclusión muchos artículos se publican sin resumen. Es posible que esta sea una omisión voluntaria para modificar el FI, al publicar artículos de investigación como notas o secciones especiales que hacen que estos documentos no sean tenidos en cuenta en el denominador.
El FI es un promedio de artículos citados de una revista, pero no sigue una distribución normal. Por ello, no es correcto asumir que todos los artículos de una revista son de similar impacto. Normalmente los artículos más citados constituyen un pequeño porcentaje de los que se publican (algunos estudios demuestran que el 50% de las citas vienen de un 15% de los artículos)3. Siendo una media de valores muy sesgados está muy afectado por los valores extremos (artículos muy citados) y sería más razonable usar la mediana. Incluir unos pocos artículos muy citados en el cálculo puede aumentar notablemente la media. Además, se la da el mismo valor a todas las citas15, no distingue entre las que se hacen a artículos de investigación novedosos y las que se hacen a otros tipos de artículos de menor importancia o incluso como crítica a artículos rechazados por la comunidad científica.
Otra limitación de nuestro estudio es el reducir los cálculos a un solo año: las revistas van cambiando y adoptando estrategias para aumentar su FI y los resultados podrían ir cambiando con el tiempo.
Analizando la relación entre el FI con el porcentaje de casos clínicos publicados observamos que aquellas revistas que lideran el ranking publican menos casos clínicos. Este hecho ya fue cuestionado por Nabil and Samman, preguntándose si realmente las revistas con mayor FI, publicaban menos casos clínicos. Analizando minuciosamente mediante el cálculo de un FI hipotético (en el que se sustraen para su cálculo tanto las citas recibidas de casos clínicos como el número de casos clínicos publicados), se llegó a la conclusión de que aquellas revistas que publican un mayor número de casos clínicos tienen un FI más negativamente afectado16.
ConclusionesEn el presente estudio se evidencia la dificultad de reproducción de los FI: característica indeseable considerando la relevancia que se les otorga. Es posible cierto grado de manipulación de los mismos publicando más artículos sin resumen, que generen citas pero no se incluyan en el denominador.
Los casos clínicos y otros disminuyen el FI medio de la revista. Los originales y las revisiones narrativas aumentan el FI. Los casos clínicos resultan atractivos a los lectores clínicos, muchas veces como instrumento docente, sin embargo quizás sean menos relevantes para los lectores investigadores y poco citados. A consecuencia de este hecho, las decisiones editoriales de las revistas centradas en mejorar el FI podrían hacer perder contenido demandado por los clínicos17. A pesar de que los casos clínicos no siempre sirvan para provocar un cambio en la práctica clínica, algunos pueden proporcionar una importante información, suponiendo el punto de partida que permite al investigador generar hipótesis para el comienzo de estudios posteriores18.
Buenos ejemplos de ello existen en dermatología. De la descripción de serie de casos, surgieron entidades como la necrosis epidérmica tóxica o la protoporfiria eritropoyética, diagnósticos que perduran hoy en día. A su vez, de la observación de una serie de casos de atrofia vellosa intestinal en la dermatitis herpetiforme, permitió, posteriormente, establecer la inesperada relación con la intolerancia al gluten. Los casos clínicos, también han ayudado en el avance de terapias en dermatología, tanto para sugerir nuevas indicaciones terapéuticas como para describir efectos adversos inesperados19.
En nuestra opinión, como ya ha sido expresado previamente por Ruano et al.8, los comités editoriales de las revistas deben mantener un equilibrio entre la necesidad de aumentar su FI y el interés de los lectores clínicos.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Este trabajo ha sido presentado como trabajo de fin de grado por la primera firmante.
