Ernesto Spinak – 27/06/2015
Resumen
La Declaración de San Francisco en 2012 hizo una crítica al Factor de Impacto y propuso buscar otros procedimientos para evaluar el impacto de la investigación científica. La altmetría, que surge en los mismos años, fue recibida con optimismo como una opción, y también levantó múltiples objeciones desde diferentes tiendas del sistema académico. ¿Es la Altmetría una opción al FI, o será que mide otras conductas de la comunidad interesada en lo académico?
La declaración DORA de San Francisco, enunciada en diciembre de 2012 hace una crítica seria y fundada a la práctica de evaluación de las revistas científicas basadas en el Factor de Impacto (journal impact factor: JIF). Esta declaración, que fue apoyada inicialmente por 75 organizaciones científicas, en pocas semanas llegó a más de 230 y más de 6.000 científicos a título individual.[1, 2]
Las razones que critican el FI son muchas, discutidas por años y bien conocidas por los lectores de este Blog. La propuesta central de DORA es considerar otros procedimientos y formas de medir el impacto de la investigación científica, procedimientos varios que también por años han sido presentados y discutidos en los foros de los investigadores, editores y agencias de evaluación en ciencia.
Poco tiempo antes de DORA surge la iniciativa de medir el impacto de la investigación científica basándose en la actividad de las herramientas y ambientes online, lo que pasó a llamarse “Altmetrics” [3, 4]. También llamada cienciometría 2.0, esta área de investigación reemplaza las citaciones a las revistas por los impactos en las redes sociales tales como visitas, descargas, “likes”, blogs, Twitter, Mendeley, CiteUlike, etc.
El blog SciELO en Perspectiva ha dedicado algunos posts en el pasado año referidos a la Altmetría analizando qué nos pueden ofrecer las métricas alternativas, la evaluación del impacto en las redes sociales, y la visibilidad e impacto de las investigaciones.[5, 6, 7]
Como toda área nueva de análisis, surgen preguntas para las que todavía no se tienen respuestas firmes, pero sí opiniones variadas, que van desde muy a favor hasta muy en contra. Personas que consideran que la almetría reemplazará la cienciometría tradicional, como el ampliamente conocido Loet Leydesdorff[8], hasta otros investigadores como Jean-Daniel Bourgault, del Institut National de la Recherche Scientifique, que considera que la Altmetría es basura en lo que tiene que ver con el impacto científico[9], o David Colquhoun del University College de Londres, que dice que los científicos deberían ignorar la altmetría[10].
Entonces, caben las preguntas ¿qué es lo que está midiendo la Altmetría?, ¿es una alternativa al FI o está midiendo otra cosa?, si es otra cosa, entonces ¿qué es lo que mide y para qué sirve?
Tomemos para comparación de conceptos, entre muchos y varios aspectos, los ránkings que nos proporcionan los indicadores Altmétricos.
La compañía Altmetrics.com publica cada año una lista del los 100 temas de investigación académica más destacados http://www.altmetric.com/top100/2014/ En la lista del pasado 9 de diciembre de 2014 usted podrá ver los artículos, las referencias online para visitarlos si lo desea, y la cuenta Altmetrics que obtuvieron esos 100 artículos. La lista presenta los artículos que generaron la mayor cantidad de “sharing” y discusión entre los medios sociales principales online, como blogs, foros arbitrados, plataformas como Reddit y YouTube, y sitios de registros de referencia (bookmarking)[11]
Si bien existe una gran mayoría de trabajos interesantes que obtuvieron una posiblemente bien merecida cuenta altmétrica, puede causar sorpresa la aparición de artículos que nunca hubiéramos esperado encontrar con altos valores de impacto usando los procedimientos convencionales. Para su comodidad presentamos cuatro artículos seleccionados de esa lista.
Posición 6º de Altmetrics, factor altmétrico: 2.734
Christmas 2013: Research: The survival time of chocolates on hospital wards: covert observational study. http://www.bmj.com/content/347/bmj.f7198
- Obtuvo el mayor puntaje en la revista BMJ, fue el 1º entre 20.238 trabajos del año 2014.
- Objetivo: medir el consumo de chocolates en un entorno de sala de hospital. De nuestro estudio observacional, la supervivencia de chocolate en una sala de hospital fue relativamente corto, y se modeló bien por un modelo de decaimiento exponencial. Los chocolates Roses fueron consumidos con preferencia a los bombones Quality Street en un ambiente de barrio. Los chocolates fueron consumidos principalmente por los asistentes y enfermeros asistenciales, seguidos por los médicos. Se necesitan más estudios prácticos.
Posición 8º de Altmetrics, factor altmétrico: 2.295
Searching the Internet for evidence of time travelers. http://arxiv.org/abs/1312.7128
- Fue uno de los que obtuvo mayor puntaje en esta revista, posición 2ª entre 214.842.
- Objetivo: Los científicos quedan con las manos vacías después de una búsqueda en línea tras los viajeros del tiempo que han venido del futuro. El viaje en el tiempo es un fenómeno misterioso y hasta ahora no probado en la física.
Posición 10º de Altmetrics, factor altmétrico: 2.146
Were James Bond’s drinks shaken because of alcohol induced tremor? http://www.bmj.com/content/347/bmj.f7255
- Objetivo: Cuantificar el consumo de alcohol de James Bond según se detalla en la serie de novelas de Ian Fleming. El nivel de consumo de alcohol de James Bond lo pone en alto riesgo de múltiples enfermedades relacionadas con el alcohol y una muerte temprana. El nivel de desempeño como se muestra en los libros es incompatible con el funcionamiento físico, mental, sexual y de hecho no se espera de alguien que bebe esta cantidad de alcohol. Aconsejamos una derivación inmediata para su posterior evaluación y tratamiento, una reducción en el consumo de alcohol a niveles seguros, y sospechamos que el famoso eslogan “agitado, pero no revuelto” podría ser debido al temblor inducido por el alcohol que le afecta las manos.
Posición 100º de Altmetrics, factor altmétrico: 746
A Diamond is Forever” and Other Fairy Tales: The Relationship between Wedding Expenses and Marriage Duration. Social Sciences Research Network. http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2501480
- Objetivo: En este trabajo se ha evaluado la asociación entre el gasto de la boda y la duración del matrimonio con datos de una encuesta realizada a más de 3.000 personas alguna vez casadas en Estados Unidos. Haciendo un control de una serie de características demográficas y de relación, encontramos evidencia de que la duración del matrimonio se asoció inversamente con el gasto en el anillo de compromiso y boda.
No debe extrañar entonces que haya comentarios muy adversos a la altmetría como un procedimiento de medición del impacto de la investigación científica, y que además abre las puertas a procedimientos contra la ética, como expresa el siguiente comentario:
Recientemente, he observado la aparición de lo que yo llamo “empresas de promoción de artículos.” Estos son sitios web específicos de la disciplina que envían spam a los autores de artículos académicos con ofertas para promover sus artículos a través de sitios web de empresas promotoras. Un ejemplo es la empresa Investigaciones Educativas. Por lo general cobran $ 35 para promover un solo artículo.
Pronto, probablemente, veremos empresas que van a usar los medios sociales para promoverle su investigación por una tarifa. La facilidad con que se pueden manipular las mediciones de impacto a nivel de artículo hacen que el antiguo y buen factor de impacto parezca aún más valioso. [12]
Reflexión
Obviamente la altmetría no está midiendo los mismos eventos que el clásico Factor de Impacto de las revistas científicas y el impacto de las investigaciones que allí se publican. Esto no quiere decir que la altmetría sea inútil, sino que es otra cosa. Se parece más a la medición de audiencia (ratings) de los espectáculos y programas de televisión y las ventas de boletería, que desde el punto de la sociología y la comprensión de la difusión de los medios en la sociedad es muy importante, pero no, … no son la misma cosa.
El verdadero impacto de la ciencia, que tradicionalmente se ha medido con el FI, y más modernamente el “índice h”, se mide por la influencia en la erudición posterior. Los índices de citaciones, con visiones diacrónicas y acumulables no son lo misma cosa que medir la cantidad de “likes” que hay en Facebook. Muchos de los de los top-100 de la lista seguramente fueron twiteados, pero nunca serían citados como referencia en publicaciones arbitradas.
Demos a la Altmetría el espacio que le corresponde en el análisis de las redes sociales y la sociología de los medios masivos electrónicos de comunicación. Estas medidas nos están mostrando una dimensión de la difusión social de la ciencia de la que antes no teníamos mayor información.
Pero los firmantes de DORA todavía debemos seguir buscando alternativas al FI que evalúe mejor la investigación científica en sus diversas facetas, esa es una cuestión para la que todavía no tenemos respuesta.
Links
[1] San Franciso Declaration on Research Assessment: putting science into the assessment of research.
http://www.ascb.org/dora-old/files/SFDeclarationFINAL.pdf
[2] San Franciso Declaration on Research Assessment. Wikipedia.
http://en.wikipedia.org/wiki/San_Francisco_Declaration_on_Research_Assessment#cite_note-afcb-3
[3] The Altmetrics Collection. Priem J, Groth P, Taraborelli D (2012) The Altmetrics Collection. PLoS ONE 7(11): e48753.
http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0048753
[4] Altmetric. We make article level metrics easy.
http://www.altmetric.com/
[5] Altmetrics, Altmétricas, Altmetrias: novas perspectivas na visibilidade e no impacto das pesquisas científicas. SciELO em Perspectiva. [viewed 04 April 2015]. Available from:
http://blog.scielo.org/blog/2013/08/14/altmetrics-altmetricas-altmetrias-novas-perspectivas-na-visibilidade-e-no-impacto-das-pesquisas-cientificas/
[6] Estudo analisa o uso de redes sociais na avaliação do impacto científico. SciELO em Perspectiva. [viewed 04 April 2015]. Available from:
http://blog.scielo.org/blog/2015/03/13/estudo-analisa-o-uso-de-redes-sociais-na-avaliacao-do-impacto-cientifico
[7] O que podem nos fornecer as “métricas alternativas” ou altmetrias. SciELO em Perspectiva. [viewed 04 April 2015]. Available from:
http://blog.scielo.org/blog/2014/08/07/o-que-podem-nos-fornecer-as-metricas-alternativas-ou-altmetrias/
[8] A Review of Theory and Practice in Scientometrics. John Mingers, Loet Leydesdorff. January 2015.
http://arxiv.org/abs/1501.05462
[9] What are the major differences between Webometrics and Altmetrics? Jean-Danie Bourgault. ResearchGate, contributions, Feb 15, 2015.
https://www.researchgate.net/profile/Jean_Daniel_Bourgault/topics
[10] Scientists don’t count: why you should ignore altmetrics and other bibliometric nightmares. David Colquhoun and Andrew Plested. DC’s Improbable Science, January 16, 2014.
http://www.dcscience.net/2014/01/16/why-you-should-ignore-altmetrics-and-other-bibliometric-nightmares/
[11] Which academic research caught the public imagination in 2014?
http://www.altmetric.com/top100/2014/
[12] Article-Level Metrics: An Ill-Conceived and Meretricious Idea. Scholarly Open Access.
http://scholarlyoa.com/2013/08/01/article-level-metrics
Ernesto Spinak
spinaker@adinet.com.uy
