Unidad de Bioestadística Clínica del Hospital Ramón y Cajal CIBER de Epidemiología y Salud Pública
1. Resumen
La investigación sobre pruebas diagnósticas es una actividad compleja. La selección de las mejores publicaciones en este ámbito debe fundamentarse en tres aspectos clave: La pregunta de investigación que se aborda, la calidad metodológica del estudio realizado y la comunicación adecuada de los resultados.
En esta ponencia se recorrerán brevemente estos tres aspectos clave.
2. Relevancia de la pregunta de investigación
La investigación en radiodiagnóstico en ocasiones es percibida como únicamente dirigida a producir imágenes más precisas y de mayor calidad técnica para así conseguir mayor precisión en el diagnóstico. En realidad, la investigación de calidad en diagnóstico por imagen persigue proporcionar información útil para ayudar a determinar las tecnologías diagnósticas más adecuadas para promover mejores resultados de salud en un paciente concreto y en la población general.
Las preguntas de investigación sobre las pruebas de imagen radiológica son variadas y recorren un amplio espectro de evaluación que va desde los aspectos técnicos del protocolo de imagen, los aspectos sobre la reproducibilidad de la prueba, su validez y exactitud diagnóstica y finalmente su utilidad clínica en términos del impacto en el razonamiento diagnóstico y en el manejo terapéutico de los pacientes y el impacto en resultados clínicos relevantes. Puede añadirse a este elenco de preguntas también aquellas relacionadas con la evaluación económica de estas pruebas. Se han propuesto varios marcos conceptuales de evaluación (1) si bien en la actualidad el marco más aceptado es el que propone un pro- ceso cíclico en fases como el que se muestra en la figura.
Figura. Marco conceptual de evaluación de pruebas diagnósticas.
Es importante poner en contexto la pregunta de investigación en dos ámbitos diferentes. Por un lado debe ponerse en contexto en términos del conocimiento actual disponible sobre la prueba radiológica investigada. En este sentido debe argumentarse acerca de la reproducibilidad de la prueba si ésta es conocida, de su validez diagnóstica si ha sido ya evaluada y de su utilidad clínica en el caso de que haya sido ya estudiada. Situar la pregunta de investigación en el contexto del conocimiento actual facilita distinguir si la investigación propuesta viene a llenar una laguna de conocimiento o a resolver alguna controversia exis- tente. La segunda dimensión donde contextualizar la investigación es la dimensión clínica, es decir, en qué posición de la proceso diagnóstico se sitúa la prueba radiológica. Esta contextualización en el proceso diagnóstico requiere de una definición clara de la situación clínica de los pacientes para los que se considera usar la prueba de imagen, el espectro y severidad de la enfermedad o condición clínica que se pretende identificar, características demográficas y clínicas de la población de estudio. Puede requerir la realización de estu- dios comparativos con otros procedimientos diagnósticos para el mismo problema clínico. También es preciso definir un rol a la prueba radiológica que se evalúa. Se han descrito tres roles fundamentales para las pruebas diagnósticas como son el rol de sustitución de otra prueba alternativa, de triage de otras pruebas o el rol de ser prueba complementaria (add- on) dentro del proceso diagnóstico (2).
3. Calidad metodológica de los estudios de evaluación de pruebas diagnósticas
Dar respuestas científicamente válidas a este variado espectro de preguntas requiere de protocolos de investigación ad hoc, de naturaleza diversa, fundamentalmente con diseño observacional.
Como en toda investigación, el diseño del protocolo de investigación debe realizarse para dar respuesta a una pregunta primaria a la que se le pueden anidar algunos objetivos secundarios. Las características del estudio de investigación, es decir el tipo de diseño elegido, la selección de la muestra, los procedimientos radiológicos empleados, la recogida de información clínica y radiológica, el tamaño muestral, el análisis estadístico, etc. pivotarán entorno a este objetivo principal. Esta fase del diseño es la más crítica pues determinará la validez del estudio.
En la evaluación de pruebas diagnósticas, a diferencia de la evaluación de la eficacia de intervenciones terapéuticas, se tiene una dificultad extraordinaria para distinguir y delimitar lo que corresponde a un protocolo de investigación y lo que es la práctica asistencial. El ensayo clínico aleatorizado, como paradigma de diseño de investigación para responder a preguntas de eficacia de intervenciones, se entiende perfectamente como un procedimiento dentro del ámbito de la investigación y por ello se admite de forma casi natural el empleo de elementos metodológicos ajenos a la práctica clínica habitual. Por ejemplo, el uso de conceptos como el placebo, el concepto de cegamiento (simple o doble) y la aleatorización, por mencionar algunos, se asumen de forma natural como elementos imprescindibles para que el estudio sea científicamente válido a la vez que se reconocen como elementos enteramente ajenos a la práctica asistencial. Sin embargo, en la evaluación de pruebas diagnósticas es frecuente observar protocolos de investigación que se generan y se reali- zan aprovechando la propia práctica clínica. Esto impide incluir en el protocolo elementos metodológicos que son claves para proporcionar respuestas válidas. Numerosas investi- gaciones en diagnóstico se generan a partir de la observación de la práctica clínica habitual generando con ello resultados útiles pero que con frecuencia están sujetos a sesgos. Es frecuente encontrar investigaciones en diagnóstico retrospectivas y con diseños poco ro- bustos que se sabe producen evaluaciones sesgadas (3). Se han descrito más de una treintena de diferentes posibles sesgos metodológicos en los estudios de exactitud diagnóstica (4) y se han desarrollado herramientas para determinar la calidad metodológica y el riesgo de sesgo de estos estudios (5).
4. Calidad de la comunicación de los resultados
Comunicar de forma clara, transparente y completa los resultados de una investigación mezcla elementos de arte y técnica. Los editores de las revistas cuentan con herramientas para fortalecer el proceso de revisión por pares y que suelen ponerlas a disposición de sus autores y revisores para que se empleen tanto en la fase de escritura como en la fase de evaluación (6). Específicamente para el ámbito de investigación sobre pruebas diagnosticas se han propuesto guías y recomendaciones para una comunicación adecuada de los resultados. Estas iniciativas son la iniciativa STARD (de sus siglas Standards for Reporting of Diagnostic Accuracy) (7) para los estudios de exactitud diagnóstica y la iniciativa GRRAS (de sus siglas Guidelines for Reporting Reliability and Agreement Studies) (8) para los estu- dios de reproducibilidad y concordancia. Se crearon con el ánimo de estandarizar y mejorar la comunicación de resultados y se engloban dentro de la iniciativa internacional EQUATOR (9) aunque el impacto sobre localidad de la literatura es todavía limitado (10,11).
5. Conclusiones
El proceso de revisión por pares es el elemento fundamental que unifica en una valo- ración subjetiva los tres elementos discutidos anteriormente. El trabajo de los revisores es una labor dura, altruista y poco reconocida. Requiere de experiencia en el área y formación técnica en metodología de la investigación. Su tarea es crucial y se sustenta en la confianza en que todos los agentes del proceso actúan de forma responsable y ética. Es recomendable que tanto editores como revisores tengan formación específica sobre el proceso de revisión por pares, para lo que existen numerosos recursos.
Finalmente, debe hacerse notar que el proceso de revisar y seleccionar las mejores publicaciones es un proceso subjetivo y como tal sujeto a errores. Es tarea de todos los implicados (autores, revisores y editores, y en última instancia los lectores), la de tratar de hacer de este proceso algo más objetivo, reproducible y exento de errores.
6. Referencias
- Lijmer JG, Leeflang M, Bossuyt PMM. Proposals for a phased evaluation of medicaltests. Med Decis Mak Int J Soc Med Decis Mak. 2009 Oct;29(5):E13–21.
- Bossuyt Comparative accuracy: assessing new tests against existing diagnostic pathways. BMJ. 2006 May 6;332(7549):1089–92.
- Lijmer JG, Mol BW, Heisterkamp S, Bonsel GJ, Prins MH, van der Meulen JH, et al. Empirical evidence of design-related bias in studies of diagnostic tests. JAMA. 1999 Sep 15;282(11):1061–6.
- Whiting Sources of Variation and Bias in Studies of Diagnostic Accuracy: A Syste- matic Review. Ann Intern Med. 2004 Feb 3;140(3):189.
- Whiting PF, Rutjes AW, Westwood ME, Mallett S, Deeks JJ, Reitsma JB, et al. QUA- DAS-2: a revised tool for the quality assessment of diagnostic accuracy studies. Ann Intern Med. 2011;155(8):529–36.
- Hirst A, Altman Are Peer Reviewers Encouraged to Use Reporting Guidelines? A Survey of 116 Health Research Journals. PLoS ONE. 2012 Apr 27;7(4):e35621.
- Bossuyt PM. Towards Complete and Accurate Reporting of Studies of Diagnostic Accuracy: The STARD Ann Intern Med. 2003 Jan 7;138(1):40.
- Kottner J, Audigé L, Brorson S, Donner A, Gajewski BJ, Hróbjartsson A, et al. Gui- delines for Reporting Reliability and Agreement Studies (GRRAS) were proposed. J Clin Epidemiol. 2011 Jan;64(1):96–106.
- Editors of research publications | The EQUATOR Network [Internet]. [Último acceso 2015 Sep 8]. Disponible en: http://www.equator-network.org/toolkits/editors/#editperr
- Korevaar DA, van Enst WA, Spijker R, Bossuyt PMM, Hooft L. Reporting quality of diagnostic accuracy studies: a systematic review and meta-analysis of investigations on adherence to Evid Based Med. 2014 Apr 1;19(2):47–54.
- Wilczynski Quality of Reporting of Diagnostic Accuracy Studies: No Change Since STARD Statement Publication—Before-and-after Study. Radiology. 2008 Sep;248(3):817– 23.