Evaluación integral del ECOE en odontología: impacto emocional, percepciones y validez de los pacientes simulados

Abstract

En la educación odontológica, la evaluación objetiva de competencias clínicas es esencial para garantizar la preparación integral del futuro profesional. El Examen Clínico Objetivo Estructurado (ECOE), conocido internacionalmente como OSCE, se ha consolidado como un método estandarizado y fiable para valorar habilidades técnicas, comunicativas y éticas en entornos simulados. Sin embargo, su aplicación en odontología plantea interrogantes sobre su impacto emocional en los estudiantes, la percepción de los distintos actores implicados y la validez de las evaluaciones realizadas por pacientes simulados. La presente tesis doctoral, desarrollada en formato de compendio de tres artículos, aborda estas cuestiones mediante un análisis multidimensional que integra perspectivas pedagógicas, psicológicas y evaluativas. La investigación se justifica por la necesidad de optimizar los procesos de evaluación clínica en odontología, incorporando evidencias sobre aspectos poco explorados: la experiencia subjetiva de estudiantes, actores y docentes, el papel de los pacientes simulados como evaluadores y la influencia de factores emocionales en el rendimiento académico. Este enfoque busca contribuir al diseño de modelos más equitativos y sostenibles, capaces de garantizar la validez y fiabilidad del ECOE sin comprometer el bienestar del alumnado. Se desarrollaron tres estudios con enfoque cuantitativo y transversal, aplicados en dos ediciones consecutivas del ECOE en la Universidad Europea de Madrid (cursos 2022-2023 y 2023-2024). Participaron estudiantes de quinto curso, profesores clínicos y pacientes simulados entrenados. Se emplearon instrumentos validados: cuestionarios estructurados para percepciones, el STAI para medir ansiedad y rúbricas estandarizadas para la evaluación clínica. El análisis estadístico incluyó pruebas descriptivas y comparativas, coeficientes de concordancia (kappa de Cohen) y fiabilidad interna (alfa de Cronbach). Los resultados revelan que el ECOE es percibido como una herramienta formativa y realista por la mayoría de los estudiantes (>80%), quienes valoran la inclusión de pacientes simulados por su contribución al realismo y la preparación clínica. Los profesores destacan su utilidad para evaluar competencias complejas, aunque señalan áreas de mejora como la retroalimentación inmediata y la estandarización de estaciones. Los pacientes simulados expresan satisfacción con su rol, pero identifican dificultades para aplicar rúbricas mientras interpretan el guion, lo que evidencia la necesidad de formación específica. En cuanto al impacto emocional, el ECOE genera niveles elevados de ansiedad en los estudiantes (82% con puntuaciones medio-altas o muy altas), hallazgo que coincide con la literatura internacional. De forma inesperada, los varones presentaron niveles superiores a las mujeres, lo que contradice estudios previos y abre nuevas líneas de investigación sobre factores de género. Respecto a la concordancia evaluativa, se observó baja correlación global entre las calificaciones de actores y profesores (κ<0,4), con buena concordancia únicamente en competencias específicas como diagnóstico y consentimiento informado. Estos resultados sugieren que los pacientes simulados son evaluadores válidos en habilidades comunicativas, pero insuficientes en competencias técnicas. En conjunto, esta tesis aporta evidencia novedosa sobre la implementación del ECOE en odontología en España, proponiendo mejoras en tres áreas clave: (a) formación y calibración de pacientes simulados para garantizar homogeneidad en la aplicación de rúbricas; (b) diseño de instrumentos evaluativos más precisos que reduzcan la subjetividad; y (c) estrategias para mitigar la ansiedad estudiantil sin comprometer la validez del examen. Además, se plantean líneas futuras orientadas a explorar la relación entre ansiedad y rendimiento, el impacto de la retroalimentación inmediata y la viabilidad de modelos híbridos que combinen evaluación docente y participación de pacientes simulados. Estas conclusiones refuerzan el papel del ECOE como herramienta esencial en la educación odontológica, contribuyendo a la formación de profesionales competentes, seguros y preparados para afrontar los retos de la práctica clínica contemporánea.

In dental education, the objective assessment of clinical competencies is essential to ensure the comprehensive preparation of future professionals. The Objective Structured Clinical Examination (OSCE), known in Spanish as ECOE, has established itself as a standardized and reliable method for assessing technical, communication, and ethical skills in simulation environments. However, its application in dentistry raises questions about its emotional impact on students, the perceptions of the different actors involved, and the validity of assessments carried out by simulated patients. This doctoral thesis, developed in the form of a compendium of three articles, addresses these issues through a multidimensional analysis that integrates pedagogical, psychological, and evaluative perspectives. The research is justified by the need to optimize clinical assessment processes in dentistry, incorporating evidence on little-explored aspects: the subjective experience of students, stakeholders, and teachers, the role of simulated patients as assessors, and the influence of emotional factors on academic performance. This approach seeks to contribute to the design of more equitable and sustainable models with the ability to guarantee the validity and reliability of the OSCE without compromising the well-being of students. Three quantitative and cross-sectional studies were developed and applied in two consecutive editions of the OSCE at the European University of Madrid (years 2022–2023 and 2023–2024). Fifth-year dental students, clinical teachers, and trained simulatedpatients participated. Validated instruments were used: structured questionnaires for perceptions, the STAI for measuring anxiety, and standardized rubrics for clinical assessment. Statistical analysis included descriptive and comparative tests, concordance coefficients (Cohen’s kappa), and internal reliability (Cronbach’s alpha). The results reveal that the OSCE is perceived as a formative and realistic tool by most students (>80%), who value the inclusion of simulated patients for their contribution torealism and clinical preparation. Teachers highlight its usefulness for assessing complex competencies, although they point out areas for improvement such as immediate feedback and standardization of stations. Simulated patients express satisfaction with their role but identify difficulties in applying rubrics while interpreting the script, highlighting the need for specific training. In terms of emotional impact, OSCE generates high levels of anxiety in students (82% with medium-high or very high scores), a finding that coincides with international literature. Unexpectedly, male students presented higher anxiety levels than females, which contradicting previous studies and opens new lines of research on gender-related factors. Regarding evaluative agreement, a low overall correlation was observed between the grades of actors and teachers (κ<0.4), with good agreement only in specific competencies such as diagnosis and informed consent. These results suggest that simulated patients are valid evaluators for communication skills but insufficient in technical competencies. Overall, this thesis provides novel evidence on OSCE implementation in Spanish dental education, proposing improvements in three key areas: (a) training andcalibration of simulated patients to ensure consistency in the application of rubrics; (b) design of more accurate assessment instruments that reducessubjectivity; and (c) strategies to mitigate student anxiety without compromising the validity of the exam. In addition, future lines of research are proposed to explore the relationship between anxiety and performance, the impact of immediate feedback, and the viability of hybrid models thar combineteacher assessment and simulated patient participation. These conclusions reinforce the role of the OSCE as an essential tool in dental education, contributing to the training of competent, confident professionals prepared to face the challenges of contemporary clinical practice.