Comparison of dental student OSCE evaluations by standardized patients and attending dentists

Abstract

Introduction The Objective Structured Clinical Examination (OSCE) is an assessment format developed by Harden to evaluate the clinical competencies of medical students. Our university has been using this assessment in dentistry for the past 8 years, incorporating Standarized patients (SPs) into its stations. Proper training of SPs is essential to ensure objectivity. To date, no study has determined the validity of the student evaluations provided by SPs. The aim of this study was to assess the level of agreement between professors and SPs when evaluating the periodontics station of the OSCE during the 2022/2023 academic year in dental students. Material and methods The SPs evaluated the students' responses after completing the periodontics station using an 18-question rubric. Meanwhile, the assigned professors from a hidden control room assessed the students using the same checklist. Data were analyzed using descriptive statistics and significance tests. Quantitative variables were tested for normality using the Shapiro–Wilk test and Interobserver agreement for categorical variables with Cohen's kappa coefficient. A significance level of 0.05 was adopted. Results A total of 210 students were evaluated. The correlation between the assessments of the SPs and professors was poor for most of the items, with good correlation for diagnosis; statement relating the condition to stress and anxiety; and informed consent. Conclusions SP evaluations of dental students’ OSCEs do not correlate well with those of their professors despite efforts to educate these SPs.

Introducción El Examen Clínico Objetivo Estructurado (ECOE) es un formato desarrollado por Harden para evaluar competencias clínicas en estudiantes de medicina. Nuestra universidad lo utiliza en odontología desde hace 8 años, incorporando pacientes estandarizados (PEs) en sus estaciones. La adecuada capacitación de los PEs es esencial para garantizar la objetividad de la prueba. Hasta la fecha, no se ha estudiado la validez de las evaluaciones realizadas por los PEs. El objetivo de este estudio fue analizar la concordancia entre profesores y PEs en la estación de periodoncia del ECOE durante el curso 2022/2023 en estudiantes de Odontología. Material y métodos Los PEs evaluaron las respuestas de los estudiantes utilizando una rúbrica de 18 preguntas, mientras que los profesores, desde una sala de control oculta, realizaron la misma evaluación. Se aplicaron estadísticas descriptivas y pruebas de significancia. La normalidad de las variables cuantitativas se evaluó con la prueba de Shapiro–Wilk, y el acuerdo inter-observador mediante el coeficiente kappa de Cohen, con un nivel de significancia de 0,05. Resultados Se evaluaron 210 estudiantes. La correlación entre las evaluaciones de PEs y profesores fue baja en la mayoría de los ítems, con buena concordancia sólo en diagnóstico, relación de la patología con estrés y ansiedad, y consentimiento informado. Conclusiones Las evaluaciones de los PEs no se correlacionaron adecuadamente con las de los profesores, a pesar de los esfuerzos de capacitación.