Configuración de ChatGPT para calificación automatizada de preguntas con respuesta abierta corta

Enfoque

INTRODUCCION
La inteligencia artificial (IA) ha emergido como una herramienta revolucionaria en la educación. Su integración en el aula promete transformar los procesos de enseñanza-aprendizaje, ofreciendo soluciones innovadoras para retos tradicionales. De interés particular es la corrección automática de exámenes, donde la IA tiene el potencial de aliviar la carga de trabajo y proporcionar una calificación objetiva y consistente. Los modelos de lenguaje de gran tamaño (LLM), como ChatGPT, han mostrado una notable capacidad para entender y procesar el lenguaje natural. Esta habilidad los convierte en candidatos ideales para la tarea de corrección de preguntas con respuesta abierta corta (PRAC), adaptadas a los criterios específicos y estilo de corrección de cada profesor.

OBJETIVO
Comparar en preguntas tipo PRAC las calificaciones proporcionadas por ChatGPT con un profesor experto en la materia. Identificar el impacto del número de ejemplos proporcionados a la IA en la calidad de sus calificaciones.

METODOLOGIA
Mediante un diseño experimental comparativo, se analizan las capacidades de corrección de ChatGPT con las calificaciones asignadas por la profesora responsable de Podología Física (obligatoria del tercer curso del grado de Podologia). Un total de 17 participantes respondieron a dos preguntas específicas de la materia. Inicialmente, un profesor evaluó las respuestas, estableciendo un estándar de corrección. Posteriormente, las mismas respuestas fueron corregidas por ChatGPT 3.5 y ChatGPT 4, tanto con como sin ejemplos previos de calificación de respuestas. Para evaluar la coherencia en las correcciones de la IA, se repitió la corrección de la misma serie de preguntas tres veces.. El análisis cuantitativo se centró en la determinación de los intervalos de confianza y en la correlación de las correcciones de la IA con las realizadas por el profesor.

RESULTADOS
El modelo con mayor número de ejemplos, alcanzó un Coeficiente de Correlación Intraclase (CCI) de 0,902 (intervalo de confianza: 0,747 – 0,965) para la primera pregunta y 0,888 (intervalo de confianza: 0,703 – 0,961) para la segunda. Se observó una mejora significativa en los resultados de corrección a medida que se incrementaba el número de ejemplos proporcionados a la IA.

DISCUSION
Los resultados muestran altas correlaciones entre la calificación del profesor y la IA e indican que la precisión de la IA mejora significativamente con la incorporación de más ejemplos. Estos hallazgos resaltan un avance prometedor en la aplicación de los LLM en una integración más efectiva y personalizada en procesos educativos.

CONCLUSIONES
Este estudio revela que los LLM, como ChatGPT, tienen un potencial significativo para automatizar la corrección de preguntas PRAC. Aunque se requieren estudios futuros con conjuntos de datos más extensos para una generalización, los resultados presentados muestran que la eficacia en la corrección automatizada por IA es notablemente coherente con los criterios del docente si se proporcionan suficientes ejemplos. Asimismo, la consistencia en las correcciones de la IA fue muy alta. No obstante, es imperativo mantener la supervisión y participación activa de expertos humanos para asegurar la exactitud y la pertinencia pedagógica de estas herramientas automatizadas.