Desarrollo de aplicación móvil con reconocimiento facial y gestual para la enseñanza inclusiva de matemática en apoyo a alumnos con necesidades educativas especiales
Ingenio Tecnológico, vol. 8, e079, 2026
Universidad Tecnológica Nacional
Recepción: 07 noviembre 2025
Aprobación: 10 noviembre 2025
Resumen:
Este trabajo presenta el desarrollo de CAPNEE, una aplicación accesible diseñada para la enseñanza de matemática en estudiantes de nivel primario con Necesidades Educativas Especiales, de ahora en adelante NEE. La herramienta incorpora tecnologías de reconocimiento facial y gestual, permitiendo una interacción sin contacto físico que facilita la navegación y resolución de actividades. De esta manera, CAPNEE promueve una experiencia de aprendizaje más autónoma e inclusiva, alineada con los principios de accesibilidad e inclusión educativa.
El proceso de diseño y desarrollo de CAPNEE se basó en un enfoque centrado en el usuario, combinando ingeniería de software e inteligencia artificial para responder a las necesidades específicas de los usuarios. La experiencia demuestra el potencial de las tecnologías emergentes para transformar los entornos educativos tradicionales, eliminando barreras y ampliando las posibilidades de participación activa de estudiantes con discapacidad.
Palabras clave: inclusión educativa, necesidades educativas especiales, discapacidad neuromotora, inteligencia artificial, aprendizaje móvil, accesibilidad, reconocimiento gestual, educación primaria, matemática.
Introducción
La inclusión educativa de estudiantes con NEE, especialmente aquellos con discapacidad neuromotora, representa un desafío para los docentes de primer ciclo en las escuelas primarias de la Provincia de Buenos Aires [2]. Estas dificultades son frecuentes en el aprendizaje de contenidos como la Matemática, dado que el estudiante requiere dominar la motricidad fina para la escritura de los cálculos aritméticos [1]. La Provincia de Buenos Aires, prioriza el desarrollo psicomotor temprano en los primeros ciclos de primaria. La evidencia sugiere que incluir ejercicios de motricidad fina en el currículo (como enhebrar cuentas, recortar, modelar plastilina o trazar números) puede potenciar significativamente el aprendizaje aritmético. Ante esta problemática, las tecnologías emergentes —como las que combinan el aprendizaje móvil (m-learning) y la inteligencia artificial (IA)—ofrecen nuevas oportunidades para crear herramientas que favorezcan el acceso equitativo al conocimiento [3].
Objetivos de la experiencia/investigación
El objetivo principal del proyecto fue diseñar, desarrollar e implementar una aplicación accesible, que permita:
Brindar apoyo a los docentes en aulas inclusivas.
Adaptar la enseñanza de matemática a estudiantes con limitaciones motrices.
Incorporar reconocimiento gestual para reducir barreras de acceso.
Desarrollo
El proyecto se abordó siguiendo un proceso iterativo de investigación y desarrollo. A continuación, se resume las etapas del proyecto:
Estudio preliminar
Se llevó a cabo un relevamiento inicial para identificar las principales dificultades motrices en el aula y las necesidades de los docentes en cuanto a recursos accesibles. Se observó una escasa oferta de aplicaciones educativas adaptadas a discapacidades motrices. Además, se analizaron los lineamientos curriculares de matemática de la Provincia de Buenos Aires para garantizar coherencia pedagógica. Todo ello permitió delimitar el contexto y las demandas reales del entorno escolar.
Elicitación de requerimientos
Se identificaron los perfiles de usuarios (docentes y alumnos) y se definieron historias de usuario y requerimientos funcionales tanto para la aplicación web (docentes) como para la aplicación móvil (alumnos).
Diseño de interfaces
El diseño se centró en la accesibilidad según los estándares WCAG (W3C) [4]:
Interfaces simples e intutitvas.
Botones grandes y textos cortos.
Navegación mediante gestos faciales (sonrisa, parpadeo de ojos).
Las interfaces fueron diseñadas en Figma, considerando la edad y capacidades de los estudiantes. Figma es una herramienta de diseño de interfases y prototipado, utilizada principalmente para crear diseños de interfaz de usuario (UI)
Módulo móvil para alumnos
Para ampliarl a accesibilidad, se incorporó un modo de navegación mediante gestos faciales, detectados por la cámara frontal del dispositivo. Los gestos utilizados son el guiño de ojo izquierdo para retroceder, el derecho para avanzar y la sonrisa para seleccionar. Esta funcionalidad permite interactuar sin necesidad de tocar la pantalla. La aplicación requiere permisos de cámara para habilitar esta modalidad.
Módulo Web para docentes
La aplicación web desarrollada permite a los docentes gestionar las actividades. Algunas de las funcionalidades que esta aplicación les proporciona a los docentes son: gestión de cursos, alumnos y ejercicios.
Desarrollo tecnológico
Se adoptó una arquitectura de microservicios con separación de capas. La comunicación entre el front-end y el back-end de la aplicación se realiza a través de una API REST, la cual se basa en peticiones HTTP (GET: Para obtener recursos, POST: Para crear nuevos recursos, PUT: Para actualizar recursos, DELETE: Para eliminar recursos).
Las capas implementadas son:
Back-end: para implementar esta capa se utilizó Spring Boot, un framework de Java.
Front-end móvil: para esta capa se utilizó React Native, un framework de desarrollo de aplicaciones móviles (Android/iOS).
Front-end web: en esta capa se utlizó React.js, un framework de JavaScript que permite crear aplicaciones web siguiendo el paradigma de desarrollo basado en componentes.
Reconocimiento facial: tensor Flow.js y face-api.js, complementado con el uso de Expo Face Detector.
Gestión de infraestructura:
Jenkins para integración continua y despliegue continuo (CI/CD).
Docker para administrar contenederos de software.
AWS EC2 (en etapas iniciales) y DonWeb (posteriormente) para el hosting.
Testing
llevaron a cabo pruebas funcionales en entornos controlados, donde se verificó el correcto registro facial, el reconocimiento efectivo de gestos faciales básicos y una navegación fluida dentro de la aplicación sin necesidad de teclado ni interacción táctil.
Resultados obtenidos
Los resultados obtenidos fueron alentadores: se logró desarrollar un prototipo funcional con una navegación completamente accesible para alumnos con limitaciones motrices. El reconocimiento facial se confirmó como una alternativa viable para la autenticación de usuarios, y además se validaron correctamente los modelos de clases y el flujo general de la aplicación.
Discusión y líneas futuras
El proyecto CAPNEE representa un aporte innovador en el campo del m-learning accesible, integrando IA y microservicios en un entorno educativo inclusivo. Las próximas etapas previstas incluyen:
Ajustar los modelos de reconocimiento gestual para ampliar la gama de interacciones.
La libreria utilizada actualmente para el reconocimiento facial fue deprecada, por lo que será necesario buscar una alternativa para mantener dicha funcionalidad.
Ampliar los contenidos curriculares y fortalecer los aspectos pedagógicos de la herramienta.
Realizar pruebas piloto en aulas reales.
Conclusiones
El desarrollo de CAPNEE evidencia cómo la integración de tecnologías emergentes, como la inteligencia artificial y el aprendizaje móvil, puede ser implementada en el aula para reducir las barreras de acceso al conocimiento en contextos de inclusión educativa. La implementación de reconocimiento facial y gestual demostró ser técnicamente viable y funcional para facilitar la navegación autónoma de estudiantes con discapacidad neuromotora, abriendo nuevas posibilidades de interacción que no dependen de la motricidad fina.
CAPNEE no solo representa un avance en términos tecnológicos, sino también un paso hacia una educación más equitativa, en la que la accesibilidad sea una condición inherente al diseño de soluciones. Este proyecto plantea un modelo replicable para futuras iniciativas orientadas a la inclusión, marcando un camino claro para la incorporación significativa de la ingeniería de sistemas en el ámbito educativo.
Referencias
[1] Haapala, E. A., Tomporowski, P. D., & Tammelin, T. H. (2023). Fine motor skills in grade 1 predict academic outcomes in grade 3: Evidence from a longitudinal study. Medicine & Science in Sports & Exercise, 55(4), 678–685. https://doi.org/10.1249/MSS.0000000000003001
[2] Mazzini, A. (2024). Inclusión educativa en escuelas de educación primaria: Una revisión bibliográfica sobre la experiencia docente (Tesis de maestría, Universidad Católica del Uruguay). https://doi.org/10.5281/zenodo.14849535
[3] UNESCO. (2021). Inteligencia artificial y educación: Guía para los responsables de formular políticas. https://unesdoc.unesco.org/ark:/48223/pf0000376709
[4] World Wide Web Consortium (W3C). (2018). Pautas de accesibilidad para el contenido web (WCAG) 2.1. https://www.w3.org/TR/WCAG21/
