CAPÍTULO 6. DESARROLLO Y VALIDACIÓN DE VIDEOJUEGO PARA LA ENSEÑANZA Y EVALUACIÓN DEL PC: BLUE ANT CODE (BAC)

En este capítulo, se describe la experiencia de desarrollo y validación de un entorno de aprendizaje y evaluación basado en juegos, con el objetivo general de analizar estrategias para el aprendizaje y evaluación del PC y las habilidades de PC de alumnos de Educación Primaria, además de otros objetivos que se detallan en el siguiente apartado.

6.1. Introducción y objetivos

Una vez validado los instrumento independiente del entorno, BCTt y cCTt, descritos en capítulos anteriores, de evaluación del PC en Educación Primaria, es posible la validación de otras estrategias de aprendizaje y evaluación dependientes de entornos concretos, ya que puede comprobarse si ha habido o no aprendizaje utilizando estos instrumentos como herramienta de pre-test y post-test y, de la misma forma, puede compararse los resultados de la evaluación del entorno con la evaluación a través del test.

Como se vio en el estado del arte de esta tesis (ver capítulo 2), los entornos que utilizan la estrategia basada en juegos (GBL) potencian el PC, pero ¿hasta qué punto? El hecho de que los alumnos de 4 y 5 años no hayan sido capaces de alcanzar algunos de los conceptos computacionales propuestos en la experiencia anterior con entornos robóticos (ver capítulo 5), no demuestra que éstos sean inalcanzables o no evaluables con otro tipo de estrategias de aprendizaje o enfoques de evaluación.

En este capítulo se diseña, desarrolla y valida mediante una experiencia en colegios de Educación Primaria, un entorno de aprendizaje y evaluación del PC basado en GBL y mediante analíticas de aprendizaje en juegos o Game Learning Analytics (GLA) como enfoque prometedor para evaluar el desarrollo del PC.

6.1.1. Contexto general

De esta forma, esta experiencia se apoya en las hipótesis, que se recuerdan a continuación (ver apartado 3.2 para más detalles):

• HE2: Mediante diferentes estrategias de aprendizaje, pueden abarcarse las tres dimensiones del PC. La relación entre el marco 3D y las estrategias de aprendizaje es como se muestra en la Figura 10, de forma que se espera un aprendizaje que abarque las tres dimensiones del marco 3D mediante este tipo de entornos.

• HE3: Los entornos que utilizan la estrategia basada en juegos (GBL) potencian el aprendizaje de habilidades de PC en Educación Primaria en contextos escolares, sobre en los niños más pequeños y si se aplica una componente colaborativa.

• HE4: es posible abarcar las tres dimensiones del marco 3D del PC mediante diferentes estrategias de evaluación como se muestra en la Figura 11, de forma que también se espera una evaluación que abarque las tres dimensiones del marco 3D mediante este tipo de entornos

A continuación, se enumeran los objetivos generales asociados a esta experiencia:

• OP3: Diseñar y validar empíricamente, herramientas para el aprendizaje y la evaluación del PC, en particular: OP3b: Desarrollar y validar una herramienta de aprendizaje y evaluación del PC en edades tempranas,

• OP4: Realizar experiencias empíricas que permitan analizar datos relativos tanto a habilidades de PC como a disposiciones y predisposiciones para el PC; en concreto el OP4a: Extraer y analizar datos para mejorar el diseño del currículo escolar relativo a PC según edad y género; el OP4b: Extraer y analizar datos para mejorar el diseño de herramientas de aprendizaje relativo a PC según edad y género; y el OP4c: Extraer y analizar datos para mejorar el diseño de herramientas de evaluación relativo a PC según edad y género.

Para alcanzar los objetivos generales y como contribución a la investigación en este área, se ha desarrollado un entorno basado en el marco teórico previo; las teorías del constructivismo social [12] y del desarrollo cognitivo [13]; en marcos como la Teoría de la Actividad [14]; y en metodologías colaborativas (apartado 2.3). En base a la HE2, se ha desarrollado el entorno como instrumento de aprendizaje del PC en etapas tempranas a través de la programación visual por bloques, basado en el aprendizaje basado el problemas, el aprendizaje colaborativo, y el aprendizaje basado en juegos. Este entorno se llama Blue Ant Code (BAC) e incluye modos de juego individual y colaborativo.

Además, apoyándonos en la HE3, el entorno se ha diseñado en base a la estrategia GBL [5], [61] como vehículo demostrado para el desarrollo del PC (ver capítulo 2).

Después, se realizó un estudio de caso exploratorio en el que participaron 176 alumnos de educación. Se utilizaron los siguientes instrumentos: a) el BCTt, dirigido a evaluar las habilidades de PC en edades tempranas [8]; b) el entorno desarrollado (BAC) como instrumento de aprendizaje y evaluación; y c) varios cuestionarios para complementar la evaluación. La aplicación de los tres instrumentos en el mismo caso de estudio pretende cubrir las tres dimensiones computacionales del marco 3D, basándonos en la HE4 en lo que respecta a los enfoques de evaluación y funcionando como un sistema de evaluación (ver apartado 2.5 para más detalles).

6.1.2. Objetivos específicos

Este estudio pretende responder a las siguientes preguntas de investigación u objetivos específicos:

• OE1: ¿Es adecuada una estrategia basada en el juego como metodología de aprendizaje de la programación y herramienta de evaluación (a través de GLA) de las habilidades de PC a lo largo de la etapa de Educación Primaria?

• OE2: ¿Qué habilidades de PC puede n empezar a desarrollarse en cada etapa de Educación Primaria?

• OE3: ¿Cuáles son las diferencias entre los enfoques de aprendizaje colaborativo e individual basado en juegos en su aplicación en alumnos de Educación Primaria y qué estrategia es mejor para cada edad?

A continuación, se describe el desarrollo del entorno, para después detallar la experiencia en colegios que se realizó para recoger datos y, posteriormente el análisis de los mismos y los hallazgos obtenidos.

6.2. BAC como herramienta de aprendizaje

El diseño del entorno BAC se fundamenta en el marco teórico del capítulo 2. En este apartado se contextualizarán las teorías, estrategias y técnicas generales al entorno basado en juegos desarrollado. Además, se describen las premisas básicas en las que se fundamenta el diseño.

Dado que numerosos estudios indican que las habilidades relacionadas con el PC deben enseñarse a edades tempranas para fomentar el desarrollo cognitivo de los alumnos (apartado 2.2), el entorno se dirige a la etapa de Educación Primaria. Asimismo, como se ha analizado en el capítulo 2, el PC se puede desarrollar eficazmente a través del aprendizaje de la programación [4], [61], sobre todo a través de bloques visuales (apartado 2.4) que, además, si son integrados en entornos de juego mejoran la creatividad y las habilidades de resolución de problemas de los estudiantes [5]. Estos entornos de programación visuales pueden mejorar las habilidades y estrategias de programación de los principiantes, así como fomentar un mayor compromiso con las tareas de programación. Además, pueden ayudar a los estudiantes en la modelización, la simulación y la resolución de problemas, que son clave en el desarrollo del PC [61].

Por lo tanto, merece la pena integrar elementos de juego en entornos visuales y explorar su influencia en la experiencia del alumno y su motivación para resolver problemas computacionales. Los entornos de programación basados en el juego, como BAC, pueden potenciar todas las dimensiones del marco 3D y mejorar especialmente las prácticas computacionales (Figura 10).

En cuanto a las estrategias de aprendizaje adecuadas para la enseñanza del PC en Educación Primaria, basándonos en nuestra hipótesis HE2, en este diseño de entorno combinamos tres de las cuatro estrategias más aplicadas y representadas en la literatura para este aprendizaje [4], esperando que mediante esta combinación se abarquen todas las dimensiones del marco 3D. La estrategia basada en proyectos se ha descartado, ya que los estudiantes necesitan estar comprometidos cognitivamente con la materia durante un largo periodo de tiempo [92], lo que excede el alcance de esta investigación. En el entorno BAC, la estrategia basada en problemas ha sido el principal enfoque adoptado; la estrategia basada en el juego se ha aplicado como vehículo de andamiaje para guiar y facilitar el proceso de resolución a través de la mecánica del juego; y la estrategia colaborativa se ha seleccionado como instrumento transversal para mejorar el proceso de aprendizaje.

Según Qian y Clark, la eficacia de un entorno de aprendizaje basado en juegos depende de que los diseños de los juegos se basen en teorías de aprendizaje establecidas y en elementos de diseño de juegos que hayan demostrado tener éxito [11]. Además, los resultados positivos de la estrategia de aprendizaje basado en juegos predominan en los estudios teóricos sobre el aprendizaje [170], ya que "el diseño de juegos educativos es un proceso interdisciplinar que requiere una profunda comprensión de la teoría del diseño de juegos, conocimientos sobre el tema académico y fundamentos en las teorías del aprendizaje pertinentes" [171]. Por estos motivos, se ha realizado una investigación teórica en el capítulo 2. De dicha investigación resaltamos, para el diseño del entorno basado en juegos, el constructivismo social de Vygotsky [12] y la teoría del desarrollo cognitivo de Piaget [13], ya que el constructivismo en educación postula un proceso de aprendizaje dinámico, colaborativo e interactivo mediante el cual el conocimiento es creado activamente por el propio alumno. Así, la teoría sociocultural del aprendizaje, que sostiene que el aprendizaje tiene lugar en entornos sociales, activos y situados [11], [12], es uno de los principales fundamentos teóricos utilizados por los investigadores del aprendizaje basado en juegos [23], [172], [173].

El marco de aprendizaje constructivista de Papert es también relevante para entornos de aprendizaje basados en juegos, ya que ayuda a los alumnos a potenciar la interacción social, la cognición, el pensamiento de alto nivel y el PC [47], además, en consonancia con este marco, en los entornos de juegos virtuales los estudiantes resuelven los retos de aprendizaje mediante la interacción y la colaboración [4]. Por otra parte, la Teoría de la Actividad [14], proporciona un marco adecuado para analizar las necesidades, las tareas y los resultados a la hora de diseñar entornos de aprendizaje constructivistas, ya que sus supuestos son consonantes con los del constructivismo, el aprendizaje situado, el razonamiento basado en casos, la cognición social y la cognición cotidiana. Además, la Teoría de la Actividad ha sido ampliamente utilizada para proporcionar un marco operativo claro para el diseño de este tipo de entornos. Finalmente, la teoría del flujo es clave para fomentar la motivación en los juegos y el aprendizaje, ya que la actividad del jugador está impulsada por el placer y no por recompensas externas [11], [121], [174].

En cuanto al aprendizaje colaborativo, éste fomenta las habilidades de pensamiento crítico de forma mucho más eficaz que los entornos individuales [85]. Esto se traduce en mayores niveles de logro y mayor productividad, así como en relaciones más afectuosas, solidarias y comprometidas. Así, mediante este tipo de aprendizaje, se promueve una mayor salud psicológica, competencia social y autoestima que a través del aprendizaje individual [87]. Además, los equipos cooperativos alcanzan niveles de pensamiento más altos y retienen la información durante más tiempo que los alumnos que trabajan individualmente [88], [89].

En cuanto al aprendizaje de la programación de forma colaborativa, es destacable la importancia de los entornos de colaboración entre iguales para lograr experiencias de aprendizaje de programación significativas [167]. La reflexión es una estrategia que se utiliza a menudo en los estudios sobre experiencias de programación. Está relacionada con la mejora de las dimensiones de las prácticas computacionales y de las perspectivas computacionales, ya que los estudiantes revisan y piensan sobre su experiencia de programación, mejorando así su propio proceso de aprendizaje [61]. En un entorno colaborativo, los estudiantes no sólo reflexionan sobre su experiencia de programación, sino que también revisan y piensan sobre el rendimiento de la programación de sus compañeros. Además, pensar en voz alta, así como responder y aclarar las preocupaciones de los compañeros, también puede mejorar estas dos dimensiones del marco 3D de PC, especialmente las perspectivas computacionales [15], [60], [61]. Hainey et al. presentan una revisión bibliográfica sistemática de la investigación sobre el aprendizaje basado en juegos, y concluyen que son necesario más estudios que comparen el juego individual y el colaborativo para identificar sus beneficios pedagógicos en la etapa de Educación Primaria [175]. El entorno BAC se ha diseñado para que se pueda cambiar entre el modo de juego individual y el colaborativo con el objetivo de poder comparar estas dos estrategias de aprendizaje.

Con las estrategias de aprendizaje basadas en problemas, la adquisición de conceptos se produce a través de escenarios definidos, guiados y presentados por los profesores. Sin embargo, en una estrategia de aprendizaje basada en juegos el alumno no recibe necesariamente una definición previa de los conceptos, sino que guía su propio aprendizaje libremente, motivado por la sensación de logro (Figura 10), por lo que la adquisición de conceptos puede no ser completa. Por el contrario, nuestra hipótesis es que, en un entorno de aprendizaje basado en el juego en el que el alumno debe superar retos, el dominio de las prácticas es esencial para progresar en el juego [61]. Por ejemplo, puede que los alumnos no sepan que están utilizando secuencias, porque no ha habido una explicación previa, pero si han sido capaces de completar un nivel en el que tienen que averiguar cuál es la secuencia óptima entre diferentes alternativas, queda patente que la práctica computacional de probar y depurar ha sido dominada. Además, nuestra hipótesis es que las prácticas y, sobre todo, las perspectivas computacionales se ven reforzadas por si el aprendizaje es colaborativo, dado que la negociación social del significado de los conceptos a aprender es una parte importante de los entornos colaborativos de resolución de problemas [176], [177].

Por último, en cuanto al despliegue, las tabletas digitales parecen ser dispositivos adecuados para los entornos de aprendizaje en edades tempranas ya que no requieren de dispositivos externos como el ratón o el teclado y el usuario manipula directamente los objetos. La integración de múltiples funciones dentro de un dispositivo y las interfaces táctiles son facetas clave que hacen que las tabletas sean adecuadas como herramientas de aprendizaje en las escuelas [178]. La colaboración entre compañeros mejora, dado que las tabletas digitales proporcionan una interacción más natural y directa con el contenido [179], [180] Además, Lin et al. concluyen que el uso de las tabletas potencia los resultados del aprendizaje, especialmente en los casos de grupos numerosos, ya que se produce una mayor colaboración entre compañeros y resultados de mayor calidad [181].

6.3. Adaptación de BAC al marco 3D

El entorno BAC se basa en las estrategias y teorías de aprendizaje discutidas anteriormente, toma como referencia el marco 3D del PC, y está en línea con la propuesta de Lye y Koh [61] de crear un entorno de aprendizaje de resolución de problemas basado en el construccionismo para apoyar todas las dimensiones computacionales del marco 3D.

Como se ha visto en el marco teórico de esta tesis, el PC es una asignatura importante en los planes de estudio nacionales de muchos países y su inclusión en la educación ha avanzado mucho en la última década, empezando ya en Educación Infantil en algunos países, como Australia o Japón [65]. Se está formando a los niños en PC, de forma que desarrollen el pensamiento independiente y la resolución de problemas y luego puedan aplicar estas habilidades a diferentes disciplinas o a la vida cotidiana. Sin embargo, siguen existiendo algunas dudas sobre la mejor manera de enseñar PC, cuándo comenzar dicha instrucción o qué enseñar [62], y son especialmente escasas las investigaciones sobre las prácticas computacionales en los primeros cursos [63]. Es importante, por tanto, adaptar el marco de referencia educativo a edades tempranas.

Para la categorización de las dimensiones del PC, nos referiremos al marco 3D [46] escogido para todas las experiencias en esta tesis, ya que su contexto es similar al del presente estudio. Sin embargo, como el entorno BAC está dirigido a alumnos más jóvenes que los del estudio de Brennan y Resnick y el entorno no es Scratch, el marco 3D se ha adaptado a un nivel de principiante y al entorno BAC según la Tabla 27.

Aunque existen datos sobre el aprendizaje progresivo de conceptos cuando los alumnos interactúan con Scratch o ScratchJr en diferentes grupos de edad [93], los conceptos computacionales seleccionados como adecuados para un nivel principiante, son aquellos que se ha demostrado que pueden ser alcanzados inicialmente por estudiantes de primaria [93], [95], [96], [182], y, por tanto, pueden ser evaluados por el BCTt [8]. Por ejemplo, aunque los eventos sencillos parecen alcanzables para los alumnos de primaria en un contexto de ScratchJr, el verdadero reto es dominar los eventos complejos que los alumnos de esta edad no demuestran [93]. Las prácticas y perspectivas computacionales seleccionadas son las que están relacionadas con los conceptos abordados [96]. Por ejemplo, aunque se sabe que abstraer es difícil para los estudiantes de Educación Primaria, esta práctica podría observarse mientras los estudiantes interactúan con el entorno BAC y con sus compañeros en el modo colaborativo [46], [96]. Sin embargo, la reutilización y la remezcla no se han incluido en este nivel principiante ya que BAC no es un entorno de creación de juegos, como lo es Scratch, por lo que no existe la opción de reutilización de código.

6.4. Desarrollo del entorno BAC

El desarrollo del entorno BAC incluye el videojuego compatible con múltiples plataformas, una API REST para la conexión con la base de datos relacional y módulos complementarios para el filtrado, la visualización y análisis de datos con GLA.

6.4.1. Diseño de juego

Teniendo en cuenta que el entorno se utilizaría en principio en colegios pero que tal vez se escalara en el futuro a otras plataformas, se decidió orientar el desarrollo hacia PC, Android, e iOS, de forma que se pudiese utilizar por ejemplo en el aula de ordenadores del centro escolar o bien en tablets iOS o Android si el centro dispusiera de ellas y, además, pudiera desplegarse en el futuro en plataformas como Google Play o Apple Store.

BAC está diseñado en base a los fundamentos teóricos analizados, para ser instrumento de aprendizaje como una herramienta de evaluación a través GLA. Se prestó especial atención a los elementos de diseño del juego, ya que la eficacia del aprendizaje basado en juegos depende de ellos [11]. Así, la colaboración, la complejidad, la competición, la estrategia, los retos adaptados para mantener la fluidez, los objetivos claros, la comunicación, la interactividad y el andamiaje son los principales elementos de diseño del juego implementados en el entorno. Asimismo, se han tenido muy en cuenta los preceptos de la experiencia del usuario y se ha adaptado el diseño a la edad objetivo (por ejemplo, las transiciones en los diseños de los puzles, los bloques grandes que se pueden arrastrar, los decorados y los personajes coloridos y animados). Además, BAC tiene dos modos de juego: individual y colaborativo, que se seleccionan antes de empezar a jugar, como puede verse en la Figura 35.

El juego se divide en seis niveles de resolución de problemas con grados de dificultad creciente, a los que se accede desde un menú principal (véase la Figura 36). Cada nivel está ambientado en un puzle de tipo laberinto diferente representado por un hormiguero en el que hay varias cámaras o salas conectadas, para que el protagonista pueda explorarlas. En el modo individual, los elementos del puzle se generan aleatoriamente de forma procedimental, con lo que el usuario se encuentra un puzle diferente cada vez que juega. Hay 4 elementos de juego: hormiga azul (personaje principal), hormiga roja (enemigo), hoja (objetos a recoger), y montón de hojas (meta). En cada nivel, el alumno se enfrenta al reto de resolver un problema computacional mediante instrucciones visuales basadas en bloques que pueden arrastrarse para ensamblar una pieza de código secuenciado, con el fin de guiar a la hormiga azul a través de varias cámaras del hormiguero, recogiendo una o más hojas, evitando eventualmente a la hormiga roja en el camino y, finalmente, llegando al montón de hojas. Cada nivel de dificultad creciente se centra en un concepto computacional del marco 3D, como se muestra en la Tabla 28.

La interfaz del juego se divide verticalmente en dos áreas (véase la Figura 37). El puzle (hormiguero) aparece en la parte izquierda de la pantalla; los bloques de programación con los que construir el código y resolver el puzle están disponibles en la parte derecha. En el modo individual, los 4 elementos del juego se colocan aleatoriamente en las cámaras del hormiguero, y el estudiante debe construir el código para resolver el reto. El modo de juego colaborativo se basa en las cuatro condiciones que Dillenbourg indica para establecer un contexto colaborativo activo en el que es probable que se activen los mecanismos de aprendizaje [86]: establecer las condiciones iniciales; sobre especificar el contrato de "colaboración" con un escenario basado en roles; guiar mediante andamiaje las interacciones productivas englobando las reglas de interacción en el medio; y supervisar y regular las interacciones. En cuanto a la asignación de roles en el modo colaborativo, el primer alumno establece un reto, colocando los elementos del juego donde desee; y el segundo asume el papel de resolver el reto (Figura 37). La hipótesis es que los dos alumnos, independientemente de su rol, aprenden el uno del otro, que no se trata de un juego competitivo sino cooperativo ya que ambos interactúan y se ayudan mutuamente.

Para tener éxito y completar el nivel de juego, los estudiantes deben probar varios planes y encontrar la estrategia más eficaz para resolver el reto. Los jugadores más hábiles pueden adoptar estrategias que ya han utilizado para resolver nuevos problemas, trabajando en prácticas computacionales del marco 3D como la descomposición de problemas, la prueba, la abstracción o la iteración. Como elemento de juego atractivo, se ha establecido un sistema de puntuación, de modo que el alumno que plantea el reto gana más puntos cuanto más difícil es ese reto; y el estudiante que resuelve el reto gana más punto cuanto más óptima resulta la solución a ese reto. En cuanto a la dificultad del reto, será más difícil cuantos más pasos sean necesarios para su resolución; mientras que la solución óptima será la que menos instrucciones y, en segunda instancia, pasos, se necesiten para resolver el reto.

Al acceder a un nivel por primera vez, deberá realizarse una breve explicación a los niños del objetivo y mecánica del juego. A continuación, se detalla la explicación por cada nivel. En el caso del modo individual, el rol del jugador 1 es asumido por el propio juego:

• Nivel 1:

Objetivo del juego: La hormiga azul debe llevar la hoja hasta el montón de hojas sin pasar por la casilla de la hormiga roja

Mecánica: El jugador 1 coloca los elementos en el puzle. El jugador 2 debe conseguir el objetivo del juego colocando las instrucciones “arriba”, “abajo”, “izquierda”, “derecha” en el orden adecuado.

• Nivel 2:

Objetivo del juego: La hormiga azul debe llevar las hojas hasta el montón de hojas sin pasar por la casilla de la hormiga roja

Mecánica: Idéntica a la del nivel 1, aunque el laberinto contiene más casillas y se

puede necesitar un mayor número de instrucciones para resolverlo que en caso del nivel 1.

• Nivel 3:

Objetivo del juego: La hormiga azul debe llevar las hojas hasta el montón de hojas sin pasar por la casilla de la hormiga roja.

Mecánica: El jugador 1 coloca los elementos en el puzle. El jugador 2 debe conseguir el objetivo del juego colocando las instrucciones “arriba”, “abajo”, “izquierda”, “derecha” en el orden adecuado, incorporando el número de veces que se repite cada una.

• Nivel 4:

Objetivo del juego: La hormiga azul debe llevar las hojas hasta el montón de hojas Mecánica: El jugador 1 coloca los elementos en el puzle. El jugador 2 debe conseguir el objetivo del juego colocando las instrucciones “arriba”, “abajo”, “izquierda”, “derecha” en el orden adecuado, incorporando el número de veces que se repiten cada dos instrucciones agrupadas. Este nivel entraña bastante dificultad, ya que las instrucciones agrupadas se repiten las veces indicadas de forma secuencial, pero en grupos de dos. Por ejemplo, si un grupo en el que se han incorporado las instrucciones “arriba” y “abajo” y se ha indicado que se repita tres veces, la ejecución será la siguiente: “arriba”, “abajo”, “arriba”, “abajo”, “arriba”, “abajo”. Es posible que este nivel requiera más tiempo de explicación a los alumnos.

• Nivel 5:

Objetivo del juego: La hormiga azul debe llegar hasta el montón de hojas

Mecánica: El jugador 1 coloca los elementos en el puzle. El jugador 2 debe conseguir el objetivo del juego colocando las instrucciones “arriba”, “abajo”, “izquierda”, “derecha”, incorporando un color que determinará en qué casillas se realizará la acción. Por ejemplo, si se incorpora “amarillo” y “derecha”, todas las veces en las que la hormiga esté en una casilla amarilla, avanzará hacia la derecha. Este nivel entraña bastante dificultad sobre todo la primera vez por lo que es posible que se requiera más tiempo de explicación a los alumnos.

• Nivel 6:

Objetivo del juego: La hormiga azul debe llegar hasta el montón de hojas Mecánica: Es la misma que en el nivel 5 pero el laberinto contiene más casillas con lo que es más difícil de resolver y probablemente se necesiten más instrucciones para ello.

En la Figura 38, se muestra un ejemplo de partida colaborativa en el nivel 3.

BAC cuenta con un sistema de registro de estudiantes por el que se identifica a los jugadores en una base de datos para poder seguir su progresión en el tiempo. Los estudiantes pueden elegir un apodo o pseudónimo, y se les da un número de identificación único a cada uno de ellos, que es con el que la aplicación trabaja.

El sistema de monitorización registra cada paso del juego a bajo nivel (cada micro acción del jugador), mientras se juega, recogiendo datos en tiempo real en una base de datos remota para ser analizados y mediante los cuales se pueden evaluar posteriormente los conceptos computacionales del marco 3D, las prácticas computacionales y, hasta cierto

punto, las perspectivas computacionales (según la hipótesis HE4). Los datos recogidos incluyen información sobre el tiempo que se ha tardado en plantear y resolver los problemas, el grado de optimización del camino planteado en la solución o el número de partidas ganadas por un jugador. En el anexo B.2 se detalla el esquema completo de la base de datos.

Por último, para evaluar las perspectivas computacionales, se pueden recoger datos cualitativos mediante la observación directa de los alumnos mientras interactúan tanto con el entorno como con sus compañeros, especialmente en el modo de juego colaborativo. Además, para recoger datos adicionales sobre la motivación, se pregunta a los estudiantes a través de la interfaz de usuario sobre su estado de ánimo antes y después de la sesión de juego como se puede observar en la Figura 40.

6.4.2. Implementación

Para el desarrollo del entorno BAC, se utilizó Unity, que es un motor de videojuego multiplataforma creado por Unity Technologies, que permite a los desarrolladores de videojuegos asociar la implementación de imágenes, escenarios y mecánicas de juego de una manera rápida y eficaz gracias a un conjunto de librerías incluidas en el programa¹. Además, cuenta con una gran flexibilidad para la exportación a diferentes plataformas y dispositivos.

Para el proyecto se han utilizado versiones LTS (Long Term Support), por su estabilidad y soporte a largo plazo. Por otro lado, cabe destacar también el uso del programa Unity Hub² de Unity Technologies, que permite una mejor administración del proyecto y de sus distintas versiones a lo largo del tiempo de desarrollo. Como entorno de desarrollo, se ha utilizado el IDE Visual Studio³ compatible con múltiples lenguajes de programación (en este caso se ha optado por el lenguaje C#) y entornos de desarrollo web.

Para conectar con la base de datos SQL creada en servidor Web, también se desarrolló una API REST basado en el framework .NET. El protocolo REST permite separar totalmente la interfaz de usuario del servidor y el almacenamiento de datos, con lo que se mejora la portabilidad de la interfaz a otras plataformas, aumenta la escalabilidad y seguridad de los proyectos y permite que los distintos componentes de los desarrollos se puedan evolucionar de forma independiente y escalable. El framework .NET permite la utilización del mismo IDE Visual Studio que se utilizó para la programación de la lógica de juego, para el desarrollo de la API (véase la Figura 35).

Para el desarrollo del juego, se siguió un proceso unificado ágil (PU), con una estrategia de desarrollo iterativa [183] en la que se van atravesando las fases clásicas del PU, las cuales contienen varias iteraciones cada una, en las cuales se recorren las diferentes actividades de forma flexible, refinando el proyecto y obteniendo un producto ejecutable o software incremental al final de cada iteración, con algunas de las funciones de la aplicación. En las primeras iteraciones se comienza por construir las funciones elementales de la aplicación, con lo que predominan las disciplinas de especificación y planificación. En posteriores iteraciones, se va ampliando el producto y se va dando más o menos peso a otras disciplinas según sea necesario. Según el PU, se combina el ciclo de vida iterativo y el desarrollo dirigido por el riesgo en una descripción consistente y bien documentada. Así, cada una de las iteraciones da como resultado un incremento de software consistente en un subconjunto estable y ejecutable del producto final [184] como puede verse en la parte izquierda de la Figura 42.

El motor de juego Unity utiliza como base el patrón de diseño entidad-componente (EC), en un nivel por encima del diseño orientado a objetos (POO), ya que, en Unity, a cada entidad (instancia de GameObject) se le puede asociar un componente de tipo script, donde se programaría el comportamiento de esa entidad. En diseño de videojuegos, este tipo de patrón se suele utilizar con considerable frecuencia. De esta forma, se suele definir la jerarquía de los elementos que forman parte de la aplicación o juego y después se definen los comportamientos de dichas entidades. Este tipo patrón es útil en el caso de haber herencia múltiple, ya que resuelve algunos problemas relacionados con ello.

Sin embargo, pese a que el patrón entidad-relación ayuda a desfragmentar y organizar el código, en proyectos complejos este tipo de estructura produce demasiada desfragmentación, disminuyendo la cohesión del proyecto y dificultando el desarrollo y las posibles actualizaciones futuras. Por ello, se ha considerado más adecuado abordar el proyecto bajo una perspectiva de patrón Modelo-Vista-Controlador (MVC), que separa el software en tres componentes: Modelo (datos/representación de la información), Vista (Interfaz/detección) y Controladores (Decisión/acción) (véase la Figura 42).

Este patrón de arquitectura de software MVC se basa en las ideas de reutilización de código y separación de conceptos, características que se buscan en este proyecto y que facilitan la tarea de desarrollo y de mantenimiento posterior. En el siguiente diagrama se muestra la relación entre las componentes del MVC. Las líneas sólidas indican asociación directa y las punteadas, indirecta:

El desarrollo de juegos tiene un flujo de acción típico de espera por una entrada del usuario u otra acción o disparador (trigger) que envía una notificación a los eventos apropiados y se decide qué hacer en respuesta, actualizando los datos correspondientes. Este flujo de acción concuerda perfectamente con el patrón MVC, ya que se divide el proceso en datos, interfaz y decisiones. Dado que el motor de juego Unity, tienen una estructura EC, como se ha mencionado anteriormente, algunas clases que encapsulan funcionalidades no encajan en el modelo MVC y se tratarán como componentes aislados, incrementando la cohesión y flexibilizando el patrón MVC para adaptarse al diseño de videojuegos con un motor como Unity. En la Figura 43 puede verse la clase que controla al personaje principal (ControladorAnt), las clases principales que regulan el progreso del jugador junto a la lógica de las casillas de cada laberinto y los objetos de su interior.

6.4.3. Base de datos y módulos de análisis

A medida que se va desarrollando una partida entre dos usuarios (modo experiencia en colegios) o sólo con un usuario (modo masivo), se van guardando los datos de juego en una base de datos SQL relacional. Estos datos también se guardan en un archivo de registro (log) como copia de seguridad local, ya que se encontraron problemas con la estabilidad de la conexión a internet de los colegios. Los archivos de registro que se van generando siguen la misma estructura que hay en la base de datos, de forma que, si posteriormente se desea copiar los datos a la base de datos, la tarea sea lo más automática posible. En la Tabla 29 se muestra el diagrama entidad-relación de la base de datos (para más información sobre cada campo de la base de datos ver anexo B.2).

Además de la API creada para la acceder a la base de datos, se han creado también los siguientes módulos asociados para el análisis de datos, de forma que se puedan realizar dicho análisis de forma sistemática y automatizada:

• Aplicación para el tratamiento de ficheros locales generados por BAC, en donde se analiza cada archivo local de registro (log). Esta aplicación se desarrolló con el lenguaje Python y el entorno de desarrollo PyCharm. La aplicación recibe los datos de un puzle (partida) y devuelve la solución óptima mediante implementaciones del algoritmo A* adaptadas a cada nivel del juego (véase la Figura 44) [185].

• Aplicación web para facilitar la visualización y análisis de datos de BAC. Esta aplicación utiliza la arquitectura MVC, se desarrolló utilizando Spring y Google Charts, y muestra la información de la base de datos en forma de gráficas (véase la Figura 45) [186].

• Finalmente, para el postproceso de datos pormenorizado de la base de datos en un momento estático de tiempo, se ha realizado un módulo utilizando el entorno PyCharm con el lenguaje Python y las librerías matplotlib, pandas, sklearn (para la clusterización de los datos) y mpl_toolkits.

6.5. Caso de estudio en Educación Primaria

Para poder validar BAC como instrumento de aprendizaje y evaluación y, además, responder a las preguntas de investigación, se realizó un caso de estudio en 3 colegios diferentes, en la etapa de Educación Primaria, utilizando BAC en modos individual y colaborativo.

6.5.1. Sistema de evaluación propuesto

Como se vio en el apartado 2.5, evaluar el PC es fundamental para la inclusión del PC en el currículo y hacerlo mediante sistemas de evaluación es recomendable para así evaluar un aprendizaje más profundo combinando diferentes medidas de datos [148], [161]. En este caso, planteamos un sistema de evaluación compuesto por tres medidas de datos que se enumeran a continuación, junto la descripción del impacto esperado de cada uno de los enfoques de evaluación en el marco 3D de referencia según la hipótesis HE4 (véase la Figura 11):

1) BCTt [8]: el instrumento independiente del entorno BCTt, desarrollado y validado en el marco de esta tesis (capítulos 4 y 5), está enfocado a la etapa de Educación Primaria, se centra en los conceptos computacionales y, parcialmente, en las prácticas computacionales, mientras que ignora las perspectivas computacionales.

2) Entorno BAC: en apartados previos se subrayó la idoneidad de evaluar el PC a través de información dinámica en tiempo real a través de GLA y de esta forma analizar las habilidades y progresión del alumno a lo largo del tiempo. A través del análisis de las acciones o del código propuesto por el alumno en el entorno BAC, se podrían identificar las prácticas computacionales utilizadas [187] y, a través de las acciones realizadas (por ejemplo, analizando el estilo de juego de los alumnos en el modo colaborativo), se podrían evaluar en cierta medida las perspectivas computacionales. La evaluación del PC a través de GLA está en consonancia con la teoría del flujo, ya que el aprendizaje a través del juego puede continuar sin problemas mientras la recogida de datos se maneja de forma discreta para que el flujo se mantenga [188][190].

3) Datos cualitativos: mediante la recogida de datos cualitativos, a través de cuestionarios y observación directa de los alumnos mientras interactuaban con el entorno y sus compañeros se pueden evaluar las perspectivas computacionales del marco 3D. Para ello, se elaboraron varios cuestionarios para completar y comparar los datos recogidos, en concreto los relacionados con la motivación de los alumnos, sus características, habilidades, intereses y cuestiones de contexto (véase la Tabla 30). Estos cuestionarios estaban dirigidos tanto a los alumnos como a los profesores y se utilizaron en diferentes momentos de la experiencia. Los resultados procedentes de los cuestionarios se reportan descriptivamente sólo para ítems únicos e independientes (no para conjuntos de ítems que supuestamente componen una escala). En este sentido, no es necesario analizar la fiabilidad de los cuestionarios en su conjunto.

6.5.2. Participantes y procedimiento

Los participantes en este estudio fueron una muestra de 176 alumnos de primaria de tres colegios públicos españoles. Como se muestra en la Tabla 31, la investigación se centró en una etapa educativa de cada colegio. El procedimiento de muestreo es intencional y la muestra se subdivide según las clases naturales en los colegios, tal y como se muestra en la Tabla 32.

Para garantizar que la investigación se realice en las mismas condiciones en cada escuela, se elaboró un protocolo de actuación (véase el anexo B.1). Como se muestra en la Tabla 33, en el momento 0 los alumnos y los profesores rellenaron los cuestionarios (Tabla 30). En consecuencia, el BCTt se administró como pre-test de forma concurrente a cada sujeto siguiendo el protocolo de actuación. Para garantizar que las habilidades o la experiencia previa de los estudiantes en el uso de dispositivos informáticos no interfieran en los resultados del test, los BCTt se imprimieron y se rellenaron por los estudiantes en papel.

A continuación, los sujetos de las submuestras A y B jugaron con el entorno BAC durante 5 semanas utilizando tabletas digitales. Cada semana, cada sujeto de cada submuestra jugó durante 10 minutos, independientemente del modo de juego. La submuestra A jugó en el modo individual; la submuestra B jugó en el modo colaborativo, en el que dos estudiantes emparejados al azar juegan al mismo tiempo en la misma tableta digital, uno de los cuales asume el papel de establecer el reto mientras el otro intenta resolver el problema planteado. Los roles en el modo colaborativo se intercambiaron entre los estudiantes para que cada sujeto asumiera ambos roles de forma equitativa. Durante el tiempo de juego (Tiempo 1), los datos de juego cuantitativos de cada estudiante fueron recogidos automáticamente por BAC, sin alterar el flujo del juego, y guardados en la base de datos remota. También se recogieron datos cualitativos durante el tiempo de juego a través de la observación directa, en cuanto a la forma de reflexionar ante los retos propuestos, la interacción con los compañeros o las dificultades que expresaron oralmente.

Al final del periodo de juego de 5 semanas (tiempo 2), se volvió a administrar el BCTt a los sujetos de las submuestras A y B, como post-test, así como a la submuestra C como grupo de control. Además, los alumnos y los profesores de las submuestras A y B rellenaron los cuestionarios.

Por último, 10 semanas después de la finalización del periodo de juego, en el momento 3, se administró el BCTt a los sujetos de las submuestras A y B, para comprobar los aspectos relacionados con la retención del aprendizaje.

Al final de la semana 16, el equipo de investigación analizó cuidadosamente todos los datos cuantitativos y cualitativos recogidos.

6.6. Resultados y discusión

A continuación, se describen los resultados de la experiencia en los colegios.

6.6.1. BCTt

El BCTt se administró en los tiempos 0, 2 y 3 (véase la Tabla 33). Como se esperaba, la fiabilidad como consistencia interna asociada a las puntuaciones del BCTt es alta (Alfa de Cronbach, submuestras A y B: tiempo 0, α = .803; tiempo 2, α = .801; tiempo 3, α = .837). A continuación, se analizaron los datos del BCTt recogidos para determinar si se había producido el aprendizaje esperado. Considerando la puntuación del BCTt como la suma de todas las respuestas correctas a lo largo de los 25 ítems del test, se realizó un análisis inicial de los resultados de la puntuación en el pre-test. Dado que la población de la muestra parece estar distribuida normalmente, los sujetos se dividieron intencionadamente en submuestras (véase la Tabla 32). A continuación, se aplicó la prueba t de Student a los resultados, por separado en cada etapa educativa, para las submuestras A y B (sujetos que jugarían con BAC en una etapa posterior: A: modalidad de juego individual; B: modalidad de juego colaborativo), con el fin de evaluar la significación estadística de la diferencia entre las dos medias poblacionales. Los resultados no muestran diferencias significativas en las puntuaciones de las pruebas (p >. 05) entre los grupos del mismo grado, por lo que las submuestras A y B están equilibradas y pueden ser comparadas en una fase posterior como se muestra en la Tabla 34.

Tras el periodo de juego de cinco semanas, se realizó un análisis primario de los resultados: se aplicó la prueba t de Student entre los resultados de las puntuaciones del pre-test y del post-test, obteniendo en general mejores resultados en las puntuaciones medias del post-test en las submuestras A y B (véase la Tabla 35). Dado que p < .05, existe una significación estadística en la diferencia entre las puntuaciones del pre-test y post-test en casi todas las submuestras A y B, en comparación con los resultados obtenidos entre pre y post-test en la submuestra C (grupo de control) en la que no hubo una ganancia de puntuación significativa (p > .05). Estos resultados nos llevan a concluir que se produjo un aprendizaje efectivo durante el periodo de juego, considerando las puntuaciones globales de cada alumno, tanto en la modalidad individual como en la colaborativa; sin embargo, en la modalidad colaborativa de 5º curso (submuestra B3), no se observó una ganancia significativa (p = .878 > .05). Esto era de esperar, ya que los resultados del pre-test en esta submuestra ya eran altos, lo que dejaba poco margen de mejora y, además, los alumnos en general jugaron menos tiempo en la modalidad colaborativa; sin embargo, una hipótesis alternativa es que los alumnos mayores aprovechan menos la modalidad colaborativa que los más jóvenes.

Además, el tamaño del efecto fue grande (d de Cohen > 0,8) en los cursos inferiores y medio en los superiores (d de Cohen > 0,5), quizá debido a que el BCTt tiene una fiabilidad menor en los alumnos de más edad, excepto en la submuestra B3, que es un resultado muy favorable, ya que el tiempo total de juego fue de sólo 50 minutos por alumno (diez minutos cada semana).

Los resultados de las puntuaciones en el BCTt en todos los cursos fueron más altos de lo esperado, e incluso se observó un efecto techo en los grados superiores, como se puede observar en la Tabla 36, por lo que se llevó a cabo un segundo análisis, centrándose exclusivamente en los sujetos de percentiles bajos en cada submuestra experimental (calculado a partir de los resultados del pre-test). Los resultados muestran ganancias muy significativas entre las puntuaciones del pre-test y el post-test cuando se consideran los primeros cuartiles: Q1 (véase la Tabla 37), y Q2 (véase la Tabla 38), en todas las submuestras y modalidades de juego, considerando α = .01 (prueba t de Student entre las puntuaciones de la modalidad individual pre-test y post-test Q1: grado 1, p = .0065; grado 5, p = .0015). La única excepción fue en la modalidad colaborativa de 5º curso, en la que no hubo una ganancia significativa considerando α = .01 (p = .0248), pero sí cuando se consideró α = .05. Resultados similares se obtuvieron en el cuartil Q2, que muestra resultados significativos entre las puntuaciones pre-test y post-test en todas las submuestras, considerando α = .01 (prueba t de Student entre las puntuaciones pre-test y post-test de la modalidad individual: curso 1, p = .0042; curso 5, p = .0007), excepto, de nuevo, en la modalidad colaborativa de 5º curso (p = .447).

Además, se realizó una tercera comparación, esta vez dividiendo los ítems del BCTt según los conceptos computacionales que se abordan, y contando cuántos estudiantes contestaron correctamente los ítems en cada conjunto (es decir, si la submuestra es n = 23, la puntuación de 21 puntos en un conjunto significa que 21 de los 23 estudiantes lo contestaron correctamente).

Esta nueva puntuación, que está relacionada con cada concepto computacional, muestra resultados interesantes, ya que los ítems tienen una dificultad creciente y se esperan mayores ganancias en la puntuación en los conceptos más difíciles. De hecho, esta tendencia se confirmó empíricamente. Hubo una ganancia significativa en la prueba t de Student en los últimos 4 conceptos considerando α = .01 en cada submuestra experimental, por lo que el aprendizaje efectivo tiene lugar particularmente en relación con los ítems más difíciles del BCTt. La Figura 46 muestra las mejoras en la puntuación en el BCTt (diferencia de puntuación entre el pre-test y el post-test). Por ejemplo, para el nivel 6, la media de puntuación de la submuestra A1 fue de 11.90 en el pretest y de 18.20 en el post-test, por lo que la mejora en la puntuación fue de 6.30 puntos) para cada conjunto de conceptos computacionales (submuestras A), por lo que hubo una correlación positiva entre la dificultad de los ítems y la mejora en la puntuación observada (coeficiente de determinación: A1: R2 = .90; A2: R2 = .88; A3: R2 = .69). La Figura 46 también muestra que hay mayores incrementos de puntuación para cada concepto computacional en los cursos inferiores (A1) y que esto disminuye proporcionalmente en los cursos superiores (A2, A3).

Se observó que se necesitó un tiempo considerablemente menor para realizar el post-test que para realizar el pretest; de hecho, los tiempos se redujeron a la mitad en todas las submuestras experimentales. Este resultado es coherente con la mejora de las habilidades de PC, en particular la automatización [191].

Finalmente, se analizaron los resultados obtenidos en la tercera administración del BCTt para comprobar aspectos relacionados con la retención de lo presuntamente aprendido (véase la Tabla 39). Se compararon las puntuaciones del pretest y del test de retención para comprobar si, tras un lapso de diez semanas de inactividad, el aprendizaje previamente adquirido se mantenía y seguía siendo significativo. Del mismo modo, también se compararon las puntuaciones de post-test y de la prueba de retención, para ver si se había producido alguna pérdida significativa de aprendizaje. Las comparaciones entre las submuestras A y B del pretest y la prueba de retención muestran ganancias de puntuación significativas (α = .05) en todas las submuestras a pesar del lapso de tiempo, excepto en la submuestra B3, como fue el caso entre las puntuaciones del pre-test y el post-test (prueba t de Student entre las puntuaciones del pre-test y la prueba de retención: A1, p = 0,042; A2, p = 0,011; A3, p = 0,043; B1, p = 0,040; B2, p = 0,000; B3, p = 0,889). Los tamaños del efecto (d de Cohen) entre el pre-test y la prueba de retención en todos los grados (excepto en la submuestra B3) estaban en la zona de efectos deseados de Hattie (2009) (d > 0,4); además, los tamaños del efecto en las submuestras correspondientes al modo colaborativo de los cursos inferiores (B1: d = 0.694; B2: d = 0.700) eran mayores que los de las submuestras individuales (A1: d = 0.548; A2: d = 0.555). Estos resultados reflejan la retención de lo aprendido en todos los grupos, especialmente en las submuestras colaborativas, a pesar de que había un cansancio acumulado ya que la prueba de retención se realizó al final del curso escolar.

Además, las comparaciones entre el post-test y la prueba de retención en las submuestras A y B no muestran una pérdida de aprendizaje significativa (considerando α = .05) en ninguna de las submuestras (prueba t de Student entre las puntuaciones del post-test y la prueba de retención: A1, p = .376; A2, p = .278; A3, p = .715; B1, p = .667; B2, p = .817; B3, p = 1). Hay que destacar que en todas las submuestras B hubo menos pérdida de puntuación entre el post-test y el test de retención que en las submuestras A, así como menores tamaños del efecto, especialmente en los grados inferiores y en los percentiles bajos. Esto nos lleva a concluir que la modalidad de juego colaborativo fomenta un aprendizaje más eficaz y duradero, tal y como se esperaba [89], aunque los resultados iniciales del pre-test y el post-test puedan parecer acompañados de incrementos de puntuación más bajos en comparación con la modalidad individual.

Al analizar los resultados de las submuestras de percentil bajo, se observaron resultados más favorables en todos los casos, considerando α = .01, aumentos de puntuación significativos entre el pre-test y la prueba de retención a pesar del lapso de tiempo, que fue aún más significativo en las submuestras del modo colaborativo (por ejemplo, la diferencia entre el pre-test de la submuestra de percentil B3 Q2 y la prueba de retención fue de p = .0093, a pesar de ser el peor caso anterior); y no hubo pérdidas significativas (considerando α = .05) entre el post-test y la prueba de retención. Estos resultados nos llevan a concluir que la población de percentil bajo y los estudiantes más jóvenes se benefician aún más de la herramienta de aprendizaje, y especialmente del modo de juego colaborativo.

6.6.2. Entorno BAC

Se llevó a cabo un análisis preliminar de los datos recogidos en el entorno BAC mientras los estudiantes jugaban. En primer lugar, independientemente del modo de juego o del nivel jugado, se analizó para cada submuestra el tiempo medio necesario para resolver el problema (en el modo colaborativo, el tiempo del jugador 2: alumno que resuelve el reto) a lo largo de la partida. Como muestra la Figura 47, existe una correlación negativa en todas las submuestras entre el número de partidas jugadas y el tiempo medio de resolución del problema (coeficiente de determinación: A1, B1: R2=0.935; A2, B2: R2=0.897; A3, B3: R2=0.937).

Asimismo, se comparó el tiempo medio de resolución de cada nivel entre los alumnos de cada curso escolar, a lo largo del periodo de juego. En la Figura 48, las submuestras A1 y B1 se comparan con las submuestras A3 y B3 según el tiempo medio empleado, en segundos, para resolver el problema de cada nivel del juego en dos momentos: tiempo 1 - primer momento, el primer día del periodo de juego y, final del tiempo 1 - último momento, tras un periodo de juego de 5 semanas. Estos resultados nos llevan a concluir que el aprendizaje efectivo se produjo progresivamente a lo largo del periodo de juego. Hay que destacar especialmente que en las submuestras A1 y B1 (primer curso), en el tiempo 1, los alumnos tardaron más en resolver el problema, en todos los niveles, que los alumnos de las submuestras A3 y B3; pero, al final del tiempo 1, cuando terminó el periodo de juego, los sujetos de las submuestras A1 y B1 fueron capaces de resolver los problemas en casi el mismo tiempo que los alumnos de las submuestras A3 y B3. De hecho, en algunos niveles incluso necesitaron menos tiempo. Este resultado es coherente con los resultados del BCTt, donde se observaron mejoras mucho mayores en los estudiantes más jóvenes. También podría añadirse que las habilidades computacionales adquiridas por los alumnos de primer curso son similares o incluso mejores (en lo que respecta a ciertos conceptos) que las de los alumnos de mayor edad.

6.6.3. Datos cualitativos

Para evaluar las perspectivas computacionales del marco 3D, se administraron cuestionarios y se recogieron datos cualitativos mediante la observación directa mientras los alumnos jugaban. Las perspectivas computacionales implican que los estudiantes desarrollen una comprensión de sí mismos y de sus relaciones con los demás y con el mundo tecnológico. De esta forma, trabajar por parejas puede mejorar las prácticas y perspectivas computacionales del PC, como sugieren Hsu et al. [4] y también confirma este estudio.

Los datos de los cuestionarios muestran que las escuelas participantes están moderadamente involucradas con los ordenadores y la tecnología. Aunque hay pizarras digitales en todas las aulas, así como salas de informática, el aprendizaje de la programación no se considera una asignatura en las etapas de Educación Primaria. Además, los profesores de primaria declaran tener un nivel muy bajo de conocimientos informáticos (16.7%), bajo (16.7%) o medio (66.7%). Sin embargo, el 100% cree que aprender a programar para hacer frente a las demandas del futuro es de muy alta (33.3%) o alta importancia (66.7%). Independientemente de la experiencia previa con juegos (el 76.6% de los alumnos ha jugado antes), aplicaciones de programación (el 83.7% de los alumnos no conocía ninguna, y el 83% nunca ha programado) o dispositivos digitales (el 95.5% de los alumnos utiliza un dispositivo digital de forma habitual); el 70.2% de los alumnos considera importante aprender a programar y el 52.2% piensa que los videojuegos podrían ayudarles a aprender esta habilidad.

Se observó una fuerte motivación e interés por jugar con BAC desde el principio, y se mantuvo durante toda la experiencia, independientemente del modo de juego. Esto es coherente con los resultados de los cuestionarios, en los que el 100% de los participantes de cada grupo de muestra disfrutaron de la experiencia y quisieron seguir aprendiendo con entornos basados en juegos. Los profesores también informaron de que la experiencia fue positiva y agradable para los alumnos y pensaron que éstos sí aprendían con el BAC (83.3%).

En cuanto a los resultados procedentes de la observación directa, el nivel 4 de BAC (bucle anidado) fue en el que, en el momento 1, los alumnos informaron de más problemas para encontrar soluciones, lo que coincide con los datos cuantitativos que indican que es el nivel para el que los alumnos necesitan más tiempo (véase la Figura 48). Algunos alumnos de cursos inferiores intentaban evitar el nivel 4 y otros lo percibían como un reto e intentaban superarlo; por el contrario, todos los alumnos de cursos superiores preferían jugar a los niveles difíciles. No obstante, al final del tiempo 1, los tiempos necesarios para el nivel 4 se redujeron significativamente a un tercio. Se comprobó que los elementos de juego (como los objetivos claros, la complejidad, los retos, la competición o el andamiaje), estaban equilibrados y mejoraban el compromiso en el juego, ya que los alumnos elegían un nivel superior si superaban el anterior y un nivel inferior si no podían resolver el problema. En los cursos superiores, se mostró más interés por el sistema de puntuación como elemento motivador del juego, ya que los alumnos intentaban superar la puntuación de sus compañeros o la suya propia durante todo el tiempo de juego.

La preferencia por el modo de juego colaborativo se observó en todas las muestras, ya que el 100% de los alumnos manifestó su preferencia por este modo de juego. La comprensión y la dinámica entre los compañeros fueron muy positivas, a pesar de su falta de familiaridad con las estrategias de GBL. Se confirmó la hipótesis de que los alumnos, independientemente de su rol, aprenden los unos de los otros y que no es un juego competitivo sino colaborativo, ya que los alumnos interactúan y se ayudan mutuamente. La mayoría de los alumnos prefirieron el rol de resolver problemas. En los cursos superiores, los alumnos que establecían los problemas se esforzaban más por hacer los retos más difíciles para sus compañeros.

Todos los alumnos, independientemente del modo de juego, reflexionan mientras juegan. En el modo individual, piensan en voz alta, y en el modo colaborativo también discuten los posibles retos y soluciones con su compañero. Al final, los estudiantes reflexionan sobre el juego terminado; por ejemplo, el que resuelve el reto suele aconsejar al compañero sobre cómo podría hacerlo más complejo. Además, la mayoría de los alumnos afirman que reflexionan sobre futuras partidas, por ejemplo, pensando en cómo plantear un reto más difícil o resolver un puzle específico la próxima vez. Se descubrió que esta necesidad de revisar y pensar en el proceso de programación de sus compañeros fomenta la revisión de su propio rendimiento de aprendizaje, lo que hace que los estudiantes se dediquen a pensar, como concluyeron Søndergaard y Mulder en su estudio [192]. Como sugieren Lye y Koh [61], se confirma que la revisión por pares puede mejorar las prácticas y perspectivas computacionales de las dimensiones del pensamiento computacional.

En todas las muestras experimentales, los alumnos con necesidades especiales (8.3% de los participantes), con bajos resultados académicos (15.1% de los participantes), o con un percentil bajo según los resultados del BCTt pre-post, mostraron un gran interés por el juego y motivación para superar los retos que les planteaba. Además, estos alumnos demostraron mejoras muy significativas en los resultados cuantitativos de la prueba BCTt pre-post. Estos resultados son coherentes con los obtenidos por Snodgrass et al., que concluyen que los estudiantes con necesidades especiales pueden entrenar sus habilidades de PC utilizando entornos de programación visual [193]. Por ejemplo, un estudiante con discalculia y dislexia (submuestra B2) que no había obtenido buenos resultados en el pre-test del BCTt fue capaz de superar los retos del juego en un tiempo considerablemente menor que la media de la muestra B2. De hecho, mejoró significativamente su rendimiento en el post-test del BCTt y también mostró una notable mejora en su autoestima, sorprendiéndose de su capacidad para resolver los retos mejor que sus compañeros con mayor rendimiento escolar, en línea con la investigación de Laal y Ghodsi [89].

6.7. Conclusiones

El aprendizaje y la evaluación del PC en las escuelas se encuentra todavía en una fase experimental, especialmente en las edades tempranas. La mayoría de las investigaciones recientes se centran en las etapas escolares de educación secundaria y superiores, y en la dimensión del marco tridimensional de los conceptos computacionales. Sin embargo, no hay suficientes investigaciones sobre las edades tempranas y las otras dos dimensiones: las prácticas computacionales y las perspectivas computacionales [61]. En este estudio, se han combinado tres de las estrategias de aprendizaje más utilizadas en un entorno colaborativo basado en el juego, construido sobre una estrategia constructivista basada en problemas, que ha sido probado en la etapa de Educación Primaria. Los resultados muestran que este enfoque es adecuado para el aprendizaje del PC, especialmente en edades tempranas, bajo el marco de las 3D, cubriendo sus tres dimensiones clave como se planteó en la hipótesis HE2, y se ha confirmado mediante el caso de estudio (véase la Figura 49).

La combinación de diferentes metodologías de evaluación, como un sistema de evaluaciones [148]: BCTt, GLA a través de GBL, y datos cualitativos (observación directa y cuestionarios), permite una evaluación tridimensional, como se planteó en la HE4 y se ha confirmado mediante este caso de estudio (véase la Figura 50). En concreto, el BCTt evalúa los conceptos computacionales y, parcialmente, las prácticas computacionales. La técnica de GLA parece adecuada para evaluar los conceptos y las prácticas computacionales y, en parte, las perspectivas computacionales, aunque en mayor grado si el juego es colaborativo. Los cuestionarios y la observación directa, especialmente en la modalidad de juego colaborativo, cubren la evaluación de las perspectivas computacionales. Además, la evaluación del PC a través de GLA ha demostrado estar en consonancia con la teoría del flujo, ya que el aprendizaje a través del juego puede continuar con fluidez mientras que las evaluaciones se manejan discretamente manteniendo el flujo en todo momento.

La mejora de la puntuación entre los test pre y post del BCTt fue significativa en las submuestras A1, B1, A2, B2 y A3, mientras que el tiempo dedicado a la realización del test se redujo a la mitad, lo que sugiere que los estudiantes mejoraron sus habilidades de PC después del periodo de juego, en contraste con la muestra de control que no mostró ninguna mejora significativa ni reducción de tiempo. Estos resultados son coherentes con el análisis de los datos recogidos por BAC, que muestran una mejora muy significativa a lo largo del tiempo. Los resultados similares obtenidos de BCTt y BAC de cada estudiante y muestra, revelan GLA como una herramienta de evaluación adecuada que, además, puede ofrecer datos en tiempo real que pueden ser útiles para una evaluación personal detallada, un fuerte análisis de datos de bajo nivel, y la identificación de conceptos computacionales inalcanzables para cada edad específica. Se obtuvieron resultados positivos en la prueba de retención, lo que sugiere que esta metodología basada en el juego fomenta el aprendizaje duradero. No obstante, el BCTt y el entorno BAC parecen estar mejor adaptadas a los estudiantes más jóvenes, ya que se produjeron mayores mejoras en las habilidades de PC en las muestras de los cursos inferiores (primer ciclo de Educación Primaria) y no se observó ninguna mejora significativa en la submuestra B3 (lo cual era de esperar, ya que en los cursos superiores algunos sujetos alcanzaron la puntuación máxima en el pre-test dejando poco margen de mejora). Dado que la investigación está dirigida a edades tempranas, este resultado desfavorable era de esperar, y suponemos que el BCTt y la BAC podrían incluso ser adecuadas para cursos inferiores de Educación Infantil.

Además, se encontró un resultado inesperado y relevante, ya que se observaron puntuaciones mayores al final del periodo de juego, tanto en el BCTt como en BAC en los estudiantes más jóvenes en comparación con los mayores. Aunque se observó una mejora significativa en la mayoría de los conceptos más difíciles en todas las submuestras; también fue mayor la mejora en la puntuación global, en cada concepto computacional, en los cursos escolares más bajos (A1) y hubo una disminución gradual de esta mejora en los cursos superiores (A2, A3). Además, las habilidades del PC de los alumnos de primer curso eran similares o incluso mejores en lo que respecta a ciertos conceptos, como los bucles anidados) que las de los alumnos de mayor edad después del período de juego. Esto nos lleva a sugerir que es importante desarrollar el PC desde edades muy tempranas y que es recomendable incorporar ciertos conceptos, como los bucles anidados o los condicionales, en el currículo ya en primer curso o incluso antes, en lugar de esperar hasta el último ciclo de Educación Primaria (o incluso secundaria), como ocurre actualmente en la mayoría de los centros educativos en España. Sin embargo, es necesario seguir investigando debido al posible sesgo en la selección de los colegios para cada ciclo educativo.

La investigación ha demostrado que los alumnos con necesidades especiales o de bajo percentil de cada muestra se benefician aún más de la herramienta de aprendizaje, y especialmente de la modalidad de juego colaborativo, ya que en estas submuestras se obtuvieron mejoras muy significativas (considerando α = .01). Además, estos alumnos mostraron un gran interés por el juego y motivación para superar los retos. Esto nos lleva a concluir que la estrategia basada en el juego y los entornos de programación visual son adecuados y atractivos para estos estudiantes, lo que coincide con la investigación de Snodgrass et al. [193].

Se confirmó a través de la observación directa que todos los estudiantes reflexionan mientras juegan en ambos modos de juego, especialmente en el colaborativo. La reflexión y el juego colaborativo entre pares fomentan el rendimiento del aprendizaje y hacen que los estudiantes reflexionen; por lo tanto, la revisión entre pares puede mejorar las dimensiones de las prácticas y perspectivas computacionales del PC, como sugieren Lye y Koh [61]. Los resultados de retención del aprendizaje fueron mejores en la modalidad colaborativa que en la individual, sobre todo en los cursos inferiores, lo que nos lleva a la conclusión de que la modalidad de juego colaborativo fomenta un aprendizaje más eficaz y duradero (aunque a partir de los resultados iniciales del pre-test y el post-test parece que se produce un incremento de las puntuaciones menor en comparación con la modalidad individual). Estos resultados están en consonancia con la investigación realizada por Laal y Ghodsi [87], en la que concluyen que el aprendizaje colaborativo se traduce no sólo en un mayor rendimiento y una mayor productividad, en relaciones más afectivas, solidarias y comprometidas, sino también en una mayor salud psicológica, competencia social y autoestima. Los resultados también son coherentes con Johnson y Johnson [88], y Laal y Laal [89] que sugieren que los equipos cooperativos retienen la información durante más tiempo que los alumnos que trabajan como individuos.

Hainey et al., en su revisión bibliográfica sistemática de la investigación sobre el aprendizaje basado en el juego, concluyen que se necesitan más estudios que comparen las estrategias individuales y las colaborativas para identificar sus beneficios pedagógicos en la escuela primaria [175]. Los resultados obtenidos en esta investigación muestran que la estrategia colaborativa beneficia a los estudiantes más jóvenes, fomenta la reflexión a través de la comunicación entre pares, mejora las perspectivas computacionales (como se sugirió en investigaciones anteriores) y se consigue un aprendizaje más eficaz y duradero. Sin embargo, es posible que la estrategia colaborativa no sea tan eficaz para el último ciclo de Educación Primaria, ya que estos alumnos parecen ser capaces de una reflexión individual más eficaz. Se necesitan más investigaciones para comprobar esta hipótesis.

Esta investigación muestra resultados de aprendizaje significativos cuando se utilizan entornos informáticos educativos basados en juegos, especialmente con alumnos de bajo percentil, alumnos con necesidades especiales y en etapas educativas tempranas. Además, la combinación de estrategias de aprendizaje basadas en el juego y en la colaboración cubren las tres dimensiones del PC. Así, cuando se diseñan entornos basados en GBL para el desarrollo del PC y dirigidos a las primeras etapas educativas de primaria, se recomienda incluir estrategias de colaboración explícitas, teniendo siempre en cuenta la teoría del flujo y los elementos de diseño del juego para los alumnos más jóvenes. Por lo tanto, la hipótesis HE3, en la que se planteaba que los entornos basados en GBL potencian el aprendizaje del PC en Educación Primaria, en contextos escolares, sobre en los niños más pequeños y si se aplica una componente colaborativa, queda también confirmada. Sin embargo, cuando el entorno se dirige a las últimas etapas de primaria se recomienda complementarlas con actividades centradas en la reflexión individual.

6.8. Limitaciones y líneas de actuación

Se han detectado algunas limitaciones en este estudio. Se ha llegado a la conclusión de que los alumnos de 1º y 2º de primaria (primer ciclo), se benefician más de la estrategia de aprendizaje GBL que los alumnos de mayor edad, pero puede ser necesaria una investigación adicional sobre los alumnos de 3º de primaria para determinar con precisión a qué edad es más probable que los alumnos aprovechen este tipo de estrategias. Las investigaciones adicionales deben centrarse también en Educación Infantil, ya que no se ha establecido el límite de edad más bajo para utilizar entornos GBL. Además, sería recomendable replicar el estudio incluyendo grupos de control en cada grado. Dado que este estudio revela un alto beneficio del uso de GBL para los alumnos con necesidades especiales, también sería conveniente realizar más investigaciones sobre este aspecto. El uso de un sistema de evaluación pretende cubrir las tres dimensiones computacionales, pero es necesario un análisis más profundo para identificar exactamente qué prácticas y perspectivas computacionales se evalúan con cada enfoque. Además, sería esclarecedor replicar el estudio en otros países y poblaciones.

Aunque se han confirmado las hipótesis HE2, HE3 y HE4 y se han alcanzado los objetivos específicos de este capítulo, es necesaria más investigación en cuanto a las técnicas de GLA, incidiendo en la progresión en el juego y analizando los datos del juego con mayor profundidad y no sólo en contextos escolares, para así poder analizar disposiciones y predisposiciones para el desarrollo del PC, como se plantea en la HE5. Se avanzará en este sentido en el capítulo siguiente.

En cuanto a los objetivos generales de la tesis, se ha completado el objetivo OP3 y el OP4 parcialmente. En este punto, el grado de cumplimiento de los objetivos generales es el que se muestra en la Tabla 40.

Los resultados de las experiencias realizadas en colegios de Educación Primaria presentadas en este capítulo se han recogido en la publicación:

• M. Zapata-Caceres, E. Martin, and M. Roman-Gonzalez, "Collaborative Game-Based Environment and Assessment Tool for Learning Computational Thinking in Primary School: A Case Study," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 576-589, 1 Oct. 2021, doi: 10.1109/TLT.2021.3111108.

Bibliografía

  [1]V. J. Shute, C. Sun, and J. Asbell-Clarke, "Demystifying computational thinking," Educational Research Review, vol. 22, pp. 142-158, 2017. Available: https://www.sciencedirect.com/science/article/pii/S1747938X17300350, doi: 10.1016/j.edurev.2017.09.003.

  [2]M. Berland and U. Wilensky, "Comparing virtual and physical robotics environments for supporting complex systems and computational thinking," Journal of Science Education and Technology, vol. 24, no. 5, pp. 628-647, 2015.

  [3]J. M. Wing, "Computational thinking and thinking about computing," Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, vol. 366, no. 1881, pp. 3717-3725, 2008. Available: http://rsta.royalsocietypublishing.org/content/366/1881/3717.abstract, doi: 10.1098/rsta.2008.0118.

  [4]T. Hsu, S. Chang, and Y. Hung, "How to learn and how to teach computational thinking: Suggestions based on a review of the literature," Computers & Education, vol. 126, pp. 296-310, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131518301799, doi: //doi.org/10.1016/j.compedu.2018.07.004.

  [5]S. Grover and R. Pea, "Computational Thinking in K—12: A Review of the State of the Field," Educational Researcher, vol. 42, no. 1, pp. 38-43, 2013. Available: https://www.jstor.org/stable/23360476, doi: 10.3102/0013189X12463051.

  [6]M. Zapata-Cáceres and N. Fanchamps, "Using the beginners computational thinking test to measure development on computational concepts among preschoolers," in Proceedings of the 5th APSCE International Computational Thinking and STEM in Education Conference 2021, Singapore, National Institute of Education, 2021, pp. 32-37.

  [7]Zapata-Cáceres María, E. Martín-Barroso and M. Román-González, "BCTt: Beginners computational thinking test," in Raspberry Pi Foundation Research Seminars, Apr 2021, pp. 46-56. ISSN 2514-586X (16). Available: https://www.raspberrypi.org/app/uploads/2021/05/Understanding-computing-education-Volume-1-%E2%80%93-Raspberry-Pi-Foundation-Research-Seminars.pdf.

  [8]M. Zapata-Cáceres, E. Martín-Barroso, and M. Román-González, “Computational thinking test for beginners: Design and content validation,” in IEEE Global Engineering Education Conference (EDUCON’20), Porto, Portugal, pp. 1905–1914, 2020, doi: 10.1109/EDUCON45650.2020.9125368.

  [9]J. Kirriemuir and A. Mcfarlane, Literature Review in Games and Learning. Bristol: Futurelab, 2004. Available: https://telearn.archives-ouvertes.fr/hal-00190453.

 [10]M. Prensky, "Digital game-based learning," Computers in Entertainment (CIE), vol. 1, no. 1, pp. 21, 2003.

 [11]M. Qian and K. R. Clark, "Game-based Learning and 21st century skills: A review of recent research," Computers in Human Behavior, vol. 63, pp. 50-58, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0747563216303491, doi: 10.1016/j.chb.2016.05.023.

 [12]L. S. Vygotsky, Mind in Society: The Development of Higher Psychological Processes. Cambridge, MA, USA: Harvard University Press, 1978.

 [13]J. Piaget, Psychology and Epistemology: Towards a Theory of Knowledge. CA, USA: Allen Lane, 1972.

 [14]D. H. Jonassen and L. Rohrer-Murphy, “Activity theory as a framework for designing constructivist learning environments,” Educational Technology Research & Development, vol. 47, no. 1, pp. 61–79, 1999. Available: https://www.jstor.org/stable/30220230, doi: 10.1007/BF02299477.

 [15]D. H. Jonassen, Learning to Solve Problems with Technology: A Constructivist Perspective. Upper Saddle River, N.J.: Merrill Prentice Hall, 2003.

 [16]C. Alonso-Fernandez et al, "Systematizing game learning analytics for serious games," in 2017 IEEE global engineering education conference (EDUCON), Apr 2017, pp. 1111-1118.

 [17]M. Freire et al, "Game Learning Analytics: Learning Analytics for Serious Games," Springer Nature Switzerland AG, pp. 1-29, Dec 1, 2016.

 [18]M. Zapata-Caceres, E. Martin, and M. Roman-Gonzalez, "Collaborative GameBased Environment and Assessment Tool for Learning Computational Thinking in Primary School: A Case Study," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 576-589, 1 Oct. 2021, doi: 10.1109/TLT.2021.3111108.

 [19]M. Zapata-Cáceres and E. Martín-Barroso, "Applying Game Learning Analytics to a Voluntary Video Game: Intrinsic Motivation, Persistence, and Rewards in Learning to Program at an Early Age," in IEEE Access, vol. 9, pp. 123588-123602, 2021, doi: 10.1109/ACCESS.2021.3110475.

 [20]M. Binkley et al, "Defining twenty-first century skills," in Assessment and Teaching of 21st Century Skill. Dordrecht: Springer Netherlands, 2012, pp. 17-66.

 [21]B. Trilling and C. Fadel, 21st Century Skills: Learning for life in our times. San Francisco: John Wiley & Sons, 2009.

 [22]H. Kim et al, "Enhancing teachers' ICT capacity for the 21st century learning environment: Three cases of teacher education in Korea," Australasian Journal of Educational Technology, vol. 28, no. 6, 2012.

 [23]K. Tang, T. Chou, and C. Tsai, "A Content Analysis of Computational Thinking Research: An International Publication Trends and Research Typology," The Asia-Pacific Education Researcher, pp. 1-11, 2019. Available: https://search.proquest.com/docview/2195733480, doi: 10.1007/s40299-019-00442-8.

 [24]S. Grover et al, "A Framework for Using Hypothesis-Driven Approaches to Support Data-Driven Learning Analytics in Measuring Computational Thinking in Block-Based Programming Environments," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-25, 2017. Available: http://dl.acm.org/citation.cfm?id=3105910, doi: 10.1145/3105910.

 [25]S. Grover and A. Korhonen, "Unlocking the Potential of Learning Analytics in Computing Education," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-4, 2017. Available: http://dl.acm.org/citation.cfm?id=3122773, doi: 10.1145/3122773.

 [26]S. Grover. “The 5th ‘C’ of 21st Century skills? Try computational thinking (not coding)”, edsurge.com. http://bit.ly/346qK78 (accessed Feb. 1, 2018). Available: http://scholar.aci.info/view/1544f0f08b300170003/161ce93d34000012ef80942.

 [27]J. A. Velazquez-Iturbide, "Towards an analysis of computational thinking," in Sep 2018, pp. 1-6.

 [28]J.A. Velázquez-Iturbide, “Towards an analysis of computational thinking,” in Int. Symp. on Computers in Education (SIIE’18), pp. 1-6, Sep. 2018.

 [29]M. Israel et al, "Supporting all learners in school-wide computational thinking: A cross-case qualitative analysis," Computers & Education, vol. 82, pp. 263-279, 2015. Available: https://www.sciencedirect.com/science/article/pii/S0360131514002759, doi: 10.1016/j.compedu.2014.11.022.

 [30]C. Angevine et al, "Computational Thinking for a Computational World," 2017. Available: www.digitalpromise.org.

 [31]National Research Council, Report of a Workshop on the Pedagogical Aspects of Computational Thinking. National Academies Press, 2011.

 [32]Q. Burke, W. I. O'Byrne and Y. B. Kafai, "Computational participation: Understanding coding as an extension of literacy instruction," Journal of Adolescent & Adult Literacy, vol. 59, no. 4, pp. 371-375, 2016.

 [33]J. F. Sanford and J. T. Naidu, "Computational thinking concepts for grade school," Contemporary Issues in Education Research (CIER), vol. 9, no. 1, pp. 23-32, 2016.

 [34]K. Mills et al, Computational Thinking for an Inclusive World: A Resource for Educators to Learn and Lead. Digital Promise, 2021. Available: https://doi.org/10.51388/20.500.12265/140.

 [35]C. Sneider et al, "Computational thinking in high school science classrooms," The Science Teacher, vol. 81, no. 5, pp. 53, 2014.

 [36]N. Kelly and J. S. Gero, "Design thinking and computational thinking: a dual process model for addressing design problems," Design Science, vol. 7, 2021.

 [37]T. C. Pargman et al, "Teaching Computational Thinking in K-9: Tensions at the Intersection of Technology and Pedagogical Knowledge," in 14th International Conference of the Learning Sciences (ICLS) 2020, vol. 4, pp. 2409-2410, International Society of the Learning Sciences, 2020.

 [38]D. Kohen-Vacs and M. Milrad, "Computational thinking education for in-service elementary swedish teachers: Their perceptions and implications for competence development," in International Conference on Computational Thinking Education, 13-15 June 2019, Hong Kong, 2019.

 [39]V. Allan et al, "Computational thinking in high school courses," in Proceedings of the 41st ACM Technical Symposium on Computer Science Education, 2010.

 [40]P. Sengupta et al, "Integrating computational thinking with K-12 science education using agent-based computation: A theoretical framework," Education and Information Technologies, 2013, vol. 18, no 2, p. 351-380. Available: https://search.proquest.com/docview/1323979287, doi: 10.1007/s10639-012-9240-x.

 [41]V. Barr and C. Stephenson, "Bringing computational thinking to K-12: What is Involved and what is the role of the computer science education community?" ACM Inroads, vol. 2, no. 1, pp. 48-54, 2011.

 [42]P. Mishra, A. Yadav, and Deep-Play Research Group, "Rethinking technology & creativity in the 21st century," TechTrends, vol. 57, no. 3, pp. 10-14, 2013.

 [43]J. M. Wing, "Computational Thinking Test," CACM Viewpoint, pp. 33-35, 2006. Available: http://www.cs.cmu.edu/~wing/.

 [44]M. Román-González, J. Pérez-González and C. Jiménez-Fernández, "Which cognitive abilities underlie computational thinking? Criterion validity of the Computational Thinking Test," Computers in Human Behavior, vol. 72, pp. 678-691, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563216306185, doi: 10.1016/j.chb.2016.08.047.

 [45]A. V. Aho, "Computation and computational thinking," The Computer Journal, vol. 55, no. 7, pp. 832-835, 2012.

 [46]K. Brennan, M. Resnick, and MIT Media Lab, "New frameworks for studying and assessing the development of computational thinking," American Educational Research Association Meeting, Vancouver, BC, Canada., 2012.

 [47]S. Papert, Mindstorms: Children, Computers, and Powerful Ideas. Basic Books, Inc., 1980.

 [48]J. J. Lu and G. H. Fletcher, "Thinking about computational thinking," in Proceedings of the 40th ACM Technical Symposium on Computer Science Education, 2009.

 [49]J. Wing, "Research notebook: Computational thinking—What and why," The Link Magazine, vol. 6, pp. 20-23, 2011.

 [50]S. Furber, "Shut down or restart? The way forward for computing in UK schools," The Royal Society, 2012. Available: https://royalsociety.org/-/media/education/computing-in-schools/2012-01-12-computing-in-schools.pdf.

 [51]M. Tedre and P. J. Denning, "The long quest for computational thinking," in Proceedings of the 16th Koli Calling International Conference on Computing Education Research, pp. 120-129, 2016.

 [52]J. Moreno et al, " No es lo mismo: un análisis de red de texto sobre definiciones de pensamiento computacional para estudiar su relación con la programación informática," Revista Interuniversitaria De Investigación En Tecnología Educativa, 2019, doi: 10.6018/riite.397151.

 [53]ISTE and CSTA, "Operational definition of computational thinking for K-12 education," 2011. Available: https://cdn.iste.org/www-root/Computational_Thinking_Operational_Definition_ISTE.pdf.

 [54]M. U. Bers et al, "Computational thinking and tinkering: Exploration of an early childhood robotics curriculum," Computers & Education, vol. 72, pp. 145-157, 2014. Available: https://search.datacite.org/works/10.1016/j.compedu.2013.10.020, doi: 10.1016/j.compedu.2013.10.020.

 [55]S. Atmatzidou and S. Demetriadis, "Advancing students’ computational thinking skills through educational robotics: A study on age and gender relevant differences," Robotics and Autonomous Systems, vol. 75, pp. 661-670, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0921889015002420, doi: 10.1016/j.robot.2015.10.008.

 [56]N. D. Anderson, "A call for computational thinking in undergraduate psychology," Psychology Learning & Teaching, vol. 15, no. 3, pp. 226-234, 2016.

 [57]S. Rose, J. Habgood and T. Jay, " An exploration of the role of visual programming tools in the development of young children’s computational thinking," Electronic journal of e-learning, 2017, vol. 15, no 4, p. 297-309, Aug 1, 2017.

 [58]D. Weintrop and U. Wilensky, "Using commutative assessments to compare conceptual understanding in blocks-based and text-based programs," in ICER, pp. 101-110, Aug 9, 2015.

 [59]D. Statter and M. Armoni, "Teaching abstract thinking in introduction to computer science for 7th graders," in Proceedings of the 11th Workshop in Primary and Secondary Computing Education, pp. 80-83, 2016.

 [60]B. Zhong et al, " An Exploration of Three-Dimensional Integrated Assessment for Computational Thinking," Journal of Educational Computing Research, vol. 53, no. 4, pp. 562-590, 2016. Available: https://journals.sagepub.com/doi/full/10.1177/0735633115608444, doi: 10.1177/0735633115608444.

 [61]S. Y. Lye and J. H. L. Koh, "Review on teaching and learning of computational thinking through programming: What is next for K-12?" Computers in Human Behavior, vol. 41, pp. 51-61, 2014. Available: https://www.sciencedirect.com/science/article/pii/S0747563214004634, doi: 10.1016/j.chb.2014.09.012.

 [62]E. Hunsaker, Computational Thinking. The K–12 Educational Technology Handbook, A. Ottenbreit-Leftwich and R. Kimmons, Eds. EdTech Books, 2020, pp. 80–95. [Online]. Available: https://bit.ly/2UP0gZi.

 [63]P. J. Rich et al, "Coding in K-8: International Trends in Teaching Elementary/Primary Computing," TechTrends, pp. 1-19, 2018.

 [64]C. S. González-González, "State of the art in the teaching of computational thinking and programming in childhood education," Education in the Knowledge Society, vol. 20, pp. 1-15, 2019.

 [65]S. Bocconi, A. Chioccariello, G. Dettori, A. Ferrari, and K. Engelhardt, “Developing computational thinking in compulsory education,” Eur. Commission, JRC Sci. Policy Rep., pp. 68, 2016.

 [66]Unión Europea, “Plan de Acción de Educación Digital (2021-2027)”, Unión Europa, European Comission, European Education Area, 2021.[Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [67]Unión Europea, “DigComp. The Digital Competence Framework 2.0”, EU SCIENCE HUB, 2021. [Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [68]Code.org, “Learn computer science. Change the world”, Code.org. [Online]. Available: https://code.org/. [Accessed: Jan. 20, 2022].

 [69]La hora del código, “Celebramos las Ciencias de la Computación en todas partes”, hourofcode.com. [Online]. Available: https://hourofcode.com/es. [Accessed: Jan. 20, 2022].

 [70]J. Á Velázquez-Iturbide, "Report of the Spanish computing scientific society on computing education in pre-university stages," in Proceedings of the Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality, 2018.

 [71]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), "Programación, robótica y Pensamiento Computacional en el aula. Situación en España y propuesta normativa", Ministerio de Educación y Formación Profesional, Gobierno de España, Oct, 2018. [Online]. Available: https://code.intef.es/wp-content/uploads/2018/10/Ponencia-sobre-Pensamiento-Computacional.-Informe-Final.pdf.

 [72]Junta de Castilla y León, “Proyecto de innovación 'TIC STEAM' - Curso 2016-2017”, educacyl Portal de Educación, 2017. [Online]. Available: https://www.educa.jcyl.es/profesorado/es/formacion-profesorado/proyectos-relacionados-formacion-permanente-profesorado/competencia-digital/convocatorias/proyecto-innovacion-tic-steam-curso-2016-2017.

 [73]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), “Escuela de Pensamiento Computacional e Inteligencia Artificial”, Ministerio de Educación y Formación Profesional, Gobierno de España, 2021. [Online]. Available: https://intef.es/tecnologia-educativa/pensamiento-computacional/.

 [74]Programamos, “Es necesario que todo el mundo desarrolle su Pensamiento Computacional, desde niños a mayores”, programamos.com. [Online]. Available: https://programamos.es/. [Accessed: Jan. 20, 2022].

 [75]Boletín Oficial del Estado, “Marco de referencia de la competencia digital docente”, Ministerio de la Presidencia, Relaciones con las Cortes y Memoria Democrática, Gobierno de España. [Online]. Available: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2020-7775#top.

 [76]E. Hunsaker, Integrating computational thinking. K-12 technology integration. Pressbooks. Available: https://k12techintegration.pressbooks.com/chapter/integrating-computational-thinking, 2018.

 [77]M. Zapata-Ros, "Computational thinking unplugged," Education in the Knowledge Society, vol. 20, pp. 1-29, 2019.

 [78]T. Bell et al, "Computer science unplugged: School students doing real computing without computers," The New Zealand Journal of Applied Computing and Information Technology, vol. 13, no. 1, pp. 20-29, 2009.

 [79]S. Adak, "Effectiveness of Constructivist Approach on Academic Achievement in Science at Secondary Level." Educational Research and Reviews, vol. 12, no. 22, pp. 1074-1079, 2017.

 [80]V. Richardson, "Constructivist pedagogy," Teachers College Record, vol. 105, no. 9, pp. 1623-1640, 2003.

 [81]C. T. Fosnot and R. S. Perry, "Constructivism: A psychological theory of learning," Constructivism: Theory, Perspectives, and Practice, vol. 2, no. 1, pp. 8-33, 1996.

 [82]S. Papert and I. Harel, "Situating constructionism," Constructionism, vol. 36, no. 2, pp. 1-11, 1991.

 [83]C. W. Istikomah and C. Budiyanto, "The contribution of educational robotics and constructivist approach to computational thinking in the 21st century," in Proceedings of the the 1st International Conference on Computer Science and Engineering Technology Universitas Muria Kudus, 2018.

 [84]S. Hartikainen et al, "The concept of active learning and the measurement of learning outcomes: A review of research in engineering higher education," Education Sciences, vol. 9, no. 4, pp. 276, 2019.

 [85]R. T. Johnson and D. W. Johnson, "Active learning: Cooperation in the classroom," The Annual Report of Educational Psychology in Japan, vol. 47, pp. 29-30, 2008.

 [86]P. Dillenbourg, Ed., Collaborative Learning: Cognitive and Computational Approaches. Oxford, U.K.: Pergamon, 1999.

 [87]M. Laal and S. M. Ghodsi, "Benefits of collaborative learning," Procedia - Social and Behavioral Sciences, vol. 31, pp. 486-490, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030205, doi: //doi.org/10.1016/j.sbspro.2011.12.091.

 [88]D. W. Johnson and R. T. Johnson, "Effects of cooperative and individualistic learning experiences on interethnic interaction," Journal of Educational Psychology, vol. 73, (3), pp. 444-449, 1981. Available: https://search.proquest.com/docview/614371667. DOI: 10.1037/00220663.73.3.444.

 [89]M. Laal and M. Laal, "Collaborative learning: what is it?" Procedia - Social and Behavioral Sciences, vol. 31, pp. 491-495, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030217. DOI: //doi.org/10.1016/j.sbspro.2011.12.092.

 [90]D. Boud and G. E. Feletti, Eds., The Challenge of Problem-Based Learning. London, U.K.: Routledge, 1997, doi: 10.4324/9781315042039.

 [91]J. Roschelle and S. D. Teasley, "The construction of shared knowledge in collaborative problem solving," in Computer Supported Collaborative Learning, 1995.

 [92]P. C. Blumenfeld et al, "Motivating Project-Based Learning: Sustaining the Doing, Supporting the Learning," Educational Psychologist, vol. 26, no. 3-4, pp. 369-398, 1991. Available: http://www.tandfonline.com/doi/abs/10.1080/00461520.1991.9653139, doi: 10.1080/00461520.1991.9653139.

 [93]L. Zhang and J. Nouri, "A systematic review of learning computational thinking through Scratch in K-9," Comput. Educ., vol. 141, pp. 103-607, 2019.

 [94]J. Moreno-León, G. Robles, and M. Román-González, "Towards data-driven learning paths to develop computational thinking with scratch," IEEE Transactions on Emerging Topics in Computing, vol. 8, no. 1, pp. 193-205, 2017.

 [95]J. Nouri et al, "Development of computational thinking, digital competence and 21st century skills when learning programming in K-9," Education Inquiry, vol. 11, no. 1, pp. 1-17, 2020.

 [96]J. Fagerlund et al, "Computational thinking in programming with scratch in primary schools: A systematic review," Computer Applications in Engineering Education, vol. 29, no. 1, pp. 12-28, 2021.

 [97]G. Falloon, "An analysis of young students' thinking when completing basic coding tasks using Scratch Jnr. On the iPad," J. Comput. Assisted Learn., vol. 32, no. 6, pp. 576-593, 2016.

 [98]Massachusetts Institute of Technology: MIT, “Scratch”, scratch.mit.edu, [Online]. Available: https://scratch.mit.edu/.

 [99]P. Mozelius and L. Öberg, "Play‐based learning for programming education in primary school: The östersund model," in European Conference on E-Learning-ECEL 2017, Porto, Portugal, 26-27 October 2017, 2017.

[100]A. G. Soosai Raj et al, "Does native language play a role in learning a programming language?" in Proceedings of the 49th ACM Technical Symposium on Computer Science Education, 2018.

[101]M. Jancheski, "Improving teaching and learning computer programming in schools through educational software," Olympiads in Informatics, vol. 11, pp. 55-75, 2017.

[102]E. F. Silva, B. J. Dembogurski and G. S. Semaan, "A Systematic Review of Computational Thinking in Early Ages," arXiv Preprint arXiv:2106.10275, 2021.

[103]J. M. Cañas Plaza et al, "Entorno docente universitario para la programación de los robots," Revista Iberoamericana De Automática E Informática Industrial, vol. 15, no. 4, pp. 404-415, 2018.

[104]A. Hamidi, M. Milrad and S. Tavajoh, "Combining maker technologies to promote computational thinking and heart-ware skills through project-based activities: Design considerations and empirical outputs," in Cte-Stem 2021, 2021.

[105]R. Zerega et al, "A co-design approach for developing computational thinking skills in connection to STEM related curriculum in swedish schools," in Cte-Stem 2021, 2021.

[106]M. Riedmiller and T. Gabel, "On experiences in a complex and competitive gaming domain: Reinforcement learning meets robocup," in 2007 IEEE Symposium on Computational Intelligence and Games, 2007.

[107]N. L. Fanchamps et al, "The influence of SRA programming on algorithmic thinking and self-efficacy using Lego robotics in two types of instruction," International Journal of Technology and Design Education, vol. 31, no. 2, pp. 203-222, 2021.

[108]N. L. Fanchamps et al, "The Impact of SRA-Programming on Computational Thinking in a Visual Oriented Programming Environment," Education and Information Technologies, vol. 26, no. 5, pp. 6479-6498, 2021.

[109]M. Montessori, J. M. Hunt and J. Valsiner, The Montessori Method. Routledge, 2017.

[110]M. Elkin, A. Sullivan, and M. U. Bers, "Programming with the KIBO robotics kit in preschool classrooms," Computers in the Schools, vol. 33, no. 3, pp. 169-186, 2016.

[111]L. L. Román, "Metodología para la enseñanza aprendizaje de la lógica de la programación orientada a objetos," in 5ta. Conferencia Iberoamericana en Sistemas, Cibernética e Informática CISCI, International Institute of Informatics and Systemics, EE. UU, 2007.

[112]J. Urquiza-Fuentes and J. Á Velázquez-Iturbide, "A survey of successful evaluations of program visualization and algorithm animation systems," ACM Transactions on Computing Education (TOCE), vol. 9, no. 2, pp. 1-21, 2009.

[113]L. Seiter and B. Foreman, "Modeling the learning progressions of computational thinking of primary grade students," in Proceedings of the Ninth Annual International ACM Conference on International Computing Education Research, 2013, Available: http://doi.acm.org/10.1145/2493394.2493403, doi: 10.1145/2493394.2493403.

[114]S. Grover, R. Pea and S. Cooper, "Designing for deeper learning in a blended computer science course for middle school students," Computer Science Education, vol. 25, no. 2, pp. 199-237, 2015.

[115]A. Basawapatna et al, "Recognizing computational thinking patterns," in Proceedings of the 42nd ACM technical symposium on Computer science education, pp. 245-250 Mar 9, 2011.

[116]S. Papadakis and M. Kalogiannakis, "Evaluating a course for teaching advanced programming concepts with scratch to preservice kindergarten teachers: A case study in greece," in Early Childhood EducationAnonymous 2018.

[117]A. Eguiluz et al, "Exploring the progression of early programmers in a set of computational thinking challenges via clickstream analysis," Tetc, pp. 1, 2017. Available: https://ieeexplore.ieee.org/document/8093668, doi: 10.1109/TETC.2017.2768550.

[118]G. Petri and C. Gresse von Wangenheim, "How games for computing education are evaluated? A systematic literature review," Computers & Education, vol. 107, pp. 68-90, 2017. Available: http://dx.doi.org/10.1016/j.compedu.2017.01.004, doi: 10.1016/j.compedu.2017.01.004.

[119]A. Vahldick, A. J. Mendes and M. J. Marcelino, "Dynamic Difficulty Adjustment through a Learning Analytics Model in a Casual Serious Game for Computer Programming Learning," EAI Endorsed Transactions on Serious Games, vol. 4, no. 13, 2017.

[120]C. Kroustalli and S. Xinogalos, "Studying the effects of teaching programming to lower secondary school students with a serious game: a case study with Python and CodeCombat," Education and Information Technologies, pp. 1-27, 2021.

[121]M. Csikszentmihalyi, Finding Flow: The Psychology of Engagement with Everyday Life. United States: 1997.

[122]S. H. Chuah, "Why and who will adopt extended reality technology? Literature review, synthesis, and future research agenda," Literature Review, Synthesis, and Future Research Agenda, Dec. 13, 2018.

[123]M. Montola, "Exploring the edge of the magic circle: Defining pervasive games," in Proceedings of DAC, 2005.

[124]C. Bonillo, J. Marco, and E. Cerezo, "Developing pervasive games in interactive spaces: the JUGUEMOS toolkit," Multimedia Tools Appl, vol. 78, no. 22, pp. 32261-32305, 2019.

[125]N. M. Medina et al, "Hacia una propuesta de evaluación heurística de experiencias de juego pervasivas," Revista De La Asociación Interacción Persona Ordenador (AIPO), vol. 2, no. 2, pp. 42-53, 2021.

[126]J. Marco, C. Bonillo, and E. Cerezo, "A tangible interactive space odyssey to support children learning of computer programming," in Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces, 2017.

[127]S. SUKIRMAN et al, "A Strategy of Learning Computational Thinking through Game Based in Virtual Reality: Systematic Review and Conceptual Framework," Informatics in Education, 2021.

[128]Y. Ching, Y. Hsu and S. Baldwin, "Developing computational thinking with educational technologies for young learners," TechTrends, vol. 62, no. 6, pp. 563-573, 2018.

[129]C. P. Brackmann et al, "Development of computational thinking skills through unplugged activities in primary school," in Proceedings of the 12th Workshop on Primary and Secondary Computing Education, 2017.

[130]S. Suh, M. Lee and G. Xia, "Coding strip: A pedagogical tool for teaching and learning programming concepts through comics," in 2020 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC), 2020.

[131]G. Aranda and J. P. Ferguson, "Unplugged Programming: The future of teaching computational thinking?" Pedagogika, vol. 68, no. 3, 2018.

[132]J. Waite et al, "Unplugged computing and semantic waves: Analysing crazy characters," in Proceedings of the 1st UK & Ireland Computing Education Research Conference, 2019.

[133]A. Dengel, "Computer science replugged: What is the use of virtual reality in computer science education?" in Proceedings of the 14th Workshop in Primary and Secondary Computing Education, 2019.

[134]X. Tang et al, "Assessing computational thinking: A systematic review of empirical studies," Computers & Education, vol. 148, pp. 103-798, 2020. Available: http://www.sciencedirect.com/science/article/pii/S0360131519303483, doi: https://doi.org/10.1016/j.compedu.2019.103798.

[135]J. Denner, L. Werner and E. Ortiz, "Computer games created by middle school girls: Can they be used to measure understanding of computer science concepts?" Computers & Education, vol. 58, no. 1, pp. 240-249, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131511001849, doi: 10.1016/j.compedu.2011.08.006.

[136]I. Cetin and E. Dubinsky, "Reflective abstraction in computational thinking," Journal of Mathematical Behavior, vol. 47, pp. 70-80, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0732312316301511, doi: 10.1016/j.jmathb.2017.06.004.

[137]S. Jun et al, "Assessing the computational literacy of elementary students on a national level in Korea," Educational Assessment, Evaluation and Accountability, vol. 26, no. 4, pp. 319-332, 2014.

[138]L. Werner et al, "The fairy performance assessment," in Proceedings of the 43rd ACM technical symposium on Computer Science Education, pp. 215-220, 2012.

[139]V. Garneli and K. Chorianopoulos, "Programming video games and simulations in science education: exploring computational thinking through code analysis," Interactive Learning Environments, vol. 26, no. 3, pp. 386-401, 2018. Available: http://www.tandfonline.com/doi/abs/10.1080/10494820.2017.1337036, doi: 10.1080/10494820.2017.1337036.

[140]A. Mühling, A. Ruf and P. Hubwieser, "Design and first results of a psychometric test for measuring basic programming abilities," in Proceedings of the workshop in primary and secondary computing education, pp. 2-10, Nov 9, 2015.

[141]Ö Korkmaz, R. Çakir and M. Y. Özden, "A validity and reliability study of the computational thinking scales (CTS)," Computers in Human Behavior, vol. 72, pp. 558-569, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563217300055, doi: 10.1016/j.chb.2017.01.005.

[142]M. Román-González et al, "Extending the nomological network of computational thinking with non-cognitive factors," Computers in Human Behavior, vol. 80, pp. 441-459, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0747563217305563, doi: https://doi.org/10.1016/j.chb.2017.09.030.

[143]M. Román-González et al, "Can computational talent be detected? Predictive validity of the Computational Thinking Test," International Journal of ChildComputer Interaction, vol. 18, pp. 47-58, 2018. Available: http://www.sciencedirect.com/science/article/pii/S221286891730034X, doi: https://doi.org/10.1016/j.ijcci.2018.06.004.

[144]AERA, APA and NCME, Standards for Educational and Psychological Testing. 2014. Available: http://www.fachportal-paedagogik.de/fis_bildung/suche/fis_set.html?FId=1050398.

[145]G. Chen et al, "Assessing elementary students’ computational thinking in everyday reasoning and robotics programming," Computers & Education, vol. 109, pp. 162-175, 2017. Available: http://www.sciencedirect.com/science/article/pii/S0360131517300490, doi: https://doi.org/10.1016/j.compedu.2017.03.001.

[146]E. Relkin, L. de Ruiter and M. U. Bers, "TechCheck: Development and Validation of an Unplugged Assessment of Computational Thinking in Early Childhood Education," Journal of Science Education and Technology, vol. 29, no. 4, pp. 482-498, 2020. Available: https://search.proquest.com/docview/2413230852, doi: 10.1007/s10956-020-09831-x.

[147]Y. Li, S. Xu, and J. Liu, "Development and Validation of Computational Thinking Assessment of Chinese Elementary School Students," Journal of Pacific Rim Psychology, vol. 15, pp. 18344909211010240, 2021. Available: https://doi.org/10.1177/18344909211010240, doi: https://doi.org/10.1177/18344909211010240.

[148]S. Grover, R. Pea and S. Cooper, "«Systems of assessments» for deeper learning of computational thinking in K-12," in Proceedings of the 2015 Annual Meeting of the American Educational Research Association, 2015.

[149]G. Siemens and P. Long, "Penetrating the Fog: Analytics in Learning and Education," EDUCAUSE Review, vol. 46, no. 5, pp. 30, 2011.

[150]A. Mathrani, S. Christian and A. Ponder-Sutton, "PlayIT: Game based learning approach for teaching programming concepts," Journal of Educational Technology & Society, vol. 19, no. 2, pp. 5-17, 2016.

[151]C. Malliarakis, M. Satratzemi and S. Xinogalos, "CMX: The effects of an educational MMORPG on learning and teaching computer programming," IEEE Transactions on Learning Technologies, vol. 10, no. 2, pp. 219-235, 2016.

[152]C. Malliarakis, M. Satratzemi and S. Xinogalos, "Integrating learning analytics in an educational MMORPG for computer programming," in 2014 IEEE 14th International Conference on Advanced Learning Technologies, 2014.

[153]W. Greller and H. Drachsler, "Translating learning into numbers: A generic framework for learning analytics," Journal of Educational Technology & Society, vol. 15, no. 3, pp. 42-57, 2012.

[154]M. A. Chatti et al, "Learning Analytics: Challenges and Future Research Directions," eleed, vol. 10, no 1. Nov 6, 2014.

[155]M. Román González, "Computational thinking test: Design guidelines and content validation," in Proceedings of EDULEARN15 conference, Barcelona, pp. 2436-2444, 201.

[156]D. Căprioară, "Emotions and the Learning of School Mathematics," Bulletin of the Transilvania University of Braşov, Series VII: Social Sciences and Law, vol. 10, no. 1, pp. 9-18, 2017. Available: http://www.ceeol.com/search/article-detail?id=566146.

[157]C. Chen and P. Herbst, "The interplay among gestures, discourse, and diagrams in students’ geometrical reasoning," Educational Studies in Mathematics, vol. 83, no. 2, pp. 285-307, 2013. Available: 10.1007/s10649-012-9454-2, doi: https://doi.org/10.1007/s10649-012-9454-2.

[158]H. Y. Durak and M. Saritepeci, "Analysis of the relation between computational thinking skills and various variables with the structural equation model," Computers & Education, vol. 116, pp. 191-202, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131517302087, doi: //doi.org/10.1016/j.compedu.2017.09.004.

[159]T. Watanabe, "Visual Reasoning Tools in Action: Double Number Lines, Area Models, and Other Diagrams Power Up Students' Ability to Solve and Make Sense of Various Problems," Mathematics Teaching in the Middle School, vol. 21, no. 3, pp. 152, 2015.

[160]C. E. Lance, M. M. Butts and L. C. Michels, "The sources of four commonly reported cutoff criteria: What did they really say?" Organ. Res. Methods, vol. 9, no. 2, pp. 202-220, 2006.

[161]M. Román-González, J. Moreno-León and G. Robles, "Combining assessment tools for a comprehensive evaluation of computational thinking interventions," in Computational Thinking Education, S. Kong and H. Abelson, Eds. 2019, Available: https://doi.org/10.1007/978-981-13-6528-7_6, doi: 10.1007/978-981-13-6528-7_6.

[162]A. A. De Souza et al, "Data mining framework to analyze the evolution of computational thinking skills in game building workshops," IEEE Access, vol. 7, pp. 82848-82866, 2019.

[163]R. F. DeVellis, "Classical test theory," Med. Care, pp. S50-S59, 2006.

[164]R. K. Hambleton and R. W. Jones, "Comparison of classical test theory and item response theory and their applications to test development," Educational Measurement: Issues and Practice, vol. 12, no. 3, pp. 38-47, 1993.

[165]L. El-Hamamsy, M. Zapata-Caceres, E. Martín, F. Mondada, J. Dehler Zufferey, and B. Bruno, "The competent Computational Thinking test (cCTt): Development and validation of an unplugged Computational Thinking test for upper primary school," Journal of Educational Computing Research, 2022. In press.

[166]S. Kong, "A framework of curriculum design for computational thinking development in K-12 education," Journal of Computers in Education, vol. 3, no. 4, pp. 377-394, 2016.

[167]F. Buitrago Flórez et al, "Changing a Generation's Way of Thinking: Teaching Computational Thinking Through Programming," Review of Educational Research, vol. 87, no. 4, pp. 834, 2017. Available: https://search.proquest.com/docview/1917804191, doi: 10.3102/0034654317710096.

[168]J. Alvarez et al, "Blue Bot Project Experiment," 8th International Toy Research Association World Conference Jul 11, 2018.

[169]C. Sáez Fernández, G. Viera López and D. Pérez Marín, "Propuesta metodológica de la enseñanza de la programación en Educación Infantil con Cubetto," IE Comunicaciones: Revista Iberoamericana De Informática Educativa, no. 28, pp. 1-8, 2018. Available: https://dialnet.unirioja.es/servlet/oaiart?codigo=6750332.

[170]W. Wu et al, "Investigating the learning‐theory foundations of game‐based learning: a meta‐analysis," Journal of Computer Assisted Learning, vol. 28, no. 3, pp. 265-279, 2012. Available: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1365-2729.2011.00437.x, doi: 10.1111/j.1365-2729.2011.00437.x.

[171]E. Boyle, T. M. Connolly, and T. Hainey, "The role of psychology in understanding the impact of computer games," Entertainment Computing, vol. 2, no. 2, pp. 69-74, 2011. Available: https://www.sciencedirect.com/science/article/pii/S1875952110000200, doi: 10.1016/j.entcom.2010.12.002.

[172]M. Li and C. Tsai, "Game-Based Learning in Science Education: A Review of Relevant Research," Journal of Science Education and Technology, vol. 22, no. 6, pp. 877-898, 2013. Available: https://doi.org/10.1007/s10956-013-9436-x, doi: 10.1007/s10956-013-9436-x.

[173]W. Wu et al, "Re-exploring game-assisted learning research: The perspective of learning theoretical bases," Computers & Education, vol. 59, no. 4, pp. 1153-1161, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131512001248, doi: 10.1016/j.compedu.2012.05.003.

[174]M. Csikszentmihalyi, "Flow and the psychology of discovery and invention," HarperPerennial, New York, vol. 39, 1997.

[175]T. Hainey et al, "A systematic literature review of games-based learning empirical evidence in primary education," Computers & Education, vol. 102, pp. 202-223, 2016.

[176]J. R. Savery and T. M. Duffy, "Problem based learning: An instructional model and its constructivist framework," Educational Technology, vol. 35, no. 5, pp. 31-38, 1995.

[177]J. R. Savery, "Overview of Problem-based Learning: Definitions and distinctions," Essential readings in problem-based learning: Exploring and extending the legacy of Howard S. Barrows, vol. 9, no 2, pp. 5-15, 2015. Available: https://library.biblioboard.com/viewer/620aa903-49eb-49d1-8fc2-b02dbeda193c.

[178]B. Haßler, L. Major, and S. Hennessy, "Tablet use in schools: A critical review of the evidence for learning outcomes," Journal of Computer Assisted Learning, vol. 32, no. 2, pp. 139-156, 2016.

[179]Y. Rogers et al, " Equal opportunities: Do shareable interfaces promote more group participation than single user displays?" Human–Computer Interaction, vol. 24, no. 1-2, pp. 79-116, 2009.

[180]D. Roldan-Alvarez et al, "DEDOS: An Authoring Toolkit to Create Educational Multimedia Activities for Multiple Devices," IEEE Transactions on Learning Technologies, vol. 11, no. 4, pp. 493-505, 2018. Available: https://ieeexplore.ieee.org/document/8244297, doi: 10.1109/TLT.2017.2788867.

[181]C. Lin, L. Wong and Y. Shao, "Comparison of 1: 1 and 1: m CSCL environment for collaborative concept mapping," Journal of Computer Assisted Learning, vol. 28, no. 2, pp. 99-113, 2012.

[182]M. Zapata-Cáceres, E. Martín-Barroso and M. Román-González, "Computational Thinking Test for Beginners: Design and Content Validation," 2020 IEEE Global Engineering Education Conference (EDUCON). in Press, 2020.

[183]R. S. Pressman, Software Engineering: A Practitioner's Approach. Palgrave macmillan, 2005.

[184]C. Larman, Agile and Iterative Development: A Manager's Guide. Addison-Wesley Professional, 2004.

[185]L. García-de-la-Fuente, "Tratamiento de ficheros generados por Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[186]G. Matilla-Jiménez, "Desarrollo una aplicación web para facilitar la visualización y análisis se datos de Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[187]J. Moreno and G. Robles, "Automatic detection of bad programming habits in scratch: A preliminary study," in 2014 IEEE Frontiers in Education Conference (FIE) Proceedings, pp. 1-4, Oct. 2014.

[188]N. Diana et al, "An instructor dashboard for real-time analytics in interactive programming assignments," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 272-279, 2017.

[189]L. Gal et al, "Suggesting a log-based creativity measurement for online programming learning environment," in Proceedings of the Fourth (2017) ACM Conference on Learning@ Scale, pp. 273-277, 2017.

[190]D. Olivares and C. Hundhausen, "Supporting learning analytics in computing education," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 584-585, 2017.

[191]M. Zapata-Ros and P. Pérez-Paredes, El Pensamiento Computacional. Análisis De Una Competencia Clave. New York: Create Space Independent Publishing, 2018.

[192]H. Søndergaard and R. A. Mulder, "Collaborative learning through formative peer review: Pedagogy, programs and potential," Computer Science Education, vol. 22, no. 4, pp. 343-367, 2012.

[193]M. R. Snodgrass, M. Israel and G. C. Reese, "Instructional supports for students with disabilities in K-5 computing: Findings from a cross-case analysis," Computers & Education, vol. 100, pp. 1-17, 2016.

[194]N. Ayuso et al, "Gender Gap in STEM: A Cross-Sectional Study of Primary School Students’ Self-Perception and Test Anxiety in Mathematics," IEEE Transactions on Education, vol. 64, no. 1, pp. 40-49, 2020.

[195]L. Sun et al, "Primary school students' perceptions of scaffolding in digital gamebased learning in mathematics," Learning, Culture and Social Interaction, vol. 28, pp. 100457, 2021.

[196]M. Cengiz et al, "Development of an interactive game-based learning environment to teach data mining," The International Journal of Engineering Education, vol. 33, no. 5, pp. 1598-1617, 2017.

[197]H. Lu, "Rethinking game-based learning from a gender perspective: a case study of a male English language learner in China," Gender, Technology and Development, vol. 16, no. 1, pp. 49-70, 2012.

[198]E. A. Boyle et al, "An update to the systematic literature review of empirical evidence of the impacts and outcomes of computer games and serious games," Computers & Education, vol. 94, pp. 178-192, 2016. Available: http://www.sciencedirect.com/science/article/pii/S0360131515300750, doi: //doi.org/10.1016/j.compedu.2015.11.003.

[199]R. J. Mislevy, L. S. Steinberg and R. G. Almond, "Focus Article: On the Structure of Educational Assessments," Measurement (Mahwah, N.J.), vol. 1, no. 1, pp. 3-62, 2003. Available: http://www.tandfonline.com/doi/abs/10.1207/S15366359MEA0101_02, doi: 10.1207/S15366359MEA0101_02.

[200]V. J. Shute and G. R. Moore, "Consistency and validity in game-based stealth assessment," Technology Enhanced Innovative Assessment: Development, Modeling, and Scoring from an Interdisciplinary Perspective, vol. 296, 2017.

[201]C. Alonso Fernández et al, "Improving serious games analyzing learning analytics data: lessons learned," in International Conference on Games and Learning Alliance. Springer, Cham Dec 5, 2018.

[202]G. Wallner and S. Kriglstein, "Comparative visualization of player behavior for serious game analytics," in Serious Games Analytics, Cham: Springer International Publishing, pp. 159-179, 2015.

[203]E. Zimmerman, "Narrative, interactivity, play, and games: Four naughty concepts in need of discipline," First Person: New Media as Story, Performance, and Game, vol. 154, 2004.

[204]E. Carratala Sánchez, "Análisis de la teoría de las metas de logro y de la autodeterminación en los planes de especialización deportiva de la Generalitat Valenciana." 2004.

[205]C. J. Ferguson and C. K. Olson, "Friends, fun, frustration and fantasy: Child motivations for video game play," Motivation and Emotion, vol. 37, no. 1, pp. 154-164, 2013.

[206]P. R. Pintrich and A. Zusho, "The development of academic self-regulation: The role of cognitive and motivational factors," in Development of Achievement Motivation, 2002.

[207]A. E. Gottfried, "Academic intrinsic motivation in young elementary school children." J. Educ. Psychol., vol. 82, no. 3, pp. 525, 1990.

[208]R. M. Ryan and E. L. Deci, "Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being." Am. Psychol., vol. 55, no. 1, pp. 68, 2000.

[209]E. L. Deci and R. M. Ryan, "Intrinsic motivation," The Corsini Encyclopedia of Psychology, pp. 1-2, 2010.

[210]J. R. Calvo-Ferrer, "Juegos, videojuegos y juegos serios: Análisis de los factores que favorecen la diversión del jugador," Miguel Hernández Communication Journal, no. 9, pp. 191-226, 2018.

[211]I. Granic, A. Lobel and R. C. Engels, "The benefits of playing video games." American Psychologist Journal, vol. 69, no. 1, pp. 66, 2014.

[212]M. Ventura, V. Shute and W. Zhao, "The relationship between video game use and a performance-based measure of persistence," Computers & Education, vol. 60, no. 1, pp. 52-58, 2013.

[213]R. M. Ryan, C. S. Rigby and A. Przybylski, "The motivational pull of video games: A self-determination theory approach," Motivation and Emotion, vol. 30, no. 4, pp. 344-360, 2006.

[214]M. Salminen and N. Ravaja, "Increased oscillatory theta activation evoked by violent digital game events," Neuroscience Letters - Journals, vol. 435, no. 1, pp. 69-72, 2008.

[215]R. Israel-Fishelson and A. Hershkovitz, "Shooting for the stars: Micro-persistence of students in game-based learning environments," in Early Warning Systems and Targeted Interventions for Student Success in Online Courses, 2020.

[216]C. Hart, "Factors associated with student persistence in an online program of study: A review of the literature." Journal of Interactive Online Learning, vol. 11, no. 1, 2012.

[217]R. Israel‐Fishelson and A. Hershkovitz, "Micro‐persistence and difficulty in a game‐based learning environment for computational thinking acquisition," Journal of Computer Assisted Learning, 2021.

[218]Y. Fang et al, "Online Learning Persistence and Academic Achievement." International Educational Data Mining Society, 2017.

[219]C. Alonso-Fernández et al, "Applications of data science to game learning analytics data: A systematic literature review," Computers & Education, vol. 141, pp. 103612, 2019. Available: https://search.datacite.org/works/10.1016/j.compedu.2019.103612, doi: 10.1016/j.compedu.2019.103612.

[220]P. R. Pintrich and A. Zusho, "Student motivation and self-regulated learning in the college classroom," in Higher Education: Handbook of Theory and ResearchAnonymous 2002.

[221]K. Weber and B. R. Patterson, "Student interest, empowerment and motivation," Communication Research Reports, vol. 17, no. 1, pp. 22-29, 2000.

[222]Á Serrano-Laguna et al, "Applying standards to systematize learning analytics in serious games," Computer Standards & Interfaces, vol. 50, pp. 116-123, 2017.

[223]Y. Tran, "Computational thinking equity in elementary classrooms: What third-grade students know and can do," Journal of Educational Computing Research, vol. 57, no. 1, pp. 3-31, 2019.

[224]R. Israel-Fishelson and A. Hershkovitz, "Persistence and achievement in acquiring computational thinking concepts: A large-scale log-based analysis," in E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 2019.

[225]S. Grover et al, "Assessing problem-solving process at scale," in Proceedings of the Third (2016) ACM Conference on Learning@ Scale, pp. 245-248, Apr 25, 2016.

[226]M. Zapata-Cáceres and E. Martín-Barroso, "Blue Ant Code," 2020. Available: https://play.google.com/store/apps/details?id=com.artbabygame.blueAnt https://apps.apple.com/es/app/blue-ant-code/id1495021110.

[227]S. Kong, M. M. Chiu and M. Lai, "A study of primary school students' interest, collaboration attitude, and programming empowerment in computational thinking education," Computers & Education, vol. 127, pp. 178-189, 2018. Available: http://dx.doi.org/10.1016/j.compedu.2018.08.026, doi: 10.1016/j.compedu.2018.08.026.

[228]M. Guenaga et al, "How do students develop computational thinking? Assessing early programmers in a maze-based online game," Computer Science Education, vol. 31, no 2, pp. 259-289, 2021. Available: https://doi.org/10.1080/08993408.2021.1903248, doi: 10.1080/08993408.2021.1903248.

[229]T. P. Alloway, "How does working memory work in the classroom?" Educational Research and Reviews, vol. 1, no. 4, pp. 134-139, 2006.

[230]C. S. Dweck and D. C. Molden, "Their impact on competence motivation and acquisition," Handbook of Competence and Motivation: Theory and Application, vol. 2, pp. 135-154, 2017.

[231]L. S. Blackwell, K. H. Trzesniewski and C. S. Dweck, "Implicit theories of intelligence predict achievement across an adolescent transition: A longitudinal study and an intervention," Child Dev., vol. 78, no. 1, pp. 246-263, 2007.

[232]P. Sweetser and P. Wyeth, "GameFlow: a model for evaluating player enjoyment in games," Computers in Entertainment (CIE), vol. 3, no. 3, pp. 3, 2005.

[233]M. Lafuente Martínez et al, "Assessing Computational Thinking: Development and Validation of the Algorithmic Thinking Test for Adults," 2021.

[234]L. Narcisi et al, "Beginners Computational Thinking Test: Adaptation pour un public de moins de 5 ans." Service D'Ingénierie Pédagogique Et Du Numérique Éducatif, FPSE, UMONS, s.f., 2021.

[235]M. Lázaro-Álvarez, "Sudokus adaptativos para Educación Infantil o Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.

[236]J. Plaza-Carro, "Blue-encode: Juego colaborativo de cifrado y descifrado de mensajes en Educación Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.

_______________________________

¹ https://unity.com/es

² https://unity.com/es/unity-hub

³ https://visualstudio.microsoft.com/es/