CAPÍTULO 7. ANÁLISIS DE COMPETENCIAS: MOTIVACIÓN INTRÍNSECA, PERSISTENCIA Y RECOMPENSAS MEDIANTE ANALÍTICAS DE APRENDIZAJE CON BAC

A continuación, se describe la experiencia de despliegue masivo de BAC en un entorno no escolar, con el objetivo general de analizar estrategias para el aprendizaje y evaluación del PC y las habilidades de PC de alumnos de Educación Primaria, con especial atención en las disposiciones y predisposiciones para el PC basadas en la motivación intrínseca y el juego voluntario.

7.1. Introducción y objetivos

Una vez validado desarrollado el entorno Blue Ant Code (BAC) mediante la experiencia en entornos escolares en el capítulo anterior, se plantea el análisis de las habilidades relacionadas con la motivación intrínseca a edades tempranas. Esto no es posible en un entorno escolar, con lo que se ha desplegado BAC en las tiendas virtuales para que niños de todo el mundo puedan descargarse el juego y jugar de forma voluntaria.

El objetivo general de la tesis asociado a esta experiencia es el OP4: Realizar experiencias empíricas que permitan analizar datos relativos tanto a habilidades de PC como a disposiciones y predisposiciones para el PC; en concreto el OP4a: Extraer y analizar datos para mejorar el diseño del currículo escolar relativo a PC según edad y género; el OP4b: Extraer y analizar datos para mejorar el diseño de herramientas de aprendizaje relativo a PC según edad y género; y el OP4c: Extraer y analizar datos para mejorar el diseño de herramientas de evaluación relativo a PC según edad y género.

Este objetivo está basado en la hipótesis general de la tesis HE5: los entornos de aprendizaje basados en juegos voluntarios pueden aportar información sobre disposiciones y predisposiciones para el aprendizaje del PC según las características del individuo en cuanto a edad y género.

Aprender a programar a una edad temprana es un vehículo para el desarrollo del PC. Los entornos basados en juegos o GBL se utilizan a menudo para desarrollar estas habilidades, pero carecen de la suficiente voluntariedad para evaluar aspectos relacionados con la motivación intrínseca, como los intereses, las habilidades, la persistencia en la resolución de un problema y el comportamiento en respuesta a las

recompensas. Estos aspectos afectan directamente al rendimiento y al desempeño académico, por lo que es necesario analizar las posibles diferencias de edad y género para ajustar los planes de estudio e incluir el PC. Por ejemplo, diversos estudios demuestran que las chicas están menos interesadas en las áreas STEM que los chicos durante la etapa de Educación Secundaria, y que esta situación podría revertirse durante las primeras etapas educativas [194].

Mediante el despliegue de BAC de forma que se pueda jugar voluntariamente, se pueden analizar datos de motivación intrínseca en edades tempranas. De esta forma, se recogieron datos de 4124 usuarios que jugaron durante 15 meses 28187 partidas.

En este capítulo, se detalla la experiencia realizada, primero realizando una contextualización teórica y enumerando los objetivos de la experiencia (preguntas de investigación), para después analizar los datos recogidos en profundidad.

7.1.1. Analíticas de aprendizaje en juegos

Como se ha visto en anteriormente, el aprendizaje basado en GBL ha sido ampliamente adoptado en la educación para la enseñanza de varios temas en muchas áreas diferentes, como las matemáticas [195], la minería de datos [196] y el idioma inglés [197]. Además, es una de las principales estrategias más utilizadas y reportadas en la literatura para el aprendizaje de la programación y el desarrollo del PC en Educación Primaria [4]. Se trata de un marco de resolución de problemas en el que se crea un reto para que los alumnos busquen soluciones utilizando mecánicas de juego con una sensación de logro, a la vez que se potencia la adquisición de conocimientos y habilidades [9]-[11]. El aprendizaje significativo se produce cuando el diseño de los juegos se fundamenta en teorías de aprendizaje relevantes y cuando se incluyen elementos de diseño de juegos específicos, como la interacción, la retroalimentación inmediata, los objetivos claros o el fracaso de bajo riesgo [11], [198]. Los principales fundamentos teóricos utilizados por GBL son el constructivismo, donde el conocimiento es creado activamente por el propio estudiante en un proceso de aprendizaje interactivo [12]; y la teoría del flujo, donde la actividad del jugador está impulsada por el placer más que por recompensas externas y donde se crea un equilibrio entre la dificultad del reto del juego y la habilidad del jugador [11], [121].

Teniendo en cuenta la teoría del flujo, la evaluación de los estudiantes en un entorno GBL no debería afectar la experiencia de juego, por lo que la recogida de datos debería ser transparente para los jugadores. Esto se logra mediante evaluación sigilosa integrada en los entornos de juego, que se basa en los modelos de diseño centrado en la evidencia (ECD) [199] y permite almacenar las interacciones de bajo nivel de los jugadores y utilizar este flujo de evidencia del juego para evaluar las habilidades y conocimientos de los estudiantes. Estos datos se recogen de forma discreta para el jugador, sin interrumpir su participación, y en tiempo real, lo que permite una retroalimentación inmediata si es necesario. Está comprobado que la evaluación de las competencias de los jugadores es precisa gracias a esta evaluación sigilosa, y que puede utilizarse para diversos fines [200].

Los entornos GBL que incorporan la evaluación sigilosa pueden ser potentes herramientas de evaluación siempre que los datos recogidos se analicen adecuadamente. Para ello, a partir de la investigación se sabe que las soluciones basadas en datos que aprovechan las analíticas de aprendizaje basadas en juegos (GLA) son esenciales para guiar el desarrollo de entornos GBL [20]. La disciplina GLA es una extensión de las analíticas de aprendizaje en entornos educativos [201], combinada con analíticas de juegos [149] que se centra en el análisis de los datos de interacción del usuario en el juego. Hay muchas integraciones exitosas de GLA para la evaluación en juegos educativos [16], [119], [150]. Por ejemplo, CMX que es un MMORPG educativo dirigido a la educación secundaria para la enseñanza de la programación [151], [152]. Del mismo modo, existen varios marcos y normas para el correcto análisis de los datos recogidos por los juegos [16], [17], [119], [152]-[154].

GLA podría utilizarse para analizar los datos 1) en tiempo real para proporcionar una retroalimentación urgente, 2) inmediatamente después de la sesión de juego, y 3) después de que se hayan recogido suficientes datos durante varias partidas para que el análisis pueda arrojar conocimientos adicionales, a través de procesos de minería de datos, que pueden aplicarse para extraer patrones de uso, motivación o intereses. Por ejemplo, podrían extraerse grupos de jugadores que muestren diferentes comportamientos o características, como la edad o el género [202]. Además, los datos de las interacciones con juego contienen información valiosa sobre cómo los jugadores interactuaron con el juego, su progreso, las habilidades, la persistencia, los problemas encontrados o la comprensión de los conceptos abordados [16], [17]. Además, los enfoques de visualización comparativa de GLA facilitan la comprensión de las diferencias entre individuos y submuestras [202].

7.1.2. Motivación intrínseca en entornos GBL

Los entornos GBL tienen muchas ventajas, ya que la motivación y el compromiso del alumno son mayores que en los entornos escolares tradicionales y, por tanto, se consigue una comprensión más profunda y auténtica de los principios subyacentes que se enseñan [17]. Zimmerman (2004) define los juegos como "una actividad interactiva voluntaria, en la que uno o más jugadores siguen reglas que limitan su comportamiento, representando un conflicto artificial que termina en un resultado cuantificable" [203]. Este juego autónomo responde a una motivación intrínseca (MI) hacia el rendimiento o el logro bajo la perspectiva de la expectativa de control y eficacia [204], [205]. Además, la MI correlaciona positivamente con el aprendizaje, el motivo de logro y la auto competencia [206], así como con la reducción de la ansiedad [207]. La teoría de la autodeterminación [208] explica la MI como una tendencia innata a realizar conductas que despiertan interés, más que las obligatorias. Es bien sabido que las personas con una alta autoeficacia están más motivadas intrínsecamente por las tareas, se fijan metas de aprendizaje más altas, persisten más y experimentan menos reacciones adversas [209].

Los juegos serios se han introducido en contextos educativos como entornos GBL. Sin embargo, se circunscriben a escenarios académicos controlados o a circunstancias externas al entretenimiento del jugador, ya que se diseñan como un soporte en el que introducir contenidos educativos, por lo que contrastan con las características distintivas de un juego: la diversión y la voluntariedad, y su carácter motivacional tradicional. Por otro lado, los videojuegos pueden definirse como una actividad lúdica, delimitada por reglas, ejercida voluntariamente a través de un hardware específico [210].

Los videojuegos utilizan el fracaso como herramienta motivacional y sólo ofrecen oportunidades intermitentes de éxito que van acompañadas de recompensas [211], [212], ya sean informativas o de control [213]. Estas experiencias de fracaso pueden conducir a sentimientos de frustración o, por el contrario, a una respuesta de perseverancia e interés por superar los retos propuestos en los que el jugador se muestra persistente [214]. La persistencia se define como la aspiración a completar un reto y superar las metas, y se ha demostrado que es una habilidad importante para la resolución de problemas y el aprendizaje en general [215]. La autoeficacia, la satisfacción y el MI son variables que conducen a la persistencia de los estudiantes [216]. Además, la micropersistencia es la aspiración para completar una tarea individual con éxito, por ejemplo, en entornos GBL, y puede mejorar el desarrollo del PC y los procesos de aprendizaje implicados, de esta forma, ha sido reconocida como un enfoque prometedor para mejorar los resultados de este aprendizaje [215], [217], [218]. Así, el comportamiento en la respuesta de un determinado reto en función de las características de los jugadores podría proporcionar pistas sobre sus capacidades e intereses, e incluso predecir su rendimiento escolar [212]. Como sugieren Ventura y Matthew (2013), se necesitan más investigaciones que tengan en cuenta estas complejidades para avanzar significativamente en este campo [212].

Sin embargo, en la gran mayoría de las investigaciones realizadas hasta el momento con entornos GBL, los jugadores son evaluados en sesiones supervisadas en los colegios [219], donde la interacción con el entorno de aprendizaje no es voluntaria ni autónoma, ya que es difícil enseñar y a la vez crear un clima de autonomía cuando hay que alcanzar unos objetivos curriculares marcados [220], por lo que puede haber una falta de MI y los datos obtenidos pueden no reflejar los intereses de los alumnos y su persistencia y micropersistencia en el aprendizaje de determinados conceptos, o su comportamiento en respuesta a las recompensas. Además, puede haber interacciones entre los propios alumnos que influyan en los resultados [117]. Además, el tamaño de las muestras utilizadas en estas sesiones supervisadas es en general bastante bajo, Alonso-Fernández et al. (2019) afirman que, a partir de una revisión sistemática sobre juegos serios con LA o GLA, solo el 8% de los estudios reportan muestras mayores a 1000 participantes [219]. Las muestras pequeñas podrían restringir la significación y la generalización de los resultados [118], así como la aplicación de los complejos algoritmos de GLA, que requieren grandes cantidades de puntos de datos para ser aplicados adecuadamente [219] y visualizados [202].

7.1.3. Objetivos específicos y preguntas de investigación

En base a la fundamentación anterior, consideramos que la mayor parte de las investigaciones recientes sobre entornos GBL carecen de la suficiente voluntariedad para poder evaluar aspectos relacionados con la MI, por lo que proponemos el despliegue de BAC como entorno GBL en plataformas anónimas a través de Internet sin supervisión ni límites de tiempo o intentos, dirigido a jugadores de 3 a 12 años. Se concibe como una actividad voluntaria y autónoma para aprender a programar, en la que la motivación es intrínseca, y está dirigida a una muestra mucho mayor que en un entorno escolar habitual. Se pretende evaluar aspectos como los intereses, las habilidades, la micropersistencia en la resolución de un problema y el comportamiento en respuesta a las recompensas; basándose en la evaluación sigilosa y utilizando algoritmos GLA, y visualizaciones comparativas [202]. Este análisis de datos podría proporcionar conclusiones sobre la motivación para aprender a programar entre los jugadores jóvenes de diferentes edades y géneros, así como conocimientos sobre los efectos de las recompensas según las características de los jugadores. Además, identificar las características, como la edad y el género, de los jugadores con habilidades y/o intereses en determinados conceptos de programación es esencial para poder ajustar los programas curriculares de PC, ya que cuanto mayor sea el interés por la programación, más probable es que sea más fácil aprender, tener una mayor autoeficacia creativa y, por lo tanto, mostrar una mayor potencial o empoderamiento para el aprendizaje de la programación [221].

Teniendo en cuenta las investigaciones ya realizadas, nos interesa la siguiente pregunta principal de investigación:

Basándonos en la MI, ¿qué hallazgos en términos de intereses tempranos, habilidades, micropersistencia y comportamiento en respuesta a las recompensas en el aprendizaje de la programación se pueden extraer de la aplicación de GLA a un videojuego voluntario?

Para responder a esta pregunta principal de la investigación, se han formulado las siguientes subpreguntas u objetivos específicos de la investigación, según la edad y género de los jugadores:

OE1: ¿Existen diferencias en el interés por aprender a programar y por resolver problemas computacionales específicos?

OE2: ¿Existen diferencias en cuanto a las habilidades y los logros a lo largo de los intentos de juego?

OE3: ¿Existen diferentes comportamientos de juego en cuanto a la micropersistencia y las recompensas?

La investigación se ha llevado a cabo bajo la siguiente hipótesis específicas: (1) la motivación para jugar a un juego autónomo en línea es intrínseca; (2) los datos pueden recogerse a través de una evaluación sigilosa en un entorno GBL en línea; y (3) los intereses, las habilidades, la micropersistencia y el comportamiento en respuesta a las recompensas pueden explorarse aplicando técnicas de GLA y visualizaciones comparativas. La Figura 51 muestra la conexión entre los conceptos discutidos en esta sección y cómo, a través de un entorno de juego online voluntario y autónomo, se pueden analizar los intereses y comportamientos de los jugadores, basados en su motivación intrínseca.

7.2. Metodología

A continuación, se muestra la metodología que se ha seguido para la recogida y análisis de los datos.

7.2.1. Adaptación del entorno BAC para su despliegue masivo

En esta experiencia se utiliza BAC [51], desarrollado y validado en el marco de esta tesis como un entorno GBL que es tanto un instrumento de aprendizaje como una herramienta de evaluación sigilosa a través de la recogida de datos en tiempo real. Este juego puede utilizarse en las aulas escolares, en dispositivos como las tabletas, tanto de forma individual como en modo colaborativo, para el aprendizaje de la programación, así como para la evaluación posterior de los datos de juego mediante técnicas de GLA. Los niveles del juego y su funcionamiento se encuentran detallados en el capítulo anterior.

Para analizar el micro-comportamiento de los jugadores y con el objetivo de la implantación masiva del juego, se han añadido o actualizado las siguientes funcionalidades a BAC:

1) Pantalla de creación/selección de usuarios: cada dispositivo en el que se instala el juego puede tener hasta 6 usuarios diferentes.

2) Pantalla inicial para la recogida de datos básicos anónimos de edad y sexo, más apodo opcional.

3) Personalización del personaje principal (hormiga azul) a través de una tienda con acceso desde el menú principal, donde los puntos obtenidos se pueden gastar en accesorios y ropa.

4) Adaptación de los datos a recoger en el juego y la vinculación a la base de datos remota para el despliegue masivo.

La versión masiva solamente cuenta con el modo individual de juego. El sistema de puntuación para la versión masiva de BAC para cada nivel es el siguiente: 2 puntos por alcanzar un objetivo parcial (puede haber de 0 a 2 objetivos parciales en cada nivel) y 10 puntos por completar el nivel. Estos puntos se pueden canjear por objetos para personalizar al personaje principal del juego en una tienda virtual. Esta funcionalidad se ha implementado para analizar el efecto de la micropersistencia y las recompensas en el comportamiento del jugador en una fase posterior.

7.2.2. Variables de investigación

Para la creación de evaluaciones en entornos GBL es muy recomendable, antes de aplicar GLA, especificar y determinar las trazas de juego que se recogerán [219], [222], y éstas deben ser lo suficientemente potentes como para alimentar el sistema GLA [53]. Por esta razón, las variables de investigación para analizar el comportamiento de los jugadores fueron bien definidas antes de establecer las trazas de juego a recoger:

- Persistencia: es una habilidad valiosa a la hora de resolver problemas y puede mejorar la adquisición del PC y los procesos de aprendizaje que conlleva [217], [223]. Puede definirse como la voluntad de completar un proceso de aprendizaje y alcanzar los objetivos de éste. La micropersistencia es la aspiración para completar con éxito una tarea individual, por ejemplo, un nivel, y se centra en el proceso de aprendizaje de cada uno de los conceptos y no en el proceso de aprendizaje en su conjunto [224]. Cuantificaremos esta variable con el número de intentos realizados por el jugador.

- Logro o rendimiento: Definimos el logro como el porcentaje del número de partidas ganadas sobre las jugadas, tanto en total como en un nivel determinado.

- Habilidad: Grover et. al (2016) encontraron que el tiempo que se tarda en resolver un nivel predice el nivel de habilidad con una precisión de ~63% [225]. Cuantificaremos esta variable como el tiempo necesario para completar un nivel, siendo mayor sea la habilidad cuanto menor el tiempo necesario.

- Dominio: consideraremos el dominio de un nivel (concepto computacional) a una edad determinada, si observamos un alto rendimiento y habilidad, y/o un alto rendimiento y pocos intentos necesarios para completar un nivel, en comparación con la tendencia observada a edades más tempranas.

- Progresión: consideraremos una progresión positiva cuando los niveles de dominio aumenten a lo largo de los intentos de juego.

- Recompensas: cuantificaremos el grado de recompensas en función del número de puntos canjeados por objetos en la tienda. Analizaremos la relación de esta variable con la de persistencia.

Por último, sacaremos conclusiones sobre los intereses y la motivación, concretamente la MI, de los jugadores a partir de las variables anteriores y de las observaciones generales.

Los rastros recogidos de BAC y su relación con las variables de la investigación se muestran en la Tabla 41. Además, se asocian identificadores únicos a cada usuario, a cada sesión de juego y a cada nivel jugado. También se recoge información sobre la edad, el sexo, el tipo de dispositivo, la fecha y la hora de cada partida, el nivel y el reto propuesto (ya que los retos se establecen de forma aleatoria y son diferentes para cada partida).

Los datos se almacenaron en una base de datos relacional SQL remota que se conecta al juego a través de una API .NET para garantizar la seguridad de los datos. Los datos se analizaron utilizando Python (con la biblioteca scikit-learn), Microsoft Excel y el software SPSS. Existen diferentes técnicas de visualización que se han aplicado a los datos de análisis de juegos [219]. En este caso se ha utilizado la biblioteca matplotlib de Python, Microsoft Excel y el software Gephi para diversas visualizaciones, como las métricas de rendimiento, las trayectorias del juego o las curvas de aprendizaje.

BAC ha sido desarrollado para los sistemas operativos Android e iOS y ha sido desplegado en las plataformas virtuales "Google Play" y "Apple Store" [226], estando disponible para su descarga gratuita en todo el mundo. No se han realizado campañas publicitarias dirigidas a ningún grupo o población específica para evitar sesgos previos.

7.2.3. Participantes y procedimiento

Los datos recogidos abarcan un periodo de 15 meses durante los cuales cualquier usuario era libre de descargar el juego y jugar tantas veces como quisiera. Desde Google Play se han realizado 741 descargas, procedentes de 53 países diferentes, de ellos, España fue el país con más descargas (24.5% del total), seguido de Estados Unidos (5.98%). Desde la Apple Store se han realizado 2130 descargas en 42 países diferentes, siendo Finlandia el país con más descargas (51.64% del total), seguido de México (23.90%). Se registraron 4124 usuarios en total (Google Play=2294; Apple Store=1829) y se jugaron 28187 partidas, teniendo en cuenta que cada dispositivo puede registrar hasta 6 usuarios, y cada usuario puede jugar cualquier número de veces.

7.3. Resultados y discusión

Se analizarán los datos obteniendo primero una visión general y luego profundizando en cada uno de los aspectos del estudio y en las edades clave en las que se han observado cambios significativos en cuanto a intereses y comportamiento de juego.

7.3.1. General

Tras el preproceso de filtrado de datos, en el que se han excluido valores atípicos (outliers) numéricamente distantes del resto de los datos (por ejemplo, demasiado tiempo de juego, que puede interpretarse con dejarse el dispositivo encendido por error), se han analizado 1875 usuarios y 25118 partidas. El tiempo total de juego es de 49563,85 minutos (por usuario: Media = 26,43; Mediana = 3,87; SD = 199,81). Como nos interesa el análisis del PC en edades tempranas, nos centraremos en el grupo de edad de 3 a 12 años en el que se han jugado un total de 23651 partidas. La Figura 52 muestra que la distribución de los jugadores por edad de 3 a 12 años se ajusta a una curva normal independientemente del género (Tamaño de la muestra (n) = 1630, Media = 6,47; SD = 1,744), aunque hay el triple de usuarios masculinos (70% del total). De la distribución de las descargas por género, se deduce que los niños están a priori más interesados que las niñas en aprender a programar, en línea con investigaciones anteriores [227]. Sin embargo, hay más usuarios de 6 años de lo esperado, tanto niños como niñas, quizás en parte porque es la edad que se puede introducir en la aplicación de forma más inmediata.

En un primer análisis, podemos ver que la media de tiempo total de juego sumando todas las partidas es mayor para las niñas (22,63 minutos) que para los usuarios (17,32 minutos), pero si dividimos la muestra por edades, podemos ver que los niños juegan más tiempo hasta los 5 años y, a partir de ahí, hay un cambio de tendencia muy marcado y, a los 6 años, las niñas juegan una media de 72,44 minutos en total (véase la Figura 53). Consideramos este hallazgo como una indicación para prestar especial atención en las edades de 4 a 6 años, especialmente en las niñas.

Cuando comparamos el número medio de intentos o partidas (persistencia) y el tiempo medio dedicado a cada intento (relacionado con la habilidad), por edad y género (véase la Figura 54) podemos observar que las niñas jugaron más partidas por usuario en total (media de intentos por parte de los niños = 13,76; media de intentos por parte de las niñas = 15,70). Aunque hasta los 5 años la persistencia es mayor para los niños, a partir de esa edad la tendencia se invierte, siendo las niñas las que juegan significativamente más partidas que los niños (de 6 a 8 años: prueba t de Student p = .011 < .05). Del mismo modo, en el rango de edad de 3 a 5 años, los niños pasaron más tiempo jugando por usuario, pero en el rango de edad de 6 a 8 años, el tiempo dedicado por partida es mucho mayor para las chicas (de 6 a 8 años: prueba t de Student p = .002 < .01). Esto proporciona el primer indicio de persistencia, ya que, aunque los niños parecen estar más interesados en descargar el juego, una vez instalado, las niñas dedican más tiempo y realizan un mayor número de intentos, especialmente a partir de los 6 años. Además, parece que la persistencia en el juego es mayor en las niñas a partir de los 6 años, mientras que en los niños disminuye con la edad.

En cuanto al logro, medido como porcentaje de partidas ganadas sobre las jugadas (Media = 42,89; SD = 31,27), se observa en la Figura 55 que siempre es mayor para las niñas, independientemente de la edad o del tiempo medio empleado. En general, el logro es significativamente mayor en las niñas (prueba t de Student p = .000 < .01), especialmente a la edad de 3 años.

Por último, para evaluar el dominio global del juego, se compararon tanto el logro como la habilidad por edad y género. Se puede observar en la Figura 56, que de los 3 a los 5 años, las niñas tienen un mayor logro con menos tiempo invertido por intento, y menos intentos necesarios (véase la Figura 54), por lo que deducimos que podrían tener un claro mayor dominio que los niños. Sin embargo, de los 6 a los 8 años, aunque su logro es mejor, las niñas pasan mucho más tiempo jugando, por lo que no podemos deducir un mayor dominio y consideramos que este comportamiento debe ser explorado con más detalle, lo que haremos más adelante en este capítulo. De 9 a 12 años, el tiempo dedicado es similar en niñas y niños, con un mayor logro en las niñas.

7.3.2. Conceptos computacionales

Tras estos resultados preliminares, se han analizado las variables de investigación por niveles del juego (correspondientes a distintos conceptos computacionales). En primer lugar, el nivel 1 (secuencias simples) es el de mayor rendimiento o logro (Media = 45,53; Mediana = 46,00; SD = 30,34), seguido del nivel 3 (bucles simples), 5 (while simple) y 6 (while complejo). Los niveles con menos logro son el 2 (secuencias largas) y el 4 (bucles anidados). Fue una sorpresa encontrar dificultades en el nivel 2 (Media = 24,20; Mediana = 15,00; SD = 27,45) ya que este nivel trata el concepto de secuencias, que es el más sencillo que se aborda en el juego. Sin embargo, la particularidad de este nivel y su única diferencia con el nivel 1 es que las secuencias a construir son muy largas. Nuestra hipótesis es que esta dificultad en el nivel 2 está relacionada con la memoria de trabajo, que es crucial para almacenar información. Esta memoria de trabajo se desarrolla a lo largo de los años escolares y tiene importantes consecuencias en la capacidad de aprendizaje de los niños [58]. Por último, el nivel 4 también tiene un bajo rendimiento (Media = 29,44; Mediana = 17,00; SD = 32,67) y se considera el nivel más difícil incluido en el juego, ya que los bucles anidados se consideran un concepto inalcanzable a los 4 años [59], [60].

En cuanto al género, como se muestra en la Figura 57, las niñas tienen un mayor rendimiento que los niños en los niveles más difíciles, especialmente en los niveles 2 y 4, donde los niños tienen una mediana muy baja. El único nivel en el que los niños tienen un mayor rendimiento que las niñas es el nivel 3, de dificultad media.

Para obtener una visión global del dominio en cada concepto, se ha analizado el logro y la persistencia en cada uno de los niveles y por edad (Figura 58 y Figura 59). Se observa que, a los 3 años, el nivel 1 (secuencias simples) se domina con una media en el caso de los niños del 42,8% de logro y 14,9 intentos medios por usuario, y, en las niñas, un 72,2% de éxito y 5 intentos por usuario. A partir de este momento, la persistencia y el logro son similares en todas las edades, independientemente del género, en el nivel 1. Además, a los 3 años, los niños se interesan más por el nivel 3, con una media de 23 intentos y un 37% de logro.

A la edad de 4 años, los usuarios masculinos muestran una alta persistencia en el nivel 2 (49,3 intentos de media por usuario) a pesar del bajo rendimiento (32%), en comparación con los 2 intentos por usuario de las niñas y el 0% de rendimiento. Cabe destacar que, a esta edad, en el nivel 3, las chicas obtienen un logro del 25% frente al 0% de los chicos. En el nivel 6 (concepto while complejo) se obtiene un logro elevado (50%) con pocos intentos.

A los 5 años, se observa el mismo comportamiento en el nivel 2; el nivel 3 tiene un logro elevado con menos intentos tanto por parte de los chicos como de las chicas; y el nivel 4 empieza a despertar interés en ambos géneros por igual (11 juegos de media por usuario), aunque el logro es mayor para las chicas (66,5% frente al 41% de los chicos). En los niveles 5 y 6 no hay diferencias notables en cuanto al género.

A los 6 años, los niños no están tan interesados en el nivel 2, pero las niñas sí (67% de logro). El nivel 3 despierta más interés en las niñas (32,8 intentos, frente a 14,2 en los niños) con un rendimiento similar (en torno al 35%). El nivel 4 está igualado por sexos (10,6 intentos con un 27,6% de consecución por parte de los niños, frente a 7,7 intentos y un 18,3% de consecución por parte de las niñas). Los niveles 5 y 6 despiertan más interés en los niños a esta edad.

A los 7 años, el nivel 3 deja de ser interesante para ambos sexos y el nivel 4 pasa a ser muy interesante para las niñas, con una media de 62,5 intentos por usuario, frente a los 5 intentos de los niños. Sin embargo, el rendimiento es similar (en torno al 30%).

Por último, a los 8 años, el nivel 2 es totalmente dominado por las niñas, con un 92% de éxito, frente al 34,3% de los niños. Sólo las niñas juegan al nivel 4 (13 juegos por usuario de media) con un logro del 23%, y los chicos pierden el interés por él. A partir de este punto, no hay diferencias significativas en el resto de los niveles.

En conclusión, las secuencias simples parecen dominarse a partir de los 3 años, pero el nivel 2 (secuencias largas) no parece dominarse hasta los 5 años. En el nivel 3, en cambio, el rendimiento aumenta alrededor de los 3 años en el caso de los niños y de los 4 años en el caso de las niñas. En el nivel 4 (bucles anidados) parece que el rendimiento es mayor a partir de los 5 años en el caso de las niñas y de los 6 años en el caso de los niños, con un mejor rendimiento por parte de las niñas. Por otra parte, en los niveles 5 y 6 (condicionales), el rendimiento aumenta a los 4 años, independientemente del sexo. Estos resultados están en consonancia con investigaciones anteriores [8], [61], en las que los niños obtuvieron mejores resultados que las niñas en los niveles intermedios, mientras que esta tendencia se invirtió en los niveles más difíciles.

A los 4 años, las niñas juegan en promedio muchas partidas en el nivel 2 (secuencias largas) a pesar de un bajo rendimiento, lo que sugiere un comportamiento de automejora en respuesta a un reto. Un comportamiento similar se observa en las niñas a los 6 años en el nivel 3, y a los 7 años en el nivel 4, que ofrece el reto más difícil.

7.3.3. Progresión

Hasta ahora hemos obtenido una imagen general, pero es importante observar la progresión de los jugadores a lo largo de los intentos de juego. En la Figura 60 se muestran los logros y el tiempo por partida a lo largo de los intentos y por género.

Tanto las niñas como los niños mejoran a lo largo de los intentos, pero en los niños la mejora es más significativa (progresión positiva), con correlaciones más altas en comparación con las chicas, tanto en la mejora del tiempo (habilidad) (chicos, coeficiente de determinación (R2) = 0,83; chicas R2 = 0,70) como en el logro (chicos R2 = 0,82; chicas R2 = 0,73). Desde la primera vez que juegan (primer intento), las niñas tienen un mayor logro y habilidad (emplean menos tiempo) que los niños en completar el reto. A partir del intento número 50, el logro es similar.

Teniendo en cuenta los resultados obtenidos hasta el momento, nos centraremos en el logro en los diferentes niveles (Figuras 61 a 63), durante los 10 primeros intentos, y prestaremos especial atención al tramo entre los 4 y los 6 años de edad de los jugadores, ya que es el tramo en el que se ha observado previamente el mayor cambio en el rendimiento.

Se observa que a la edad de 4 años (véase la Figura 61), las niñas, a medida que juegan, consiguen el 100% de éxito en todos los niveles, excepto en los niveles 1 y 4. En el nivel 1, el 100% de los logros se alcanza a los 3 años, y es posible que este nivel no se vuelva a alcanzar a los 4 años porque es aburrido para los niños de esta edad, por lo que puede haber una falta de motivación para superar el reto. A la edad de 4 años y en el nivel 4, tal vez debido a la falta de interés en jugar porque se percibe como difícil en primera instancia, sólo hay un máximo de 57,14% de logro para los niños en el intento 5, y un 50% de logro en el intento 9 para las niñas en los primeros 10 intentos. Sin embargo, son capaces de alcanzar el 100% de logro en este nivel en los intentos número 13 (niñas) y número 14 (niños).

A los 5 años (véase la Figura 62), las niñas son capaces de completar el nivel 4 con un 100% de logro, en el intento 8. Cabe destacar que las niñas, a los 5 años, obtienen un 50% de logro en el primer intento, mientras que los niños sólo alcanzan esta misma tasa de éxito en el tercer intento, y un máximo de 55,6% en el intento 8.

Uno de los comportamientos más destacables es que las niñas obtienen un logro significativamente mayor que los niños (a los 4 y 5 años, 10 primeros intentos: p = .02 < .05; niños: n = 641, media = 0.40; niñas: n = 284; Media = 0.47). Las niñas alcanzan el 100% de logro en varias ocasiones y en todos los niveles en los 10 primeros intentos entre los 3 y los 5 años, mientras que este comportamiento no se observa en el caso de los niños. Este comportamiento se sigue observando incluso después de los primeros 20 intentos. A partir de los 6 años (véase la Figura 63), las niñas tardan más tiempo e intentos en resolver los retos.

7.3.4. Persistencia

Para seguir analizando el comportamiento de los usuarios en el juego con respecto a la persistencia, se ha dividido la muestra en diferentes clústeres aplicando la técnica PCA (Análisis de Componentes Principales) para reducir la dimensionalidad y utilizando el método del codo para determinar el número de clústeres. Dado que este análisis se realiza después de haber recogido suficientes datos para poder extraer información adicional que muestre los diferentes comportamientos, y no en tiempo real, no es esencial que los tiempos de ejecución sean bajos [20], por lo que esta variable no se tiene en cuenta.

En primer lugar, el objetivo es distinguir entre los jugadores que siguen trayectorias de juego similares y también entre los jugadores que muestran persistencia frente a otros que juegan sólo unas pocas partidas y abandonan el juego. Se realizó una primera división de la muestra en clústeres que se presentan en la Figura 64. El clúster 1 agrupa a los jugadores que juegan varias partidas, con una media de 58 partidas por usuario, especialmente en los niveles más fáciles. El clúster 2 agrupa a los jugadores con más intentos (mayor persistencia), con una media de 147 partidas por usuario y concentrados mayoritariamente en el nivel 1. El clúster 3 agrupa a los usuarios con una media de intentos de 46 por usuario, pero se distribuyen uniformemente en todos los niveles. Por último, el clúster 4 agrupa a los usuarios con un perfil bajo (media de 7 juegos por usuario), distribuidos entre los 6 niveles.

La Tabla 42 muestra que la proporción de niñas respecto a niños en todos los clústeres es similar a la proporción total (70% de chicos en el grupo de usuarios de 3 a 12 años), mientras que en el clúster 2 la proporción no se conserva y hay un 66,5% de niñas, con edades comprendidas entre los 5 y los 7 años. A partir de los 7 años, también hay más niñas que la proporción total en el clúster 1. La Figura 65 muestra, para cada edad, qué porcentaje de cada clúster está compuesto por usuarios de cada sexo. Podemos confirmar, por tanto, que el número de partidas por jugador es mayor en el caso de las niñas con diferencia, en los casos concretos en los que se han alcanzado más de 200 intentos y especialmente en el nivel 1, y que este comportamiento de las jugadoras con una persistencia muy alta se observa sobre todo entre los 5 y los 7 años, y a partir de ahí también es apreciable, pero no es tan pronunciado. En el caso de los chicos, parece haber un cambio a partir de los 8 años, cuando hay una menor proporción de usuarios masculinos en los grupos 1 y 2. Estos usuarios juegan en todos los niveles sin alcanzar un número muy elevado de intentos.

7.3.5. ¿Persistencia para superar un reto o persistencia para obtener una recompensa?

Un análisis más profundo nos lleva a analizar si la repetición inmediata de un nivel está causada por la intención de superar un reto, en cuyo caso se repetiría el nivel después de haberlo perdido, lo que llamaremos persistencia-reto; o la intención de consolidar el conocimiento (satisfacción por ganar) y/o obtener una recompensa (puntos de victoria), en cuyo caso se repetiría el nivel después de haberlo ganado, lo que llamaremos persistencia-recompensa. Para analizar estos comportamientos, hemos tomado las primeras 30 partidas, de forma que podamos analizar el comportamiento a lo largo de suficientes repeticiones, considerando si en el caso de ganar o perder una partida se ha producido una repetición inmediatamente posterior.

En primer lugar, se ha creado un vector de características en el que, para cada usuario, se ha determinado un valor acumulado en cada componente del vector que varía en función de si se ha ganado o perdido la partida actual en relación con el resultado de la partida anterior. La Figura 66 muestra la división en clústeres y la Figura 67 muestra la tendencia acumulada en términos de éxito en las partidas de cada clúster (la curva sube en caso de victorias sucesivas y baja en caso de pérdidas sucesivas). En cuanto a la edad, no hay diferencias significativas entre los clústeres, ya que la edad media de todos ellos oscila en torno a los 6,5 años. Los clústeres centrales (1 y 2) son los que tienen un menor número de partidas en total. Se observa un mayor porcentaje de niños en el clúster 1 (véase la Tabla 43) que pierden la partida y vuelven a intentarlo a pesar de haber perdido en numerosas ocasiones, lo que sugiere un comportamiento de persistencia-reto, sin embargo, estos usuarios apenas tienen partidas exitosas. En el clúster 2 la mayoría son chicas, estos usuarios también muestran un comportamiento de persistencia-reto, aunque mucho menor, ya que hay muchas menos partidas seguidas sin éxito y, en un momento dado, la tendencia se invierte y hay partidas ganadoras. Los clústeres 3 y 4 agrupan a los usuarios con muchas partidas. En el clúster 4, en el que hay mayoría de jugadores niños, se observa de nuevo el comportamiento de persistencia-reto, con muchas partidas consecutivas perdidas, y con una inversión de la tendencia alrededor de la partida número 20, donde los usuarios empiezan a ganar muchas partidas. Finalmente, en el clúster 3, con la mayoría de las chicas, se observa un comportamiento de persistencia-recompensa, ya que ganan la mayoría de las partidas desde el principio y a lo largo de todas ellas. Se puede concluir que, por tanto, el comportamiento de repetición a pesar de haber perdido (persistencia-reto) acumula más niños y el comportamiento de persistencia-recompensa acumula más niñas.

Finalmente, para comprobar estos resultados, se ha vuelto a analizar el comportamiento de cada clúster (véase la Figura 68), esta vez teniendo en cuenta las siguientes variables, cuya distribución se muestra en la Figura 69:

- nMaxL = Número máximo de partidas consecutivas perdidas;

- nMaxW = Número máximo de partidas consecutivas ganadas;

- nSec3L = Número de partidas consecutivas perdidas =>3;

- nSec3W = Número de partidas consecutivas ganadas =>3;

- nCtLaW = Número de cambios de tendencia, de perdidas a ganadas;

- nCtWaL = Número de cambios de tendencia, de ganadas a perdidas;

- nL = Número total de partidas perdidas;

- nW = Número total de partidas ganadas.

El clúster 3 incluye a los usuarios con muy pocas partidas jugadas en general. Los clústeres 1 y 5 son donde, proporcionalmente, hay más niñas. Estos clústeres aglutinan un comportamiento en el que hay una mayor sucesión de partidas ganadas, alcanzando una media de 7,71 partidas sucesivas ganadas en el clúster 5 y una alta tasa de éxito (64,56%). Como se observa en la Tabla 44, en los clústeres 2 y 4 es donde hay proporcionalmente más niños con un comportamiento en el que hay mayor sucesión de partidas ganadas, alcanzando, en el clúster 2, una media de 11,65 partidas sucesivas perdidas y una tasa de éxito muy baja (23,38%). Se confirman, por tanto, los resultados anteriores: la conducta de persistencia-reto es más frecuente en los niños, frente a la conducta de persistencia-recompensa, más frecuente en las niñas.

7.3.6. Recompensas

Por último, se ha analizado en profundidad el comportamiento persistencia-recompensa, con el fin de aclarar si este comportamiento se debe a la satisfacción de ganar el reto para afianzar los conocimientos, o si existe un deseo de obtener puntos de recompensa para canjearlos en la tienda virtual y personalizar al personaje principal.

En primer lugar, se analizan los gráficos de trayectorias entre los niveles del juego (véase la Figura 70), donde los nodos (niveles) son más grandes según el número de intentos (persistencia) que se han realizado en ese nivel y las aristas son más gruesas según su grado de salida (grado de salida del nivel: 1 = 10467; 2 = 3835; 3 = 2628; 4 = 2135; 5 = 3302; 6 = 2751). Hay conexiones entre todos los niveles, especialmente del nivel 1 al resto, y de cada nivel al siguiente superior (la arista saliente es del mismo color que el nodo de origen).

La Figura 71 muestra las trayectorias después de ganar una partida (grado de salida: 1 = 6017; 2 = 1993; 3 = 1308; 4 = 672; 5 = 1228; 6 = 1075). Se puede observar una clara progresión entre niveles en orden del nivel 1 al 6, ya que después de ganar, los usuarios suelen probar el siguiente nivel. Se observan pocas repeticiones de un nivel después de ganar, especialmente en el nivel 4, considerado difícil; y excepto en el nivel 1, el más fácil, con un gran número de repeticiones (bucle grueso en el nodo 1), lo que refuerza la hipótesis de que la repetición después de ganar se debe a un comportamiento de persistencia-recompensa (que se observó anteriormente, especialmente en las chicas), y no a la voluntad de consolidar los conocimientos.

La Figura 72 muestra las trayectorias después de haber perdido una partida (nivel fuera de grado: 1 = 4450; 2 = 1842; 3 = 1320; 4 = 1463; 5 = 2074; 6 = 1676); se puede observar que hay más persistencia en cada nivel (bucles gruesos en los nodos) si se ha perdido el juego. Aunque el nivel 4 es el más difícil y el menos jugado, no es el que presenta un comportamiento de persistencia-reto más bajo, los jugadores persisten en el reto, incluso después de perder, y a pesar de que es el nivel más difícil, en el que pierden más veces, y en el que los chicos tienen un rendimiento especialmente bajo en comparación con las chicas. Además, el nivel 3 es el nivel en el que se observa la menor persistencia después de perder (bucle fino en el nodo 3) y el nivel en el que los chicos muestran el mayor rendimiento en comparación con las chicas. Estas observaciones refuerzan nuestra hipótesis de que este comportamiento de persistencia-reto es más frecuente en los chicos que en las chicas.

La Tabla 45 muestra el comportamiento de persistencia-reto en términos del porcentaje de jugadores que, habiendo perdido el nivel, lo repiten; y el comportamiento de persistencia-recompensa en términos del porcentaje de jugadores que, habiendo ganado el nivel, lo repiten, por edad, género y nivel. El comportamiento de persistencia-reto es claramente menor en las niñas, especialmente en los niveles más difíciles (2 y 4), y a la edad de 4 años (prueba de Chi-Cuadrado p = .018 < .05). Por el contrario, la conducta de persistencia-recompensa se observa más en las niñas, especialmente en los niveles más fáciles, lo que nos lleva a nuestra hipótesis de que el objetivo final de esta conducta es obtener puntos de recompensa para canjearlos en la tienda por objetos. Esta hipótesis se confirma ya que el análisis del número de puntos gastados y de las visitas a la tienda es significativamente mayor en las niñas (prueba t de Student p = .003 < .01). También se ha detectado un comportamiento particular extremo de persistencia-recompensa, en el que se recogen objetivos parciales de poco valor y se abandona la partida antes de superar el reto, continuadamente. Este comportamiento se ha detectado sobre todo en los niños.

7.4. Conclusiones

A partir de los resultados obtenidos en BAC y apoyados en la base teórica inicial, podemos concluir que el uso de un videojuego voluntario basado en la MI, al que se han aplicado técnicas de GLA y visualizaciones comparativas, puede aportar hallazgos que pueden ser relevantes en cuanto a intereses, habilidades, micropersistencia y comportamiento en respuesta a recompensas.

7.4.1. Interés en aprender a programar y resolver problemas computacionales

En línea con investigaciones anteriores [227], a priori parece haber un mayor interés por aprender a programar en los niños que en las niñas, ya que el 70% de las descargas corresponden a usuarios masculinos y, una vez instalado BAC, los niños juegan más a menudo y pasan más tiempo jugando hasta los 5 años. Sin embargo, a partir de los 6 años, el tiempo de juego y el número de partidas es mucho mayor en las niñas que en los niños. Este drástico cambio de comportamiento ha requerido un análisis más profundo en términos de persistencia.

El rendimiento en todas las edades es significativamente mayor en las niñas que en los niños, especialmente de los 3 a los 5 años, cuando las niñas parecen ser más hábiles que los niños en la resolución de los retos, ya que necesitan mucho menos tiempo e intentos para superar los retos y su rendimiento (número de partidas ganadas sobre las jugadas) es mayor, por lo que deducimos que podrían tener un claro mayor dominio que los niños. Sin embargo, de los 6 a los 8 años, aunque su rendimiento sigue siendo mejor, las niñas pasan mucho más tiempo jugando y, según los resultados de nuestra investigación, este comportamiento no está relacionado con el dominio de los conceptos abordados, sino que se debe a un comportamiento de persistencia- recompensa.

Con respecto a la resolución de problemas computacionales específicos, las chicas tienen un mayor interés y rendimiento en los niveles más difíciles (bucles anidados y secuencias largas), en comparación con los chicos, que tienen un interés similar por cada concepto, pero un mayor rendimiento sólo en el nivel que aborda los bucles simples, que es de dificultad media. Estos resultados coinciden con investigaciones anteriores [117], [228], en las que los chicos obtuvieron mejores resultados que las chicas en los niveles intermedios, mientras que esta tendencia se invirtió en los niveles más difíciles.

Las secuencias simples parecen dominarse a partir de los 3 años de edad, independientemente del género. Sin embargo, la memoria de trabajo [44], [229], que se considera un indicador de la adquisición de habilidades de programación [1], parece desempeñar un papel importante cuando se trabaja con secuencias largas y esto puede influir en el aprendizaje, ya que no se dominan hasta la edad de 5 años, independientemente del género. Los bucles simples se dominan en torno a los 3 años para los niños y a los 4 años para las niñas. En cambio, los bucles anidados parecen superarse a partir de los 5 años para las niñas y de los 6 años para los niños. Por último, en lo que respecta a los condicionales, el rendimiento aumenta a los 4 años, independientemente del sexo. Todos los conceptos abordados pueden ser superados entre los 3 y los 6 años, lo que podría ser un aspecto a tener en cuenta para la elaboración de los programas escolares.

7.4.2. Habilidades y logros a través de los intentos en el juego

En cuanto a la progresión, tanto las niñas como los niños mejoran a lo largo de los intentos, pero la mejora de los niños es más significativa tanto en tiempo como en rendimiento. Sin embargo, las niñas obtienen un logro significativamente mayor que los niños y alcanzan el logro completo en todos los niveles en los primeros 10 intentos entre los 3 y 5 años, mientras que este comportamiento no se observa en el caso de los niños. A partir de los 6 años, las niñas tardan más tiempo e intentos en resolver los retos debido a un comportamiento de persistencia-recompensa.

Es destacable que, aunque los bucles anidados parecen ser difíciles para los alumnos de primaria [215], [224], es posible dominar completamente este concepto a los 4 años, independientemente del género, si se realizan suficientes intentos y, además, los niños son capaces de persistir en el reto voluntariamente, intrínsecamente motivados, hasta dominarlo. Este podría ser también un aspecto a tener en cuenta para el desarrollo de los programas escolares, ya que todos los conceptos abordados (secuencias, bucles simples y anidados, y condicionales) podrían dominarse a los 4 años si existe una persistencia intrínsecamente motivada.

7.4.3. Comportamientos de juego: persistencia y recompensas

En un entorno basado en el juego, una reacción positiva al fracaso, en forma de persistencia ante un reto, puede predecir un mejor rendimiento académico [230], [231], y, a su vez, los jugadores están muy motivados para repetir la tarea y superar el reto, y el desarrollo de este estilo motivacional positivo puede conducir al éxito educativo [212]. Por otra parte, las recompensas en los videojuegos son muy eficaces para entrenar conductas, ya que enseñan a los jugadores que la persistencia ante el fracaso tiene recompensas [211], [212].

Este comportamiento de persistencia ante el fracaso, que hemos llamado comportamiento de persistencia-reto (repetición a pesar de perder) se ha observado claramente en ambos géneros, pero es más pronunciado en los chicos, lo que podría explicar por qué su progreso está altamente correlacionado con la persistencia. En cambio, el comportamiento de persistencia-recompensa (repetición después de ganar) se observa significativamente más en las niñas, especialmente entre los 5 y los 7 años, cuando ya dominan todos los conceptos abordados.

De nuestro análisis podemos concluir que este comportamiento de persistencia-recompensa es principalmente para la acumulación de puntos de recompensa y su intercambio por objetos virtuales en el juego, y no para la asimilación de conceptos. Creemos que este puede ser un hallazgo relevante de nuestra investigación, ya que estos usuarios no juegan con el objetivo de superar retos o aprender conceptos, sino con el único objetivo de recibir una recompensa. Aunque el aprendizaje derivado de este comportamiento es posible, este aprendizaje podría ser reducido ya que el objetivo no es superar el reto, de hecho, se ha detectado un comportamiento extremo en este sentido en el que los jugadores juegan sucesivos intentos y en todos ellos abandonan el reto tras haber acumulado recompensas parciales con el claro objetivo de acumular puntos para canjear, pero sin superar el reto en ninguno de los intentos. Dado que los niños son capaces de dominar los conceptos abordados antes de los 5 años mediante la práctica continuada, nos preguntamos si no es contraproducente retrasar la adquisición de estos conceptos hasta después de los 5 años, cuando la conducta de persistencia- reto es menor y surge la de persistencia-recompensa, especialmente en las niñas.

Por otro lado, para el aprendizaje de la programación a partir de los 5 años, también se podría sugerir la motivación a través de recompensas, especialmente en las niñas, ya que se sabe que las recompensas tienen un efecto motivacional o metacognitivo positivo en el aprendizaje de forma que aumenta el compromiso con el juego [215], pero siempre teniendo en cuenta no sobrepasar el límite en el que las recompensas pueden ser perjudiciales para el aprendizaje, disminuyendo la motivación intrínseca [208] y llegando potencialmente al caso extremo detectado en el que ya no hay intención de aprender, y también teniendo cuidado de no sobrepasar el "punto dulce" [12], [232] en el que hay un equilibrio entre el reto y la frustración.

Las posibles aplicaciones derivadas de los resultados de la investigación se basan en la recomendación de analizar los aspectos de persistencia y recompensas en los juegos educativos. El entorno BAC podría utilizarse en contextos escolares, además de para el aprendizaje de la programación y su evaluación, para analizar aspectos relacionados con la motivación intrínseca, pero, en este caso, siempre que su uso sea totalmente voluntario. En este mismo sentido, se recomienda incorporar juegos educativos basados en la motivación intrínseca en los entornos escolares. Los currículos escolares podrían diseñarse teniendo en cuenta que, a través de esta motivación, los niños pueden ser capaces de superar los conceptos computacionales abordados (incluidos los bucles anidados) antes de los 5 años, existiendo diferencias de género en la adquisición de estos conceptos. También se recomienda diseñar juegos educativos teniendo en cuenta estos aspectos, y de esta forma potenciar la conducta de persistencia-reto en y, a partir de los 5 años, controlar o potenciar la conducta de persistencia-recompensa respecto a las niñas.

En conclusión, al utilizar un juego completamente voluntario y no controlado, se pueden explorar en detalle aspectos conductuales asociados a la motivación intrínseca, como la progresión en los intentos voluntarios, la persistencia y el comportamiento en respuesta a las recompensas. Creemos que nuestros hallazgos podrían guiar el diseño de mejores herramientas para el aprendizaje de la programación y el desarrollo del PC. Dado que la edad y el género influyen en el rendimiento en estos retos, es aconsejable adaptar las herramientas de aprendizaje en consecuencia, así como el currículo escolar. Además, los entornos de aprendizaje podrían adaptar la forma de proporcionar refuerzos y recompensas, especialmente para los niños en los retos más complejos y para las niñas a partir de los 5 años. Sin embargo, se necesitan nuevos estudios que tengan en cuenta estas complejidades.

Aunque en esta investigación se han aportado nuevos enfoques de aprendizaje basados en la motivación intrínseca, siguen existiendo preguntas abiertas, por ejemplo: ¿cómo podrían incluirse en los entornos escolares los entornos de aprendizaje basados en la motivación intrínseca? ¿Podrían extraerse conclusiones relevantes del análisis del código construido por los jugadores para superar los retos? Además de analizar los datos posteriores al juego, como se ha hecho en este análisis, es posible utilizar nuestras conclusiones para mejorar los entornos de aprendizaje que hacen uso del GLA para predecir y adaptar el aprendizaje, pero ¿cómo podrían implementarse directamente los elementos predictivos y adaptativos en un videojuego voluntario sin reducir la motivación intrínseca? Además, hay otros conceptos y habilidades relacionados con el PC que no se han abordado y podrían desarrollarse en otras versiones de BAC en futuras investigaciones.

La motivación intrínseca correlaciona positivamente con el aprendizaje, el interés, la persistencia, la auto-competencia y la autoeficacia [204], [205], [213], [220]. Además, los estilos motivacionales específicos afectan directamente a los logros y al rendimiento académico, y estos estilos podrían detectarse y desarrollarse a través de los videojuegos [211]. Dados los hallazgos que se han reportado en esta investigación y las preguntas que quedan abiertas, creemos que se debe investigar más sobre los comportamientos que surgen de la motivación intrínseca, utilizando entornos voluntarios de aprendizaje y evaluación basados en juegos. También consideramos que las técnicas de GLA y las visualizaciones comparativas son apropiadas para analizar estos comportamientos.

7.5. Limitaciones y líneas de actuación

Esta investigación tiene algunas limitaciones, por ejemplo, es posible que algunos usuarios se hayan conectado dos veces con distintos dispositivos y hayan sido tratados como dos personas diferentes; que hayan introducido datos erróneos con respecto a la edad o el sexo; o que hayan dejado el juego encendido por error, lo que ha repercutido en el tiempo de juego. Sin embargo, dado el gran volumen de datos recogidos de diferentes poblaciones y el preprocesamiento de los datos, este impacto se ha minimizado.

Como se ha visto en las conclusiones, de esta experiencia se extraen hallazgos relevantes que pueden ayudar tanto al diseño de juegos educativos con elementos de MI, persistencia y recompensas, así como al diseño del currículo escolar en cuanto al aprendizaje de la programación y el PC, determinando qué puede aprenderse a cada edad y las diferencias que hay en cuanto al género en la adquisición de los diferentes conceptos computacionales.

Según las conclusiones anteriores, las líneas futuras de investigación podrían ser:

- Inclusión de entornos basados en la MI en contextos escolares.

- Análisis del código propuesto por los estudiantes en términos de optimización y estilos de programación utilizando GLA.

- Ampliación de BAC incluyendo los hallazgos sobre comportamientos de juego.

- Ampliación de BAC para hacer uso de GLA adaptativo sin reducir la MI.

- Ampliación de BAC con más conceptos computacionales.

Gracias a esta experiencia, se ha confirmado la HE5: Los entornos de aprendizaje basados en juegos voluntarios pueden aportar información sobre disposiciones y predisposiciones para el aprendizaje del PC según las características del individuo en cuanto a edad y género, y se han alcanzado los objetivos específicos de este capítulo.

En cuanto a los objetivos generales de la tesis, se ha completado el objetivo OP4 y el objetivo global de la tesis OP. En este punto, el grado de cumplimiento de los objetivos generales es el que se muestra en la Tabla 46.

Las publicación relativa a esta experiencia es la siguiente:

- M. Zapata-Cáceres and E. Martín-Barroso, "Applying Game Learning Analytics to a Voluntary Video Game: Intrinsic Motivation, Persistence, and Rewards in Learning to Program at an Early Age," in IEEE Access, vol. 9, pp. 123588-123602, 2021, doi: 10.1109/ACCESS.2021.3110475.

Bibliografía

  [1]V. J. Shute, C. Sun, and J. Asbell-Clarke, "Demystifying computational thinking," Educational Research Review, vol. 22, pp. 142-158, 2017. Available: https://www.sciencedirect.com/science/article/pii/S1747938X17300350, doi: 10.1016/j.edurev.2017.09.003.

  [2]M. Berland and U. Wilensky, "Comparing virtual and physical robotics environments for supporting complex systems and computational thinking," Journal of Science Education and Technology, vol. 24, no. 5, pp. 628-647, 2015.

  [3]J. M. Wing, "Computational thinking and thinking about computing," Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, vol. 366, no. 1881, pp. 3717-3725, 2008. Available: http://rsta.royalsocietypublishing.org/content/366/1881/3717.abstract, doi: 10.1098/rsta.2008.0118.

  [4]T. Hsu, S. Chang, and Y. Hung, "How to learn and how to teach computational thinking: Suggestions based on a review of the literature," Computers & Education, vol. 126, pp. 296-310, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131518301799, doi: //doi.org/10.1016/j.compedu.2018.07.004.

  [5]S. Grover and R. Pea, "Computational Thinking in K—12: A Review of the State of the Field," Educational Researcher, vol. 42, no. 1, pp. 38-43, 2013. Available: https://www.jstor.org/stable/23360476, doi: 10.3102/0013189X12463051.

  [6]M. Zapata-Cáceres and N. Fanchamps, "Using the beginners computational thinking test to measure development on computational concepts among preschoolers," in Proceedings of the 5th APSCE International Computational Thinking and STEM in Education Conference 2021, Singapore, National Institute of Education, 2021, pp. 32-37.

  [7]Zapata-Cáceres María, E. Martín-Barroso and M. Román-González, "BCTt: Beginners computational thinking test," in Raspberry Pi Foundation Research Seminars, Apr 2021, pp. 46-56. ISSN 2514-586X (16). Available: https://www.raspberrypi.org/app/uploads/2021/05/Understanding-computing-education-Volume-1-%E2%80%93-Raspberry-Pi-Foundation-Research-Seminars.pdf.

  [8]M. Zapata-Cáceres, E. Martín-Barroso, and M. Román-González, “Computational thinking test for beginners: Design and content validation,” in IEEE Global Engineering Education Conference (EDUCON’20), Porto, Portugal, pp. 1905–1914, 2020, doi: 10.1109/EDUCON45650.2020.9125368.

  [9]J. Kirriemuir and A. Mcfarlane, Literature Review in Games and Learning. Bristol: Futurelab, 2004. Available: https://telearn.archives-ouvertes.fr/hal-00190453.

 [10]M. Prensky, "Digital game-based learning," Computers in Entertainment (CIE), vol. 1, no. 1, pp. 21, 2003.

 [11]M. Qian and K. R. Clark, "Game-based Learning and 21st century skills: A review of recent research," Computers in Human Behavior, vol. 63, pp. 50-58, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0747563216303491, doi: 10.1016/j.chb.2016.05.023.

 [12]L. S. Vygotsky, Mind in Society: The Development of Higher Psychological Processes. Cambridge, MA, USA: Harvard University Press, 1978.

 [13]J. Piaget, Psychology and Epistemology: Towards a Theory of Knowledge. CA, USA: Allen Lane, 1972.

 [14]D. H. Jonassen and L. Rohrer-Murphy, “Activity theory as a framework for designing constructivist learning environments,” Educational Technology Research & Development, vol. 47, no. 1, pp. 61–79, 1999. Available: https://www.jstor.org/stable/30220230, doi: 10.1007/BF02299477.

 [15]D. H. Jonassen, Learning to Solve Problems with Technology: A Constructivist Perspective. Upper Saddle River, N.J.: Merrill Prentice Hall, 2003.

 [16]C. Alonso-Fernandez et al, "Systematizing game learning analytics for serious games," in 2017 IEEE global engineering education conference (EDUCON), Apr 2017, pp. 1111-1118.

 [17]M. Freire et al, "Game Learning Analytics: Learning Analytics for Serious Games," Springer Nature Switzerland AG, pp. 1-29, Dec 1, 2016.

 [18]M. Zapata-Caceres, E. Martin, and M. Roman-Gonzalez, "Collaborative GameBased Environment and Assessment Tool for Learning Computational Thinking in Primary School: A Case Study," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 576-589, 1 Oct. 2021, doi: 10.1109/TLT.2021.3111108.

 [19]M. Zapata-Cáceres and E. Martín-Barroso, "Applying Game Learning Analytics to a Voluntary Video Game: Intrinsic Motivation, Persistence, and Rewards in Learning to Program at an Early Age," in IEEE Access, vol. 9, pp. 123588-123602, 2021, doi: 10.1109/ACCESS.2021.3110475.

 [20]M. Binkley et al, "Defining twenty-first century skills," in Assessment and Teaching of 21st Century Skill. Dordrecht: Springer Netherlands, 2012, pp. 17-66.

 [21]B. Trilling and C. Fadel, 21st Century Skills: Learning for life in our times. San Francisco: John Wiley & Sons, 2009.

 [22]H. Kim et al, "Enhancing teachers' ICT capacity for the 21st century learning environment: Three cases of teacher education in Korea," Australasian Journal of Educational Technology, vol. 28, no. 6, 2012.

 [23]K. Tang, T. Chou, and C. Tsai, "A Content Analysis of Computational Thinking Research: An International Publication Trends and Research Typology," The Asia-Pacific Education Researcher, pp. 1-11, 2019. Available: https://search.proquest.com/docview/2195733480, doi: 10.1007/s40299-019-00442-8.

 [24]S. Grover et al, "A Framework for Using Hypothesis-Driven Approaches to Support Data-Driven Learning Analytics in Measuring Computational Thinking in Block-Based Programming Environments," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-25, 2017. Available: http://dl.acm.org/citation.cfm?id=3105910, doi: 10.1145/3105910.

 [25]S. Grover and A. Korhonen, "Unlocking the Potential of Learning Analytics in Computing Education," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-4, 2017. Available: http://dl.acm.org/citation.cfm?id=3122773, doi: 10.1145/3122773.

 [26]S. Grover. “The 5th ‘C’ of 21st Century skills? Try computational thinking (not coding)”, edsurge.com. http://bit.ly/346qK78 (accessed Feb. 1, 2018). Available: http://scholar.aci.info/view/1544f0f08b300170003/161ce93d34000012ef80942.

 [27]J. A. Velazquez-Iturbide, "Towards an analysis of computational thinking," in Sep 2018, pp. 1-6.

 [28]J.A. Velázquez-Iturbide, “Towards an analysis of computational thinking,” in Int. Symp. on Computers in Education (SIIE’18), pp. 1-6, Sep. 2018.

 [29]M. Israel et al, "Supporting all learners in school-wide computational thinking: A cross-case qualitative analysis," Computers & Education, vol. 82, pp. 263-279, 2015. Available: https://www.sciencedirect.com/science/article/pii/S0360131514002759, doi: 10.1016/j.compedu.2014.11.022.

 [30]C. Angevine et al, "Computational Thinking for a Computational World," 2017. Available: www.digitalpromise.org.

 [31]National Research Council, Report of a Workshop on the Pedagogical Aspects of Computational Thinking. National Academies Press, 2011.

 [32]Q. Burke, W. I. O'Byrne and Y. B. Kafai, "Computational participation: Understanding coding as an extension of literacy instruction," Journal of Adolescent & Adult Literacy, vol. 59, no. 4, pp. 371-375, 2016.

 [33]J. F. Sanford and J. T. Naidu, "Computational thinking concepts for grade school," Contemporary Issues in Education Research (CIER), vol. 9, no. 1, pp. 23-32, 2016.

 [34]K. Mills et al, Computational Thinking for an Inclusive World: A Resource for Educators to Learn and Lead. Digital Promise, 2021. Available: https://doi.org/10.51388/20.500.12265/140.

 [35]C. Sneider et al, "Computational thinking in high school science classrooms," The Science Teacher, vol. 81, no. 5, pp. 53, 2014.

 [36]N. Kelly and J. S. Gero, "Design thinking and computational thinking: a dual process model for addressing design problems," Design Science, vol. 7, 2021.

 [37]T. C. Pargman et al, "Teaching Computational Thinking in K-9: Tensions at the Intersection of Technology and Pedagogical Knowledge," in 14th International Conference of the Learning Sciences (ICLS) 2020, vol. 4, pp. 2409-2410, International Society of the Learning Sciences, 2020.

 [38]D. Kohen-Vacs and M. Milrad, "Computational thinking education for in-service elementary swedish teachers: Their perceptions and implications for competence development," in International Conference on Computational Thinking Education, 13-15 June 2019, Hong Kong, 2019.

 [39]V. Allan et al, "Computational thinking in high school courses," in Proceedings of the 41st ACM Technical Symposium on Computer Science Education, 2010.

 [40]P. Sengupta et al, "Integrating computational thinking with K-12 science education using agent-based computation: A theoretical framework," Education and Information Technologies, 2013, vol. 18, no 2, p. 351-380. Available: https://search.proquest.com/docview/1323979287, doi: 10.1007/s10639-012-9240-x.

 [41]V. Barr and C. Stephenson, "Bringing computational thinking to K-12: What is Involved and what is the role of the computer science education community?" ACM Inroads, vol. 2, no. 1, pp. 48-54, 2011.

 [42]P. Mishra, A. Yadav, and Deep-Play Research Group, "Rethinking technology & creativity in the 21st century," TechTrends, vol. 57, no. 3, pp. 10-14, 2013.

 [43]J. M. Wing, "Computational Thinking Test," CACM Viewpoint, pp. 33-35, 2006. Available: http://www.cs.cmu.edu/~wing/.

 [44]M. Román-González, J. Pérez-González and C. Jiménez-Fernández, "Which cognitive abilities underlie computational thinking? Criterion validity of the Computational Thinking Test," Computers in Human Behavior, vol. 72, pp. 678-691, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563216306185, doi: 10.1016/j.chb.2016.08.047.

 [45]A. V. Aho, "Computation and computational thinking," The Computer Journal, vol. 55, no. 7, pp. 832-835, 2012.

 [46]K. Brennan, M. Resnick, and MIT Media Lab, "New frameworks for studying and assessing the development of computational thinking," American Educational Research Association Meeting, Vancouver, BC, Canada., 2012.

 [47]S. Papert, Mindstorms: Children, Computers, and Powerful Ideas. Basic Books, Inc., 1980.

 [48]J. J. Lu and G. H. Fletcher, "Thinking about computational thinking," in Proceedings of the 40th ACM Technical Symposium on Computer Science Education, 2009.

 [49]J. Wing, "Research notebook: Computational thinking—What and why," The Link Magazine, vol. 6, pp. 20-23, 2011.

 [50]S. Furber, "Shut down or restart? The way forward for computing in UK schools," The Royal Society, 2012. Available: https://royalsociety.org/-/media/education/computing-in-schools/2012-01-12-computing-in-schools.pdf.

 [51]M. Tedre and P. J. Denning, "The long quest for computational thinking," in Proceedings of the 16th Koli Calling International Conference on Computing Education Research, pp. 120-129, 2016.

 [52]J. Moreno et al, " No es lo mismo: un análisis de red de texto sobre definiciones de pensamiento computacional para estudiar su relación con la programación informática," Revista Interuniversitaria De Investigación En Tecnología Educativa, 2019, doi: 10.6018/riite.397151.

 [53]ISTE and CSTA, "Operational definition of computational thinking for K-12 education," 2011. Available: https://cdn.iste.org/www-root/Computational_Thinking_Operational_Definition_ISTE.pdf.

 [54]M. U. Bers et al, "Computational thinking and tinkering: Exploration of an early childhood robotics curriculum," Computers & Education, vol. 72, pp. 145-157, 2014. Available: https://search.datacite.org/works/10.1016/j.compedu.2013.10.020, doi: 10.1016/j.compedu.2013.10.020.

 [55]S. Atmatzidou and S. Demetriadis, "Advancing students’ computational thinking skills through educational robotics: A study on age and gender relevant differences," Robotics and Autonomous Systems, vol. 75, pp. 661-670, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0921889015002420, doi: 10.1016/j.robot.2015.10.008.

 [56]N. D. Anderson, "A call for computational thinking in undergraduate psychology," Psychology Learning & Teaching, vol. 15, no. 3, pp. 226-234, 2016.

 [57]S. Rose, J. Habgood and T. Jay, " An exploration of the role of visual programming tools in the development of young children’s computational thinking," Electronic journal of e-learning, 2017, vol. 15, no 4, p. 297-309, Aug 1, 2017.

 [58]D. Weintrop and U. Wilensky, "Using commutative assessments to compare conceptual understanding in blocks-based and text-based programs," in ICER, pp. 101-110, Aug 9, 2015.

 [59]D. Statter and M. Armoni, "Teaching abstract thinking in introduction to computer science for 7th graders," in Proceedings of the 11th Workshop in Primary and Secondary Computing Education, pp. 80-83, 2016.

 [60]B. Zhong et al, " An Exploration of Three-Dimensional Integrated Assessment for Computational Thinking," Journal of Educational Computing Research, vol. 53, no. 4, pp. 562-590, 2016. Available: https://journals.sagepub.com/doi/full/10.1177/0735633115608444, doi: 10.1177/0735633115608444.

 [61]S. Y. Lye and J. H. L. Koh, "Review on teaching and learning of computational thinking through programming: What is next for K-12?" Computers in Human Behavior, vol. 41, pp. 51-61, 2014. Available: https://www.sciencedirect.com/science/article/pii/S0747563214004634, doi: 10.1016/j.chb.2014.09.012.

 [62]E. Hunsaker, Computational Thinking. The K–12 Educational Technology Handbook, A. Ottenbreit-Leftwich and R. Kimmons, Eds. EdTech Books, 2020, pp. 80–95. [Online]. Available: https://bit.ly/2UP0gZi.

 [63]P. J. Rich et al, "Coding in K-8: International Trends in Teaching Elementary/Primary Computing," TechTrends, pp. 1-19, 2018.

 [64]C. S. González-González, "State of the art in the teaching of computational thinking and programming in childhood education," Education in the Knowledge Society, vol. 20, pp. 1-15, 2019.

 [65]S. Bocconi, A. Chioccariello, G. Dettori, A. Ferrari, and K. Engelhardt, “Developing computational thinking in compulsory education,” Eur. Commission, JRC Sci. Policy Rep., pp. 68, 2016.

 [66]Unión Europea, “Plan de Acción de Educación Digital (2021-2027)”, Unión Europa, European Comission, European Education Area, 2021.[Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [67]Unión Europea, “DigComp. The Digital Competence Framework 2.0”, EU SCIENCE HUB, 2021. [Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [68]Code.org, “Learn computer science. Change the world”, Code.org. [Online]. Available: https://code.org/. [Accessed: Jan. 20, 2022].

 [69]La hora del código, “Celebramos las Ciencias de la Computación en todas partes”, hourofcode.com. [Online]. Available: https://hourofcode.com/es. [Accessed: Jan. 20, 2022].

 [70]J. Á Velázquez-Iturbide, "Report of the Spanish computing scientific society on computing education in pre-university stages," in Proceedings of the Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality, 2018.

 [71]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), "Programación, robótica y Pensamiento Computacional en el aula. Situación en España y propuesta normativa", Ministerio de Educación y Formación Profesional, Gobierno de España, Oct, 2018. [Online]. Available: https://code.intef.es/wp-content/uploads/2018/10/Ponencia-sobre-Pensamiento-Computacional.-Informe-Final.pdf.

 [72]Junta de Castilla y León, “Proyecto de innovación 'TIC STEAM' - Curso 2016-2017”, educacyl Portal de Educación, 2017. [Online]. Available: https://www.educa.jcyl.es/profesorado/es/formacion-profesorado/proyectos-relacionados-formacion-permanente-profesorado/competencia-digital/convocatorias/proyecto-innovacion-tic-steam-curso-2016-2017.

 [73]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), “Escuela de Pensamiento Computacional e Inteligencia Artificial”, Ministerio de Educación y Formación Profesional, Gobierno de España, 2021. [Online]. Available: https://intef.es/tecnologia-educativa/pensamiento-computacional/.

 [74]Programamos, “Es necesario que todo el mundo desarrolle su Pensamiento Computacional, desde niños a mayores”, programamos.com. [Online]. Available: https://programamos.es/. [Accessed: Jan. 20, 2022].

 [75]Boletín Oficial del Estado, “Marco de referencia de la competencia digital docente”, Ministerio de la Presidencia, Relaciones con las Cortes y Memoria Democrática, Gobierno de España. [Online]. Available: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2020-7775#top.

 [76]E. Hunsaker, Integrating computational thinking. K-12 technology integration. Pressbooks. Available: https://k12techintegration.pressbooks.com/chapter/integrating-computational-thinking, 2018.

 [77]M. Zapata-Ros, "Computational thinking unplugged," Education in the Knowledge Society, vol. 20, pp. 1-29, 2019.

 [78]T. Bell et al, "Computer science unplugged: School students doing real computing without computers," The New Zealand Journal of Applied Computing and Information Technology, vol. 13, no. 1, pp. 20-29, 2009.

 [79]S. Adak, "Effectiveness of Constructivist Approach on Academic Achievement in Science at Secondary Level." Educational Research and Reviews, vol. 12, no. 22, pp. 1074-1079, 2017.

 [80]V. Richardson, "Constructivist pedagogy," Teachers College Record, vol. 105, no. 9, pp. 1623-1640, 2003.

 [81]C. T. Fosnot and R. S. Perry, "Constructivism: A psychological theory of learning," Constructivism: Theory, Perspectives, and Practice, vol. 2, no. 1, pp. 8-33, 1996.

 [82]S. Papert and I. Harel, "Situating constructionism," Constructionism, vol. 36, no. 2, pp. 1-11, 1991.

 [83]C. W. Istikomah and C. Budiyanto, "The contribution of educational robotics and constructivist approach to computational thinking in the 21st century," in Proceedings of the the 1st International Conference on Computer Science and Engineering Technology Universitas Muria Kudus, 2018.

 [84]S. Hartikainen et al, "The concept of active learning and the measurement of learning outcomes: A review of research in engineering higher education," Education Sciences, vol. 9, no. 4, pp. 276, 2019.

 [85]R. T. Johnson and D. W. Johnson, "Active learning: Cooperation in the classroom," The Annual Report of Educational Psychology in Japan, vol. 47, pp. 29-30, 2008.

 [86]P. Dillenbourg, Ed., Collaborative Learning: Cognitive and Computational Approaches. Oxford, U.K.: Pergamon, 1999.

 [87]M. Laal and S. M. Ghodsi, "Benefits of collaborative learning," Procedia - Social and Behavioral Sciences, vol. 31, pp. 486-490, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030205, doi: //doi.org/10.1016/j.sbspro.2011.12.091.

 [88]D. W. Johnson and R. T. Johnson, "Effects of cooperative and individualistic learning experiences on interethnic interaction," Journal of Educational Psychology, vol. 73, (3), pp. 444-449, 1981. Available: https://search.proquest.com/docview/614371667. DOI: 10.1037/00220663.73.3.444.

 [89]M. Laal and M. Laal, "Collaborative learning: what is it?" Procedia - Social and Behavioral Sciences, vol. 31, pp. 491-495, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030217. DOI: //doi.org/10.1016/j.sbspro.2011.12.092.

 [90]D. Boud and G. E. Feletti, Eds., The Challenge of Problem-Based Learning. London, U.K.: Routledge, 1997, doi: 10.4324/9781315042039.

 [91]J. Roschelle and S. D. Teasley, "The construction of shared knowledge in collaborative problem solving," in Computer Supported Collaborative Learning, 1995.

 [92]P. C. Blumenfeld et al, "Motivating Project-Based Learning: Sustaining the Doing, Supporting the Learning," Educational Psychologist, vol. 26, no. 3-4, pp. 369-398, 1991. Available: http://www.tandfonline.com/doi/abs/10.1080/00461520.1991.9653139, doi: 10.1080/00461520.1991.9653139.

 [93]L. Zhang and J. Nouri, "A systematic review of learning computational thinking through Scratch in K-9," Comput. Educ., vol. 141, pp. 103-607, 2019.

 [94]J. Moreno-León, G. Robles, and M. Román-González, "Towards data-driven learning paths to develop computational thinking with scratch," IEEE Transactions on Emerging Topics in Computing, vol. 8, no. 1, pp. 193-205, 2017.

 [95]J. Nouri et al, "Development of computational thinking, digital competence and 21st century skills when learning programming in K-9," Education Inquiry, vol. 11, no. 1, pp. 1-17, 2020.

 [96]J. Fagerlund et al, "Computational thinking in programming with scratch in primary schools: A systematic review," Computer Applications in Engineering Education, vol. 29, no. 1, pp. 12-28, 2021.

 [97]G. Falloon, "An analysis of young students' thinking when completing basic coding tasks using Scratch Jnr. On the iPad," J. Comput. Assisted Learn., vol. 32, no. 6, pp. 576-593, 2016.

 [98]Massachusetts Institute of Technology: MIT, “Scratch”, scratch.mit.edu, [Online]. Available: https://scratch.mit.edu/.

 [99]P. Mozelius and L. Öberg, "Play‐based learning for programming education in primary school: The östersund model," in European Conference on E-Learning-ECEL 2017, Porto, Portugal, 26-27 October 2017, 2017.

[100]A. G. Soosai Raj et al, "Does native language play a role in learning a programming language?" in Proceedings of the 49th ACM Technical Symposium on Computer Science Education, 2018.

[101]M. Jancheski, "Improving teaching and learning computer programming in schools through educational software," Olympiads in Informatics, vol. 11, pp. 55-75, 2017.

[102]E. F. Silva, B. J. Dembogurski and G. S. Semaan, "A Systematic Review of Computational Thinking in Early Ages," arXiv Preprint arXiv:2106.10275, 2021.

[103]J. M. Cañas Plaza et al, "Entorno docente universitario para la programación de los robots," Revista Iberoamericana De Automática E Informática Industrial, vol. 15, no. 4, pp. 404-415, 2018.

[104]A. Hamidi, M. Milrad and S. Tavajoh, "Combining maker technologies to promote computational thinking and heart-ware skills through project-based activities: Design considerations and empirical outputs," in Cte-Stem 2021, 2021.

[105]R. Zerega et al, "A co-design approach for developing computational thinking skills in connection to STEM related curriculum in swedish schools," in Cte-Stem 2021, 2021.

[106]M. Riedmiller and T. Gabel, "On experiences in a complex and competitive gaming domain: Reinforcement learning meets robocup," in 2007 IEEE Symposium on Computational Intelligence and Games, 2007.

[107]N. L. Fanchamps et al, "The influence of SRA programming on algorithmic thinking and self-efficacy using Lego robotics in two types of instruction," International Journal of Technology and Design Education, vol. 31, no. 2, pp. 203-222, 2021.

[108]N. L. Fanchamps et al, "The Impact of SRA-Programming on Computational Thinking in a Visual Oriented Programming Environment," Education and Information Technologies, vol. 26, no. 5, pp. 6479-6498, 2021.

[109]M. Montessori, J. M. Hunt and J. Valsiner, The Montessori Method. Routledge, 2017.

[110]M. Elkin, A. Sullivan, and M. U. Bers, "Programming with the KIBO robotics kit in preschool classrooms," Computers in the Schools, vol. 33, no. 3, pp. 169-186, 2016.

[111]L. L. Román, "Metodología para la enseñanza aprendizaje de la lógica de la programación orientada a objetos," in 5ta. Conferencia Iberoamericana en Sistemas, Cibernética e Informática CISCI, International Institute of Informatics and Systemics, EE. UU, 2007.

[112]J. Urquiza-Fuentes and J. Á Velázquez-Iturbide, "A survey of successful evaluations of program visualization and algorithm animation systems," ACM Transactions on Computing Education (TOCE), vol. 9, no. 2, pp. 1-21, 2009.

[113]L. Seiter and B. Foreman, "Modeling the learning progressions of computational thinking of primary grade students," in Proceedings of the Ninth Annual International ACM Conference on International Computing Education Research, 2013, Available: http://doi.acm.org/10.1145/2493394.2493403, doi: 10.1145/2493394.2493403.

[114]S. Grover, R. Pea and S. Cooper, "Designing for deeper learning in a blended computer science course for middle school students," Computer Science Education, vol. 25, no. 2, pp. 199-237, 2015.

[115]A. Basawapatna et al, "Recognizing computational thinking patterns," in Proceedings of the 42nd ACM technical symposium on Computer science education, pp. 245-250 Mar 9, 2011.

[116]S. Papadakis and M. Kalogiannakis, "Evaluating a course for teaching advanced programming concepts with scratch to preservice kindergarten teachers: A case study in greece," in Early Childhood EducationAnonymous 2018.

[117]A. Eguiluz et al, "Exploring the progression of early programmers in a set of computational thinking challenges via clickstream analysis," Tetc, pp. 1, 2017. Available: https://ieeexplore.ieee.org/document/8093668, doi: 10.1109/TETC.2017.2768550.

[118]G. Petri and C. Gresse von Wangenheim, "How games for computing education are evaluated? A systematic literature review," Computers & Education, vol. 107, pp. 68-90, 2017. Available: http://dx.doi.org/10.1016/j.compedu.2017.01.004, doi: 10.1016/j.compedu.2017.01.004.

[119]A. Vahldick, A. J. Mendes and M. J. Marcelino, "Dynamic Difficulty Adjustment through a Learning Analytics Model in a Casual Serious Game for Computer Programming Learning," EAI Endorsed Transactions on Serious Games, vol. 4, no. 13, 2017.

[120]C. Kroustalli and S. Xinogalos, "Studying the effects of teaching programming to lower secondary school students with a serious game: a case study with Python and CodeCombat," Education and Information Technologies, pp. 1-27, 2021.

[121]M. Csikszentmihalyi, Finding Flow: The Psychology of Engagement with Everyday Life. United States: 1997.

[122]S. H. Chuah, "Why and who will adopt extended reality technology? Literature review, synthesis, and future research agenda," Literature Review, Synthesis, and Future Research Agenda, Dec. 13, 2018.

[123]M. Montola, "Exploring the edge of the magic circle: Defining pervasive games," in Proceedings of DAC, 2005.

[124]C. Bonillo, J. Marco, and E. Cerezo, "Developing pervasive games in interactive spaces: the JUGUEMOS toolkit," Multimedia Tools Appl, vol. 78, no. 22, pp. 32261-32305, 2019.

[125]N. M. Medina et al, "Hacia una propuesta de evaluación heurística de experiencias de juego pervasivas," Revista De La Asociación Interacción Persona Ordenador (AIPO), vol. 2, no. 2, pp. 42-53, 2021.

[126]J. Marco, C. Bonillo, and E. Cerezo, "A tangible interactive space odyssey to support children learning of computer programming," in Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces, 2017.

[127]S. SUKIRMAN et al, "A Strategy of Learning Computational Thinking through Game Based in Virtual Reality: Systematic Review and Conceptual Framework," Informatics in Education, 2021.

[128]Y. Ching, Y. Hsu and S. Baldwin, "Developing computational thinking with educational technologies for young learners," TechTrends, vol. 62, no. 6, pp. 563-573, 2018.

[129]C. P. Brackmann et al, "Development of computational thinking skills through unplugged activities in primary school," in Proceedings of the 12th Workshop on Primary and Secondary Computing Education, 2017.

[130]S. Suh, M. Lee and G. Xia, "Coding strip: A pedagogical tool for teaching and learning programming concepts through comics," in 2020 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC), 2020.

[131]G. Aranda and J. P. Ferguson, "Unplugged Programming: The future of teaching computational thinking?" Pedagogika, vol. 68, no. 3, 2018.

[132]J. Waite et al, "Unplugged computing and semantic waves: Analysing crazy characters," in Proceedings of the 1st UK & Ireland Computing Education Research Conference, 2019.

[133]A. Dengel, "Computer science replugged: What is the use of virtual reality in computer science education?" in Proceedings of the 14th Workshop in Primary and Secondary Computing Education, 2019.

[134]X. Tang et al, "Assessing computational thinking: A systematic review of empirical studies," Computers & Education, vol. 148, pp. 103-798, 2020. Available: http://www.sciencedirect.com/science/article/pii/S0360131519303483, doi: https://doi.org/10.1016/j.compedu.2019.103798.

[135]J. Denner, L. Werner and E. Ortiz, "Computer games created by middle school girls: Can they be used to measure understanding of computer science concepts?" Computers & Education, vol. 58, no. 1, pp. 240-249, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131511001849, doi: 10.1016/j.compedu.2011.08.006.

[136]I. Cetin and E. Dubinsky, "Reflective abstraction in computational thinking," Journal of Mathematical Behavior, vol. 47, pp. 70-80, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0732312316301511, doi: 10.1016/j.jmathb.2017.06.004.

[137]S. Jun et al, "Assessing the computational literacy of elementary students on a national level in Korea," Educational Assessment, Evaluation and Accountability, vol. 26, no. 4, pp. 319-332, 2014.

[138]L. Werner et al, "The fairy performance assessment," in Proceedings of the 43rd ACM technical symposium on Computer Science Education, pp. 215-220, 2012.

[139]V. Garneli and K. Chorianopoulos, "Programming video games and simulations in science education: exploring computational thinking through code analysis," Interactive Learning Environments, vol. 26, no. 3, pp. 386-401, 2018. Available: http://www.tandfonline.com/doi/abs/10.1080/10494820.2017.1337036, doi: 10.1080/10494820.2017.1337036.

[140]A. Mühling, A. Ruf and P. Hubwieser, "Design and first results of a psychometric test for measuring basic programming abilities," in Proceedings of the workshop in primary and secondary computing education, pp. 2-10, Nov 9, 2015.

[141]Ö Korkmaz, R. Çakir and M. Y. Özden, "A validity and reliability study of the computational thinking scales (CTS)," Computers in Human Behavior, vol. 72, pp. 558-569, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563217300055, doi: 10.1016/j.chb.2017.01.005.

[142]M. Román-González et al, "Extending the nomological network of computational thinking with non-cognitive factors," Computers in Human Behavior, vol. 80, pp. 441-459, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0747563217305563, doi: https://doi.org/10.1016/j.chb.2017.09.030.

[143]M. Román-González et al, "Can computational talent be detected? Predictive validity of the Computational Thinking Test," International Journal of ChildComputer Interaction, vol. 18, pp. 47-58, 2018. Available: http://www.sciencedirect.com/science/article/pii/S221286891730034X, doi: https://doi.org/10.1016/j.ijcci.2018.06.004.

[144]AERA, APA and NCME, Standards for Educational and Psychological Testing. 2014. Available: http://www.fachportal-paedagogik.de/fis_bildung/suche/fis_set.html?FId=1050398.

[145]G. Chen et al, "Assessing elementary students’ computational thinking in everyday reasoning and robotics programming," Computers & Education, vol. 109, pp. 162-175, 2017. Available: http://www.sciencedirect.com/science/article/pii/S0360131517300490, doi: https://doi.org/10.1016/j.compedu.2017.03.001.

[146]E. Relkin, L. de Ruiter and M. U. Bers, "TechCheck: Development and Validation of an Unplugged Assessment of Computational Thinking in Early Childhood Education," Journal of Science Education and Technology, vol. 29, no. 4, pp. 482-498, 2020. Available: https://search.proquest.com/docview/2413230852, doi: 10.1007/s10956-020-09831-x.

[147]Y. Li, S. Xu, and J. Liu, "Development and Validation of Computational Thinking Assessment of Chinese Elementary School Students," Journal of Pacific Rim Psychology, vol. 15, pp. 18344909211010240, 2021. Available: https://doi.org/10.1177/18344909211010240, doi: https://doi.org/10.1177/18344909211010240.

[148]S. Grover, R. Pea and S. Cooper, "«Systems of assessments» for deeper learning of computational thinking in K-12," in Proceedings of the 2015 Annual Meeting of the American Educational Research Association, 2015.

[149]G. Siemens and P. Long, "Penetrating the Fog: Analytics in Learning and Education," EDUCAUSE Review, vol. 46, no. 5, pp. 30, 2011.

[150]A. Mathrani, S. Christian and A. Ponder-Sutton, "PlayIT: Game based learning approach for teaching programming concepts," Journal of Educational Technology & Society, vol. 19, no. 2, pp. 5-17, 2016.

[151]C. Malliarakis, M. Satratzemi and S. Xinogalos, "CMX: The effects of an educational MMORPG on learning and teaching computer programming," IEEE Transactions on Learning Technologies, vol. 10, no. 2, pp. 219-235, 2016.

[152]C. Malliarakis, M. Satratzemi and S. Xinogalos, "Integrating learning analytics in an educational MMORPG for computer programming," in 2014 IEEE 14th International Conference on Advanced Learning Technologies, 2014.

[153]W. Greller and H. Drachsler, "Translating learning into numbers: A generic framework for learning analytics," Journal of Educational Technology & Society, vol. 15, no. 3, pp. 42-57, 2012.

[154]M. A. Chatti et al, "Learning Analytics: Challenges and Future Research Directions," eleed, vol. 10, no 1. Nov 6, 2014.

[155]M. Román González, "Computational thinking test: Design guidelines and content validation," in Proceedings of EDULEARN15 conference, Barcelona, pp. 2436-2444, 201.

[156]D. Căprioară, "Emotions and the Learning of School Mathematics," Bulletin of the Transilvania University of Braşov, Series VII: Social Sciences and Law, vol. 10, no. 1, pp. 9-18, 2017. Available: http://www.ceeol.com/search/article-detail?id=566146.

[157]C. Chen and P. Herbst, "The interplay among gestures, discourse, and diagrams in students’ geometrical reasoning," Educational Studies in Mathematics, vol. 83, no. 2, pp. 285-307, 2013. Available: 10.1007/s10649-012-9454-2, doi: https://doi.org/10.1007/s10649-012-9454-2.

[158]H. Y. Durak and M. Saritepeci, "Analysis of the relation between computational thinking skills and various variables with the structural equation model," Computers & Education, vol. 116, pp. 191-202, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131517302087, doi: //doi.org/10.1016/j.compedu.2017.09.004.

[159]T. Watanabe, "Visual Reasoning Tools in Action: Double Number Lines, Area Models, and Other Diagrams Power Up Students' Ability to Solve and Make Sense of Various Problems," Mathematics Teaching in the Middle School, vol. 21, no. 3, pp. 152, 2015.

[160]C. E. Lance, M. M. Butts and L. C. Michels, "The sources of four commonly reported cutoff criteria: What did they really say?" Organ. Res. Methods, vol. 9, no. 2, pp. 202-220, 2006.

[161]M. Román-González, J. Moreno-León and G. Robles, "Combining assessment tools for a comprehensive evaluation of computational thinking interventions," in Computational Thinking Education, S. Kong and H. Abelson, Eds. 2019, Available: https://doi.org/10.1007/978-981-13-6528-7_6, doi: 10.1007/978-981-13-6528-7_6.

[162]A. A. De Souza et al, "Data mining framework to analyze the evolution of computational thinking skills in game building workshops," IEEE Access, vol. 7, pp. 82848-82866, 2019.

[163]R. F. DeVellis, "Classical test theory," Med. Care, pp. S50-S59, 2006.

[164]R. K. Hambleton and R. W. Jones, "Comparison of classical test theory and item response theory and their applications to test development," Educational Measurement: Issues and Practice, vol. 12, no. 3, pp. 38-47, 1993.

[165]L. El-Hamamsy, M. Zapata-Caceres, E. Martín, F. Mondada, J. Dehler Zufferey, and B. Bruno, "The competent Computational Thinking test (cCTt): Development and validation of an unplugged Computational Thinking test for upper primary school," Journal of Educational Computing Research, 2022. In press.

[166]S. Kong, "A framework of curriculum design for computational thinking development in K-12 education," Journal of Computers in Education, vol. 3, no. 4, pp. 377-394, 2016.

[167]F. Buitrago Flórez et al, "Changing a Generation's Way of Thinking: Teaching Computational Thinking Through Programming," Review of Educational Research, vol. 87, no. 4, pp. 834, 2017. Available: https://search.proquest.com/docview/1917804191, doi: 10.3102/0034654317710096.

[168]J. Alvarez et al, "Blue Bot Project Experiment," 8th International Toy Research Association World Conference Jul 11, 2018.

[169]C. Sáez Fernández, G. Viera López and D. Pérez Marín, "Propuesta metodológica de la enseñanza de la programación en Educación Infantil con Cubetto," IE Comunicaciones: Revista Iberoamericana De Informática Educativa, no. 28, pp. 1-8, 2018. Available: https://dialnet.unirioja.es/servlet/oaiart?codigo=6750332.

[170]W. Wu et al, "Investigating the learning‐theory foundations of game‐based learning: a meta‐analysis," Journal of Computer Assisted Learning, vol. 28, no. 3, pp. 265-279, 2012. Available: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1365-2729.2011.00437.x, doi: 10.1111/j.1365-2729.2011.00437.x.

[171]E. Boyle, T. M. Connolly, and T. Hainey, "The role of psychology in understanding the impact of computer games," Entertainment Computing, vol. 2, no. 2, pp. 69-74, 2011. Available: https://www.sciencedirect.com/science/article/pii/S1875952110000200, doi: 10.1016/j.entcom.2010.12.002.

[172]M. Li and C. Tsai, "Game-Based Learning in Science Education: A Review of Relevant Research," Journal of Science Education and Technology, vol. 22, no. 6, pp. 877-898, 2013. Available: https://doi.org/10.1007/s10956-013-9436-x, doi: 10.1007/s10956-013-9436-x.

[173]W. Wu et al, "Re-exploring game-assisted learning research: The perspective of learning theoretical bases," Computers & Education, vol. 59, no. 4, pp. 1153-1161, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131512001248, doi: 10.1016/j.compedu.2012.05.003.

[174]M. Csikszentmihalyi, "Flow and the psychology of discovery and invention," HarperPerennial, New York, vol. 39, 1997.

[175]T. Hainey et al, "A systematic literature review of games-based learning empirical evidence in primary education," Computers & Education, vol. 102, pp. 202-223, 2016.

[176]J. R. Savery and T. M. Duffy, "Problem based learning: An instructional model and its constructivist framework," Educational Technology, vol. 35, no. 5, pp. 31-38, 1995.

[177]J. R. Savery, "Overview of Problem-based Learning: Definitions and distinctions," Essential readings in problem-based learning: Exploring and extending the legacy of Howard S. Barrows, vol. 9, no 2, pp. 5-15, 2015. Available: https://library.biblioboard.com/viewer/620aa903-49eb-49d1-8fc2-b02dbeda193c.

[178]B. Haßler, L. Major, and S. Hennessy, "Tablet use in schools: A critical review of the evidence for learning outcomes," Journal of Computer Assisted Learning, vol. 32, no. 2, pp. 139-156, 2016.

[179]Y. Rogers et al, " Equal opportunities: Do shareable interfaces promote more group participation than single user displays?" Human–Computer Interaction, vol. 24, no. 1-2, pp. 79-116, 2009.

[180]D. Roldan-Alvarez et al, "DEDOS: An Authoring Toolkit to Create Educational Multimedia Activities for Multiple Devices," IEEE Transactions on Learning Technologies, vol. 11, no. 4, pp. 493-505, 2018. Available: https://ieeexplore.ieee.org/document/8244297, doi: 10.1109/TLT.2017.2788867.

[181]C. Lin, L. Wong and Y. Shao, "Comparison of 1: 1 and 1: m CSCL environment for collaborative concept mapping," Journal of Computer Assisted Learning, vol. 28, no. 2, pp. 99-113, 2012.

[182]M. Zapata-Cáceres, E. Martín-Barroso and M. Román-González, "Computational Thinking Test for Beginners: Design and Content Validation," 2020 IEEE Global Engineering Education Conference (EDUCON). in Press, 2020.

[183]R. S. Pressman, Software Engineering: A Practitioner's Approach. Palgrave macmillan, 2005.

[184]C. Larman, Agile and Iterative Development: A Manager's Guide. Addison-Wesley Professional, 2004.

[185]L. García-de-la-Fuente, "Tratamiento de ficheros generados por Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[186]G. Matilla-Jiménez, "Desarrollo una aplicación web para facilitar la visualización y análisis se datos de Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[187]J. Moreno and G. Robles, "Automatic detection of bad programming habits in scratch: A preliminary study," in 2014 IEEE Frontiers in Education Conference (FIE) Proceedings, pp. 1-4, Oct. 2014.

[188]N. Diana et al, "An instructor dashboard for real-time analytics in interactive programming assignments," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 272-279, 2017.

[189]L. Gal et al, "Suggesting a log-based creativity measurement for online programming learning environment," in Proceedings of the Fourth (2017) ACM Conference on Learning@ Scale, pp. 273-277, 2017.

[190]D. Olivares and C. Hundhausen, "Supporting learning analytics in computing education," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 584-585, 2017.

[191]M. Zapata-Ros and P. Pérez-Paredes, El Pensamiento Computacional. Análisis De Una Competencia Clave. New York: Create Space Independent Publishing, 2018.

[192]H. Søndergaard and R. A. Mulder, "Collaborative learning through formative peer review: Pedagogy, programs and potential," Computer Science Education, vol. 22, no. 4, pp. 343-367, 2012.

[193]M. R. Snodgrass, M. Israel and G. C. Reese, "Instructional supports for students with disabilities in K-5 computing: Findings from a cross-case analysis," Computers & Education, vol. 100, pp. 1-17, 2016.

[194]N. Ayuso et al, "Gender Gap in STEM: A Cross-Sectional Study of Primary School Students’ Self-Perception and Test Anxiety in Mathematics," IEEE Transactions on Education, vol. 64, no. 1, pp. 40-49, 2020.

[195]L. Sun et al, "Primary school students' perceptions of scaffolding in digital gamebased learning in mathematics," Learning, Culture and Social Interaction, vol. 28, pp. 100457, 2021.

[196]M. Cengiz et al, "Development of an interactive game-based learning environment to teach data mining," The International Journal of Engineering Education, vol. 33, no. 5, pp. 1598-1617, 2017.

[197]H. Lu, "Rethinking game-based learning from a gender perspective: a case study of a male English language learner in China," Gender, Technology and Development, vol. 16, no. 1, pp. 49-70, 2012.

[198]E. A. Boyle et al, "An update to the systematic literature review of empirical evidence of the impacts and outcomes of computer games and serious games," Computers & Education, vol. 94, pp. 178-192, 2016. Available: http://www.sciencedirect.com/science/article/pii/S0360131515300750, doi: //doi.org/10.1016/j.compedu.2015.11.003.

[199]R. J. Mislevy, L. S. Steinberg and R. G. Almond, "Focus Article: On the Structure of Educational Assessments," Measurement (Mahwah, N.J.), vol. 1, no. 1, pp. 3-62, 2003. Available: http://www.tandfonline.com/doi/abs/10.1207/S15366359MEA0101_02, doi: 10.1207/S15366359MEA0101_02.

[200]V. J. Shute and G. R. Moore, "Consistency and validity in game-based stealth assessment," Technology Enhanced Innovative Assessment: Development, Modeling, and Scoring from an Interdisciplinary Perspective, vol. 296, 2017.

[201]C. Alonso Fernández et al, "Improving serious games analyzing learning analytics data: lessons learned," in International Conference on Games and Learning Alliance. Springer, Cham Dec 5, 2018.

[202]G. Wallner and S. Kriglstein, "Comparative visualization of player behavior for serious game analytics," in Serious Games Analytics, Cham: Springer International Publishing, pp. 159-179, 2015.

[203]E. Zimmerman, "Narrative, interactivity, play, and games: Four naughty concepts in need of discipline," First Person: New Media as Story, Performance, and Game, vol. 154, 2004.

[204]E. Carratala Sánchez, "Análisis de la teoría de las metas de logro y de la autodeterminación en los planes de especialización deportiva de la Generalitat Valenciana." 2004.

[205]C. J. Ferguson and C. K. Olson, "Friends, fun, frustration and fantasy: Child motivations for video game play," Motivation and Emotion, vol. 37, no. 1, pp. 154-164, 2013.

[206]P. R. Pintrich and A. Zusho, "The development of academic self-regulation: The role of cognitive and motivational factors," in Development of Achievement Motivation, 2002.

[207]A. E. Gottfried, "Academic intrinsic motivation in young elementary school children." J. Educ. Psychol., vol. 82, no. 3, pp. 525, 1990.

[208]R. M. Ryan and E. L. Deci, "Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being." Am. Psychol., vol. 55, no. 1, pp. 68, 2000.

[209]E. L. Deci and R. M. Ryan, "Intrinsic motivation," The Corsini Encyclopedia of Psychology, pp. 1-2, 2010.

[210]J. R. Calvo-Ferrer, "Juegos, videojuegos y juegos serios: Análisis de los factores que favorecen la diversión del jugador," Miguel Hernández Communication Journal, no. 9, pp. 191-226, 2018.

[211]I. Granic, A. Lobel and R. C. Engels, "The benefits of playing video games." American Psychologist Journal, vol. 69, no. 1, pp. 66, 2014.

[212]M. Ventura, V. Shute and W. Zhao, "The relationship between video game use and a performance-based measure of persistence," Computers & Education, vol. 60, no. 1, pp. 52-58, 2013.

[213]R. M. Ryan, C. S. Rigby and A. Przybylski, "The motivational pull of video games: A self-determination theory approach," Motivation and Emotion, vol. 30, no. 4, pp. 344-360, 2006.

[214]M. Salminen and N. Ravaja, "Increased oscillatory theta activation evoked by violent digital game events," Neuroscience Letters - Journals, vol. 435, no. 1, pp. 69-72, 2008.

[215]R. Israel-Fishelson and A. Hershkovitz, "Shooting for the stars: Micro-persistence of students in game-based learning environments," in Early Warning Systems and Targeted Interventions for Student Success in Online Courses, 2020.

[216]C. Hart, "Factors associated with student persistence in an online program of study: A review of the literature." Journal of Interactive Online Learning, vol. 11, no. 1, 2012.

[217]R. Israel‐Fishelson and A. Hershkovitz, "Micro‐persistence and difficulty in a game‐based learning environment for computational thinking acquisition," Journal of Computer Assisted Learning, 2021.

[218]Y. Fang et al, "Online Learning Persistence and Academic Achievement." International Educational Data Mining Society, 2017.

[219]C. Alonso-Fernández et al, "Applications of data science to game learning analytics data: A systematic literature review," Computers & Education, vol. 141, pp. 103612, 2019. Available: https://search.datacite.org/works/10.1016/j.compedu.2019.103612, doi: 10.1016/j.compedu.2019.103612.

[220]P. R. Pintrich and A. Zusho, "Student motivation and self-regulated learning in the college classroom," in Higher Education: Handbook of Theory and ResearchAnonymous 2002.

[221]K. Weber and B. R. Patterson, "Student interest, empowerment and motivation," Communication Research Reports, vol. 17, no. 1, pp. 22-29, 2000.

[222]Á Serrano-Laguna et al, "Applying standards to systematize learning analytics in serious games," Computer Standards & Interfaces, vol. 50, pp. 116-123, 2017.

[223]Y. Tran, "Computational thinking equity in elementary classrooms: What third-grade students know and can do," Journal of Educational Computing Research, vol. 57, no. 1, pp. 3-31, 2019.

[224]R. Israel-Fishelson and A. Hershkovitz, "Persistence and achievement in acquiring computational thinking concepts: A large-scale log-based analysis," in E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 2019.

[225]S. Grover et al, "Assessing problem-solving process at scale," in Proceedings of the Third (2016) ACM Conference on Learning@ Scale, pp. 245-248, Apr 25, 2016.

[226]M. Zapata-Cáceres and E. Martín-Barroso, "Blue Ant Code," 2020. Available: https://play.google.com/store/apps/details?id=com.artbabygame.blueAnt https://apps.apple.com/es/app/blue-ant-code/id1495021110.

[227]S. Kong, M. M. Chiu and M. Lai, "A study of primary school students' interest, collaboration attitude, and programming empowerment in computational thinking education," Computers & Education, vol. 127, pp. 178-189, 2018. Available: http://dx.doi.org/10.1016/j.compedu.2018.08.026, doi: 10.1016/j.compedu.2018.08.026.

[228]M. Guenaga et al, "How do students develop computational thinking? Assessing early programmers in a maze-based online game," Computer Science Education, vol. 31, no 2, pp. 259-289, 2021. Available: https://doi.org/10.1080/08993408.2021.1903248, doi: 10.1080/08993408.2021.1903248.

[229]T. P. Alloway, "How does working memory work in the classroom?" Educational Research and Reviews, vol. 1, no. 4, pp. 134-139, 2006.

[230]C. S. Dweck and D. C. Molden, "Their impact on competence motivation and acquisition," Handbook of Competence and Motivation: Theory and Application, vol. 2, pp. 135-154, 2017.

[231]L. S. Blackwell, K. H. Trzesniewski and C. S. Dweck, "Implicit theories of intelligence predict achievement across an adolescent transition: A longitudinal study and an intervention," Child Dev., vol. 78, no. 1, pp. 246-263, 2007.

[232]P. Sweetser and P. Wyeth, "GameFlow: a model for evaluating player enjoyment in games," Computers in Entertainment (CIE), vol. 3, no. 3, pp. 3, 2005.

[233]M. Lafuente Martínez et al, "Assessing Computational Thinking: Development and Validation of the Algorithmic Thinking Test for Adults," 2021.

[234]L. Narcisi et al, "Beginners Computational Thinking Test: Adaptation pour un public de moins de 5 ans." Service D'Ingénierie Pédagogique Et Du Numérique Éducatif, FPSE, UMONS, s.f., 2021.

[235]M. Lázaro-Álvarez, "Sudokus adaptativos para Educación Infantil o Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.

[236]J. Plaza-Carro, "Blue-encode: Juego colaborativo de cifrado y descifrado de mensajes en Educación Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.