CAPÍTULO 4. DESARROLLO Y VALIDACIÓN DE UNA PRUEBA INDEPENDIENTE PARA LA EVALUACIÓN DEL PC

En este capítulo, se describe la experiencia de desarrollo y validación del instrumento de evaluación del PC: Beginners Computational Thinking Test (BCTt) dirigido a alumnos de Educación Primaria, así como la posterior adaptación del test para los alumnos más mayores en los que el BCTt resulta menos fiable, mediante una colaboración internacional que resulta en el instrumento de evaluación: Competence Computational Thinking Test (cCTt).

4.1. Introducción y objetivos específicos

Como se ha descrito anteriormente, junto con el aprendizaje, la evaluación del PC es una parte indispensable a tener en cuenta para introducir el PC en el currículo escolar, ya que la evaluación de los estudiantes con fines pedagógicos es esencial [31]. Desafortunadamente, aunque hay múltiples investigadores que describen experiencias de integración del pensamiento computacional en el currículo, los esfuerzos que implican la evaluación formal del pensamiento computacional se han centrado principalmente en la educación secundaria, el bachillerato y la universidad [113]. Además, los instrumentos de evaluación propuestos por las investigaciones recientes se basan principalmente en el análisis de proyectos realizados por los estudiantes en entornos de programación específicos. De esta forma, no existían, en el comienzo de este trabajo de investigación, instrumentos de tipo test tradicional, independientes de entornos concretos, para evaluar el PC a lo largo de todos los cursos de Educación Primaria. Sin embargo, es manifiesta la necesidad de una evaluación fiable y válida del PC en todos los contextos educativos para poder mejorar el currículo escolar, para que los investigadores puedan determinar si sus intervenciones son eficaces o no, y para poder desarrollar cada vez mejores instrumentos de aprendizaje y evaluación del PC.

En este sentido, se ha diseñado y validado el BCTt, dirigido a etapas tempranas y publicado en 2020 [7], [8]. Se parte la hipótesis base HE1: es posible evaluar el PC en la etapa de Educación Primaria mediante un test tradicional independiente de un entorno concreto. A continuación, se enumeran los objetivos generales asociados a esta experiencia:

• OP3: Diseñar y validar empíricamente, herramientas para el aprendizaje y la evaluación del PC, y en particular OP3a: Diseñar y validar un instrumento de evaluación del PC en edades tempranas.

• OP4: Realizar experiencias empíricas que permitan analizar datos relativos tanto a habilidades de PC como a disposiciones y predisposiciones para el PC; en concreto el OP4a: Extraer y analizar datos para mejorar el diseño del currículo escolar relativo a PC según edad y género; y el OP4c: Extraer y analizar datos para mejorar el diseño de herramientas de evaluación relativo a PC según edad y género.

• OC: Diseño y validación de instrumentos de evaluación del PC que cubran un amplio rango de edades y poblaciones.

En el apartado 2.5, se describieron algunos de los intentos e instrumentos de evaluación del PC, de entre los que destaca el Computational Thinking Test (CTt) [44] como un instrumento autónomo, independiente de cualquier entorno de programación, para la evaluación del PC. El CTt está diseñado bajo un enfoque psicométrico y aporta evidencia sobre su fiabilidad y contenido [155], validez de criterio [142] y predictiva [143]; es consistente con el Test for Measuring Basic Programming Abilities [140] y con el Commutative Assessment [58]; y está alineado con los estándares internacionales para pruebas psicológicas y educativas [144]. En términos del marco 3D, el CTt de Román et al. se centra en los conceptos computacionales, parcialmente en las prácticas computacionales e ignora las perspectivas computacionales [44].

El objetivo específico de esta experiencia es el diseño y validación en cuanto a fiabilidad de un instrumento independiente de un entorno concreto dirigido a alumnos de Educación Primaria. Para la consecución de este objetivo y, aunque el CTt está dirigido a estudiantes de entre 10 y 16 años, se ha tomado como una base consolidada y firme para el BCTt, dirigido a niños de Educación Primaria, desarrollado y validado en esta experiencia. Como la población objetivo del BCTt es más joven que la del CTt, el test se ha adaptado tanto en su forma como en su contenido. Además, el diseño del BCTt incluye varias innovaciones de fondo que pretenden ser mejoras sustanciales con respecto a otros test tradicionales. En este capítulo se presentan las pautas que se han seguido para el diseño del BCTt como instrumento de evaluación autónomo, independiente de cualquier entorno de programación; su proceso de validación de contenidos mediante el procedimiento de juicio de expertos y la administración a alumnos de Educación Primaria. Los análisis estadísticos preliminares muestran la prometedora consistencia del BCTt para evaluar el PC en Educación Primaria.

Por otro lado, y dado que los resultados de la experiencia, presentados en el apartado 4.3, indican que existe un efecto techo en los alumnos más mayores, también se ha desarrollado y validado una versión del test para estos alumnos: Competence Computational Thinking Test (cCTt), en una colaboración con la Ecole Polytechnique Fédérale de Lausanne (EPFL)¹ en Suiza, y un análisis comparativo del BCTt y en cCTt en colaboración la EPFL y la ONG Tree Tree 2, en Portugal².

4.2. Procedimiento y diseño del BCTt

Se diseñó una primera versión del BCTt dirigida a alumnos de Educación Primaria. Basándose en el CTt, el test se adaptó tanto en su forma como en su contenido a los alumnos de entre 5 y 12 años, por lo que se realizaron varios cambios sustanciales. A continuación, el BCTt se sometió a una prueba piloto en pequeñas submuestras y fue evaluada por expertos en la materia. A partir de estos resultados preliminares, se introdujeron cambios para obtener una segunda versión mejorada que se administró a 299 estudiantes de tres colegios en España. Los resultados obtenidos se analizaron estadísticamente. En la Figura 12 se muestra el procedimiento de validación.

4.2.1. BCTt v.1

Como la población destinataria del BCTt (en principio niños de 5-6 a 12 años) es más joven que la de la CTt, hay que adaptarla tanto en la forma como en el contenido. Además, el BCTt incluye varias innovaciones que pretenden ser mejoras sustanciales. Se realizaron pruebas piloto en pequeñas submuestras (n=3 a 5 sujetos, de edades comprendidas entre los 5 y los 10 años) a lo largo del diseño inicial.

Esta versión inicial el BCTt tiene 25 ítems, con un tiempo estimado de 40 minutos para su resolución, tiempo que pareció ser adecuado en las pruebas piloto. Los ítems están diseñados con el menor texto posible y los símbolos pretenden ser auto explicativos para aumentar la legibilidad de la prueba en edades tempranas. La prueba está dirigida a niños pequeños que quizá no hayan adquirido aún la capacidad de leer y escribir, por lo que se diseñó incluyendo símbolos y dibujos que se explicaran por sí mismos. Teniendo en cuenta que también está dirigido a niños de las últimas etapas de Educación Primaria que sí que han adquirido ya competencias de lecto-escritura, se incluyeron textos mínimos de ayuda que redundan en las explicaciones basadas en símbolos. La simbología es clara y pretende conectar emocionalmente con los niños para que se potencie el proceso de aprendizaje [156] ya que es un pollito que debe llegar hasta su madre, la gallina.

La primera versión de el BCTt está dividida en seis conjuntos de preguntas y cada conjunto está relacionado con un concepto computacional básico. Las preguntas son de tipo opción múltiple, inicialmente con tres alternativas de respuesta para cada ítem, que se plantean en dos diseños gráficos diferentes: tipo lienzo o laberinto. El tipo lienzo es un diseño de "seguir la línea de puntos" al que los niños de estas etapas educativas están acostumbrados, por su trabajo escolar cotidiano. El diseño tipo laberinto consiste en una matriz de cuadrados en la que el alumno debe trazar un camino desde la casilla de salida para alcanzar una casilla de meta, pasando de un cuadrado a otro en un orden determinado, evitando y/o recogiendo objetos por el camino, por ejemplo, otro pollito (véase la Figura 17).

En las preguntas de tipo laberinto se han incluido transiciones visuales entre los cuadrados (véase la Figura 13). Esto pretende ser una mejora sustancial este tipo de preguntas, ya que nuestra hipótesis es que las dificultades con este tipo de trazados en edades tempranas están relacionadas con la desorientación y las dudas sobre si la casilla actual y la de destino, en cada paso, deben formar parte de la secuencia del camino o ser ignoradas. Además, añadir transiciones convierte el laberinto en un diagrama de estados, un elemento principal en los algoritmos y la codificación que ha demostrado mejorar la capacidad de comprensión de los problemas [157]-[159].

Las alternativas de respuesta del BCTt v.1 están dispuestas en forma de secuencias de flechas gruesas, números y colores, dependiendo del concepto computacional implicado en cada pregunta. Cada respuesta tiene una disposición vertical arriba-abajo, y no horizontal de izquierda a derecha como en el CTt. Esta decisión se tomó teniendo en cuenta que la dirección de lectura de las secuencias de código es arriba-abajo. Además, la disposición arriba-abajo resultó ser una disposición adecuada en las pruebas piloto, aunque se encontraron problemas relacionados con la disposición de los ítems de tipo lienzo: si la línea de puntos se dibujaba de abajo a arriba, los alumnos tendían a leer las respuestas de abajo a arriba (véase la Figura 14). Este problema se resolvió evitando estas direcciones de dibujo (tal y como se muestra en la Figura 15).

El BCTt v.1 contiene los conceptos computacionales básicos del marco 3D, ordenados en dificultad creciente, de acuerdo con las etapas educativas objetivo (véase la Tabla 12): secuencias (6 ítems), bucles simples (5 ítems), bucles anidados (7 ítems) y condicionales (7 ítems). En cada ítem del laberinto, la tarea requerida es llevar un pollito hasta su madre (la gallina) a través del laberinto que puede ser de pequeño o gran tamaño, permitiendo retos de diferente complejidad. Puede haber obstáculos que hay que evitar (un gato) u objetos que hay que recoger por el camino, como otro pollito. Las figuras 16 a 19 muestran ejemplos de las distintas tareas que tienen que resolver los niños, y en el anexo A.1 se pueden consultar todos los ítems de esta primera versión del test.

4.2.2. Evaluación de expertos

Esta primera versión del BCTt se sometió a un procedimiento de evaluación en el que se consultó a 45 expertos, tanto profesionales de la informática y la educación, como profesores de Educación Primaria. Los datos sobre el perfil de los expertos se muestran en la Tabla 13.

En primer lugar, los expertos completaron el BCTt y después fueron consultados, a través de un formulario en línea de 66 ítems o preguntas cuyos resultados se resumen en la Tabla 14, sobre la dificultad y la adecuación de las preguntas en cuanto a su relevancia para medir cada uno de los diferentes conceptos computacionales incluidos en el test. Además, también se preguntó a los expertos sobre la longitud, la simbología utilizada y otras cuestiones. También se realizó una encuesta específica sobre las transiciones incluidas en las preguntas tipo laberinto. Por último, se recogieron los comentarios y sugerencias de mejora de los expertos.

En la Figura 20 se muestran las puntuaciones obtenidas por los expertos en el BCTt dividiendo los ítems del test en conjuntos de conceptos computacionales y contando cuántos expertos respondieron correctamente los ítems de cada conjunto (por ejemplo, una puntuación de 41 en un concepto significa que 41 de 45 expertos respondieron correctamente en las preguntas relacionadas con ese concepto). Se observa que las puntuaciones disminuyen a lo largo del test, como era de esperar, ya que las preguntas se ordenaron en supuesta dificultad creciente. Esta hipótesis queda confirmada ya que los expertos consideran que los ítems aumentan en cuanto a dificultad a medida que se avanza en el test, como puede observarse en la Figura 21.

La relevancia para medir el PC crece de forma similar a lo largo de los ítems del test (véase la Figura 22), donde cada concepto computacional tiene una relevancia percibida media o alta. En concreto, los expertos consideran que las preguntas del BCTt miden los conceptos computacionales abordados y valoran los bucles anidados como el concepto más relevante de todos (relevancia para medir el PC, escala Likert de 1 a 5: Secuencias=3,66; Bucles simples=3,82; Bucles anidados=4,14; If-then=3,95; If-then-else=4,15; While=4,05). En cuanto a si el test en su conjunto evalúa por completo la dimensión de conceptos computacionales del PC en alumnos de Educación Primaria, el 73,1% de los expertos consideró que completamente o casi completamente (escala Likert de 1 a 5: 34,1%: completamente, 39%: casi completamente, 22%: a medias, 4,9%: un poco, 0%: nada).

La mayoría de los expertos consultados (68,3%) consideraron que el número de ítems (longitud del test) era adecuada, el 24,4% estimó que el test contenía demasiadas preguntas. Sólo un 7,3% añadiría más preguntas. Además, en cuanto a la simbología utilizada, aspecto gráfico y experiencia de usuario en alumnos de Educación Primaria (escala Likert de 1 a 5), un 75,6% de expertos consideran que el BCTt es adecuado en este aspecto (39%: muy adecuado, 36,6%: adecuado, 22%: medianamente adecuado, 2,4%: poco adecuado, 0%: nada adecuado).

Una de las mejoras sustanciales del BCTt fue la inclusión de transiciones en las preguntas del laberinto. En este sentido, los expertos se mostraron muy de acuerdo con la mejora y consideraron que ayudaría a los niños, sobre todo a los más pequeños, a comprender mejor las respuestas del test. Algunas respuestas recogidas fueron: "las transiciones se asocian fácilmente a las flechas en las respuestas", "las transiciones incorporan aristas a los laberintos, a modo de diagrama de estados, con una mejor comprensión del problema", "los caminos permitidos son claros, excluyendo los movimientos diagonales", "al incluir transiciones se distingue claramente el movimiento y el lugar de llegada. En el diseño sin transiciones, se generan dudas sobre cuándo un personaje llega a otro (¿es cuando llega a la casilla anterior o cuando llega a la casilla del otro personaje?)".

Los comentarios y sugerencias de los expertos se tuvieron en cuenta para diseñar y mejorar la siguiente versión del BCTt. Por ejemplo, algunos de sus comentarios más frecuentes se referían a la necesidad de explicar primero oralmente a los niños el significado de cada conjunto de preguntas, de añadir una respuesta más a cada pregunta, de sustituir los elementos elegibles (pollitos) por otro símbolo que no induzca a confusión, o de reformular las preguntas relativas a algunos conceptos computacionales para acercarse a su definición exacta. Se reproducen a continuación las sugerencias más relevantes:

• "Es necesario un ejemplo oral explicativo de cada tipo de ítem".

• "En cuanto al número de alternativas de respuesta, sugiero 4 alternativas en lugar de 3, ya que sólo 3 alternativas de respuesta por ítem pueden influir negativamente en la fiabilidad total del test".

• "Los niños podrían intentar pasar por la casilla del gato, saltándolo: se necesita una indicación expresa de no tocar el gato".

• "No está claro si dos pollitos pueden moverse juntos después de encontrarse".

• "Las últimas preguntas (condicionales “while”) necesitan más explicación".

• "Los ítems if-else y if-then-else no se corresponden exactamente con el concepto computacional".

• Seis de los nueve profesores de Educación Primaria, consideraron el test demasiado difícil para los alumnos de esta edad. Esta impresión de los expertos se refutó más tarde, cuando el BCTt se administró a alumnos de Educación Primaria de varios colegios.

4.2.3. BCTt v.2

Teniendo en cuenta los resultados de la evaluación de expertos, se diseñó la segunda versión del BCTt con varias modificaciones y adiciones. Por ejemplo, se añadió una alternativa más de respuesta a cada pregunta, se refinaron los enunciados de las preguntas, se sustituyeron los elementos que se pueden recoger en los ítems de tipo laberinto por otros, y se reformularon las preguntas de algunos de los conjuntos para acercarse más fielmente a la definición formal del concepto computacional. Uno de los cambios más notables fue el refuerzo de los colores en las preguntas con una simbología de formas, para permitir que los alumnos con problemas en la visualización de los colores puedan realizar la prueba. Esta mejora hace que el test pueda imprimirse en blanco y negro. A continuación, se enumeran los cambios más relevantes:

• Se añade una respuesta a cada ítem, de forma que cada pregunta contiene 4 respuestas alternativas en lugar de 3, para reducir la probabilidad de responder correctamente al azar (por ejemplo, Figura 23).

• En los ítems que contienen un gato que hay que evitar, se especifica que no se cruza la casilla ocupada por el gato (por ejemplo, Figura 23).

• Los ítems que incluían otro pollito resultaban ambiguos ya que no quedaba claro si los dos pollitos debían continuar juntos después de encontrarse o no, por lo que en el BCTt v.2, el segundo pollito se sustituye por una flor para recoger (por ejemplo, Figura 24).

• Los ejemplos de significado que se incluyen en cada ítem se clarifican en las últimas preguntas (por ejemplo, Figura 25).

• Los ítems if-else y if-then-else se reformulan para una mejor correspondencia con el concepto computacional (por ejemplo, Figura 25).

• Para garantizar que los alumnos con dificultades visuales asociadas al color puedan leer los símbolos de cada ítem, se asocia una forma específica a cada color diferente (por ejemplo, triángulo y azul). Esta mejora permite imprimir el test en formato blanco y negro (por ejemplo, Figura 26).

• Se elabora un protocolo de administración en el que se especifica que se debe dar una explicación oral a los alumnos antes de realizar la prueba, con un ejemplo explicativo de cada uno de los conceptos computacionales que se abordan en la prueba. El protocolo completo puede encontrarse en el anexo A.3.

• Antes de realizar la prueba, se debe explicar oralmente a los alumnos un ejemplo de ítem por cada uno de los 6 conceptos computacionales diferentes que se contemplan en el test, estos ejemplos se incluyen en el protocolo de actuación y también como archivo separado en forma de presentación de diapositivas “paso a paso” (por ejemplo, Figura 27). El archivo completo puede encontrarse en el anexo A.4.

4.2.4. Administración del BCTt v.2

La segunda versión del BCTt se administró, siguiendo el protocolo de actuación, a una muestra de N=299 estudiantes de Educación Primaria (edades comprendidas entre los 5 y los 12 años) de tres colegios españoles. En cada colegio, la investigación se centró en una etapa educativa.

Se realizaron dos variaciones diferentes de la segunda versión del BCTt, una incluyendo las transiciones entre las casillas (variación 1), y otra sin ellas (variación 2), para poder comparar el rendimiento de los alumnos con y sin esta ayuda.

La muestra de alumnos se dividió en varias submuestras, como se muestra en la Tabla 15, teniendo en cuenta la edad de los alumnos, la variación del test (con o sin transiciones) que realizarían y el grupo escolar al que pertenecían. La variación 1 del test (con transiciones) se administró a las submuestras A1, B1, C1, D1, E1 y F1. La variación 2 del test (sin transiciones), se administró a las submuestras B2, D2 y F2. Una de las submuestras (D1) fue sometida a una segunda prueba 5 semanas después.

La investigación se llevó a cabo en las mismas condiciones en cada colegio, ya que se siguió el protocolo de actuación, de esta forma, antes de realizar la prueba, se explicó oralmente delante de los alumnos un ejemplo de un ítem de cada uno de los 6 conceptos computacionales diferentes.

Las pruebas se administraron simultáneamente a todos los sujetos de cada submuestra. Para garantizar que las habilidades de los estudiantes o su experiencia previa en el uso de dispositivos informáticos no interfirieran en los resultados, los test se imprimieron y rellenaron por los estudiantes individualmente en papel. Además, las pruebas se imprimieron en escala de grises, para que fueran accesibles a los alumnos con dificultades visuales asociadas al color.

4.3. Resultados y discusión

El BCTt v.2 se administró a alumnos de Educación Primaria para analizar empíricamente la adecuación del diseño, realizar un análisis estadístico de los ítems y comprobar su fiabilidad.

4.3.1. Transiciones

Las transiciones entre casillas en las preguntas de tipo laberinto pretendían ser una mejora sustancial del BCTt. Para comprobarlo, se compararon las puntuaciones (suma de las preguntas respondidas correctamente en el test) entre la variación 1 del BCTt (con transiciones) y la variación 2 del BCTt (sin transiciones). Como puede verse en la Tabla 16, los resultados indican que no hay diferencias significativas entre las puntuaciones de las variaciones del test obtenidas en las muestras de alumnos a partir de cuarto curso, pero sí hay una diferencia muy significativa entre las puntuaciones de los niños de cursos inferiores (p=0,005<0,01), lo que indica que esta ayuda es muy notable para los niños más pequeños, pero no así para los mayores.

4.3.2. Estadística descriptiva

Considerando la puntuación en el BCTt como la suma de respuestas correctas de cada alumno a lo largo de los 25 ítems del test, y buscando un equilibrio entre el número de sujetos en cada submuestra y los ciclos de Educación Primaria, se realizó un análisis estadístico de los resultados de la puntuación del test en una submuestra de cada curso: submuestras A1, B1, C1, E1 y F1 (N=200).

Los resultados de este análisis se muestran en la Tabla 17. El análisis preliminar de toda la muestra revela una media global alta (19,9150), y las puntuaciones a lo largo de las submuestras sugieren que la prueba podría estar dirigida a las primeras etapas educativas de primaria, ya que no se muestran diferencias significativas entre las medias de 4º y 5º curso (prueba t de Student, t=0.485, p=0.63 > 0.05) ni entre las medias de 5º y 6º curso (prueba t de Student, t=0.193; p=0.85 > 0.05).

No obstante, se realizó un segundo análisis más profundo, esta vez, dividiendo los ítems del BCTt según los conceptos computacionales, y contando cuántos alumnos contestaron correctamente los ítems de cada conjunto (es decir, si la submuestra es n=23, 21 puntos de puntuación en un ítem significan que 21 de los 23 alumnos lo contestaron correctamente). Esta puntuación por ítem, relacionada con cada concepto computacional, muestra resultados interesantes, ya que con respecto a los ítems relacionados con los conceptos de bucles anidados y condicionales se obtienen puntuaciones bajas a lo largo de todos los cursos como se muestra en la Figura 28, pero con respecto a las secuencias y los bucles simples se obtienen puntuaciones muy altas en 5º y 6º grado, lo que nos lleva a concluir que las primeras preguntas del test podrían ser demasiado fáciles para los alumnos a partir de 3º de primaria, y que podría ser necesario añadir a la prueba ítems más difíciles para esta etapa.

La puntuación por ítem (o índice de dificultad) confirma empíricamente la dificultad progresiva anticipada por la evaluación de los expertos (índice de dificultad medio = 0,81) considerando toda la muestra (véase la Figura 29). Asimismo, los resultados, aislando a los alumnos más jóvenes: primer ciclo de Educación Primaria (submuestras A1 y B1, N=70), muestran una dificultad creciente a lo largo dte los elementos (N=25 ítems; Mínimo=0,27; Máximo=0,96; índice de dificultad medio =0,70; puntuación media total = 16,59) (véase la Figura 30).

El histograma que muestra la distribución de la puntuación del BCTt a lo largo de las submuestras de 1º y 2º curso (véase la Figura 31), se ajusta a la curva normal y es bastante simétrico (media=16,59; desviación estándar=3,104; n=70), lo que sugiere que el BCTt está equilibrada en cuanto a la dificultad de sus ítems para el primer ciclo de Educación Primaria.

4.3.3. Fiabilidad

Para evaluar la consistencia interna asociada a las puntuaciones del BCTt, considerando todos los cursos (N=200), se ha realizado un análisis de fiabilidad. El Alfa de Cronbach es α=0,824 (véase la Tabla 18), que puede considerarse como una fiabilidad muy buena [160]. Los resultados de fiabilidad por curso muestran un Alfa de Cronbach más bajo cuanto más alto es el curso (véase la Tabla 19), lo que nos lleva a concluir que el BCTt se dirige principalmente a las primeras etapas de primaria (cursos de 1 a 4) donde muestra una mayor fiabilidad.

Se realizó un segundo análisis de fiabilidad. Esta vez mediante el método de test y re-test con la muestra D1 (n=28). El BCTt se administró a los sujetos de D1 (2ª ciclo, 4º curso) y, 5 semanas después, se volvió a administrar en las mismas condiciones a los mismos sujetos. Como las puntuaciones del BCTt no se distribuyen normalmente en las submuestras de D1 (prueba de normalidad de Shapiro-Wilk: test Sig.=0,03; re-test Sig.=0,01), se utilizó la prueba no paramétrica de Spearman, que mostró una correlación muy fuerte, positiva y significativa (rs=0,93; p<0,01). Por lo tanto, se encontró una excelente fiabilidad como estabilidad para el BCTt en esta submuestra.

4.4. Conclusiones sobre la validación del BCTt

Los expertos consideraron el diseño del BCTt como adecuado para la evaluación del PC en alumnos de Educación Primaria, tanto en la forma como en el contenido, y con mejoras relevantes con respecto al CTt como las transiciones entre casillas. Además, los expertos opinaron que los ítems del test parecían estar ordenados en dificultad creciente y relevancia. Estas consideraciones se confirmaron en el análisis estadístico de cuando se administró el test a alumnos de Educación Primaria.

Las transiciones entre casillas se muestran como una mejora relevante en los trazados de los laberintos para los alumnos más jóvenes (primer ciclo de Educación Primaria), dando lugar a puntuaciones superiores muy significativas en comparación con los alumnos que realizaron la variación del test sin transiciones. Sin embargo, los alumnos de 4º y 6º curso no se benefician de la inclusión de transiciones ni se vieron afectados negativamente por ellas. Esto nos lleva a la conclusión de que las transiciones son una mejora que se puede incluir en este tipo de problemas que funciona un andamiaje importante para los alumnos más jóvenes sin afectar negativamente a los mayores.

La media global de toda la muestra y las puntuaciones del BCTt de las submuestras sugieren que el test podría estar dirigido a las primeras etapas educativas de primaria, ya que se muestran medias elevadas en las submuestras del segundo y tercer ciclo, y no se muestran diferencias significativas entre las medias de las puntuaciones totales en los alumnos de mayor edad. Así, el BCTt parece estar dirigida a los cursos 1º a 4º y especialmente a los cursos 1º y 2º, ya que está equilibrada en cuanto a la dificultad de sus ítems. Sin embargo, existen diferencias significativas entre los cursos en las medias de las puntuaciones de las submuestras de todos los ciclos de Educación Primaria a partir de la pregunta 12, lo que nos lleva a concluir que la prueba podría estar dirigida a todas las etapas de primaria, pero la primera parte de la prueba podría incluir ítems demasiado fáciles para los alumnos de mayor edad, al contrario de lo que se esperaba según la opinión de los expertos, por lo que incluir más ítems con una dificultad mayor para los alumnos de tercer ciclo podría ser una mejora a considerar para una futura versión del test.

El BCTt demostró una alta fiabilidad en toda la muestra con un Alfa de Cronbach = 0,824, sin embargo, se obtuvo un coeficiente mayor en los alumnos más jóvenes que en los mayores. Como era de esperar, el test es más fiable en 1º y 2º curso que en los superiores, ya que el nivel de dificultad se ajusta mejor a los cursos inferiores. Así, el BCTt, al igual que el CTt es un instrumento autónomo, independiente de cualquier entorno, que se ha revelado fiable para la evaluación del PC en Educación Primaria y puede ser administrado como pre-test y post-test en las investigaciones que lo requieran.

A partir de esta investigación se puede concluir que el BCTt puede ser utilizado en alumnos de Educación Primaria, particularmente en los primeros cursos (5 a 7 años), ya que los resultados de los alumnos de mayor edad (8 a 12 años) revelan que el BCTt podría ser demasiado fácil para los alumnos de los cursos más altos, aunque puede ser utilizado centrándose sólo en los ítems más complejos del test. Por lo tanto, el BCTt puede considerarse una extensión fiable del CTt de Román et al. para estudiantes más jóvenes, ya que el CTt está dirigida a estudiantes de 10 a 16 años.

4.5. Limitaciones del BCTt y líneas de actuación

Una de las limitaciones del BCTt es que, en relación con el marco 3D, se centra en los conceptos computacionales, sólo parcialmente en las prácticas computacionales e ignora las perspectivas computacionales. Por este motivo, se recomienda su uso en paralelo con otros instrumentos de evaluación para cubrir sus limitaciones, dentro de un sistema de evaluaciones [161], junto con otros instrumentos que evalúan otras dimensiones del PC, como se ha visto en el marco teórico. Este aspecto se tiene en cuenta en experiencias posteriores y se contempla en capítulos posteriores de esta tesis.

Por otra parte, es necesario establecer el límite inferior de edad en el que el BCTt puede ser administrado. En este sentido, se ha realizado una experiencia, en colaboración con la Fontys University of Applied Science y la Zuyd University of Applied Science, ambas de Países Bajos, que se describe en el Capítulo 5 y concluye en que el BCTt muestra una fiabilidad muy alta en alumnos de 4 años (α de Cronbach = 0,802) y 5 años (α de Cronbach = 0,889).

En cuanto al límite superior de edad para la administración del BCTt, a través de la experiencia realizada se demuestra que el BCTt tiene muy buena fiabilidad para la evaluación del PC en niños hasta los 8 años, pero en niños a partir de esta edad se produce un efecto techo. En este sentido, y dado que el CTt está dirigido al rango de edad de los 10 a los 16 años, se plantea el desarrollo y validación de una adaptación del BCTt que muestre una muy buena fiabilidad en el rango de edad en el que ésta decrece.

Por este motivo, se ha desarrollado y validado una versión del test que ha demostrado ser muy fiable en el rango de los 7 a los 9 años: Competence Computational Thinking Test (cCTt), en una colaboración con la Ecole Polytechnique Fédérale de Lausanne (EPFL) en Suiza, en la que se realizó un estudio a principios de 2021 con 37 expertos y 1519 alumnos de estos cursos en centros escolares suizos. Después, se realizó un análisis comparativo del BCTt y en cCTt en colaboración la EPFL y la ONG Tree Tree 2, en Portugal, para concretar cuándo debe administrarse uno u otro test. Estas experiencias se resumen en el siguiente apartado.

De esta forma, se pretende avanzar en el objetivo OC: Diseño y validación de instrumentos de evaluación del PC que cubran un amplio rango de edades y poblaciones.

4.6. Competent Computacional Thinking Test (cCtt)

Dado que las primeras preguntas del BCTt resultaron demasiado fáciles para los alumnos a partir de 8 años, y se observó un efecto techo, es necesaria una nueva adaptación del test para estos cursos, incluyendo preguntas más difíciles.

Para ello se realizó el desarrollo y validación del cCTt a través de una experiencia en colegios, en una colaboración liderada por los siguientes equipos de la EPFL en Suiza: MOBOTS Group of the BIOROB Laboratory; LEARN – Center for Learning Sciences; y Computer Human Interaction in Learning and Instruction (CHILI).

4.6.1. Diseño y validación del cCTt

Al igual que el BCTt, el cCTt es un test que se compone de 25 preguntas de dificultad progresiva. La mayoría de las preguntas (21 de 25) son de tipo laberinto y el resto, de tipo lienzo. Cada pregunta se presenta con cuatro posibles respuestas entre las que los alumnos deben elegir. El test aborda los conceptos de secuencias, bucles simples, bucles anidados, condicionales (if-then y if-then-else) y sentencias while, con un número variable de preguntas por concepto.

El diseño del cCTt, incluye adaptaciones que tienen como objetivo hacer la prueba más compleja, para ello, se emplean principalmente laberintos de cuadrícula grande; se eliminan las preguntas de baja dificultad que producían efecto techo en la experiencia anterior; se añaden preguntas relacionadas con conceptos complejos; se crea un nuevo subconjunto de preguntas con combinaciones de conceptos (véase la Figura 32); y se altera la disposición de los objetos (punto de partida, objetivos y obstáculos), y/o la selección de respuestas, de modo que la identificación de la respuesta correcta requiera más reflexión por parte de los estudiantes.

La validación del cCTt se realizó en dos fases, mediante un procedimiento similar al utilizado en la validación del BCTt descrita anteriormente. En primer lugar, se realizó una evaluación por 37 expertos, procedentes del panel de expertos que participaron en la validación del BCTt, además de nuevos investigadores expertos en el PC, y de profesionales que participan en la reforma de la educación digital en Suiza (expertos del departamento de educación de la EPFL, profesores universitarios del grado de formación del profesorado, y profesores de Educación Primaria que enseñan informática o PC en el grupo de edad objetivo). Los resultados de la evaluación por expertos indicaron que el test tenía una buena validez constructo y de contenido, además de sugerir modificaciones en diseño del test.

Una vez rediseñado el test según las sugerencias de los expertos, se administró a 1519 alumnos (77 clases) de 3º y 4º curso de Educación Primaria (edades de 7 a 9 años), procedentes de 7 centros escolares en Suiza.

Para el análisis psicométrico del test (en términos de validez y fiabilidad), se utilizó el análisis de factores confirmatorios (CFA) [162], la Teoría Clásica de los Test [163] y la Teoría de la Respuesta al Ítem [164]. Los resultados del análisis mostraron una buena fiabilidad con buena consistencia interna (α de Cronbach = 0.85), niveles de discriminación (correlación punto-biserial > 0.2) y un rango amplio de dificultad como proporción de respuestas correctas, para los estudiantes de 7 a 9 años. Además, el test resultó mejor adaptado para la evaluación y discriminación de los alumnos con habilidades medias o bajas.

Finalmente, se diseñaron variantes del cCTt acortadas, de forma que pueda utilizarse el test si no se tiene suficiente tiempo para la evaluación con el test completo, ya que esta es una de las inquietudes que más comúnmente resaltaron los profesores de Educación Primaria consultados. Para diseñar estas variantes, se utilizó nuevamente CFA [162] para eliminar los elementos que estaban altamente correlacionados o cargados en múltiples factores.

En conclusión, el cCTt resulta ser un instrumento válido y fiable para la evaluación del PC en los cursos 3º y 4º de Educación Primaria (estudiantes de 7 a 9 años). El test es fácil de administrar y calificar a gran escala. Por lo tanto, con este instrumento se amplía el rango de instrumentos para la evaluación del PC diseñados para ser utilizadas por investigadores y profesores en la educación formal. En concreto, el BCTt (5 a 7 años), el cCTt (7 a 9 años) y el CTt (10 a 16 años) abarcarían conjuntamente el abanico necesario para la evaluación del PC en las etapas educativas de primaria y secundaria.

No obstante, era deseable ampliar el estudio administrando el cCTt a otras poblaciones, y estudiar específicamente los límites de edad para utilizar uno u otro test. Por este motivo, se realizó una comparativa entre los dos test que se resume en el siguiente apartado.

4.6.2. Comparativa entre el BCTt y el cCTt

Para establecer los límites de edad para utilizar el BCTt y el cCTt, se realizó una experiencia en colaboración con la EPFL de Suiza y la ONG Tree Tree 2 de Portugal, en alumnos de 3º y 4º de Educación Primaria, que es donde existe duda en cuanto a la aplicación de uno u otro test.

Mediante un análisis psicométrico comparativo se establecieron los límites de validez del BCTt y el cCTt para los cursos 3º y 4º de Educación Primaria. Más concretamente, se empleó la Teoría Clásica de los Test [163] y la Teoría de la Respuesta al Ítem [164] sobre los datos obtenidos de 575 alumnos de centros escolares en Portugal.

Los resultados del análisis psicométrico indican que se debería preferir el cCTt para los alumnos de 3º y 4º curso, ya que los alumnos ya tienen una buena asimilación de los conceptos básicos de PC relativos a las secuencias y los bucles, y además obtienen buenos resultados en el BCTt, que es más fácil. No obstante, el BCTt puede utilizarse si el objetivo es discriminar entre alumnos con capacidades bajas. Estos resultados subrayan aún más la importancia de realizar comparaciones entre los instrumentos de PC existentes y superpuestos para establecer sus límites de validez. Mediante comparaciones detalladas, los investigadores podrán elegir el instrumento de evaluación de acuerdo con los requisitos de su estudio.

Por último, instrumentos como el BCTt y el cCTt deberían combinarse con otras formas de evaluación dentro de un sistema de evaluaciones [161], junto con otros instrumentos que evalúan otras dimensiones del PC, como se ha visto en el marco teórico, para medir con precisión toda la gama de competencias que están en juego cuando se considera el PC, especialmente las relativas a la observación de los procesos de pensamiento y las estrategias de los estudiantes. Estos aspectos se analizan en los capítulos 6 y 7 de la tesis.

4.7. Publicaciones y avance de objetivos

Las publicaciones relativas a estas experiencias son las siguientes:

• M. Zapata-Cáceres, E. Martín-Barroso, and M. Román-González, “Computational thinking test for beginners: Design and content validation,” in IEEE Global Engineering Education Conference (EDUCON’20), Porto, Portugal, pp. 1905–1914, 2020, doi: 10.1109/EDUCON45650.2020.9125368.

• Zapata-Cáceres María, E. Martín-Barroso and M. Román-González, "BCTt: Beginners computational thinking test," in Raspberry Pi Foundation Research Seminars, Apr 2021, pp. 46-56. ISSN 2514-586X (16).

• L. El-Hamamsy, M. Zapata-Caceres, E. Martín, F. Mondada, J. Dehler Zufferey, and B. Bruno, "The competent Computational Thinking test (cCTt): Development and validation of an unplugged Computational Thinking test for upper primary school," Journal of Educational Computing Research, 2022. In press.

• L. El-Hamamsy, M. Zapata-Caceres, P. Marcelino, J. Dehler Zufferey, B. Bruno, and E. Martin, “Comparing the psychometric properties of two primary school

• Computational Thinking (CT) assessments for grades 3 and 4: the Beginners' CT test (BCTt) and the competent CT test (cCTt)” in ITiCSE 2022, 27th Annual Conference on Innovation and Technology in Computer Science Education. En proceso de revisión.

Mediante las experiencias realizadas se confirma la HE1: es posible evaluar el PC en la etapa de Educación Primaria mediante un test tradicional independiente de un entorno concreto. Por otro lado, los objetivos que se habían marcado en este capítulo (OP3, OP4 y OC) quedan parcialmente completados y se avanzará en ellos en sucesivos capítulos. En este punto, el grado de cumplimiento de los objetivos es el que se muestra en la Tabla 20.

Los límites superiores de administración del BCTt han quedado suficientemente definidos mediante las experiencias descritas en este capítulo, incluso, dada la pérdida de fiabilidad para los alumnos más mayores, ha sido necesario complementar el BCTt con otra herramienta de evaluación más compleja dirigida a estos alumnos (el cCTt). Sin embargo, el límite inferior de edad para la administración del BCTt no queda aún establecido, por lo que, en el siguiente capítulo, se describe la experiencia realizada con este fin en alumnos de Educación Infantil.

A raíz de la publicación del BCTt, éste ha generado gran impacto internacional, con lo que se ha traducido a numerosos idiomas y se han realizado (y actualmente se están llevando a cabo) varias experiencias en diferentes poblaciones y países (como Portugal, Bélgica o Singapur) y planteado líneas de actuación futuras, las cuales se encuentran en diferentes fases de desarrollo (véase el apartado 8.2). En el anexo A se pueden encontrar las versiones completas del BCTt, así como el protocolo de actuación.

Bibliografía

  [1]V. J. Shute, C. Sun, and J. Asbell-Clarke, "Demystifying computational thinking," Educational Research Review, vol. 22, pp. 142-158, 2017. Available: https://www.sciencedirect.com/science/article/pii/S1747938X17300350, doi: 10.1016/j.edurev.2017.09.003.

  [2]M. Berland and U. Wilensky, "Comparing virtual and physical robotics environments for supporting complex systems and computational thinking," Journal of Science Education and Technology, vol. 24, no. 5, pp. 628-647, 2015.

  [3]J. M. Wing, "Computational thinking and thinking about computing," Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, vol. 366, no. 1881, pp. 3717-3725, 2008. Available: http://rsta.royalsocietypublishing.org/content/366/1881/3717.abstract, doi: 10.1098/rsta.2008.0118.

  [4]T. Hsu, S. Chang, and Y. Hung, "How to learn and how to teach computational thinking: Suggestions based on a review of the literature," Computers & Education, vol. 126, pp. 296-310, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131518301799, doi: //doi.org/10.1016/j.compedu.2018.07.004.

  [5]S. Grover and R. Pea, "Computational Thinking in K—12: A Review of the State of the Field," Educational Researcher, vol. 42, no. 1, pp. 38-43, 2013. Available: https://www.jstor.org/stable/23360476, doi: 10.3102/0013189X12463051.

  [6]M. Zapata-Cáceres and N. Fanchamps, "Using the beginners computational thinking test to measure development on computational concepts among preschoolers," in Proceedings of the 5th APSCE International Computational Thinking and STEM in Education Conference 2021, Singapore, National Institute of Education, 2021, pp. 32-37.

  [7]Zapata-Cáceres María, E. Martín-Barroso and M. Román-González, "BCTt: Beginners computational thinking test," in Raspberry Pi Foundation Research Seminars, Apr 2021, pp. 46-56. ISSN 2514-586X (16). Available: https://www.raspberrypi.org/app/uploads/2021/05/Understanding-computing-education-Volume-1-%E2%80%93-Raspberry-Pi-Foundation-Research-Seminars.pdf.

  [8]M. Zapata-Cáceres, E. Martín-Barroso, and M. Román-González, “Computational thinking test for beginners: Design and content validation,” in IEEE Global Engineering Education Conference (EDUCON’20), Porto, Portugal, pp. 1905–1914, 2020, doi: 10.1109/EDUCON45650.2020.9125368.

  [9]J. Kirriemuir and A. Mcfarlane, Literature Review in Games and Learning. Bristol: Futurelab, 2004. Available: https://telearn.archives-ouvertes.fr/hal-00190453.

 [10]M. Prensky, "Digital game-based learning," Computers in Entertainment (CIE), vol. 1, no. 1, pp. 21, 2003.

 [11]M. Qian and K. R. Clark, "Game-based Learning and 21st century skills: A review of recent research," Computers in Human Behavior, vol. 63, pp. 50-58, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0747563216303491, doi: 10.1016/j.chb.2016.05.023.

 [12]L. S. Vygotsky, Mind in Society: The Development of Higher Psychological Processes. Cambridge, MA, USA: Harvard University Press, 1978.

 [13]J. Piaget, Psychology and Epistemology: Towards a Theory of Knowledge. CA, USA: Allen Lane, 1972.

 [14]D. H. Jonassen and L. Rohrer-Murphy, “Activity theory as a framework for designing constructivist learning environments,” Educational Technology Research & Development, vol. 47, no. 1, pp. 61–79, 1999. Available: https://www.jstor.org/stable/30220230, doi: 10.1007/BF02299477.

 [15]D. H. Jonassen, Learning to Solve Problems with Technology: A Constructivist Perspective. Upper Saddle River, N.J.: Merrill Prentice Hall, 2003.

 [16]C. Alonso-Fernandez et al, "Systematizing game learning analytics for serious games," in 2017 IEEE global engineering education conference (EDUCON), Apr 2017, pp. 1111-1118.

 [17]M. Freire et al, "Game Learning Analytics: Learning Analytics for Serious Games," Springer Nature Switzerland AG, pp. 1-29, Dec 1, 2016.

 [18]M. Zapata-Caceres, E. Martin, and M. Roman-Gonzalez, "Collaborative GameBased Environment and Assessment Tool for Learning Computational Thinking in Primary School: A Case Study," in IEEE Transactions on Learning Technologies, vol. 14, no. 5, pp. 576-589, 1 Oct. 2021, doi: 10.1109/TLT.2021.3111108.

 [19]M. Zapata-Cáceres and E. Martín-Barroso, "Applying Game Learning Analytics to a Voluntary Video Game: Intrinsic Motivation, Persistence, and Rewards in Learning to Program at an Early Age," in IEEE Access, vol. 9, pp. 123588-123602, 2021, doi: 10.1109/ACCESS.2021.3110475.

 [20]M. Binkley et al, "Defining twenty-first century skills," in Assessment and Teaching of 21st Century Skill. Dordrecht: Springer Netherlands, 2012, pp. 17-66.

 [21]B. Trilling and C. Fadel, 21st Century Skills: Learning for life in our times. San Francisco: John Wiley & Sons, 2009.

 [22]H. Kim et al, "Enhancing teachers' ICT capacity for the 21st century learning environment: Three cases of teacher education in Korea," Australasian Journal of Educational Technology, vol. 28, no. 6, 2012.

 [23]K. Tang, T. Chou, and C. Tsai, "A Content Analysis of Computational Thinking Research: An International Publication Trends and Research Typology," The Asia-Pacific Education Researcher, pp. 1-11, 2019. Available: https://search.proquest.com/docview/2195733480, doi: 10.1007/s40299-019-00442-8.

 [24]S. Grover et al, "A Framework for Using Hypothesis-Driven Approaches to Support Data-Driven Learning Analytics in Measuring Computational Thinking in Block-Based Programming Environments," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-25, 2017. Available: http://dl.acm.org/citation.cfm?id=3105910, doi: 10.1145/3105910.

 [25]S. Grover and A. Korhonen, "Unlocking the Potential of Learning Analytics in Computing Education," ACM Transactions on Computing Education (TOCE), vol. 17, no. 3, pp. 1-4, 2017. Available: http://dl.acm.org/citation.cfm?id=3122773, doi: 10.1145/3122773.

 [26]S. Grover. “The 5th ‘C’ of 21st Century skills? Try computational thinking (not coding)”, edsurge.com. http://bit.ly/346qK78 (accessed Feb. 1, 2018). Available: http://scholar.aci.info/view/1544f0f08b300170003/161ce93d34000012ef80942.

 [27]J. A. Velazquez-Iturbide, "Towards an analysis of computational thinking," in Sep 2018, pp. 1-6.

 [28]J.A. Velázquez-Iturbide, “Towards an analysis of computational thinking,” in Int. Symp. on Computers in Education (SIIE’18), pp. 1-6, Sep. 2018.

 [29]M. Israel et al, "Supporting all learners in school-wide computational thinking: A cross-case qualitative analysis," Computers & Education, vol. 82, pp. 263-279, 2015. Available: https://www.sciencedirect.com/science/article/pii/S0360131514002759, doi: 10.1016/j.compedu.2014.11.022.

 [30]C. Angevine et al, "Computational Thinking for a Computational World," 2017. Available: www.digitalpromise.org.

 [31]National Research Council, Report of a Workshop on the Pedagogical Aspects of Computational Thinking. National Academies Press, 2011.

 [32]Q. Burke, W. I. O'Byrne and Y. B. Kafai, "Computational participation: Understanding coding as an extension of literacy instruction," Journal of Adolescent & Adult Literacy, vol. 59, no. 4, pp. 371-375, 2016.

 [33]J. F. Sanford and J. T. Naidu, "Computational thinking concepts for grade school," Contemporary Issues in Education Research (CIER), vol. 9, no. 1, pp. 23-32, 2016.

 [34]K. Mills et al, Computational Thinking for an Inclusive World: A Resource for Educators to Learn and Lead. Digital Promise, 2021. Available: https://doi.org/10.51388/20.500.12265/140.

 [35]C. Sneider et al, "Computational thinking in high school science classrooms," The Science Teacher, vol. 81, no. 5, pp. 53, 2014.

 [36]N. Kelly and J. S. Gero, "Design thinking and computational thinking: a dual process model for addressing design problems," Design Science, vol. 7, 2021.

 [37]T. C. Pargman et al, "Teaching Computational Thinking in K-9: Tensions at the Intersection of Technology and Pedagogical Knowledge," in 14th International Conference of the Learning Sciences (ICLS) 2020, vol. 4, pp. 2409-2410, International Society of the Learning Sciences, 2020.

 [38]D. Kohen-Vacs and M. Milrad, "Computational thinking education for in-service elementary swedish teachers: Their perceptions and implications for competence development," in International Conference on Computational Thinking Education, 13-15 June 2019, Hong Kong, 2019.

 [39]V. Allan et al, "Computational thinking in high school courses," in Proceedings of the 41st ACM Technical Symposium on Computer Science Education, 2010.

 [40]P. Sengupta et al, "Integrating computational thinking with K-12 science education using agent-based computation: A theoretical framework," Education and Information Technologies, 2013, vol. 18, no 2, p. 351-380. Available: https://search.proquest.com/docview/1323979287, doi: 10.1007/s10639-012-9240-x.

 [41]V. Barr and C. Stephenson, "Bringing computational thinking to K-12: What is Involved and what is the role of the computer science education community?" ACM Inroads, vol. 2, no. 1, pp. 48-54, 2011.

 [42]P. Mishra, A. Yadav, and Deep-Play Research Group, "Rethinking technology & creativity in the 21st century," TechTrends, vol. 57, no. 3, pp. 10-14, 2013.

 [43]J. M. Wing, "Computational Thinking Test," CACM Viewpoint, pp. 33-35, 2006. Available: http://www.cs.cmu.edu/~wing/.

 [44]M. Román-González, J. Pérez-González and C. Jiménez-Fernández, "Which cognitive abilities underlie computational thinking? Criterion validity of the Computational Thinking Test," Computers in Human Behavior, vol. 72, pp. 678-691, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563216306185, doi: 10.1016/j.chb.2016.08.047.

 [45]A. V. Aho, "Computation and computational thinking," The Computer Journal, vol. 55, no. 7, pp. 832-835, 2012.

 [46]K. Brennan, M. Resnick, and MIT Media Lab, "New frameworks for studying and assessing the development of computational thinking," American Educational Research Association Meeting, Vancouver, BC, Canada., 2012.

 [47]S. Papert, Mindstorms: Children, Computers, and Powerful Ideas. Basic Books, Inc., 1980.

 [48]J. J. Lu and G. H. Fletcher, "Thinking about computational thinking," in Proceedings of the 40th ACM Technical Symposium on Computer Science Education, 2009.

 [49]J. Wing, "Research notebook: Computational thinking—What and why," The Link Magazine, vol. 6, pp. 20-23, 2011.

 [50]S. Furber, "Shut down or restart? The way forward for computing in UK schools," The Royal Society, 2012. Available: https://royalsociety.org/-/media/education/computing-in-schools/2012-01-12-computing-in-schools.pdf.

 [51]M. Tedre and P. J. Denning, "The long quest for computational thinking," in Proceedings of the 16th Koli Calling International Conference on Computing Education Research, pp. 120-129, 2016.

 [52]J. Moreno et al, " No es lo mismo: un análisis de red de texto sobre definiciones de pensamiento computacional para estudiar su relación con la programación informática," Revista Interuniversitaria De Investigación En Tecnología Educativa, 2019, doi: 10.6018/riite.397151.

 [53]ISTE and CSTA, "Operational definition of computational thinking for K-12 education," 2011. Available: https://cdn.iste.org/www-root/Computational_Thinking_Operational_Definition_ISTE.pdf.

 [54]M. U. Bers et al, "Computational thinking and tinkering: Exploration of an early childhood robotics curriculum," Computers & Education, vol. 72, pp. 145-157, 2014. Available: https://search.datacite.org/works/10.1016/j.compedu.2013.10.020, doi: 10.1016/j.compedu.2013.10.020.

 [55]S. Atmatzidou and S. Demetriadis, "Advancing students’ computational thinking skills through educational robotics: A study on age and gender relevant differences," Robotics and Autonomous Systems, vol. 75, pp. 661-670, 2016. Available: https://www.sciencedirect.com/science/article/pii/S0921889015002420, doi: 10.1016/j.robot.2015.10.008.

 [56]N. D. Anderson, "A call for computational thinking in undergraduate psychology," Psychology Learning & Teaching, vol. 15, no. 3, pp. 226-234, 2016.

 [57]S. Rose, J. Habgood and T. Jay, " An exploration of the role of visual programming tools in the development of young children’s computational thinking," Electronic journal of e-learning, 2017, vol. 15, no 4, p. 297-309, Aug 1, 2017.

 [58]D. Weintrop and U. Wilensky, "Using commutative assessments to compare conceptual understanding in blocks-based and text-based programs," in ICER, pp. 101-110, Aug 9, 2015.

 [59]D. Statter and M. Armoni, "Teaching abstract thinking in introduction to computer science for 7th graders," in Proceedings of the 11th Workshop in Primary and Secondary Computing Education, pp. 80-83, 2016.

 [60]B. Zhong et al, " An Exploration of Three-Dimensional Integrated Assessment for Computational Thinking," Journal of Educational Computing Research, vol. 53, no. 4, pp. 562-590, 2016. Available: https://journals.sagepub.com/doi/full/10.1177/0735633115608444, doi: 10.1177/0735633115608444.

 [61]S. Y. Lye and J. H. L. Koh, "Review on teaching and learning of computational thinking through programming: What is next for K-12?" Computers in Human Behavior, vol. 41, pp. 51-61, 2014. Available: https://www.sciencedirect.com/science/article/pii/S0747563214004634, doi: 10.1016/j.chb.2014.09.012.

 [62]E. Hunsaker, Computational Thinking. The K–12 Educational Technology Handbook, A. Ottenbreit-Leftwich and R. Kimmons, Eds. EdTech Books, 2020, pp. 80–95. [Online]. Available: https://bit.ly/2UP0gZi.

 [63]P. J. Rich et al, "Coding in K-8: International Trends in Teaching Elementary/Primary Computing," TechTrends, pp. 1-19, 2018.

 [64]C. S. González-González, "State of the art in the teaching of computational thinking and programming in childhood education," Education in the Knowledge Society, vol. 20, pp. 1-15, 2019.

 [65]S. Bocconi, A. Chioccariello, G. Dettori, A. Ferrari, and K. Engelhardt, “Developing computational thinking in compulsory education,” Eur. Commission, JRC Sci. Policy Rep., pp. 68, 2016.

 [66]Unión Europea, “Plan de Acción de Educación Digital (2021-2027)”, Unión Europa, European Comission, European Education Area, 2021.[Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [67]Unión Europea, “DigComp. The Digital Competence Framework 2.0”, EU SCIENCE HUB, 2021. [Online]. Available: https://ec.europa.eu/jrc/en/digcomp/digital-competence-framework. [Accessed: Dic. 12, 2021].

 [68]Code.org, “Learn computer science. Change the world”, Code.org. [Online]. Available: https://code.org/. [Accessed: Jan. 20, 2022].

 [69]La hora del código, “Celebramos las Ciencias de la Computación en todas partes”, hourofcode.com. [Online]. Available: https://hourofcode.com/es. [Accessed: Jan. 20, 2022].

 [70]J. Á Velázquez-Iturbide, "Report of the Spanish computing scientific society on computing education in pre-university stages," in Proceedings of the Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality, 2018.

 [71]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), "Programación, robótica y Pensamiento Computacional en el aula. Situación en España y propuesta normativa", Ministerio de Educación y Formación Profesional, Gobierno de España, Oct, 2018. [Online]. Available: https://code.intef.es/wp-content/uploads/2018/10/Ponencia-sobre-Pensamiento-Computacional.-Informe-Final.pdf.

 [72]Junta de Castilla y León, “Proyecto de innovación 'TIC STEAM' - Curso 2016-2017”, educacyl Portal de Educación, 2017. [Online]. Available: https://www.educa.jcyl.es/profesorado/es/formacion-profesorado/proyectos-relacionados-formacion-permanente-profesorado/competencia-digital/convocatorias/proyecto-innovacion-tic-steam-curso-2016-2017.

 [73]Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF), “Escuela de Pensamiento Computacional e Inteligencia Artificial”, Ministerio de Educación y Formación Profesional, Gobierno de España, 2021. [Online]. Available: https://intef.es/tecnologia-educativa/pensamiento-computacional/.

 [74]Programamos, “Es necesario que todo el mundo desarrolle su Pensamiento Computacional, desde niños a mayores”, programamos.com. [Online]. Available: https://programamos.es/. [Accessed: Jan. 20, 2022].

 [75]Boletín Oficial del Estado, “Marco de referencia de la competencia digital docente”, Ministerio de la Presidencia, Relaciones con las Cortes y Memoria Democrática, Gobierno de España. [Online]. Available: https://www.boe.es/diario_boe/txt.php?id=BOE-A-2020-7775#top.

 [76]E. Hunsaker, Integrating computational thinking. K-12 technology integration. Pressbooks. Available: https://k12techintegration.pressbooks.com/chapter/integrating-computational-thinking, 2018.

 [77]M. Zapata-Ros, "Computational thinking unplugged," Education in the Knowledge Society, vol. 20, pp. 1-29, 2019.

 [78]T. Bell et al, "Computer science unplugged: School students doing real computing without computers," The New Zealand Journal of Applied Computing and Information Technology, vol. 13, no. 1, pp. 20-29, 2009.

 [79]S. Adak, "Effectiveness of Constructivist Approach on Academic Achievement in Science at Secondary Level." Educational Research and Reviews, vol. 12, no. 22, pp. 1074-1079, 2017.

 [80]V. Richardson, "Constructivist pedagogy," Teachers College Record, vol. 105, no. 9, pp. 1623-1640, 2003.

 [81]C. T. Fosnot and R. S. Perry, "Constructivism: A psychological theory of learning," Constructivism: Theory, Perspectives, and Practice, vol. 2, no. 1, pp. 8-33, 1996.

 [82]S. Papert and I. Harel, "Situating constructionism," Constructionism, vol. 36, no. 2, pp. 1-11, 1991.

 [83]C. W. Istikomah and C. Budiyanto, "The contribution of educational robotics and constructivist approach to computational thinking in the 21st century," in Proceedings of the the 1st International Conference on Computer Science and Engineering Technology Universitas Muria Kudus, 2018.

 [84]S. Hartikainen et al, "The concept of active learning and the measurement of learning outcomes: A review of research in engineering higher education," Education Sciences, vol. 9, no. 4, pp. 276, 2019.

 [85]R. T. Johnson and D. W. Johnson, "Active learning: Cooperation in the classroom," The Annual Report of Educational Psychology in Japan, vol. 47, pp. 29-30, 2008.

 [86]P. Dillenbourg, Ed., Collaborative Learning: Cognitive and Computational Approaches. Oxford, U.K.: Pergamon, 1999.

 [87]M. Laal and S. M. Ghodsi, "Benefits of collaborative learning," Procedia - Social and Behavioral Sciences, vol. 31, pp. 486-490, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030205, doi: //doi.org/10.1016/j.sbspro.2011.12.091.

 [88]D. W. Johnson and R. T. Johnson, "Effects of cooperative and individualistic learning experiences on interethnic interaction," Journal of Educational Psychology, vol. 73, (3), pp. 444-449, 1981. Available: https://search.proquest.com/docview/614371667. DOI: 10.1037/00220663.73.3.444.

 [89]M. Laal and M. Laal, "Collaborative learning: what is it?" Procedia - Social and Behavioral Sciences, vol. 31, pp. 491-495, 2012. Available: http://www.sciencedirect.com/science/article/pii/S1877042811030217. DOI: //doi.org/10.1016/j.sbspro.2011.12.092.

 [90]D. Boud and G. E. Feletti, Eds., The Challenge of Problem-Based Learning. London, U.K.: Routledge, 1997, doi: 10.4324/9781315042039.

 [91]J. Roschelle and S. D. Teasley, "The construction of shared knowledge in collaborative problem solving," in Computer Supported Collaborative Learning, 1995.

 [92]P. C. Blumenfeld et al, "Motivating Project-Based Learning: Sustaining the Doing, Supporting the Learning," Educational Psychologist, vol. 26, no. 3-4, pp. 369-398, 1991. Available: http://www.tandfonline.com/doi/abs/10.1080/00461520.1991.9653139, doi: 10.1080/00461520.1991.9653139.

 [93]L. Zhang and J. Nouri, "A systematic review of learning computational thinking through Scratch in K-9," Comput. Educ., vol. 141, pp. 103-607, 2019.

 [94]J. Moreno-León, G. Robles, and M. Román-González, "Towards data-driven learning paths to develop computational thinking with scratch," IEEE Transactions on Emerging Topics in Computing, vol. 8, no. 1, pp. 193-205, 2017.

 [95]J. Nouri et al, "Development of computational thinking, digital competence and 21st century skills when learning programming in K-9," Education Inquiry, vol. 11, no. 1, pp. 1-17, 2020.

 [96]J. Fagerlund et al, "Computational thinking in programming with scratch in primary schools: A systematic review," Computer Applications in Engineering Education, vol. 29, no. 1, pp. 12-28, 2021.

 [97]G. Falloon, "An analysis of young students' thinking when completing basic coding tasks using Scratch Jnr. On the iPad," J. Comput. Assisted Learn., vol. 32, no. 6, pp. 576-593, 2016.

 [98]Massachusetts Institute of Technology: MIT, “Scratch”, scratch.mit.edu, [Online]. Available: https://scratch.mit.edu/.

 [99]P. Mozelius and L. Öberg, "Play‐based learning for programming education in primary school: The östersund model," in European Conference on E-Learning-ECEL 2017, Porto, Portugal, 26-27 October 2017, 2017.

[100]A. G. Soosai Raj et al, "Does native language play a role in learning a programming language?" in Proceedings of the 49th ACM Technical Symposium on Computer Science Education, 2018.

[101]M. Jancheski, "Improving teaching and learning computer programming in schools through educational software," Olympiads in Informatics, vol. 11, pp. 55-75, 2017.

[102]E. F. Silva, B. J. Dembogurski and G. S. Semaan, "A Systematic Review of Computational Thinking in Early Ages," arXiv Preprint arXiv:2106.10275, 2021.

[103]J. M. Cañas Plaza et al, "Entorno docente universitario para la programación de los robots," Revista Iberoamericana De Automática E Informática Industrial, vol. 15, no. 4, pp. 404-415, 2018.

[104]A. Hamidi, M. Milrad and S. Tavajoh, "Combining maker technologies to promote computational thinking and heart-ware skills through project-based activities: Design considerations and empirical outputs," in Cte-Stem 2021, 2021.

[105]R. Zerega et al, "A co-design approach for developing computational thinking skills in connection to STEM related curriculum in swedish schools," in Cte-Stem 2021, 2021.

[106]M. Riedmiller and T. Gabel, "On experiences in a complex and competitive gaming domain: Reinforcement learning meets robocup," in 2007 IEEE Symposium on Computational Intelligence and Games, 2007.

[107]N. L. Fanchamps et al, "The influence of SRA programming on algorithmic thinking and self-efficacy using Lego robotics in two types of instruction," International Journal of Technology and Design Education, vol. 31, no. 2, pp. 203-222, 2021.

[108]N. L. Fanchamps et al, "The Impact of SRA-Programming on Computational Thinking in a Visual Oriented Programming Environment," Education and Information Technologies, vol. 26, no. 5, pp. 6479-6498, 2021.

[109]M. Montessori, J. M. Hunt and J. Valsiner, The Montessori Method. Routledge, 2017.

[110]M. Elkin, A. Sullivan, and M. U. Bers, "Programming with the KIBO robotics kit in preschool classrooms," Computers in the Schools, vol. 33, no. 3, pp. 169-186, 2016.

[111]L. L. Román, "Metodología para la enseñanza aprendizaje de la lógica de la programación orientada a objetos," in 5ta. Conferencia Iberoamericana en Sistemas, Cibernética e Informática CISCI, International Institute of Informatics and Systemics, EE. UU, 2007.

[112]J. Urquiza-Fuentes and J. Á Velázquez-Iturbide, "A survey of successful evaluations of program visualization and algorithm animation systems," ACM Transactions on Computing Education (TOCE), vol. 9, no. 2, pp. 1-21, 2009.

[113]L. Seiter and B. Foreman, "Modeling the learning progressions of computational thinking of primary grade students," in Proceedings of the Ninth Annual International ACM Conference on International Computing Education Research, 2013, Available: http://doi.acm.org/10.1145/2493394.2493403, doi: 10.1145/2493394.2493403.

[114]S. Grover, R. Pea and S. Cooper, "Designing for deeper learning in a blended computer science course for middle school students," Computer Science Education, vol. 25, no. 2, pp. 199-237, 2015.

[115]A. Basawapatna et al, "Recognizing computational thinking patterns," in Proceedings of the 42nd ACM technical symposium on Computer science education, pp. 245-250 Mar 9, 2011.

[116]S. Papadakis and M. Kalogiannakis, "Evaluating a course for teaching advanced programming concepts with scratch to preservice kindergarten teachers: A case study in greece," in Early Childhood EducationAnonymous 2018.

[117]A. Eguiluz et al, "Exploring the progression of early programmers in a set of computational thinking challenges via clickstream analysis," Tetc, pp. 1, 2017. Available: https://ieeexplore.ieee.org/document/8093668, doi: 10.1109/TETC.2017.2768550.

[118]G. Petri and C. Gresse von Wangenheim, "How games for computing education are evaluated? A systematic literature review," Computers & Education, vol. 107, pp. 68-90, 2017. Available: http://dx.doi.org/10.1016/j.compedu.2017.01.004, doi: 10.1016/j.compedu.2017.01.004.

[119]A. Vahldick, A. J. Mendes and M. J. Marcelino, "Dynamic Difficulty Adjustment through a Learning Analytics Model in a Casual Serious Game for Computer Programming Learning," EAI Endorsed Transactions on Serious Games, vol. 4, no. 13, 2017.

[120]C. Kroustalli and S. Xinogalos, "Studying the effects of teaching programming to lower secondary school students with a serious game: a case study with Python and CodeCombat," Education and Information Technologies, pp. 1-27, 2021.

[121]M. Csikszentmihalyi, Finding Flow: The Psychology of Engagement with Everyday Life. United States: 1997.

[122]S. H. Chuah, "Why and who will adopt extended reality technology? Literature review, synthesis, and future research agenda," Literature Review, Synthesis, and Future Research Agenda, Dec. 13, 2018.

[123]M. Montola, "Exploring the edge of the magic circle: Defining pervasive games," in Proceedings of DAC, 2005.

[124]C. Bonillo, J. Marco, and E. Cerezo, "Developing pervasive games in interactive spaces: the JUGUEMOS toolkit," Multimedia Tools Appl, vol. 78, no. 22, pp. 32261-32305, 2019.

[125]N. M. Medina et al, "Hacia una propuesta de evaluación heurística de experiencias de juego pervasivas," Revista De La Asociación Interacción Persona Ordenador (AIPO), vol. 2, no. 2, pp. 42-53, 2021.

[126]J. Marco, C. Bonillo, and E. Cerezo, "A tangible interactive space odyssey to support children learning of computer programming," in Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces, 2017.

[127]S. SUKIRMAN et al, "A Strategy of Learning Computational Thinking through Game Based in Virtual Reality: Systematic Review and Conceptual Framework," Informatics in Education, 2021.

[128]Y. Ching, Y. Hsu and S. Baldwin, "Developing computational thinking with educational technologies for young learners," TechTrends, vol. 62, no. 6, pp. 563-573, 2018.

[129]C. P. Brackmann et al, "Development of computational thinking skills through unplugged activities in primary school," in Proceedings of the 12th Workshop on Primary and Secondary Computing Education, 2017.

[130]S. Suh, M. Lee and G. Xia, "Coding strip: A pedagogical tool for teaching and learning programming concepts through comics," in 2020 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC), 2020.

[131]G. Aranda and J. P. Ferguson, "Unplugged Programming: The future of teaching computational thinking?" Pedagogika, vol. 68, no. 3, 2018.

[132]J. Waite et al, "Unplugged computing and semantic waves: Analysing crazy characters," in Proceedings of the 1st UK & Ireland Computing Education Research Conference, 2019.

[133]A. Dengel, "Computer science replugged: What is the use of virtual reality in computer science education?" in Proceedings of the 14th Workshop in Primary and Secondary Computing Education, 2019.

[134]X. Tang et al, "Assessing computational thinking: A systematic review of empirical studies," Computers & Education, vol. 148, pp. 103-798, 2020. Available: http://www.sciencedirect.com/science/article/pii/S0360131519303483, doi: https://doi.org/10.1016/j.compedu.2019.103798.

[135]J. Denner, L. Werner and E. Ortiz, "Computer games created by middle school girls: Can they be used to measure understanding of computer science concepts?" Computers & Education, vol. 58, no. 1, pp. 240-249, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131511001849, doi: 10.1016/j.compedu.2011.08.006.

[136]I. Cetin and E. Dubinsky, "Reflective abstraction in computational thinking," Journal of Mathematical Behavior, vol. 47, pp. 70-80, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0732312316301511, doi: 10.1016/j.jmathb.2017.06.004.

[137]S. Jun et al, "Assessing the computational literacy of elementary students on a national level in Korea," Educational Assessment, Evaluation and Accountability, vol. 26, no. 4, pp. 319-332, 2014.

[138]L. Werner et al, "The fairy performance assessment," in Proceedings of the 43rd ACM technical symposium on Computer Science Education, pp. 215-220, 2012.

[139]V. Garneli and K. Chorianopoulos, "Programming video games and simulations in science education: exploring computational thinking through code analysis," Interactive Learning Environments, vol. 26, no. 3, pp. 386-401, 2018. Available: http://www.tandfonline.com/doi/abs/10.1080/10494820.2017.1337036, doi: 10.1080/10494820.2017.1337036.

[140]A. Mühling, A. Ruf and P. Hubwieser, "Design and first results of a psychometric test for measuring basic programming abilities," in Proceedings of the workshop in primary and secondary computing education, pp. 2-10, Nov 9, 2015.

[141]Ö Korkmaz, R. Çakir and M. Y. Özden, "A validity and reliability study of the computational thinking scales (CTS)," Computers in Human Behavior, vol. 72, pp. 558-569, 2017. Available: https://www.sciencedirect.com/science/article/pii/S0747563217300055, doi: 10.1016/j.chb.2017.01.005.

[142]M. Román-González et al, "Extending the nomological network of computational thinking with non-cognitive factors," Computers in Human Behavior, vol. 80, pp. 441-459, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0747563217305563, doi: https://doi.org/10.1016/j.chb.2017.09.030.

[143]M. Román-González et al, "Can computational talent be detected? Predictive validity of the Computational Thinking Test," International Journal of ChildComputer Interaction, vol. 18, pp. 47-58, 2018. Available: http://www.sciencedirect.com/science/article/pii/S221286891730034X, doi: https://doi.org/10.1016/j.ijcci.2018.06.004.

[144]AERA, APA and NCME, Standards for Educational and Psychological Testing. 2014. Available: http://www.fachportal-paedagogik.de/fis_bildung/suche/fis_set.html?FId=1050398.

[145]G. Chen et al, "Assessing elementary students’ computational thinking in everyday reasoning and robotics programming," Computers & Education, vol. 109, pp. 162-175, 2017. Available: http://www.sciencedirect.com/science/article/pii/S0360131517300490, doi: https://doi.org/10.1016/j.compedu.2017.03.001.

[146]E. Relkin, L. de Ruiter and M. U. Bers, "TechCheck: Development and Validation of an Unplugged Assessment of Computational Thinking in Early Childhood Education," Journal of Science Education and Technology, vol. 29, no. 4, pp. 482-498, 2020. Available: https://search.proquest.com/docview/2413230852, doi: 10.1007/s10956-020-09831-x.

[147]Y. Li, S. Xu, and J. Liu, "Development and Validation of Computational Thinking Assessment of Chinese Elementary School Students," Journal of Pacific Rim Psychology, vol. 15, pp. 18344909211010240, 2021. Available: https://doi.org/10.1177/18344909211010240, doi: https://doi.org/10.1177/18344909211010240.

[148]S. Grover, R. Pea and S. Cooper, "«Systems of assessments» for deeper learning of computational thinking in K-12," in Proceedings of the 2015 Annual Meeting of the American Educational Research Association, 2015.

[149]G. Siemens and P. Long, "Penetrating the Fog: Analytics in Learning and Education," EDUCAUSE Review, vol. 46, no. 5, pp. 30, 2011.

[150]A. Mathrani, S. Christian and A. Ponder-Sutton, "PlayIT: Game based learning approach for teaching programming concepts," Journal of Educational Technology & Society, vol. 19, no. 2, pp. 5-17, 2016.

[151]C. Malliarakis, M. Satratzemi and S. Xinogalos, "CMX: The effects of an educational MMORPG on learning and teaching computer programming," IEEE Transactions on Learning Technologies, vol. 10, no. 2, pp. 219-235, 2016.

[152]C. Malliarakis, M. Satratzemi and S. Xinogalos, "Integrating learning analytics in an educational MMORPG for computer programming," in 2014 IEEE 14th International Conference on Advanced Learning Technologies, 2014.

[153]W. Greller and H. Drachsler, "Translating learning into numbers: A generic framework for learning analytics," Journal of Educational Technology & Society, vol. 15, no. 3, pp. 42-57, 2012.

[154]M. A. Chatti et al, "Learning Analytics: Challenges and Future Research Directions," eleed, vol. 10, no 1. Nov 6, 2014.

[155]M. Román González, "Computational thinking test: Design guidelines and content validation," in Proceedings of EDULEARN15 conference, Barcelona, pp. 2436-2444, 201.

[156]D. Căprioară, "Emotions and the Learning of School Mathematics," Bulletin of the Transilvania University of Braşov, Series VII: Social Sciences and Law, vol. 10, no. 1, pp. 9-18, 2017. Available: http://www.ceeol.com/search/article-detail?id=566146.

[157]C. Chen and P. Herbst, "The interplay among gestures, discourse, and diagrams in students’ geometrical reasoning," Educational Studies in Mathematics, vol. 83, no. 2, pp. 285-307, 2013. Available: 10.1007/s10649-012-9454-2, doi: https://doi.org/10.1007/s10649-012-9454-2.

[158]H. Y. Durak and M. Saritepeci, "Analysis of the relation between computational thinking skills and various variables with the structural equation model," Computers & Education, vol. 116, pp. 191-202, 2018. Available: http://www.sciencedirect.com/science/article/pii/S0360131517302087, doi: //doi.org/10.1016/j.compedu.2017.09.004.

[159]T. Watanabe, "Visual Reasoning Tools in Action: Double Number Lines, Area Models, and Other Diagrams Power Up Students' Ability to Solve and Make Sense of Various Problems," Mathematics Teaching in the Middle School, vol. 21, no. 3, pp. 152, 2015.

[160]C. E. Lance, M. M. Butts and L. C. Michels, "The sources of four commonly reported cutoff criteria: What did they really say?" Organ. Res. Methods, vol. 9, no. 2, pp. 202-220, 2006.

[161]M. Román-González, J. Moreno-León and G. Robles, "Combining assessment tools for a comprehensive evaluation of computational thinking interventions," in Computational Thinking Education, S. Kong and H. Abelson, Eds. 2019, Available: https://doi.org/10.1007/978-981-13-6528-7_6, doi: 10.1007/978-981-13-6528-7_6.

[162]A. A. De Souza et al, "Data mining framework to analyze the evolution of computational thinking skills in game building workshops," IEEE Access, vol. 7, pp. 82848-82866, 2019.

[163]R. F. DeVellis, "Classical test theory," Med. Care, pp. S50-S59, 2006.

[164]R. K. Hambleton and R. W. Jones, "Comparison of classical test theory and item response theory and their applications to test development," Educational Measurement: Issues and Practice, vol. 12, no. 3, pp. 38-47, 1993.

[165]L. El-Hamamsy, M. Zapata-Caceres, E. Martín, F. Mondada, J. Dehler Zufferey, and B. Bruno, "The competent Computational Thinking test (cCTt): Development and validation of an unplugged Computational Thinking test for upper primary school," Journal of Educational Computing Research, 2022. In press.

[166]S. Kong, "A framework of curriculum design for computational thinking development in K-12 education," Journal of Computers in Education, vol. 3, no. 4, pp. 377-394, 2016.

[167]F. Buitrago Flórez et al, "Changing a Generation's Way of Thinking: Teaching Computational Thinking Through Programming," Review of Educational Research, vol. 87, no. 4, pp. 834, 2017. Available: https://search.proquest.com/docview/1917804191, doi: 10.3102/0034654317710096.

[168]J. Alvarez et al, "Blue Bot Project Experiment," 8th International Toy Research Association World Conference Jul 11, 2018.

[169]C. Sáez Fernández, G. Viera López and D. Pérez Marín, "Propuesta metodológica de la enseñanza de la programación en Educación Infantil con Cubetto," IE Comunicaciones: Revista Iberoamericana De Informática Educativa, no. 28, pp. 1-8, 2018. Available: https://dialnet.unirioja.es/servlet/oaiart?codigo=6750332.

[170]W. Wu et al, "Investigating the learning‐theory foundations of game‐based learning: a meta‐analysis," Journal of Computer Assisted Learning, vol. 28, no. 3, pp. 265-279, 2012. Available: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1365-2729.2011.00437.x, doi: 10.1111/j.1365-2729.2011.00437.x.

[171]E. Boyle, T. M. Connolly, and T. Hainey, "The role of psychology in understanding the impact of computer games," Entertainment Computing, vol. 2, no. 2, pp. 69-74, 2011. Available: https://www.sciencedirect.com/science/article/pii/S1875952110000200, doi: 10.1016/j.entcom.2010.12.002.

[172]M. Li and C. Tsai, "Game-Based Learning in Science Education: A Review of Relevant Research," Journal of Science Education and Technology, vol. 22, no. 6, pp. 877-898, 2013. Available: https://doi.org/10.1007/s10956-013-9436-x, doi: 10.1007/s10956-013-9436-x.

[173]W. Wu et al, "Re-exploring game-assisted learning research: The perspective of learning theoretical bases," Computers & Education, vol. 59, no. 4, pp. 1153-1161, 2012. Available: https://www.sciencedirect.com/science/article/pii/S0360131512001248, doi: 10.1016/j.compedu.2012.05.003.

[174]M. Csikszentmihalyi, "Flow and the psychology of discovery and invention," HarperPerennial, New York, vol. 39, 1997.

[175]T. Hainey et al, "A systematic literature review of games-based learning empirical evidence in primary education," Computers & Education, vol. 102, pp. 202-223, 2016.

[176]J. R. Savery and T. M. Duffy, "Problem based learning: An instructional model and its constructivist framework," Educational Technology, vol. 35, no. 5, pp. 31-38, 1995.

[177]J. R. Savery, "Overview of Problem-based Learning: Definitions and distinctions," Essential readings in problem-based learning: Exploring and extending the legacy of Howard S. Barrows, vol. 9, no 2, pp. 5-15, 2015. Available: https://library.biblioboard.com/viewer/620aa903-49eb-49d1-8fc2-b02dbeda193c.

[178]B. Haßler, L. Major, and S. Hennessy, "Tablet use in schools: A critical review of the evidence for learning outcomes," Journal of Computer Assisted Learning, vol. 32, no. 2, pp. 139-156, 2016.

[179]Y. Rogers et al, " Equal opportunities: Do shareable interfaces promote more group participation than single user displays?" Human–Computer Interaction, vol. 24, no. 1-2, pp. 79-116, 2009.

[180]D. Roldan-Alvarez et al, "DEDOS: An Authoring Toolkit to Create Educational Multimedia Activities for Multiple Devices," IEEE Transactions on Learning Technologies, vol. 11, no. 4, pp. 493-505, 2018. Available: https://ieeexplore.ieee.org/document/8244297, doi: 10.1109/TLT.2017.2788867.

[181]C. Lin, L. Wong and Y. Shao, "Comparison of 1: 1 and 1: m CSCL environment for collaborative concept mapping," Journal of Computer Assisted Learning, vol. 28, no. 2, pp. 99-113, 2012.

[182]M. Zapata-Cáceres, E. Martín-Barroso and M. Román-González, "Computational Thinking Test for Beginners: Design and Content Validation," 2020 IEEE Global Engineering Education Conference (EDUCON). in Press, 2020.

[183]R. S. Pressman, Software Engineering: A Practitioner's Approach. Palgrave macmillan, 2005.

[184]C. Larman, Agile and Iterative Development: A Manager's Guide. Addison-Wesley Professional, 2004.

[185]L. García-de-la-Fuente, "Tratamiento de ficheros generados por Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[186]G. Matilla-Jiménez, "Desarrollo una aplicación web para facilitar la visualización y análisis se datos de Blue Ant Code," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2020.

[187]J. Moreno and G. Robles, "Automatic detection of bad programming habits in scratch: A preliminary study," in 2014 IEEE Frontiers in Education Conference (FIE) Proceedings, pp. 1-4, Oct. 2014.

[188]N. Diana et al, "An instructor dashboard for real-time analytics in interactive programming assignments," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 272-279, 2017.

[189]L. Gal et al, "Suggesting a log-based creativity measurement for online programming learning environment," in Proceedings of the Fourth (2017) ACM Conference on Learning@ Scale, pp. 273-277, 2017.

[190]D. Olivares and C. Hundhausen, "Supporting learning analytics in computing education," in Proceedings of the Seventh International Learning Analytics & Knowledge Conference, pp. 584-585, 2017.

[191]M. Zapata-Ros and P. Pérez-Paredes, El Pensamiento Computacional. Análisis De Una Competencia Clave. New York: Create Space Independent Publishing, 2018.

[192]H. Søndergaard and R. A. Mulder, "Collaborative learning through formative peer review: Pedagogy, programs and potential," Computer Science Education, vol. 22, no. 4, pp. 343-367, 2012.

[193]M. R. Snodgrass, M. Israel and G. C. Reese, "Instructional supports for students with disabilities in K-5 computing: Findings from a cross-case analysis," Computers & Education, vol. 100, pp. 1-17, 2016.

[194]N. Ayuso et al, "Gender Gap in STEM: A Cross-Sectional Study of Primary School Students’ Self-Perception and Test Anxiety in Mathematics," IEEE Transactions on Education, vol. 64, no. 1, pp. 40-49, 2020.

[195]L. Sun et al, "Primary school students' perceptions of scaffolding in digital gamebased learning in mathematics," Learning, Culture and Social Interaction, vol. 28, pp. 100457, 2021.

[196]M. Cengiz et al, "Development of an interactive game-based learning environment to teach data mining," The International Journal of Engineering Education, vol. 33, no. 5, pp. 1598-1617, 2017.

[197]H. Lu, "Rethinking game-based learning from a gender perspective: a case study of a male English language learner in China," Gender, Technology and Development, vol. 16, no. 1, pp. 49-70, 2012.

[198]E. A. Boyle et al, "An update to the systematic literature review of empirical evidence of the impacts and outcomes of computer games and serious games," Computers & Education, vol. 94, pp. 178-192, 2016. Available: http://www.sciencedirect.com/science/article/pii/S0360131515300750, doi: //doi.org/10.1016/j.compedu.2015.11.003.

[199]R. J. Mislevy, L. S. Steinberg and R. G. Almond, "Focus Article: On the Structure of Educational Assessments," Measurement (Mahwah, N.J.), vol. 1, no. 1, pp. 3-62, 2003. Available: http://www.tandfonline.com/doi/abs/10.1207/S15366359MEA0101_02, doi: 10.1207/S15366359MEA0101_02.

[200]V. J. Shute and G. R. Moore, "Consistency and validity in game-based stealth assessment," Technology Enhanced Innovative Assessment: Development, Modeling, and Scoring from an Interdisciplinary Perspective, vol. 296, 2017.

[201]C. Alonso Fernández et al, "Improving serious games analyzing learning analytics data: lessons learned," in International Conference on Games and Learning Alliance. Springer, Cham Dec 5, 2018.

[202]G. Wallner and S. Kriglstein, "Comparative visualization of player behavior for serious game analytics," in Serious Games Analytics, Cham: Springer International Publishing, pp. 159-179, 2015.

[203]E. Zimmerman, "Narrative, interactivity, play, and games: Four naughty concepts in need of discipline," First Person: New Media as Story, Performance, and Game, vol. 154, 2004.

[204]E. Carratala Sánchez, "Análisis de la teoría de las metas de logro y de la autodeterminación en los planes de especialización deportiva de la Generalitat Valenciana." 2004.

[205]C. J. Ferguson and C. K. Olson, "Friends, fun, frustration and fantasy: Child motivations for video game play," Motivation and Emotion, vol. 37, no. 1, pp. 154-164, 2013.

[206]P. R. Pintrich and A. Zusho, "The development of academic self-regulation: The role of cognitive and motivational factors," in Development of Achievement Motivation, 2002.

[207]A. E. Gottfried, "Academic intrinsic motivation in young elementary school children." J. Educ. Psychol., vol. 82, no. 3, pp. 525, 1990.

[208]R. M. Ryan and E. L. Deci, "Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being." Am. Psychol., vol. 55, no. 1, pp. 68, 2000.

[209]E. L. Deci and R. M. Ryan, "Intrinsic motivation," The Corsini Encyclopedia of Psychology, pp. 1-2, 2010.

[210]J. R. Calvo-Ferrer, "Juegos, videojuegos y juegos serios: Análisis de los factores que favorecen la diversión del jugador," Miguel Hernández Communication Journal, no. 9, pp. 191-226, 2018.

[211]I. Granic, A. Lobel and R. C. Engels, "The benefits of playing video games." American Psychologist Journal, vol. 69, no. 1, pp. 66, 2014.

[212]M. Ventura, V. Shute and W. Zhao, "The relationship between video game use and a performance-based measure of persistence," Computers & Education, vol. 60, no. 1, pp. 52-58, 2013.

[213]R. M. Ryan, C. S. Rigby and A. Przybylski, "The motivational pull of video games: A self-determination theory approach," Motivation and Emotion, vol. 30, no. 4, pp. 344-360, 2006.

[214]M. Salminen and N. Ravaja, "Increased oscillatory theta activation evoked by violent digital game events," Neuroscience Letters - Journals, vol. 435, no. 1, pp. 69-72, 2008.

[215]R. Israel-Fishelson and A. Hershkovitz, "Shooting for the stars: Micro-persistence of students in game-based learning environments," in Early Warning Systems and Targeted Interventions for Student Success in Online Courses, 2020.

[216]C. Hart, "Factors associated with student persistence in an online program of study: A review of the literature." Journal of Interactive Online Learning, vol. 11, no. 1, 2012.

[217]R. Israel‐Fishelson and A. Hershkovitz, "Micro‐persistence and difficulty in a game‐based learning environment for computational thinking acquisition," Journal of Computer Assisted Learning, 2021.

[218]Y. Fang et al, "Online Learning Persistence and Academic Achievement." International Educational Data Mining Society, 2017.

[219]C. Alonso-Fernández et al, "Applications of data science to game learning analytics data: A systematic literature review," Computers & Education, vol. 141, pp. 103612, 2019. Available: https://search.datacite.org/works/10.1016/j.compedu.2019.103612, doi: 10.1016/j.compedu.2019.103612.

[220]P. R. Pintrich and A. Zusho, "Student motivation and self-regulated learning in the college classroom," in Higher Education: Handbook of Theory and ResearchAnonymous 2002.

[221]K. Weber and B. R. Patterson, "Student interest, empowerment and motivation," Communication Research Reports, vol. 17, no. 1, pp. 22-29, 2000.

[222]Á Serrano-Laguna et al, "Applying standards to systematize learning analytics in serious games," Computer Standards & Interfaces, vol. 50, pp. 116-123, 2017.

[223]Y. Tran, "Computational thinking equity in elementary classrooms: What third-grade students know and can do," Journal of Educational Computing Research, vol. 57, no. 1, pp. 3-31, 2019.

[224]R. Israel-Fishelson and A. Hershkovitz, "Persistence and achievement in acquiring computational thinking concepts: A large-scale log-based analysis," in E-Learn: World Conference on E-Learning in Corporate, Government, Healthcare, and Higher Education, 2019.

[225]S. Grover et al, "Assessing problem-solving process at scale," in Proceedings of the Third (2016) ACM Conference on Learning@ Scale, pp. 245-248, Apr 25, 2016.

[226]M. Zapata-Cáceres and E. Martín-Barroso, "Blue Ant Code," 2020. Available: https://play.google.com/store/apps/details?id=com.artbabygame.blueAnt https://apps.apple.com/es/app/blue-ant-code/id1495021110.

[227]S. Kong, M. M. Chiu and M. Lai, "A study of primary school students' interest, collaboration attitude, and programming empowerment in computational thinking education," Computers & Education, vol. 127, pp. 178-189, 2018. Available: http://dx.doi.org/10.1016/j.compedu.2018.08.026, doi: 10.1016/j.compedu.2018.08.026.

[228]M. Guenaga et al, "How do students develop computational thinking? Assessing early programmers in a maze-based online game," Computer Science Education, vol. 31, no 2, pp. 259-289, 2021. Available: https://doi.org/10.1080/08993408.2021.1903248, doi: 10.1080/08993408.2021.1903248.

[229]T. P. Alloway, "How does working memory work in the classroom?" Educational Research and Reviews, vol. 1, no. 4, pp. 134-139, 2006.

[230]C. S. Dweck and D. C. Molden, "Their impact on competence motivation and acquisition," Handbook of Competence and Motivation: Theory and Application, vol. 2, pp. 135-154, 2017.

[231]L. S. Blackwell, K. H. Trzesniewski and C. S. Dweck, "Implicit theories of intelligence predict achievement across an adolescent transition: A longitudinal study and an intervention," Child Dev., vol. 78, no. 1, pp. 246-263, 2007.

[232]P. Sweetser and P. Wyeth, "GameFlow: a model for evaluating player enjoyment in games," Computers in Entertainment (CIE), vol. 3, no. 3, pp. 3, 2005.

[233]M. Lafuente Martínez et al, "Assessing Computational Thinking: Development and Validation of the Algorithmic Thinking Test for Adults," 2021.

[234]L. Narcisi et al, "Beginners Computational Thinking Test: Adaptation pour un public de moins de 5 ans." Service D'Ingénierie Pédagogique Et Du Numérique Éducatif, FPSE, UMONS, s.f., 2021.

[235]M. Lázaro-Álvarez, "Sudokus adaptativos para Educación Infantil o Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.

[236]J. Plaza-Carro, "Blue-encode: Juego colaborativo de cifrado y descifrado de mensajes en Educación Primaria," Trabajo De Fin De Grado En Ingeniería Informática, Universidad Rey Juan Carlos, 2021.

_______________________________

¹ https://www.epfl.ch/about/

² https://www.treetree2.org/