ARTIGOS

Desenvolvimento e validação de uma prova de avaliação das competências iniciais de programação

Development and Validation of an Assessment Instrument of the Initial Programming Skills

Joana Martinho Costa¹, Guilhermina Lobato Miranda¹

¹ Instituto de Educação da Universidade de Lisboa, Alameda da Universidade, 1649-013 Lisboa, Portugal joana.martinho.costa@campus.ul.pt, gmiranda@ie.ulisboa.pt

---

 

RESUMO

Atualmente verifica-se a insuficiência de instrumentos de avaliação validados que possam mensurar as diferentes etapas de aprendizagem inicial de programação. Por este motivo desenvolvemos uma prova a partir da Taxonomia de Bloom que permite comparar o desempenho dos alunos independentemente da linguagem de programação com que iniciaram a sua aprendizagem. A prova apresenta questões de escolha múltipla para os quatro níveis iniciais e questões de desenvolvimento para os dois últimos níveis. Após a sua construção, foi validada por 12 especialistas e submetida a um grupo-piloto (N=29) para analisar a fiabilidade e dificuldade dos itens. Obtivemos um alfa de 0,837 e correlação positiva entre todos os itens da prova e o total dos itens com nível de significância p<0,05. As diferenças entre a frequência de respostas corretas nos itens são estatisticamente significativas (Q(12)=76,767; n=29; p=0,000). Estes resultados demonstram que a prova é válida, fiável e discriminativa.

Palavras-chave: Programação Inicial; Taxonomia de Bloom; Desempenho; Validação; Fiabilidade

---

 

ABSTRACT

Nowadays there is a noticeable lack of validated evaluation instruments that can measure the different stages of initial programming learning. For this reason, we developed an instrument from Bloom's Taxonomy that allows to compare the students' performance regardless of the programming language with which they started their learning. The instrument presents multiple choice questions for the first four levels and open-ended questions for the last two levels. After its construction, it was validated by 12 specialists and submitted to a pilot-group (N=29) to analyze the items' reliability and difficulty. We obtained an alpha of 0,837 and positive correlation between al the test's items and the total of items with a significance level of p<0,05. The differences between the frequency of correct answers in the items are statistically significative (Q(12)=76,767; n=29; p=0,000). These results demonstrate that the test is valid, reliable and discriminative.

Keywords: Initial Programming; Bloom's Taxonomy; Performance; Validation; Reliability

---

 

1.       Introdução

A comunidade científica tem desenvolvido diversas propostas que visam ultrapassar as dificuldades inerentes à aprendizagem inicial da programação (e.g. Moons & Backer, 2013; Liu, Cheng & Huang, 2011; Johnsgard & McDonald, 2008; entre outros). No entanto, apesar de existirem estudos que apresentam resultados promissores nesta área (cf. Johnsgard & McDonald, 2008; Sykes, 2007; Wang, Mei, Lin, Chiu, & Lin, 2009; Zhang, Liu, &, Pablos, 2014) os instrumentos de recolha de dados utilizados variam significativamente, dificultando a possibilidade de retirar conclusões. Por exemplo, no estudo meta-analítico realizado por Costa e Miranda (2017), foi difícil comparar os resultados das investigações que visaram melhorar as competências de programação dos estudantes que se encontravam numa fase inicial de aprendizagem, não só porque foram usadas diferentes linguagens de programação, mas ainda porque a avaliação feita usou diferentes instrumentos de medida. É o caso dos estudos de Wang, Mei, Lin, Chiu and Lin (2009) e de Sykes (2007), que utilizaram questionários, sendo o primeiro composto por 20 questões de escolha múltipla sobre conceitos de programação e o segundo por uma combinação de questões relacionadas com problemas de programação, umas fazendo apelo a conhecimentos, outras a competências e outras a resolução de problemas. Outras investigações usaram os resultados de provas académicas como medida de avaliação da aprendizagem inicial da programação (cf. Cooper, Dann, & Paush, 2003; Moskal, Lurie, & Cooper, 2004; Johnsgard, & McDonald, 2008; entre outros). Costa e Miranda (2017) referem que estas diferenças são um constrangimento à análise de resultados e que a existência de instrumentos validados para avaliar a aprendizagem da programação seria uma solução para melhorar a comparação entre diferentes estudos.

Füller et al. (2007) e Lister (2003) desenvolveram procedimentos genéricos a partir da Taxonomia de Bloom para o desenvolvimento de instrumentos de avaliação e de cursos que tenham como objetivo a aprendizagem da programação. No entanto, mantém-se a limitação da inexistência de um instrumento genérico validado que possa ser aplicado aos alunos na fase inicial desta aprendizagem .

Para colmatar a ausência deste tipo de instrumentos, propomos a criação de uma prova de programação em pseudocódigo. Esta prova deverá abranger os conceitos iniciais de programação e permitir compreender em que medida os estudantes aprendem a programar independentemente da linguagem de programação com que iniciaram a sua aprendizagem.

2. Metodologia de Desenvolvimento da Prova

Construímos a prova a partir das orientações de Tuckman (2012) para o desenvolvimento de testes de desempenho, nomeadamente: a) Desenvolvimento do plano geral do conteúdo; b) Desenvolvimento dos itens da prova; c) Demonstração da validade através da validação do conteúdo e da fiabilidade, os dois indicadores que demonstram a validade de provas de medição ou de avaliação de conhecimentos (Tuckman, 2012); e d) Análise dos itens da prova previamente validados.

2.1. Plano Geral do Conteúdo

Esta prova incide sobre os conceitos estruturantes de programação incluídos no currículo de disciplinas da área da Informática do ensino secundário em cursos científico-humanísticos e profissionalizantes, nomeadamente o desenvolvimento de algoritmos, variáveis, tipos de dados, operadores e estruturas de controlo (e.g. Pinto, Dias & João, 2009; Direção-Geral de Formação Vocacional, 2005). Para compreender até que ponto o aluno aprende estes conceitos considerámos pertinente a aplicação de um esquema de classificação que permitisse desenvolver esta análise.

Analisámos a Taxonomia de Bloom, uma taxonomia de objetivos educacionais que tem como principal característica a categorização de questões de acordo com o nível de complexidade de domínio cognitivo necessário para a sua resolução (Bloom, Engelhart, Furst, Hill & Krathwohl, 1976). Posteriormente foi apresentada uma proposta com a Taxonomia de Bloom revista (Krathwohl, 2002). Nesta versão as alterações consistem essencialmente na organização do conhecimento em matriz ao invés de uma apresentação unidimensional para permitir a distinção entre o tipo de conhecimento e o processo cognitivo e na substituição dos nomes de cada categoria por verbos que se aproximam dos nomes dos objetivos de aprendizagem. Também Füller et al. (2007) desenvolveram uma taxonomia em matriz que separa as capacidades de produzir e de interpretar código.

A construção da prova poderia ser suportada a partir de qualquer uma destas taxonomias mas considerando que este estudo incide sobre uma fase tão inicial da aprendizagem, a quantidade restrita de conteúdos programáticos não será suficiente para beneficiar da complexidade destas taxonomias. No entanto, consideramos que serão uma solução eficaz para a análise das competências de programação numa fase mais avançada. Como a nossa proposta abrange apenas os conceitos iniciais, entendemos que a utilização da Taxonomia de Bloom original seria a mais adequada.

Taxonomia de Bloom original

A taxonomia de Bloom completa é representada em três domínios: cognitivo, afetivo e psicomotor (Bloom et al., 1976). O domínio cognitivo está relacionado com a memória e o desenvolvimento de capacidades intelectuais; o domínio afetivo centra-se em objetivos relacionados com interesses, atitudes e valores; e o domínio psicomotor centra-se em habilidades motoras e de manipulação . Considerando os objetivos desta prova antes descritos entendemos que a sua construção deveria ser sustentada no domínio cognitivo. Bloom et al. (1976) consideram que o domínio psicomotor tem pouca aplicação no ensino secundário e universitário. O domínio afetivo, apesar de ser objeto de interesse no campo da aprendizagem da programação, não faz parte dos objetivos do desenvolvimento desta prova, pelo que também foi excluído.

O domínio cognitivo da taxonomia é dividido em seis níveis: Conhecimento, Compreensão, Aplicação, Análise, Síntese e Avaliação. A Tabela 1 sintetiza os objetivos de todos os níveis da Taxonomia de Bloom (Bloom et al., 1976; Pinto, 2001). O primeiro nível, o Conhecimento, é apresentado como o mais simples e concreto enquanto que o último, o nível referente à Avaliação, é considerado o mais complexo e abstrato (Krathwohl, 2002; Lister, 2003). Bloom et al. (1976) referem que é esperado mais sucesso nos primeiros níveis da taxonomia e um decréscimo ao longo da hierarquia. Os autores apresentaram ainda um estudo em que verificaram que é mais frequente os indivíduos com baixos resultados escolares atingirem também baixos resultados nos níveis mais elevados da taxonomia e altos resultados nos níveis inferiores do que a situação inversa.

 

 

Bloom et al. (1976) referem ainda que é importante ter em conta as experiências anteriores dos participantes, porque um problema simples poderá exigir que o aluno apresente um raciocínio complexo ou, caso já tenha experienciado problemas semelhantes em situações de aprendizagem anteriores, poderá apenas requerer que o aluno recorde ou aplique uma solução que já conhece.

2.2.Itens da Prova

Na fase de estruturação dos itens da prova definimos o formato de questões para cada nível da Taxonomia de Bloom. De acordo com Gronlund (1988, citado por Pinto, 2001), os quatro níveis iniciais poderão ser avaliados com Perguntas de Escolha Múltipla (PEM) e os dois últimos com Perguntas de Desenvolvimento (PD), já que requerem que o aluno demonstre um conhecimento mais profundo e não limitam a sua resposta. Pinto (2001) considera ainda que os dois primeiros níveis apresentam maior facilidade na aplicação de PEM.

Em seguida, ponderámos o número de questões que deveria constar na prova. Considerando que estamos a construir uma prova para ser aplicada em 90 minutos, a nossa proposta é constituída por oito a 12 PEM e duas PD. Optámos por este intervalo de PEM para que cada nível da Taxonomia tivesse duas a três questões e cada questão demorasse aproximadamente dois minutos a ser respondida já que, sendo uma prova para avaliar as competências iniciais de programação, entendemos que o aluno precise de tempo suficiente para a leitura e compreensão dos enunciados. Nas PD o tempo estimado foi consideravelmente maior para que o aluno tenha tempo suficiente para planear e desenvolver a sua resposta (Tuckman, 2012). Estimámos que o aluno utilize cerca de 20 minutos para responder a cada questão. A nossa proposta está de acordo com os valores apresentados por Pinto (2001), onde refere que deverão ser utilizadas 40 a 50 PEM para uma prova de 60 a 90 minutos e cinco a sete PD para uma prova de 120 minutos.

Após definirmos o formato e o número de questões que deveriam constar na prova, construímos um número superior ao proposto para que após o processo de validação e de fiabilidade pudéssemos optar pelos itens mais rigorosos. No total foram construídos 26 itens para serem submetidos ao processo de validação (Tabela 2).

 

 

2.3. Análise Estatística

Para determinar a validade de conteúdo, calculámos o CVR (Content Validity Ratio) para cada item, utilizando a fórmula proposta por Lawshe (1975). O cálculo foi efetuado a partir da análise dos itens por um painel de especialistas constituído por uma amostra não-probabilista e de conveniência (Almeida e Freire, 2016) definida com base nos seguintes critérios: os participantes teriam de ser professores de informática ou especialistas em informática, com prática de ensino de programação e com prática de programação, disponíveis para responder e participar na validação da prova. A solicitação à participação foi efetivada recorrendo ao contacto direto por correio eletrónico e a grupos de professores de informática em redes sociais. Após a recolha de participantes, o painel ficou composto por 12 especialistas: sete professores da área do ensino da Informática e cinco programadores de software.

Para cada item da prova, cada especialista teria de indicar se considerava o item adequado ou não adequado para o nível de ensino e conteúdo curricular apresentado. De acordo com Lawshe (1975) para um item ser considerado válido num painel constituído por 12 especialistas, o CVR associado deverá atingir pelo menos o valor de 0,56.

Em seguida analisámos a fiabilidade dos itens validados pelo painel de especialistas. Para efetuarmos esta análise, aplicámos a prova a um grupo-piloto composto por 29 alunos de cursos profissionais que iniciaram a aprendizagem da programação no ano letivo de 2016/2017.

Posteriormente, codificámos as respostas dos itens de escolha múltipla com o valor 0 caso a resposta estivesse incorreta e com o valor 1 caso estivesse correta. No caso do itens de desenvolvimento utilizámos o mesmo procedimento. Contudo, a resposta só era considerada correta conferindo uma lista de verificação dos passos do algoritmo desenvolvida para cada um dos itens.

As respostas codificadas dos alunos foram correlacionadas com a pontuação total e selecionámos os itens que obtiveram uma correlação ao nível de significância de 5%. Para o cálculo da correlação utilizámos o coeficiente de correlação de Spearman por se tratar da análise de itens dicotómicos com a pontuação total (Marôco, 2014; Eisinga, Grotenhuis & Pelzer, 2013).

Após selecionarmos os itens válidos e fiáveis, procedemos à análise da dificuldade de cada item, verificando as diferenças significativas entre a frequência de respostas corretas. Efetuámos esta análise a partir do teste Q de Cochran com comparações múltiplas (Marôco, 2014), utilizando o software SPSS Statistics (v. 24). Posteriormente, comparámos estes resultados com o nível hierárquico da Taxonomia de Bloom correspondente a cada item.

3. Resultados

3.1. Validação do Conteúdo

O resultado do CVR de cada item é apresentado na Tabela 3.

 

 

No total foram validados 21 itens, distribuídos por todos os níveis da Taxonomia de Bloom: seis do nível Conhecimento; quatro dos níveis Compreensão e Aplicação; três do nível Análise; e dois dos níveis Síntese e Avaliação. Seguidamente os itens validados pelos especialistas foram submetidos ao processo de fiabilidade descrito na secção seguinte.

3.2. Fiabilidade

Na Tabela 4 apresentamos o resultado do cálculo do Coeficiente de Correlação de Spearman entre a pontuação de cada item validado e a pontuação total.

 

 

Após o cálculo da correlação entre cada item e o total, selecionámos os que atingiram um nível de significância de pelo menos 0,05. Os itens selecionados que correspondem a este nível de significância estão assinalados com asterisco. O item Q10 foi excluído porque não teve nenhuma resposta correta logo não foi possível calcular a correlação com a pontuação total. Optámos por selecionar apenas os itens com uma correlação significativa porque existem itens com esta característica em todos os níveis da Taxonomia. No total foram selecionados 13 itens: três do nível Conhecimento; dois do nível Compreensão; três do nível Aplicação; dois do nível Análise; um do nível Síntese; e dois do nível Avaliação.

Em seguida, calculámos o índice de fiabilidade através do modelo alfa de Cronbach para os itens selecionados. A prova atingiu um alfa de 0,837 o que, segundo Peterson (1994), é considerado um bom valor de fiabilidade.

3.3. Análise do Grau de Dificuldade dos Itens

Para analisar as diferenças entre a frequência de respostas corretas em cada item validado, considerámos como hipótese nula todos os itens terem o mesmo grau de dificuldade.

A Figura 1 apresenta a frequência de respostas corretas em cada um dos itens. As diferenças entre as proporções são estatisticamente significativas: Q(12) = 76,767; n=29; p=0,000 o que indica que os itens não têm todos o mesmo grau de dificuldade. Podemos observar uma tendência para a diminuição de respostas corretas a partir do nível Aplicação.

 

 

A análise de comparações múltiplas permitiu observar diferenças significativas entre as proporções de respostas corretas entre as primeiras questões da prova e as últimas. Na Tabela 5 apresentamos os resultados que obtiveram o p-value menor que 0,001, ou seja, as comparações duas-a-duas entre os itens cuja diferença entre a proporção de respostas correta é maior (método Pairwise).

 

 

As comparações com as diferenças estatisticamente mais significativas ocorreram entre os itens Q25 e Q02, Q26 e Q02, Q25 e Q16, Q25 e Q04 e Q26 e Q16 (p-value < 0,001 e p-value_aj < 0,001) o que indica que os itens Q02 (nível Conhecimento), Q04 (nível Conhecimento) e Q16 (nível Aplicação) correspondem às questões com menor grau de dificuldade e as questões Q25 (nível Avaliação) e Q26 (nível Avaliação) correspondem às questões com maior grau de dificuldade.

Analisando estes resultados em conjunto com a frequência de respostas apresentada na Figura 1, podemos afirmar que, tal como era esperado, os primeiros níveis da Taxonomia de Bloom têm, no geral, uma maior proporção de respostas corretas do que os últimos níveis. Este resultado permite-nos concluir que a prova tem itens pouco discriminativos pertencentes aos primeiros níveis da taxonomia mas de elevada importância pelo seu carácter motivacional e itens mais discriminativos nos últimos níveis que aferem conhecimento de programação mais profundo.

4. Conclusões

Neste artigo apresentámos o processo de criação e validação de uma prova de programação, desenvolvida para contribuir para a uniformização dos instrumentos de recolha de dados na aprendizagem inicial da programação. No processo de elaboração seguimos as orientações de Tuckman (2012) para o desenvolvimento de testes de desempenho e considerámos os tipos de dados pretendidos para análise, a flexibilidade de resposta, o tempo de preenchimento para cada questão e o grau de dificuldade.

Na estrutura da prova utilizámos questões de escolha múltipla que permitem reduzir a subjetividade da correção e questões de desenvolvimento que fornecem mais detalhes sobre o raciocínio do aluno. Após excluirmos os itens menos rigorosos consideramos que o número total (10 PEM e três PD) é adequado para 90 minutos. Os resultados obtidos na validação do conteúdo e fiabilidade da prova demonstram que a prova é constituída por itens válidos.

Consideramos que a utilização de uma taxonomia constituiu uma mais-valia no desenvolvimento da prova porque permitiu apoiar a construção e análise das questões de acordo com o grau de dificuldade pretendido. Os resultados da análise do grau de dificuldade revelaram que a prova tem itens mais discriminativos correspondentes aos últimos níveis da Taxonomia de Bloom e menos discriminativos mas mais motivantes nos primeiros níveis da taxonomia. Estes resultados correspondem às expectativas de Bloom et al. (1976) quando referem que é esperado mais sucesso nos primeiros níveis da taxonomia.

No Anexo A disponibilizamos a prova na versão final. No entanto, entendemos que deverá ser validada com novas amostras porque a fiabilidade foi analisada a partir de um grupo composto por apenas 29 alunos da mesma escola. Seria interessante verificar as diferenças estatísticas entre as respostas da prova utilizando grupos de diferentes cursos profissionais e com diferentes características.

Como trabalho posterior iremos desenvolver um estudo que utilizará esta prova para aferir os conhecimentos iniciais de programação adquiridos pelos alunos através de diferentes linguagens de programação. Este estudo será implementado no ano letivo 2017/2018 e permitirá verificar as diferenças entre grupos relativamente à aprendizagem com um ambiente de software ou com uma linguagem de programação tradicional. A utilização de um grupo-piloto que iniciou a aprendizagem em 2016/2017 para verificar a fiabilidade da prova permite antever com alguma confiança que os resultados serão fiáveis na instrumentação utilizada uma vez que o grupo-piloto tem características próximas dos grupos que participarão no trabalho experimental (Tuckman, 2012). Esperamos ainda que esta prova possa vir a ser utilizada em estudos desenvolvidos por outros investigadores, pois a credibilidade da investigação reside também no uso de instrumentos válidos e fiáveis (cf. Almeida e Freire, 2016; Runa e Miranda, 2015; Tuckman, 2012; entre outros).

 

REFERÊNCIAS

Almeida, L., & Freire, T. (2016). Metodologia de investigação em psicologia e educação (5.ª Ed.. Revista). Braga: Psiquilíbrios.         [ Links ]

Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1976). Taxionomia de objetivos educacionais: domínio cognitivo. Porto Alegre: Editora Globo.         [ Links ]

Cooper, S. Dann, W., & Paush, R. (2003). Teaching objects first in introductory computer science. In Proceeding of the 34^th Technical Symposium on Computer Science Education (pp. 191-195). New York: ACM.         [ Links ]

Costa, J. M., & Miranda, G. L. (2017). Relation between Alice software and programming learning: A systematic review of the literature with meta-analysis. British Journal of Education Technology, 48(6), 1464-1474. doi: 10.1111/bjet.12496        [ Links ]

Direção-Geral de Formação Vocacional (2005). Programa componente de formação técnica da disciplina de Linguagens de Programação.         [ Links ]

Eisinga, R., Grotenhuis, M., & Pelzer, B. (2013). The reliability of a two-item scale: Pearson, Cronbach, or Spearman-Brown?. International Journal of Public Health, 58(4), pp. 637-642. doi: 10.1007/s00038-012-0416-3

Fuller, U., Johnson, C. G., Ahoniemi, T., Cukierman, D., Hernán, Losada, I., & Jackova, J., et al. (2007). Developing a computer science specific learning taxonomy. In Proceedings of the 7^th Annual Conference on Innovation and Technology in Computer Science Education (pp. 152-170). United Kingdom: Association for Computing Machinery.         [ Links ]

Johnsgard, K., & McDonald, J. (2008). Using Alice in Overview Courses to Improve Success Rates in Programming I. In Proceedings of the 21^st Conference on Software Enginering Education and Training (pp. 129-136). Charleston, S.C.: IEEE. doi: 10.1109/CSEET.2008.35

Krathwohl, D. R. (2002). A Revision of Bloom's Taxonomy: An Overview. Theory into Practice, 41(4), 212-218.         [ Links ]

Lawshe, C. H. (1975). A Quantitative Approach to Content Validity. Personnel Psychology, 28 (4), 563-575.         [ Links ]

Lister, R. (2003). First year programming: let all the flowers bloom. In Proceedings of the Fifth Australian Conference on Computing Education (pp. 221-230). Australia: Association for Computing Machinery.         [ Links ]

Liu, C., Cheng, Y., & Huang, C. (2011). The effect of simulation games on the learning of computational problem solving. Computers & Education, 57, 1907-1918.         [ Links ]

Marôco, J. (2014). Análise Estatística com o SPSS Statistics (6ª ed.). Pêro Pinheiro: Report Number.         [ Links ]

Moons, J., & Backer, C. (2013). The design and pilot evaluation of an interactive learning environment for introductory programming influenced by cognitive load theory and constructivism. Computers & Education, 60, 368-384.         [ Links ]

Moskal, B., Lurie, D., & Cooper, S. (2004). Evaluating the effectiveness of a new instructional approach. In Proceedings of the 35^th Technical Symposium on Computer Science Education (pp. 75-79). New York: ACM.         [ Links ]

Peterson, R.A. (1994). A meta-analysis of Cronbach´s coefficient alpha. Journal of Consumer Research, 21(2), 381-391.         [ Links ]

Pinto, A. C. (2001). Factores relevantes na avaliação escolar por perguntas de escolha múltipla. Psicologia, Educação e Cultura, 5 (1), 23-44.         [ Links ]

Pinto, M., Dias, P., & João, S. (2009). Programa de Aplicações Informáticas B. Lisboa: Direção-Geral de Inovação e Desenvolvimento Curricular.         [ Links ]

Runa, A. , & Miranda, G. L. (2015). Validação Portuguesa das Escalas de Bem-estar e Mal-estar Emocional. RISTI - Revista Ibérica de Sistemas e Tecnologias de Informação, (16), 129-144. DOI: 10.17013/risti.16.129-144         [ Links ]

Sykes, E. R. (2007). Determining the effectiveness of the 3D Alice programming environment at the computer science I level. Journal od Educational Computing Research, 36(2), 223-244.         [ Links ]

Tuckman, B. (2012). Manual de Investigação em Educação (4ª ed.). Lisboa: Fundação Calouste Gulbenkian.         [ Links ]

Wang, T., Mei, W., Lin, S., Chiu, S., & Lin, J. (2009). Teaching programming concepts to high schoool students with Alice. In Proceedings of the 39^th ASEE/IEEE Frontiers in Education Conference (pp. 1-6). St Antonio, TX: IEEE.

Zhang, J., Liu, L., &, Pablos, P. (2014). The auxiliary role of information technology in teaching enhancing programming course using Alice. International Journal of Engineering Education, 30(3), 1-6.         [ Links ]

 

Recebido/Submission: 10/06/2017

Aceitação/Acceptance: 01/09/2017

 

Anexo A