Comprehension, reasoning and problem solving: New cognitive assessment measure

Gina C. Lemos¹, Leandro S. Almeida¹

¹Centro de Investigação em Educação (CIEd), Universidade do Minho, Braga, Portugal

Correspondência

RESUMO

A capacidade de um indivíduo utilizar processos cognitivos para compreender, raciocinar e resolver situações concretas é reconhecida pela Organização para a Cooperação e Desenvolvimento Económico como decisiva para a prática da cidadania. Um dos contextos privilegiados para essa formação é a Escola, definindo-se nela grande parte dos percursos educativos das crianças e jovens. A Bateria de Aptidões Cognitivas (BAC) é um novo instrumento que visa contribuir para o desenvolvimento de tomadas de decisão vocacional mais circunstanciadas e apoiar níveis diferenciados de desempenho escolar. Apoiada no sólido modelo de inteligência CHC, a BAC propõe-se avaliar três processos cognitivos de complexidade crescente (compreensão, raciocínio, e resolução de problemas) em três conteúdos-chave da capacidade intelectual humana (verbal, numérica e espacial). Construída de base para a população Portuguesa, a Bateria existe em duas versões: uma dirigida a jovens a frequentar os 2.º e 3.º ciclos do ensino básico (BAC_A) e outra, a jovens a frequentar o ensino secundário (BAC_B). O seu estudo de validação, suportado nos dados de precisão, validade de constructo e validade externa confirmam as qualidades psicométricas do instrumento, reforçando a recomendação do seu uso na prática do/a psicólogo/a. O estudo de aferição nacional é composto por uma amostra aleatória e representativa de adolescentes a frequentar escolas públicas de todas as regiões de Portugal (Norte, Centro, Lisboa e Vale do Tejo, Sul, arquipélagos da Madeira e Açores), entre o 6.º e o 12.º ano de escolaridade. Além de testada nesta amostra do ensino dito regular, a Bateria foi também estudada, de forma exploratória, em duas subamostras específicas, nomeadamente, Ensino Profissional e Ensino Artístico Especializado.

Palavras-chave: Avaliação cognitiva, Modelo CHC, Adolescência.

ABSTRACT

The ability of an individual to use cognitive processes to understand, to reason and to solve specific situations is recognized by the Organization for Economic Cooperation and Development as crucial to the practice of citizenship. School is one of the privileged contexts for this practice, where children and young people make their educational decisions. The Bateria de Aptidões Cognitivas (BAC) / Battery of Cognitive Abilities (BCA) is a new cognitive assessment measure that aims to contribute to the development of more informed vocational decision-making and to support differentiated levels of school achievement. Based on the CHC intelligence model, BCA is aiming to evaluate three cognitive processes of increasing complexity (comprehension, reasoning, and problem solving) in three key contents of human intellectual capacity (verbal, numerical and spatial). Developed for the Portuguese population, the Battery exists in two versions: one aimed at young people attending the 2^nd and 3^rd cycles of basic education (BCA_A) and another, for young people attending secondary education (BCA_B). Their validation study, supported by precision, construct validity and external validity results confirm the psychometric qualities of the measure, reinforcing the recommendation of its use in the psychologists’ practice. The national standardization study is composed of a random and representative sample of adolescents attending public schools in all regions of Portugal (North, Center, Lisbon and Tagus Valley, South, Madeira and Azores archipelagos), between the 6^th and the 12^th grades. Besides being tested in this sample of regular education, the Battery was also studied, in an exploratory way, in two specific subsamples, namely, Professional Education and Specialized Artistic Education.

Key words: Cognitive assessment, CHC model, Adolescence.

Compreensão, raciocínio e resolução de problemas: Conceitos e sua relevância

No mundo volátil, incerto e ambíguo em que vivemos, a Escola tem assumido, cada vez mais, e hoje como nunca, uma declarada intenção de educar, mais do que ensinar: “Há uma geração atrás, os professores podiam esperar que o que eles ensinavam duraria toda a vida dos seus alunos. Hoje, a Escola precisa preparar os alunos para mudanças socioeconómicas mais rápidas do que nunca, para empregos que ainda não foram criados, para usar tecnologias que ainda não foram inventadas, e para resolver problemas sociais que ainda não são conhecidos” (A. Schleicher, comunicação pessoal, 9 fevereiro 2017). Com efeito, estamos a ensinar para o mundo de amanhã que, na verdade, desconhecemos. Importa, pois, criar oportunidades para promover o desenvolvimento de habilidades que se assumam relevantes para uma vida em sociedade responsável e de qualidade. Se é certo que o saber não nos torna melhores nem mais felizes, é seguro que a educação o pode concretizar (Morin, 1999).

A Educação é, de facto, crucial para o desenvolvimento humano, sendo importante em todas as etapas da vida (Eurostat, 2017). É neste sentido que a escolaridade obrigatória e a Escola afirmam-se como o tempo e o espaço por excelência para a formação de cidadãos responsáveis. Em nenhum outro momento da vida do ser humano conta-se com um período mandatoriamente tão extenso, num só contexto, como durante a idade escolar, pelo que importa apostar fortemente na promoção sistemática de habilidades que concorram para indivíduos mais autodeterminados e para um mundo melhor.

Ora, a capacidade de um indivíduo utilizar processos cognitivos para compreender, raciocinar e resolver situações concretas é reconhecida pela Organização para a Cooperação e Desenvolvimento Económico como decisiva para a prática da cidadania (OECD, 2012). Ademais, a inteligência, conceito frequentemente associado a estas habilidades cognitivas, é considerado o fator psicológico que melhor prediz o comportamento humano. Neste âmbito, a revisão de um século de investigação em Psicologia, de Sackett, Livens, van Iddekinge e Kuncel (2017), refere-se à inteligência como um determinante importante, bem estabelecido e sem rival, não só no contexto educativo, mas para além deste (Colom, 2016, 2017; Detterman, 2016; Hunt, 2011; Lemos, Abad, Almeida, & Colom, 2014). Não será por acaso que Gottfredson (2004) se refere à vida como um teste de inteligência muito longo e à inteligência como “uma capacidade intelectual geral que, entre outras coisas, envolve a capacidade de raciocinar, planear, resolver problemas, pensar abstratamente, compreender ideias complexas, aprender rapidamente e aprender com a experiência. (...) reflete uma capacidade mais ampla e profunda para compreender o nosso ambiente – “captar”, “dar sentido” às coisas ou “descobrir” o que fazer” (Gottfredson, 1997, p. 13). De resto, a inteligência é a característica que nos faz humanos, e “se o nível intelectual dos cidadãos é o primeiro elo na cadeia que liga a educação aos desempenhos noutros contextos de vida, então ignorar os benefícios sociais que dele decorrem conduziria a resultados, no mínimo, duvidosos e, no pior dos casos, enganosos” (Colom, 2017, p. 10).

Fazendo uma breve incursão teórica na área da inteligência, aceita-se que diferentes funções ou processos cognitivos de estatuto diferente convergem na descrição da capacidade intelectual e na realização cognitiva. Por exemplo, se sobre a compreensão (C) – habilidade cognitiva de nível dito inferior, por ser mais elementar – existe maior clareza conceptual, sobre o Raciocínio (R) e Resolução de Problemas (RP) surgem, por vezes, dúvidas, ou não fossem elas tão intimamente associadas e, daí que, por vezes, seja difícil destrinçá-las. Com efeito, a RP parece requerer o R assim como o R parece requerer a RP.

À semelhança, a Taxonomia de Bloom (1956) propõe uma organização hierárquica e cumulativa de processos cognitivos dos objetivos de aprendizagem de desenvolvimento cognitivo, com níveis de complexidade crescente, que serve não só para classificar objetivos de aprendizagem tendo em vista uma aprendizagem qualitativamente diferenciada e o próprio desenvolvimento cognitivo, mas também para direcionar, com coerência e clareza, o processo de ensino e promover o processo de aprendizagem: (1) conhecimento (envolve reconhecer e reproduzir ideias e conteúdos), (2) compreensão (envolve estabelecer uma ligação entre o novo conhecimento e o conhecimento previamente adquirido), (3) aplicação (envolve executar ou utilizar um procedimento ou um conhecimento numa situação específica ou nova), (4) análise (envolve dividir a informação em partes relevantes e irrelevantes, importantes e menos importantes e entender a relação existente entre as partes), (5) síntese (envolve realizar julgamentos baseados em critérios e padrões qualitativos e quantitativos ou de eficiência e eficácia), e (6) avaliação (envolve integrar os elementos da informação a fim de criar uma nova visão, desenvolver uma nova ideia, uma nova solução, estrutura ou modelo, utilizando aquisições prévias) (para mais detalhes vide Bloom, 1986; Driscoll, 2000; Krathwohl, 2002). É com facilidade que nela se leem processos cognitivos comuns ao raciocínio e à resolução de problemas.

Não obstante as comunalidades entre o raciocínio e a resolução de problemas, há aspetos que tornam estas habilidades distintas e que vale a pena considerar no momento da sua avaliação. O raciocínio refere-se a uma função ou processo cognitivo de ordem superior, definido sobretudo pela edução de relações e de correlatos (Spearman, 1927), subdividindo-se habitualmente em dois subfactores: o raciocínio indutivo e o raciocínio dedutivo. No raciocínio indutivo, a informação que consta nas premissas de um problema não é suficiente para chegar a uma conclusão, inferindo o sujeito conclusões prováveis. Os problemas que envolvem raciocínio indutivo tipicamente apresentam-se sob a forma de analogias, de séries para completar ou de exercícios de classificação/categorização. No raciocínio dedutivo, a informação que consta nas premissas de um problema é suficientemente lógica para chegar se a uma conclusão válida, e os silogismos são o formato clássico das situações para a sua avaliação. Tanto no raciocínio indutivo como no raciocínio dedutivo, as premissas podem assumir diferentes conteúdos, por exemplo verbal, numérico, espacial, pictórico-abstrato, mecânico, musical, social ou emocional.

A resolução de problemas é uma habilidade cognitiva de ordem superior, agrupando várias funções cognitivas que convergem para a análise, compreensão e resolução de situações que apresentam um problema de formato diverso a resolver. Por exemplo, um problema pode existir quando a primeira resposta do indivíduo dirigida ao objetivo não é correspondida (Johnson, 1955); quando o indivíduo se confronta com um obstáculo e tem de fazer um “desvio” para ultrapassar essa contrariedade e alcançar o seu objetivo (Köhler, 1925; Vinacke, 1952); quando o indivíduo tem um objetivo, mas o caminho para alcançá-lo não é claro ou não foi bem aprendido (Woodworth & Schlosberg, 1954); quando algumas condições ou elementos são conhecidos e outros não, e a solução depende da descoberta dos elementos desconhecidos da situação (Morgan, 1941; Raaheim, 1974). As características mais frequentemente associadas a uma situação ou problema referem-se à integração e organização da informação prévia e à antecipação ou descoberta da resposta correta (Duncan, 1959). Por outras palavras, a resolução de problemas requer conhecimento prático sobre uma situação específica (Pólya, 1945), recorrendo o indivíduo ao seu conhecimento prévio mesmo não sendo suficiente para apresentar uma solução imediata (Sternberg, 1985).

Segundo o Quadro de Avaliação PISA 2003 para o Conhecimento e Competências em Matemática, Leitura, Ciência e Resolução de Problemas, a resolução de problemas refere-se à “capacidade de um indivíduo utilizar processos cognitivos para lidar e resolver situações reais, transdisciplinares, onde o caminho para a solução não é imediatamente óbvio e onde os domínios de conteúdo ou áreas curriculares aplicáveis não se restringem a uma única área disciplinar como a matemática, as ciências ou a leitura” (OECD, 2003, p. 156). O esboço de Quadro para o domínio de Resolução de Problemas do PISA 2012 (OECD, 2012) apresenta de forma reiterada a definição de 2003, acrescentando um elemento de índole afetiva: “A competência de Resolução de Problemas refere-se à capacidade de um indivíduo envolver-se no processamento cognitivo para compreender e resolver situações-problema onde o método de solução não é imediatamente óbvio. Inclui a vontade/disposição para o indivíduo envolver-se em tais situações a fim de alcançar o seu potencial como cidadão construtivo e reflexivo” (p. 12). Acresce que, mesmo no Quadro para o domínio de Resolução de Problemas Colaborativo do PISA 2015, grande parte da terminologia é consistente com a definição de Resolução de Problemas do PISA 2012.

George Pólya (1945) estabeleceu um método sistemático de resolução de problemas em quatro passos: (1) compreender o problema, que requer (1.1) aprender os conceitos necessários associados ao problema, (1.2) considerar a terminologia utilizada no problema (Que tipo de problema é? O que é que está a ser pedido? Existe informação suficiente ou é necessária informação adicional? O que se conhece e o que se desconhece? As condições disponíveis são suficientes para descobrir o que se desconhece? Ou são insuficientes? Ou redundantes? Ou contraditórias?), (1.3) redefinir o problema num registo pessoal (verbal, gráfico, pictórico, etc.), e (1.4) registar exemplos concretos das condições apresentadas no problema; (2) estabelecer um plano, que requer (2.1) recordar experiência prévia com problema igual ou semelhante/análogo, ou com o mesmo problema mas de uma perspetiva diferente, ou com um problema diferente mas com condições desconhecidas semelhantes (2.2) rentabilizar a experiência prévia (ex., usar os seus dados, utilizar os seus métodos, incluir alguns elementos adicionais a fim de torná-los possíveis e auxiliar na resolução do problema); (3) executar o plano, que requer (3.1) colocar em prática a estratégia elaborada para obter a solução para o problema, (3.2) verificar cada passo, (3.3) demonstrar que cada passo está correto; e (4) verificar a adequabilidade da solução, que requer: (4.1) averiguar se a solução alcançada satisfaz o problema, (4.2) averiguar se os argumentos utilizados são correspondidos, (4.3) averiguar se os resultados são razoáveis, (4.4) refazer o plano caso a solução não resolva o problema e, de forma flexível, introduzir alterações criteriosas ao plano; (4.5) depois de encontrar uma solução que satisfaça o problema, questionar sobre a possibilidade de encontrar uma solução de uma forma mais fácil e sobre a viabilidade e utilidade da generalização do problema ou método para outros problemas.

Segundo a OECD (2012), a avaliação da resolução de problemas deve apoiar-se em três dimensões concetuais-chave: (1) o contexto do problema, cuja dificuldade de resolução dependerá do nível de familiaridade que o indivíduo poderá ter com o contexto (baseado ou não em tecnologia; de índole mais pessoal ou mais social – consultar OECD, 2012, p. 17); (2) a natureza do problema, que se traduz no nível de informação em que o problema foi inicialmente apresentado (informação completa – problema estático; informação incompleta – problema interativo, que requer do indivíduo a exploração do problema para obter informação adicional que não foi inicialmente disponibilizada) e nível de definição ou estruturação do problema (problemas bem-estruturados, well-defined, para os quais há objetivos e ações específicas e claras para alcançar a solução; e problemas mal-estruturados, ill-defined, que envolvem múltiplos objetivos em conflito e ações pouco claras e não especificadas) (Newell & Simon, 1972); e (3) o processo de resolução de problemas propriamente dito, definido nos seguintes passos fundamentais: (3.1) explorar a situação problema através da observação e interação com a situação problema, procura de informação e identificação de limitações e obstáculos, e compreender a situação problema através da interpretação das informações iniciais disponibilizadas aquando da apresentação do problema e de qualquer informação descoberta durante a exploração e interação com o problema, demonstrando entendimento sobre os conceitos relevantes, (3.2) selecionar, organizar e integrar a informação apresentada pelo problema no conhecimento prévio através da representação da informação (e.g., gráficos, tabelas, símbolos, palavras), (3.3) formular hipóteses identificando fatores relevantes do problema e avaliando criticamente as informações, (3.4) planear e executar o plano através da clarificação do objetivo e sub-objetivos e etapas para os alcançar e respetiva execução; e (3.5) monitorizar as etapas do plano para alcançar o objetivo e sub-objetivos, incluindo a verificação dos resultados intermédios e finais, a identificação de eventos inesperados e tomada de ação remediativa quando requerida, e refletir sobre possíveis soluções, adotando diferentes perspetivas, e avaliar criticamente as premissas e soluções alternativas, procurando informação ou esclarecimento adicional (vide OECD, 2012, pp. 16-22).

Alinhado com as políticas educativas europeias, Portugal definiu recentemente o Perfil dos Alunos à Saída da Escolaridade Obrigatória (Ministério da Educação/Direção Geral da Educação, 2017), onde estas duas habilidades cognitivas – raciocínio e resolução de problemas – encontram posição de destaque. De natureza abrangente, transversal e recursiva, o Perfil dos Alunos constitui um documento de referência para a tomada de decisões no âmbito da organização e gestão curriculares, definição de estratégias, metodologias e procedimentos pedagógico-didáticos. Nele estabelece-se uma matriz de competências consideradas centrais ao cidadão de sucesso, traduzido numa combinação de conhecimentos, capacidades e atitudes (Despacho n.º 5908/2017, de 5 de julho). “Raciocínio e Resolução de Problemas” é uma das dez áreas de competências estabelecidas nesta matriz: (1) Linguagens e textos; (2) Informação e comunicação; (3) Raciocínio e resolução de problemas; (4) Pensamento crítico e pensamento criativo; (5) Relacionamento interpessoal; (6) Desenvolvimento pessoal e autonomia; (7) Bem-estar, saúde e ambiente; (8) Sensibilidade estética e artística; (9) Saber científico, técnico e tecnológico; e (10) Consciência e domínio do corpo (para mais detalhes vide ME/DGE, 2017, pp. 19-30). Segundo o documento, as competências na área de Raciocínio referem-se “aos processos lógicos que permitem aceder à informação, interpretar experiências e produzir conhecimento” e as competências na área de Resolução de problemas referem-se “aos processos de encontrar respostas para uma nova situação, mobilizando o raciocínio com vista à tomada de decisão, à construção e uso de estratégias e à eventual formulação de novas questões” (ME/DGE, 2017, p. 23).

Bateria de Aptidões Cognitivas (BAC): Fundamentos

O modelo hierárquico de Cattell-Horn-Carroll (CHC) “é a casa que acolhe os dois modelos teóricos psicométricos mais proeminentes das habilidades cognitivas humanas” (Schneider & McGrew, 2012, p. 100), a teoria Gf-Gc de Cattell-Horn (Horn & Noll, 1997) e a teoria dos três estratos (Carroll, 1993). Foi neste lar que as diversas famílias psicométricas, fatoriais ou diferenciais reuniram consenso e, atualmente, o modelo CHC é considerado o modelo que congrega maior suporte teórico e empírico no âmbito da estrutura das habilidades cognitivas (McGrew, 2009; Schneider & McGrew, 2012), sendo o modelo que orienta a construção e validação dos principais testes de inteligência da atualidade (Kaufman, 2009; McGrew & Wendling, 2010; Tusing & Ford, 2004).

O modelo CHC integra três níveis: o primeiro inclui aproximadamente 70 habilidades cognitivas mais específicas, que se organizam em cerca de 9 habilidades cognitivas mais vastas no segundo nível, e no topo, o terceiro nível da estrutura hierárquica, encontra-se a capacidade geral de inteligência ou fator g. Numa versão simplificada, as habilidades cognitivas apresentam-se sob um formato radiado, particularmente eficiente na organização de diferentes tipos de indicadores psicométricos das habilidades cognitivas (Wai, Lubinksi, & Benbow, 2009). Nesta representação radiada, as habilidades cognitivas organizam-se em torno de três domínios ou conteúdos – espacial/pictórico (espacial, E), verbal/linguístico (verbal, V) e numérico/quantitativo (matemático, M) –, que convergem num constructo de ordem superior – a inteligência geral ou g –, situado no centro para ilustrar a comunalidades partilhada por essas aptidões específicas. Assim, no nível mais periférico encontram-se processos cognitivos mais elementares ou básicos, e quanto mais perto do centro, maior o nível de complexidade do processo cognitivo (Snow, Corno, & Jackson, 1996; Wai et al., 2009).

Como resposta à necessidade de um instrumento de avaliação cognitiva atual, com suporte teórico sólido, dirigido a adolescentes portugueses, avançou-se para a construção, validação e aferição da Bateria de Aptidões Cognitivas (BAC; Battery of Cognitive Abilities, BCA; Lemos & Almeida, 2015). Cumprindo a missão maior deste tipo de instrumentos de medida, a BAC pretende ser reconhecida como um contributo significativo no campo da avaliação psicológica e cognitiva, promotor de processos de tomada de decisão vocacional mais circunstanciados e de apoio a níveis diferenciados de desempenho escolar, em diferentes percursos educativos. De resto, estes processos (construção, validação e aferição) inserem-se num projeto de investigação mais amplo, dedicado ao estudo do fenómeno de diferenciação cognitiva, onde a BAC é estudada junto de uma amostra aleatória e representativa de adolescentes portugueses a frequentar o ensino dito regular, em escolas públicas de todas as regiões de Portugal (Norte, Centro, Lisboa e Vale do Tejo, Sul, arquipélagos da Madeira e Açores), entre o 6.º e o 12.º ano de escolaridade, além de incluir ainda um estudo exploratório junto de duas subamostras específicas nos anos correspondentes ao ensino secundário, designadamente, Ensino Profissional e Ensino Artístico (Artes Visuais/Audiovisuais).

O presente estudo tem como objetivos: (1) descrever a BAC nas suas provas constituintes, (2) apresentar o instrumento nas suas qualidades métricas, e (3) reconhecer a utilidade, o pragmatismo e a relevância do instrumento, particularmente no contexto educativo.

Método

Participantes

Fazem parte do estudo de validação realizado até ao momento 1064 estudantes de Portugal Continental dos anos finais do 2.º e 3.º ciclos do ensino básico e ensino secundário, com uma idade média de 11.28 anos (DP=.56) no 6.º ano, 14.38 anos (DP=.62) no 9.º ano, 17.27 (DP=.82) no 12.º ano dos cursos científico-humanísticos de Ciências Socioeconómicas e/ou Línguas e Humanidades (CSE/LH) e 17.14 anos (DP=.63) no 12.º ano dos cursos científico-humanísticos de Ciências e Tecnologias (CT). Quer isto dizer que a idade média, para cada ano escolar considerado, corresponde à idade esperada, não se verificando um desfasamento etário substantivo. A amostra é relativamente equilibrada quanto ao sexo dos estudantes, assinalando-se uma diminuição da percentagem de estudantes do sexo masculino à medida que se avança na escolaridade, a saber: 51.7% no 6.º ano, 48.6% no 9.º ano, 47.0% no 12.º ano dos cursos científico-humanísticos de CSE/LH e 45.5% no 12.º ano do curso científico-humanístico de CT.

Instrumento

A Bateria de Aptidões Cognitivas (BAC; Battery of Cognitive Abilities, BCA; Lemos & Almeida, 2015) dirige-se a adolescentes do 2.º e 3.º ciclos do ensino básico (BAC_A) e do ensino secundário (BAC_B). Propõe-se avaliar três processos cognitivos, de crescente complexidade (compreensão, raciocínio, e resolução de problemas), em três domínios tidos como particularmente representativos da capacidade intelectual humana (espacial, verbal e numérico) (Lubinski, 2000). É um instrumento de avaliação psicológica de aplicação individual/coletiva, constituído por 9 provas, com um tempo útil total de realização de 78 minutos (consultar Tabela 1). Foi criado de base para a população portuguesa e algumas provas tomaram como ponto de partida a Bateria de Provas de Raciocínio (BPR; Almeida & Lemos, 2015). Saliente-se que há 50% de itens comuns a ambas as versões (A e B), sendo que os itens mais fáceis da BAC_A não foram incluídos na BAC_B, assim como os itens mais difíceis da BAC_B não foram incluídos na BAC_A.

Em seguida, descreve-se cada uma das provas, por conteúdo (espacial, verbal e numérico), partindo do nível mais periférico e elementar (compreensão) da representação radiada de suporte teórico, passando por um nível intermédio (raciocínio), até um nível de maior complexidade cognitiva (resolução de problemas).

Sequências de cubos: nesta prova é apresentada uma sequência de cubos, que seguem uma determinada ordem. Em cada sequência o cubo está em movimento e, por isso, conforme o cubo roda, as posições das suas faces mudam. Para completar a sequência, o indivíduo deve descobrir e aplicar a lei sequencial dos cubos em presença e indicar, entre cinco opções de resposta (A, B, C, D, E), aquela que completa a sequência com lógica. A prova Sequências de cubos decorre da prova de Raciocínio Espacial da BPR (Almeida & Lemos, 2015), a que foram introduzidas inovações: novos itens e o cubo em falta encontra-se indiscriminadamente na sequência de cubos.

Movimentos e formas: nesta prova é apresentado um problema que envolve uma situação complexa. Cada problema é apresentado através de um pequeno enunciado e uma imagem representativa da situação complexa. Para resolver o problema, é pedido ao indivíduo que indique, entre cinco opções de resposta (A, B, C, D, E), aquela que resolve o problema apresentado. A tipologia de itens desta prova é bastante diversificada, com apelo à manipulação mental de estímulos em contexto (e.g., chaves que entram numa determinada fechadura, sistemas de roldanas, labirintos ou circuitos, alcance territorial de um objeto no espaço, perspetivas de um objeto, entre outras).

Sinónimos: nesta prova é apresentada, em destaque a negrito, uma palavra numa expressão. É pedido ao indivíduo que indique, entre cinco opções de resposta (A, B, C, D, E), aquela que é sinónima da palavra destacada.

Analogias: nesta prova é apresentada uma frase incompleta, em formato de analogia. É pedido ao indivíduo que indique, entre cinco opções de resposta (A, B, C, D, E), a palavra que completa a frase com lógica. Para tal, o indivíduo primeiro identifica a relação entre duas palavras para posteriormente aplicar essa mesma relação na formação do segundo par de palavras. A prova Analogias decorre da prova de Raciocínio Verbal da BPR (Almeida & Lemos, 2015), a que foram introduzidas inovações: novos itens e a palavra em falta encontra-se indiscriminadamente no primeiro ou segundo par de palavras, na primeira ou segunda posição do par de palavras.

Cálculos: nesta prova é apresentado um esquema que envolve cálculos. Em cada esquema há três números em falta, identificados por letras (P, Q, R). É pedido ao indivíduo que complete o esquema, atendendo aos números e operações presentes, assim como ao sentido das setas. Ao operar sobre os números que constam no esquema, indica então os números que completam a sequência de cálculos.

Sequências numéricas: nesta prova é apresentada uma sequência de números, que seguem uma determinada ordem. Em cada sequência há dois números em falta, identificados por letras (P, Q). É pedido ao indivíduo que complete a sequência, descobrindo que ordem é essa e aplicando a lei sequencial dos números em presença. A prova Sequências numéricas decorre da prova de Raciocínio Numérico da BPR (Almeida & Lemos, 2015), a que foram introduzidas inovações: novos itens e os números em falta encontram-se indiscriminadamente na sequência de números.

Problemas: nessa prova é apresentado um problema, que envolve uma situação complexa, sobre a qual são colocadas duas questões independentes. É pedido ao indivíduo que responda a cada uma das questões, e para tal importa compreender o problema, analisar a informação nele constante, organizar e trabalhar os dados, para depois apresentar a solução.

Procedimentos

Todos os procedimentos envolvidos neste estudo obtiveram autorização prévia das seguintes instâncias superiores: Direção Geral da Educação do Ministério da Educação, Comissão Nacional de Proteção de Dados, e Comité de Ética da instituição de ensino superior de origem.

No cumprimento dos princípios éticos e deontológicos de estudos desta natureza, no contacto estabelecido com as direções das escolas procedeu-se ao/à: (a) enquadramento da investigação e explicitação dos seus objetivos; (b) apresentação da Ficha do Estudante e da BAC; (c) esclarecimento sobre a confidencialidade dos dados e uso exclusivo para efeitos do mesmo; (d) compromisso com a divulgação dos resultados no final da investigação; (e) esclarecimento sobre as condições requeridas às “escolas colaborantes” (número de turmas por anos escolares e tempos letivos envolvidos); (f) entrega (e posterior recolha) das cartas de consentimento informado aos pais/encarregados de educação e estudantes.

Os estudantes foram informados dos objetivos do estudo, do carácter voluntário da sua participação e do tratamento sigiloso das suas respostas, dando o seu assentimento informado. Por se tratar de um conjunto de nove provas cognitivas, e no sentido de minimizar a fadiga dos estudantes, as provas foram distribuídas por dois dias de aplicação, 90 minutos por dia por turma, em dias diferentes, preferencialmente na mesma semana ou em semanas consecutivas. A aplicação das provas, realizadas por psicólogos que receberam formação para o efeito, respeitou com rigor as instruções constantes dos cadernos das provas e decorreu conforme previsto.

Resultados

A avaliação das qualidades psicométricas dos dados foi realizada estimando-se a precisão dos resultados, a validade de constructo e a validade de critério. Todas as análises foram efetuadas com o programa IBM SPSS Statistics (v. 22, SPSS An IBM Company, Chicago, IL).

Nas Tabelas 2(a,b) estão indicados os dados da estatística descritiva e os coeficientes de precisão dos resultados, de cada prova e para cada versão da bateria. Além da distribuição dos resultados manifestar-se adequada, os valores de alfa atingem níveis adequados para ambas as versões da bateria, variando entre .697 (Analogias) e .882 (Cálculos) na BAC_A, e entre .822 (Expressões) e .925 (Cálculos) na BAC_B.

A validade de critério foi estimada através da correlação de Pearson entre os desempenhos cognitivos e o rendimento académico em diversas disciplinas curriculares (Tabelas 4a,b,c). Podemos verificar que: (1) existe uma associação positiva e significativa entre os desempenhos nas provas cognitivas e o rendimento académico nas disciplinas curriculares nos três níveis de escolaridade em causa; (2) a magnitude dos coeficientes tende a ser mais elevada e mais homogénea no 6.º ano e progressivamente mais baixa e mais heterogénea nos 9.º e 12.º anos; (3) independentemente do ano escolar, os coeficientes tendem a ser mais elevados quando o conteúdo das provas cognitivas e o conteúdo das disciplinas curriculares são próximos (e.g., provas verbais e disciplina de Português ou Inglês; provas numéricas e disciplina de Matemática/Matemática Aplicada às Ciências Sociais); (4) a prova Problemas apresenta-se mais associada ao rendimento académico nos três anos escolares.

Considerações finais

Tendo em vista reforçar e atualizar os instrumentos de avaliação das habilidades cognitivas disponíveis em Portugal, apresentaram-se os procedimentos de construção e validação da Bateria de Avaliação Cognitiva (BAC). Tendo subjacente a teoria CHC, a BAC avalia três habilidades cognitivas (compreensão, raciocínio e resolução de problemas), recorrendo a situações figurativo-espaciais, verbais e numéricas. O estudo psicométrico realizado junto de estudantes do 6.º e 9.º anos do ensino básico e do 12.º ano do ensino secundário (cursos científico-humanísticos gerais de Ciências e Tecnologias, e cursos de Ciências Socioeconómicas e/ou de Línguas e Humanidades), permite atestar a fiabilidade e a validade dos resultados na BAC.

Cobrindo a escolaridade entre o 6.º e o 12.º ano de escolaridade, as nove provas da BAC são de fácil aplicação pelo psicólogo. Por sua vez, os estudantes não apontam dificuldades à compreensão das instruções e os exemplos de itens são suficientes para explicitar o tipo de trabalho cognitivo requerido em cada prova. Ao mesmo tempo, ainda que podendo ser aplicada individualmente, na íntegra ou apenas algumas das suas provas, o estudo da precisão e validade foi realizado com protocolos recolhidos através de aplicação coletiva. Seguramente, pela otimização do tempo do psicólogo, esta será a forma mais usual de utilização da BAC em contexto educativo.

Tomando ora as habilidades cognitivas específicas de cada prova, ora apreciando o impacto do conteúdo das tarefas nos níveis de desempenho alcançados pelos alunos, o psicólogo pode retirar proveito da utilização da BAC na análise das dificuldades de desempenho escolar e no apoio ao processo de tomada de decisão vocacional dos estudantes ao longo da adolescência. Os índices de correlação obtidos entre as provas da BAC e o rendimento académico nas diversas disciplinas curriculares permitem uma ponderação das habilidades cognitivas mais e menos desenvolvidas, dos rendimentos académicos atingidos, dos currículos progressivamente diferenciados e das expetativas de sucesso nas diversas áreas curriculares.

Num futuro próximo será possível editar o manual da BAC e incluir os valores de referência (normas) para apreciação dos desempenhos individuais. Tais normas vão classificar os desempenhos em cada uma das nove provas e no conjunto da BAC, ao mesmo tempo que vão atender ao ano de escolaridade dos estudantes e às suas opções curriculares a partir do 10.º ano de escolaridade.

Referências

Almeida, L. S., & Lemos, G. C. (2015). Bateria de Provas de Raciocínio (BPR5/6; BPR7/9 e BPR10/12). Braga: Universidade do Minho, Centro de Investigação em Educação.         [ Links ]

Bloom, B. S. (1956). Taxonomy of educational objectives: The classification of educational goals. New York: Longman.         [ Links ]

Bloom, B. S. (1986). What we are learning about teaching and learning: A summary of recent research. Principal, 66(2), 6-10.         [ Links ]

Carroll, J. B. (1993). Human cognitive abilities. Cambridge: Cambridge University Press.         [ Links ]

Colom, R. (2016). Advances in intelligence research: What should be expected in the XXI century (Questions and answers). Spanish Journal of Psychology, 19. doi: 10.1017/sjp.2016.87        [ Links ]

Colom, R. (2017). Se puede mejorar las capacidades cognitivas? In E. Duthie, F. García-Moriyón, & R. Robles Loro (Eds.), Parecidos de familia: Propuestas actuales en filosofía para niños (pp. 1-27). Mexico: Anaya.         [ Links ]

Despacho n.º 59081 de 5 de julho do Ministério da Educação. Diário da República: II série, n.º 128 (2017). Disponível em https://www.dre.pt

Detterman, D. K. (2016). Education and intelligence: Pity the poor teacher because student characteristics are more significant than teachers or schools. Spanish Journal of Psychology, 19(93), 1-11. doi: 10.1017/sjp.2016.88        [ Links ]

Direção Geral de Estatísticas da Educação e Ciência [DGEEC]. (2013). Educação em números 2013. Lisboa: Autor.         [ Links ]

Driscoll, M. (2000). Psychology of learning for instruction. Needhan Heights: Allyn & Bacon.         [ Links ]

Duncan, C. P. (1959). Recent research on human problem solving. Psychological Bulletin, 56, 537-429.         [ Links ]

Eurostat. (2017). Sustainable development in the European Union: Monitoring report on progress towards the SDGS in an EU context. Luxembourg: European Union publications. doi: 10.2785/237722        [ Links ]

Gottfredson, L. (1997). Mainstream science on intelligence: An editorial with 52 signatories, history, and bibliography. Intelligence, 24, 13-23. doi: 10.1016/S0160-2896(97)90011-8        [ Links ]

Gottfredson, L. (2004). Intelligence: Is it the epidemiologists’ elusive “fundamental cause” of social class inequalities in health?. Journal of Personality and Social Psychology, 86, 174-199. doi: 10.1037/0022-3514.86.1.174

Horn, J. L., & Noll, J. (1997). Human cognitive capabilities: Gf-Gc theory. In D. P. Flanagan, J. L. Genshaft, & P. L. Harrison (Eds.), Contemporary intellectual assessment: Theories, tests, and issues (pp. 53-93). New York: Guilford.         [ Links ]

Hunt, E. B. (2011). Human intelligence. Cambridge: Cambridge University Press.         [ Links ]

Johnson, D. M. (1955). The psychology of thought and judgment. New York: Harper & Row.         [ Links ]

Kaufman, A. S. (2009). IQ testing 101. New York: Springer Publishing.         [ Links ]

Kaufman, J. C., & Grigorenko, E. L. (Eds.). (2009). The essential Sternberg: Essays on intelligence, psychology, and education. New York: Springer Publishing.         [ Links ]

Köhler, W. (1925). The mentality of apes. London: Routledge & Kengan Paul.         [ Links ]

Krathwohl, D. (2002). A revision of Bloom’s taxonomy: An overview. Theory Into Practice, 41, 212-218.

Lemos, G. C., Abad, F. J., Almeida, L. S., & Colom, R. (2014). Past and future academic experiences are related with present scholastic achievement when intelligence is controlled. Learning and Individual Differences, 32, 148-155. doi: 10.1016/j.lindif.2014.01.00        [ Links ]

Lemos, G. C., & Almeida, L. S. (2015). Bateria de Aptidões Cognitivas (BAC_A, BAC_B) / Battery of Cognitive Abilities (BCA_A, BCA_B). Braga: Edição de Autor.         [ Links ]

Lemos, G. C., & Almeida, L. S. (2017). A avaliação das aptidões cognitivas para a promoção de percursos de sucesso: Estudo com adolescentes portugueses. In S. G. Caliatto, S. M. S. S. Oliveira, N. B. Cunha, & M. C. R. A. Joly (Orgs.), Avaliação: Diferentes processos no contexto educacional (pp. 19-44). Uberlândia, Brasil: Editora Navegando.         [ Links ]

Lubinski, D. (2000). Scientific and social significance of assessing individual differences: “Sinking shafts at a few critical points”. Annual Review of Psychology, 51, 405-444. doi: 10.1146/annurev.psych.51.1.405

McGrew, K. S. (2009). CHC theory and the human cognitive abilities project: Standing on the shoulders of the giants of psychometric intelligence research. Intelligence, 37, 1-10. doi: 10.1016/j.intell.2008.08.004        [ Links ]

McGrew, K. S., & Wendling, B. J. (2010). CHC cognitive-achievement relations: What we have learned from the past 20 years of research. Psychology in the Schools, 47, 651-675. doi: 10.1002/pits.20497        [ Links ]

Ministério da Educação/Direção Geral de Educação [ME/DGE]. (2017). Perfil dos alunos à saída da escolaridade obrigatória. Lisboa: Autor. Disponível em https://dge.mec.pt/sites/default/files/Curriculo/Projeto_Autonomia_e_Flexibilidade/perfil_dos_alunos.pdf        [ Links ]

Morgan, J. J. B. (1941). Psychology. New York: Farrar & Rinehart.         [ Links ]

Morin, E. (1999). La tête bien faite. Paris: Seuil.         [ Links ]

Newell, A., & Simon, H. A. (1972). Human problem solving. Englewood Cliffs, NJ: Prentice-Hall.         [ Links ]

OECD. (2003). The PISA 2003 assessment framework: Mathematics, reading, science and problem-solving knowledge and skills. Disponível em http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33694881.pdf        [ Links ]

OECD. (2012). PISA field trial problem solving framework draft. Disponível em http://www.oecd.org/pisa/pisaproducts/46962005.pdf        [ Links ]

Pólya, G. (1945). How to solve it. Princeton, NJ: Princeton University Press.         [ Links ]

Raaheim, K. (1974). Problem solving and intelligence. Oslo: Universitetsforlaget.         [ Links ]

Sackett, P. R., Livens, F., van Iddekinge, C. H., & Kuncel, N. R. (2017). Individual differences and their measurement: A review of 100 years of research. Journal of Applied Psychology, 102, 254-273. doi: 10.1037/apl0000151        [ Links ]

Schleicher, A. (2017, February). Strong performers and successful reformers in education. Comunicação conduzida na Conferência PISA: Avaliaç         [ Links ]ão, resultados, desafios. Fundação Francisco Manuel dos Santos, Lisboa.

Schneider, W. J., & McGrew, K. (2012). The Cattell-Horn-Carroll model of intelligence. In D. Flanagan & P. Harrison (Eds.), Contemporary intellectual assessment: Theories, tests, and issues (3^rd ed., pp. 99-144). New York: Guilford.         [ Links ]

Snow, R. E., Corno, L., & Jackson, D. N. (1996). Individual differences in affective and conative functions. In D. C. Berliner & R. C. Calfee (Eds.), Handbook of educational psychology (pp. 243-310). New York: MacMillan.         [ Links ]

Spearman, C. (1927). The abilities of man. New York: MacMillan.         [ Links ]

Sternberg, R. J. (1977). Intelligence, information processing, and analogical reasoning: The componential analysis of human abilities. Hillsdale, NJ: Erlbaum.         [ Links ]

Sternberg, R. J. (1985). Beyond I.Q.: A triarchic theory of human intelligence. Cambridge: Cambridge University Press.         [ Links ]

Tusing, M. B., & Ford, L. (2004). Examining preschool cognitive abilities using a CHC framework. International Journal of Testing, 4, 91-114. doi: 10.1207/s15327574ijt0402_1        [ Links ]

Vinacke, W. E. (1952). The psychology of thinking. New York: McGraw-Hill.         [ Links ]

Wai, J., Lubinski, D., & Benbow, C. P. (2009). Spatial ability for STEM domains: Aligning over 50 years of cumulative psychological knowledge solidifies its importance. Journal of Educational Psychology, 101, 817-835. doi: 10.1037/a0016127        [ Links ]

Woodworth, R. S., & Schlosberg, H. (1954). Experimental psychology. New York: Holt, Rinehart, & Winston.         [ Links ]

CORRESPONDÊNCIA

A correspondência relativa a este artigo deverá ser enviada para: Gina C. Lemos, Centro de Investigação em Educação, Universidade do Minho, Campus de Gualtar, 4710-057 Braga, Portugal. E-mail: g.claudia@ie.uminho.pt

Este trabalho insere-se no âmbito do pós-doutoramento da investigadora-bolseira FCT com a referência (SFRH/BPD/93009/2013), financiado pelo CIEd – Centro de Investigação em Educação, projeto UID/CED/01661/2019, Instituto de Educação, Universidade do Minho, através de fundos nacionais FCT/MCTES-PT.

Submissão: 30/04/2018 Aceitação: 11/10/2018