Irene Cadime¹, Sandra Santos², Teresa Leal³, Fernanda Leopoldina Viana⁴, Bruna Rodrigues², Maria do Céu Cosme², Iolanda Ribeiro²

¹Centro de Investigação em Estudos da Criança, Universidade do Minho

²Escola de Psicologia, Universidade do Minho

³Faculdade de Psicologia e Ciências da Educação, Universidade do Porto

⁴Instituto de Educação, Universidade do Minho

Correspondência

RESUMO

Na literatura têm sido discutidos diversos fatores que podem influenciar a dificuldade das tarefas de compreensão de textos e, consequentemente, o desempenho dos sujeitos na avaliação. O objetivo deste estudo é perceber se a dificuldade das tarefas de avaliação da compreensão de textos varia em função da modalidade da tarefa de avaliação (oral versus escrita), do tipo de texto (narrativo versus informativo) e do tipo de compreensão avaliado pelas perguntas apresentadas (literal versus inferencial). Avaliaram-se 300 alunos do quarto ano de escolaridade, administrando quatro testes de compreensão de textos: Teste de compreensão de textos na modalidade oral-narrativo, Teste de compreensão de textos na modalidade oral-informativo, Teste de compreensão de textos na modalidade de leitura-narrativo, Teste de compreensão de textos na modalidade de leitura-informativo. Os resultados mostraram a inexistência de diferenças estatisticamente significativas na média da dificuldade das perguntas de compreensão oral e de compreensão da leitura, entre a dificuldade média das perguntas relativas a texto narrativo e informativo e entre a média da dificuldade das perguntas de compreensão literal e inferencial. Não foram observados efeitos de interação. Discutem-se as implicações destes resultados para a avaliação e intervenção no domínio da compreensão de textos, tendo em conta algumas limitações deste estudo. ]]>

Palavras-chave: Compreensão da leitura, Compreensão oral, Texto narrativo e informativo, Compreensão literal, Compreensão inferencial.

ABSTRACT

Several factors that can influence the difficulty of the text comprehension tasks, and therefore the performance of the individuals, have been discussed in the literature. The goal of this study is to investigate if the difficulty of the text comprehension tasks varies as a function of the modality of the assessment task (oral versus written), the type of text (narrative versus informative) and the type of comprehension assessed by the questions (literal versus inferential). Three hundred students of the fourth grade were assessed using four text comprehension measures: Test of Listening Comprehension of Narrative Texts, Test of Listening Comprehension of Informative Texts, Test of Reading Comprehension of Narrative Texts, and Test of Reading Comprehension of Informative Texts. The results indicated the inexistence of statistically significant differences in the mean difficulty of listening and reading comprehension questions, as well as between the mean difficulty of questions related to narrative and informative texts and literal and inferential questions. No interaction effects were observed. The implications of these results are discussed considering their importance for the selection of the material to be used in the assessment and intervention in the text comprehension area. Some limitations of the study are also highlighted.

Key words: Reading comprehension, Listening comprehension, Narrative and informative text, Literal comprehension, Inferential comprehension.

Introdução

A compreensão de textos, que pode ser obtida quer a partir de textos apresentados oralmente, quer apresentados de forma escrita, traduz-se pela construção de uma representação ou modelo mental coerente da mensagem veiculada, envolvendo não só a integração de informação implícita e explícita no texto, como também informação que integra o conhecimento geral do indivíduo e as condições contextuais em que a compreensão ocorre. Por conseguinte, a compreensão de textos tem sido amplamente definida como uma construção de significados resultante da interação entre variáveis associadas ao indivíduo, ao texto e ao contexto (RAND Reading Study Group, 2002). Esta complexidade do conceito permite depreender que o desempenho dos alunos em medidas de avaliação da compreensão de textos dependerá de um elevado número de variáveis não só associadas ao próprio leitor, como também às características da medida utilizada. Neste estudo, examinam-se três destas variáveis: modalidade da tarefa de avaliação, tipo de texto e tipo de compreensão avaliado pelas perguntas apresentadas.

Um primeiro fator que pode afetar o desempenho na compreensão de textos diz respeito à modalidade da tarefa de avaliação, i.e., se esta é centrada na compreensão de informação apresentada oralmente (compreensão oral) ou de informação apresentada por escrito (compreensão da leitura).

A compreensão oral tem um papel proeminente em vários modelos de compreensão da leitura, sendo geralmente descrita como um dos melhores preditores do nível de compreensão da leitura (Berninger & Abbott, 2010).

No entanto, a relação entre ambas é ainda mais estreita dado que parecem depender de um mesmo processo geral de compreensão (Sticht, Beck, Hauke, Kleinman, & James, 1974). Uma grande parte dos processos envolvidos na compreensão da leitura já está disponível e é regularmente usada na compreensão oral (Fayol, 1992).

Esta hipótese é suportada não só pela investigação que mostra a existência de uma correlação entre ambas as competências, mas também pela constatação de que, em geral, intervenções que promovem a compreensão oral têm também efeitos positivos sobre a compreensão da leitura (Fayol & Morais, 2004; Hulme & Snowling, 2011) e que intervenções nas competências metacognitivas em tarefas de leitura parecem exercer um efeito de transferência para a compreensão oral (Carretti, Caldarola, Tencati, & Cornoldi, 2014; Fayol & Morais, 2004). Esta mesma hipótese foi suportada por estudos que contrastavam o desempenho em tarefas de compreensão oral e em compreensão da leitura em alunos com distintos níveis de realização. Por um lado, os resultados em testes de compreensão oral mostraram ser melhores preditores do desempenho em compreensão da leitura quando analisadas amostras de alunos com boas competências de leitura, do que quando se avaliavam amostras de alunos com baixas competências de leitura (Goff, Pratt, & Ong, 2005). Por outro lado, outros estudos mostraram que os níveis de compreensão da leitura e de compreensão oral eram semelhantes em crianças com boas competências de leitura, mas díspares em grande parte das crianças com dificuldades na leitura (Megherbi, Seigneuric, & Ehrlich, 2006). Estes resultados são congruentes com a ideia de que os indivíduos possuem recursos cognitivos limitados que se repartem entre os processos de descodificação e compreensão (Fayol, 2003) e, por conseguinte, sugerem que os processos de compreensão oral não se tornam totalmente operativos na leitura enquanto o aluno não adquirir as competências básicas de reconhecimento de palavras e fluência na leitura que lhe permitam aceder ao significado da linguagem escrita e, a partir daí, compreender textos que de outra forma seriam compreendidos se apresentados na oralidade (Ribeiro, Cadime, Freitas, & Viana, 2016). Por conseguinte, as correlações entre compreensão oral e compreensão da leitura parecem sofrer um efeito desenvolvimental: são geralmente baixas no início da escolaridade, mas aumentam à medida que a escolaridade avança, atingindo o seu máximo próximo do início do ensino secundário (Oakhill & Cain, 2007).

Tipo de texto: Narrativo versus informativo

Um segundo fator que pode influenciar os desempenhos dos alunos nas medidas de compreensão diz respeito ao tipo de texto utilizado. É corrente na literatura a menção de que o tipo de texto utilizado nos testes de avaliação da compreensão produz diferentes desempenhos, sendo geralmente apontado que os textos de cariz informativo colocam uma dificuldade superior aos alunos comparativamente com o texto narrativo (Mullis, Martin, Foy, & Drucker, 2012). Este efeito tem sido geralmente explicado pelas diferenças que textos narrativos e informativos apresentam em termos de estrutura (Best, Floyd, & Mcnamara, 2008), do tipo de vocabulário contido (Cain & Oakhill, 2006) e dos conhecimentos prévios necessários para a elaboração de inferências (Wolfe & Woodwyk, 2010).

Os textos narrativos possuem, em geral, uma estrutura-tipo: uma introdução com informação sobre as personagens e o contexto da narrativa, seguida de uma sequência de ações, problemas ou peripécias que as personagens vivenciam, concluindo com o desfecho ou resolução do problema (Duke, Pressley, & Hilden, 2004). Assim sendo, a estrutura dos textos narrativos é relativamente previsível, permitindo a formulação de antecipações/previsões sobre o conteúdo do texto ao longo da leitura, o que, por sua vez, facilita a compreensão das ideias principais (Colomer & Camps, 2002). No entanto, tal não acontece com os textos informativos que podem assumir diferentes estruturas, entre as quais descrições, sequências, comparações e contrastes, causas e efeitos ou problemas e soluções (Goldman & Rakestraw, 2000). Além disso alguns autores têm apontado que nos primeiros anos de escolaridade os alunos são pouco expostos a textos informativos, o que parece resultar numa menor familiaridade com as estruturas deste tipo de textos, comparativamente com os narrativos (Moss, 2004).

Apesar de a literatura ser extensa na discussão das diferenças entre as exigências colocadas pela compreensão de textos narrativos e informativos, os resultados da investigação têm sido incongruentes, demonstrando quer a existência de desempenhos superiores em medidas que utilizam texto narrativo (e.g., Best et al., 2008), quer o resultado oposto (e.g., Cervetti, Bravo, Hiebert, Pearson, & Jaynes, 2009). Esta dualidade de resultados tem também sido especialmente observada em estudos de literacia em larga escala realizados com a participação de vários países. O PIRLS – Progress in International Reading Literacy Study é um estudo conduzido a nível internacional pela International Association for the Evaluation of Educational Achievement para avaliar as competências de literacia dos alunos do quarto ano de escolaridade, sendo que Portugal participou apenas na última avaliação realizada em 2011. Embora no PIRLS não sejam referidas tipologias textuais, são avaliadas as competências de leitura tendo por base duas finalidades distintas: (1) literária – ler como experiência literária; e (2) informativa – ler para adquirir e utilizar informação. Estas finalidades têm uma ampla correspondência com a leitura de texto narrativo e informativo, respetivamente. Os resultados do PIRLS realizado em 2011 mostraram que, na generalidade, a tarefa de avaliação cuja finalidade era informativa era mais difícil para os alunos, do que a tarefa cuja finalidade era literária (Mullis et al., 2012). No entanto, este padrão era o mais comum mas não foi o observado para todos os países participantes, entre os quais Portugal. Os alunos Portugueses obtiveram um desempenho significativamente acima da média global nacional quando a finalidade de leitura era informativa e abaixo dessa média quando a finalidade era literária (International Association for The Evaluation of Educational Achievement & Ministério da Educação e Ciência, 2011).

Uma questão relacionada deriva das diferenças no tempo de exposição a diferentes tipologias textuais nas modalidades oral e escrita. É reconhecido que a exposição a discurso oral de tipo informativo (por exemplo, palestras ou documentários) é muito menos frequente do que a exposição a discurso narrativo oral (o mais frequente nas interações diárias). Poucos estudos têm, no entanto, estudado a existência de efeitos de interação entre a modalidade de apresentação e o tipo de texto utilizado. Uma dessas exceções é o estudo de Diakidoy, Stylianou, Karefillidou e Papageorgiou (2005), conduzido com alunos do segundo, quarto, sexto e oitavo anos de escolaridade, cujos objetivos foram perceber se existiam diferenças no desempenho em compreensão oral e da leitura nos diferentes anos de escolaridade e se existia um efeito do tipo de texto nos níveis de compreensão oral e da leitura que os alunos demonstravam. Os investigadores utilizaram um design intra-sujeitos, com contrabalanceamento, no qual cada subgrupo em que a amostra foi dividida ouviu dois textos (um narrativo e um expositivo) e leu outros dois textos (um narrativo e um expositivo), contrabalanceando-se o modo de apresentação e tipo de texto entre subgrupos. Os resultados indicaram que, no quarto e no sexto ano de escolaridade não existiam diferenças na compreensão de textos em função da modalidade de apresentação (oral ou escrita). Todavia, no segundo ano o desempenho em compreensão de textos apresentados oralmente era superior ao do desempenho em compreensão da leitura, enquanto no oitavo ano se observava o efeito oposto. Para além disso, a relação entre compreensão oral e da leitura aumentava após o segundo ano de escolaridade. Estes resultados são congruentes com a hipótese de que a diferença entre compreensão oral e da leitura diminui com a exposição contínua ao material impresso e com a progressiva mestria das competências básicas de reconhecimento de palavras e fluência que ocorre também com o avançar da escolaridade (Sticht et al., 1974). No que respeita ao segundo objetivo, Diakidoy e colaboradores (2005) partiram da premissa de que o avanço na escolaridade e o consequente contacto progressivo com as diferentes tipologias textuais diminuiria as diferenças no desempenho em testes que utilizavam quer texto narrativo, quer texto informativo. Os seus resultados mostraram que, na generalidade e independentemente da modalidade de apresentação, a compreensão de textos informativos era inferior à compreensão de textos narrativos, não existindo por isso um efeito significativo de interação entre modalidade de apresentação e tipo de texto. Este resultado ocorria em praticamente todos os anos de escolaridade, exceto no segundo ano, onde a compreensão da leitura de textos informativos era semelhante à de textos narrativos. Os autores atribuíram esta inexistência de diferenças ao facto de as competências básicas de reconhecimento de palavras estarem ainda numa fase incipiente neste ano de escolaridade, estendendo-se eventuais dificuldades de compreensão daí decorrentes a ambos os tipos de texto. Deste modo, os resultados deste estudo conduzem à conclusão geral de que a apresentação oral de texto informativo não oferece vantagem comparativamente com a sua apresentação escrita, em qualquer dos anos de escolaridade analisados, e que as vantagens da apresentação oral de textos estão confinadas ao texto narrativo e a anos de escolaridade iniciais.

Um outro estudo, realizado por Yildirim, Yildiz, Ates e Rasinsky (2010), procurou também testar se os desempenhos na compreensão de textos narrativos e informativos variavam consoante o formato de apresentação dos mesmos, utilizando uma amostra de 180 alunos turcos a frequentarem o quinto ano de escolaridade do Ensino Básico. Os investigadores utilizaram um design inter-sujeitos, no qual um dos grupos foi avaliado com perguntas sobre um texto narrativo e um texto informativo lidos oralmente, uma única vez, pelo investigador, sendo o outro grupo de alunos avaliado com o mesmo material de teste mas com solicitação de leitura independente dos textos (i.e., foram os próprios alunos a efetuar a leitura silenciosamente). Os resultados mostraram que os alunos obtinham melhores níveis de compreensão em texto narrativo quando este lhes era apresentado oralmente, do que quando eram os próprios a efetuar a leitura. No entanto, este efeito não foi verificado quando se tratava de texto informativo – nesta condição, os desempenhos dos alunos não se diferenciavam em função da modalidade de apresentação do texto (oralmente ou leitura independente). Embora estes resultados vão ao encontro dos obtidos por Diakidoy e colaboradores (2005), o desempenho superior obtido pelos alunos na condição de apresentação oral de textos narrativos, comparativamente com o obtido na apresentação escrita do mesmo tipo de texto, surge numa amostra de alunos mais velhos (quinto ano), sugerindo que os benefícios da apresentação na modalidade oral neste tipo de textos pode não se limitar aos anos iniciais de escolaridade.

Tipo de compreensão: Literal versus inferencial

Um terceiro fator que pode exercer efeitos na dificuldade das medidas de avaliação e, consequentemente, no desempenho dos alunos, é o tipo ou nível de compreensão avaliado pelas perguntas. A partir dos anos 50 do século XX surgiram diversas taxonomias de níveis de compreensão (Herber, 1978; Pearson & Johnson, 1978; Smith & Barrett, 1979) que categorizavam os níveis de interação com o texto e o tipo de informação que os leitores devem fornecer em resposta às perguntas apresentadas nos instrumentos de avaliação: a informação a fornecer na resposta às perguntas de compreensão pode estar totalmente explícita no texto, exigir a seleção e a integração de informação dispersa pelo mesmo ou o recurso a conhecimentos exteriores (Alonzo, Basaraba, Tindal, & Carriveau, 2009). Uma das taxonomias mais influentes foi enunciada por Smith e Barrett (1979), sendo esta composta por cinco níveis: (a) Compreensão literal – requer a localização ou a identificação de informação ou de situações explícitas; (b) Compreensão inferencial – implica não só a utilização de informação explícita no texto, mas também a mobilização de conhecimentos prévios e da experiência pessoal, como base para formular conjeturas e hipóteses; (c) Reorganização – implica que o leitor analise, sintetize e/ou organize ideias ou informação explícita no texto, sendo estes processos requeridos em tarefas de classificação, esquematização, sumarização e sintetização; (d) Avaliação – requer que o leitor efetue julgamentos sobre o conteúdo de um texto e pode incluir julgamentos de realidade/fantasia, de factos/opiniões, de adequabilidade e validade, desejabilidade ou aceitabilidade; (e) Apreciação – relaciona-se com o impacto estético e psicológico que o texto produz no leitor.

Na literatura sobre estas taxonomias parece estar subentendida uma noção de hierarquia entre os diferentes tipos ou níveis de compreensão (Carnine, Silbert, Kame’enui, & Tarver, 2010; Herber, 1978). Esta ideia tem subjacente a existência de um continuum de compreensão no qual um aluno deve adquirir níveis satisfatórios de mestria em tarefas de compreensão literal, para que seja capaz de se envolver em níveis de interação mais profundos com o texto, tais como os evocados pela compreensão inferencial. Os processos inferenciais são críticos para a construção de um modelo mental coerente do texto (Fayol, 2003). O estudo de Basaraba, Yovanoff, Alonzo e Tindal (2013) foi inovador ao investigar a existência de uma distinção clara entre níveis de compreensão da leitura, incluindo a testagem de diferenças na dificuldade de itens de avaliação da compreensão literal e inferencial. Para tal, utilizaram uma amostra de 2427 alunos americanos do quinto ano de escolaridade, que foi avaliada com uma medida baseada no currículo para avaliação da compreensão da leitura em três momentos, correspondentes sensivelmente ao início do primeiro, segundo e terceiro período no calendário escolar. Esta medida era composta por textos narrativos e perguntas de escolha múltipla que avaliavam compreensão literal, inferencial e avaliativa. Com recurso a um modelo de Teoria de Resposta ao Item – o modelo Rasch – a dificuldade dos itens foi estimada, sendo posteriormente comparada a dificuldade média de cada tipo de compreensão. Os resultados deste estudo indicaram que, em termos médios, as perguntas de compreensão inferencial e avaliativa eram mais exigentes do que as de compreensão literal. Note-se, ainda assim, que esta diferença de valores médios não foi significativa na medição efetuada no primeiro período do ano escolar. Os resultados indicaram também que a relação entre os três níveis de compreensão não era linear: ao longo dos três momentos de avaliação observaram-se valores de dificuldade sobrepostos nos três tipos de perguntas de compreensão, o que sugere que, em alguns casos, os itens de compreensão inferencial eram mais fáceis do que os de compreensão literal, e que noutros os de compreensão avaliativa eram mais fáceis do que os de compreensão literal. Esta evidência parece, assim, sugerir que a relação entre os níveis de compreensão na leitura não é hierárquica. No entanto, o estudo de Basaraba e colaboradores (2013) limitou-se a um ano de escolaridade e utilizou uma única medida de compreensão da leitura de textos narrativos. Não é assim claro se resultados idênticos seriam obtidos com medidas que avaliassem compreensão oral e que incluíssem outras tipologias textuais.

Em suma, a modalidade de apresentação (oral versus leitura), o tipo de texto (narrativo versus informativo) e o tipo de compreensão avaliado (literal versus inferencial) são alguns dos fatores que podem afetar o desempenho dos alunos na compreensão de textos. Além de a literatura não ser totalmente conclusiva sobre os efeitos diretos de todas estas variáveis sobre a compreensão de textos, são inexistentes os estudos que examinem a existência de efeitos de interação entre as três variáveis, quer no contexto Português, quer no contexto internacional. No que respeita aos tipos de compreensão, a grande maioria da investigação na área da compreensão de textos centra-se apenas nos níveis de compreensão inferencial e literal (e.g., Diakidoy et al., 2005; van Kleeck, 2008). Tal facto deriva, sobretudo, do amplo consenso entre os investigadores e agentes educativos sobre a distinção entre estes dois níveis de compreensão, o que não se verifica nos restantes níveis, havendo, inclusivamente, alguma discussão sobre se, por exemplo, a reorganização ou a avaliação diferem de alguma forma do nível de compreensão inferencial, visto que parecem exigir igualmente a produção de inferências (Basaraba et al., 2013). Por conseguinte, optou-se por considerar apenas os dois primeiros níveis de compreensão no presente estudo. Deste modo, os objetivos deste estudo foram: (1) investigar se a dificuldade dos itens de compreensão varia em função da modalidade de apresentação dos itens e do texto que os suporta (escrita ou oral); (2) testar se a dificuldade dos itens de compreensão varia em função do tipo de texto: narrativo ou informativo; (3) verificar se a dificuldade dos itens de compreensão varia em função do tipo de compreensão avaliado: compreensão inferencial ou literal; (4) verificar a existência de efeitos de interação entre o tipo de compreensão avaliado, o tipo de texto e a modalidade de apresentação do material de avaliação.

Participantes

A amostra deste estudo é constituída por 300 alunos do 4.º ano de escolaridade do Ensino Básico, com idades compreendidas entre os 8 e os 12 anos de idade (Média=9.5; Desvio-padrão=0.58), provenientes de 11 escolas dos distritos de Braga e Porto. A maioria dos participantes frequentava escolas do ensino público (84.0%) e eram provenientes de um meio rural (60.7%). A distribuição da amostra por sexo era equitativa, com 50.3% de rapazes e 49.7% de raparigas. Apenas 3 participantes (1% da amostra) tinham outra nacionalidade que não a Portuguesa, embora tivessem o Português como primeira língua. No que respeita ao nível socioeconómico das famílias, 32.3% dos participantes beneficiavam de apoios no âmbito da ação social escolar no momento em que o estudo foi realizado. As habilitações literárias das mães dos participantes eram também diversificadas: 5% concluíram o 1º ciclo do Ensino Básico, 24% o 2º ciclo do Ensino Básico, 25% o 3º ciclo do Ensino Básico, 18% o Ensino Secundário e 19.7% concluíram o Ensino Superior (sem informação para 8.3% da amostra). Não foram incluídos na amostra alunos com necessidades educativas especiais.

Instrumentos

Neste estudo foram utilizados quatro dos subtestes que integram a BAL – Bateria de Avaliação da Leitura (Ribeiro & Viana, 2014). Todos apresentam formas de teste específicas para os quatro anos de escolaridade que constituem o ensino básico, mas neste estudo utilizaram-se apenas as destinadas ao quarto ano de escolaridade.

Teste de compreensão de textos na modalidade oral-narrativo – 4º ano (TCTMO-n-4) e Teste de compreensão de textos na modalidade oral-informativo – 4º ano (TCTMO-i-4). O TCTMO-n-4 é um teste de avaliação da compreensão oral, composto por quatro textos narrativos: Um anjo na cozinha (581 palavras), Férias na aldeia (856 palavras), Um gato com poderes especiais (667 palavras) e O filho do pirata (706 palavras). O TCTMO-i-4 inclui quatro textos informativos: Borboletas e lagartas (498 palavras), Ai que solzinho! (690 palavras), Ratinhos com asas (755 palavras), Bugalhos e bolotas (638 palavras). Em ambos os testes, os textos são segmentados em pequenos excertos que variam entre 40 e 195 palavras, sendo os itens apresentados entre cada excerto. Cada forma de teste integra 30 itens de escolha múltipla com três opções de resposta, das quais apenas uma é correta. O TCTMO-n-4 integra oito perguntas de compreensão literal, 15 de compreensão inferencial, quatro de reorganização e três de compreensão crítica e o TCTMO-i-4 possui 14 perguntas de compreensão literal, 10 de compreensão inferencial, duas de reorganização e quatro de compreensão crítica. Os testes são apresentados num formato digital e o aluno deve ouvir os textos e os itens que são apresentados sem qualquer suporte escrito e apresentar a sua resposta oralmente. A audição de cada excerto do texto e cada pergunta só pode ser feita uma vez, não sendo permitido ao aluno retroceder no teste durante a sua aplicação. Os coeficientes de fidelidade dos testes são muito altos, variando entre .70 e .98 (Santos et al., 2015). As pontuações nas formas de teste encontram-se significativamente correlacionadas com as avaliações não formais das competências de leitura e oralidade efetuadas em contexto escolar, e com resultados obtidos em provas de vocabulário e memória de trabalho, fornecendo assim evidência de validade para o teste (Viana et al., 2015).

Procedimento

Antes de iniciar a recolha de dados solicitou-se autorização à Direção Geral de Educação para que a mesma fosse realizada em contexto escolar. Seguidamente, solicitou-se a colaboração aos diretores dos Agrupamentos de Escolas e da escola privada que colaboraram no estudo. Posteriormente foi enviado um consentimento informado a todos os encarregados de educação.

Os alunos foram informados dos objetivos do estudo, garantindo-se que a participação era voluntária e assegurando-se a confidencialidade da informação. A recolha de dados foi realizada por alunas de doutoramento em Psicologia da Educação nos dois últimos meses do ano letivo. Todos os alunos realizaram os quatro testes, que foram aplicados coletivamente na sala de aula, sem limite de tempo e seguindo as instruções presentes nos manuais dos testes.

Análise de dados. Na análise de dados consideraram-se apenas os itens que avaliavam compreensão literal e inferencial em cada um dos quatro testes, num total de 91 itens.

Para efetuar a comparação dos níveis de dificuldade de cada tipo de itens, é necessário que estes se encontrem calibrados numa escala comum. A utilização de modelos de Teoria de Resposta ao Item permite a obtenção desta escala e a realização de análises diferenciais posteriores. Entre os modelos de Teoria de Resposta ao Item, o modelo Rasch é particularmente adequado para responder aos objetivos deste estudo, visto que permite a comparação direta da dificuldade de diferentes tipos de itens, independentemente do nível de competência dos alunos, o que não acontece com as proporções de respostas corretas, utilizadas tradicionalmente no quadro da Teoria Clássica dos Testes como medida de dificuldade dos itens. Uma descrição mais detalhada das vantagens do modelo Rasch para a estimação de parâmetros pode ser consultada em Cadime, Ribeiro, Viana, Santos e Prieto (2014). Por conseguinte, a fim de obter os parâmetros de dificul dade para cada item estimados numa escala comum, começou-se por efetuar a calibração dos mesmos utilizando estimativas do modelo Rasch. Os dados foram calibrados com recurso ao software WINSTEPS (Wright & Linacre, 1998). Para a definição da escala de medida, o ponto de referência mais utilizado consiste em estabelecer a média da dificuldade dos itens em zero (Wright & Linacre, 1998), pelo que se manteve esta opção na calibração dos dados. No modelo Rasch, valores mais elevados indicam maior dificuldade do item e vice-versa. Avaliou-se ainda o ajustamento dos dados ao modelo, recorrendo-se aos indicadores de ajustamento baseados em análises de resíduos do modelo Rasch – MNSQ infit e outfit (Bond & Fox, 2007). Estes dois indicadores fornecem informação relativa às discrepâncias nas respostas, consoante o seu afastamento dos parâmetros estimados. Valores de 1.00 nestes indicadores representam um ajustamento perfeito ao modelo, sendo recomendável que estes se situem entre 0.5 e 1.5, não devendo ser superiores a 2.00, sob pena de haver distorção e degradamento das medidas (Linacre, 2002). Embora os valores de referência sejam indicados para ambos os indicadores, deve ressalvar-se que o MNSQ outfit é altamente afetado pela presença de outliers ou respostas extremamente aberrantes, o que no modelo Rasch se traduz pela presença de respostas incorretas a itens muito fáceis por parte de sujeitos com aptidão muito elevada ou por respostas corretas a itens extremamente difíceis por parte de sujeitos com muito baixo nível de aptidão (de Ayala, 2009).

Seguidamente transferiram-se os dados resultantes da calibração para uma nova matriz de dados, na qual as unidades de análise são os parâmetros observados para os itens e não os resultados individuais brutos dos sujeitos. Para testar o efeito do tipo de compreensão, tipo de texto e modalidade de apresentação do teste na dificuldade dos itens de compreensão, realizou-se uma análise de variância (ANOVA) fatorial 2 (modalidade: oral; leitura) x 2 (texto: narrativo; informativo) x 2 (compreensão: literal; inferencial) sobre as estimativas de dificuldade do modelo Rasch. Nesta análise de variância, os níveis de dificuldade dos itens estimados através do modelo Rasch (b_i) foram tomados como variável dependente. Para este segundo grupo de análises recorreu-se ao software IBM SPSS versão 23. O nível de significância utilizado foi de 5%.

Em termos de ajustamento, o valor de MNSQ infit dos itens variou entre 0.86 e 1.32 (média=1.00). Por sua vez, o valor de MNSQ outfit variou entre 0.68 e 1.58 (média=0.99). Embora o item 64 tenha excedido o valor de referência de 1.50 em termos de MNSQ outfit (1.58), o seu valor de MNSQ infit encontra-se abaixo do mesmo limiar (1.16). Tendo em conta que os coeficientes de MNSQ outfit são muito sensíveis a valores extremos e respostas aberrantes, optou-se por não excluir o item referido das análises subsequentes.

Os coeficientes Rasch de dificuldade dos itens variaram entre -1.92 e 3.28 para os diferentes itens (média=0.00). Na Figura 1 apresenta-se o mapa de Wright onde se encontram representados os níveis de dificuldade dos itens (lado direito do mapa) e o nível de competência dos sujeitos em compreensão (lado esquerdo do mapa). Pode verificar-se que os dois itens com valores mais elevados, i.e., os dois mais difíceis – itens 56 e 64 – provêm da modalidade de apresentação oral, com texto narrativo e avaliam compreensão inferencial. No extremo oposto, os dois itens com menor exigência para os alunos – itens 88 e 70 – provêm igualmente da modalidade de apresentação oral, mas com texto informativo e avaliam quer compreensão inferencial (item 88), quer literal (item 70). Observando a Figura 1, parece haver particular sobreposição dos níveis de dificuldade dos itens nos níveis intermédios de desempenho, independentemente da modalidade da avaliação, tipo de texto ou tipo de compreensão. Nos níveis inferiores de dificuldade surgem também itens de compreensão inferencial e literal, respeitantes aos dois tipos de texto e apresentados em ambas as modalidades.

No Quadro 1 apresenta-se a média e desvio-padrão do nível de dificuldade de cada tipo de itens, em função da modalidade de apresentação, tipo de texto e tipo de compreensão avaliado. Embora com algumas variações, na generalidade os valores médios para as diferentes condições encontram-se muito próximos do valor médio da escala (0.00).

No Quadro 2 apresentam-se os resultados da ANOVA para testar o efeito da modalidade de apresentação de texto e itens (leitura versus oral), do tipo de texto (narrativo versus informativo) e do tipo de compreensão (literal versus inferencial) na dificuldade dos itens. O conjunto das três variáveis explica apenas cerca de 7% da variância observada na variável dependente. Da observação dos resultados apresentados no Quadro 2 pode concluir-se que nenhuma das variáveis independentes analisadas apresenta um efeito estatisticamente significativo sobre a dificuldade dos itens. Do mesmo modo, não se verificaram quaisquer efeitos de interação estatisticamente significativos.

Discussão e conclusões

Os objetivos deste estudo foram perceber se a modalidade de apresentação do material de avaliação da compreensão, tipo de texto utilizado e tipo ou nível de compreensão avaliado exercem algum efeito sobre a dificuldade das tarefas de avaliação, conduzindo a desempenhos diferenciados por parte dos avaliados, e se os três fatores citados interagem entre si. Os resultados obtidos indicam a inexistência quer de efeitos únicos, quer de efeitos de interação das variáveis testadas sobre a dificuldade das tarefas de avaliação da compreensão de textos apresentadas.

Relativamente à ausência de diferenças entre itens referidos a texto narrativo e a texto informativo, a não observação de diferenças contraria, por um lado, os resultados obtidos no PIRLS 2011 pela amostra Portuguesa com desempenhos superiores em texto informativo, e por outro lado a literatura que refere as maiores exigências do texto informativo que podem levar a piores desempenhos (e.g., Best et al., 2008). Esta enorme variabilidade de resultados obtidos nos diferentes estudos pode conduzir a duas conclusões distintas: (a) o desempenho depende da exposição dos alunos a diferentes tipologias textuais; ou (b) a tipologia textual não determina a dificuldade da tarefa de avaliação per se. De facto, o tempo de exposição a distintas tipologias textuais e o tipo de práticas de ensino neste domínio podem variar grandemente entre contextos educativos, o que poderá, em parte, também explicar a grande variabilidade de resultados observada entre países no PIRLS 2011. Em 2009 foi realizado em Portugal um estudo que procurou perceber quais os tipos de texto utilizados nos manuais escolares mais adoptados para o quarto ano de escolaridade do ensino básico (Araújo, Folgado, & Pocinho, 2009). Os resultados deste estudo indicaram que, apesar de o texto narrativo continuar a ser o mais frequente, os manuais escolares analisados incluíam uma elevada percentagem de texto informativo (Araújo et al., 2009). É por isso, possível que nos últimos anos se tenha assistido no nosso país a uma progressiva mudança das práticas educativas, levando a que no ensino da compreensão sejam utilizadas tipologias textuais mais variadas. No entanto, é também possível que textos da mesma tipologia coloquem diferentes exigências em termos de compreensão devido ao vocabulário ou à complexidade das estruturas sintáticas que encerram. Por conseguinte, a seleção de textos para avaliação e intervenção na compreensão, quer seja feita na prática em contextos educativos ou na investigação, deverá ser acompanhada por uma análise da complexidade dos textos tendo em conta outras características do texto independentemente da tipologia.

A não observação de efeitos de interação entre modalidade de apresentação da tarefa e tipo de texto merece ainda uma consideração adicional. A metodologia utilizada neste estudo, incluindo a utilização de estimativas do modelo Rasch, é semelhante à aplicada por Basaraba e colaboradores (2013) e à usada nos estudos internacionais como o PIRLS. Todavia, grande parte dos estudos que testaram previamente as diferenças de desempenho em medidas de avaliação da compreensão com diferentes tipologias textuais e modalidades de avaliação utilizam metodologias distintas: quer designs intrasujeitos com contrabalanceamento (e.g., Diakidoy et al., 2005), quer designs intersujeitos nos quais se procura utilizar textos com características psicolinguísticas semelhantes, comparando posteriormente as pontuações brutas obtidas por grupos diferentes que são avaliados nas diferentes condições em estudo (e.g., Yildirim et al., 2010). Por conseguinte, a utilização de metodologias distintas pode eventualmente explicar em parte a ausência de efeitos de interação observada.

No que respeita ao tipo de compreensão avaliado pelos itens, os resultados observados na calibração dos dados deste estudo são semelhantes aos obtidos por Basaraba e colaboradores (2013): quando analisados os resultados dos itens individualmente parece haver uma dispersão dos níveis de dificuldade dos itens de compreensão ao longo do continuum, alguma sobreposição entre itens de compreensão literal e inferencial com níveis semelhantes de dificuldade nos níveis intermédios de desempenho, sem haver necessariamente uma concentração de itens de compreensão literal nos níveis inferiores de dificuldade. A inexistência de diferenças médias na dificuldade de itens de compreensão literal e inferencial é comprovada pelos resultados da análise de variância. Esta diferença nos resultados médios foi todavia observada no estudo de Basaraba e colaboradores (2013) em dois dos seus momentos de avaliação, embora não tenha sido observada num terceiro.

A obtenção de resultados distintos entre ambos os estudos pode estar relacionada com a ausência de controlo do tipo de inferências solicitadas em cada um dos estudos. De facto, a elaboração de inferências pode envolver o simples estabelecimento da coerência textual ao permitir ao indivíduo efetuar a ligação entre as premissas do texto, ou pode passar por um nível de construção que envolve maior complexidade ao exigir a integração de uma série de conhecimentos prévios (van Kleeck, 2008). Alguns autores têm por isso distinguido entre inferências de coerência – essenciais para a compreensão e baseadas maioritariamente na informação presente no texto – e inferências elaborativas – nem sempre essenciais para a compreensão mas que permitem obter uma representação mental do texto mais completa (Cain, Oakhill, Barnes, & Bryant, 2001). As crianças dos primeiros anos de escolaridade parecem usar mais frequentemente inferências de estabelecimento da coerência do texto (Singer, 1994) e parecem ter mais dificuldade em perceber qual a informação a utilizar na construção das segundas, evocando frequentemente premissas erradas no texto para a formulação de inferências elaborativas (Cain et al., 2001). Por conseguinte, é plausível supor que as perguntas de compreensão inferencial podem colocar diferentes magnitudes de exigência aos leitores em função do tipo de inferência avaliado. Consideremos um dos itens com menor grau de dificuldade, o item 31 (ver Anexo 1, exemplo 1), apresentado na modalidade de leitura, referente a texto informativo e que avalia compreensão inferencial. Neste exemplo, o leitor deverá realizar uma inferência baseada em larga medida no conteúdo presente no texto, embora esta envolva também a mobilização de alguns conhecimentos prévios, nomeadamente de tipo lexical. Para além desta passagem, ao longo do texto eram dadas várias pistas que ajudavam identificação da inferência proposta numa das alternativas. A utilização de perguntas com resposta de escolha múltipla pode ser também de certo modo facilitadora, na medida em que a tarefa é apenas de identificação de uma inferência.

Por oposição, considere-se o item 4 (ver Anexo 1, exemplo 2) – de compreensão literal e referente a texto narrativo – que apresentou um índice de dificuldade relativamente elevado face a outros de compreensão inferencial (ver Figura 1). Neste caso, a resposta estava explicitamente referida na passagem “[...] pedia ela à minha mãe, ou à minha tia, ou à minha irmã do meio, que tinha o hábito de lhes rondar as saias”. Apesar de se tratar de uma pergunta de compreensão literal, o pronome relativo “que” introduzido na sequência de uma enumeração pode ter inibido a identificação do referente (aliás imediatamente anterior).

Referências

Alonzo, J., Basaraba, D., Tindal, G., & Carriveau, R. S. (2009). They read, but how well do they understand?. Assessment for Effective Intervention, 35, 34-44.         [ Links ]

Araújo, L., Folgado, C., & Pocinho, M. (2009). Reading comprehension in primary school: Textbooks, curriculum, and assessment. L1-Educational Studies in Language and Literature, 9(4), 27-43.         [ Links ]

Basaraba, D., Yovanoff, P., Alonzo, J., & Tindal, G. (2013). Examining the structure of reading comprehension: do literal, inferential, and evaluative comprehension truly exist?. Reading and Writing, 26, 349-379.         [ Links ]

Berninger, V. W., & Abbott, R. D. (2010). Listening comprehension, oral expression, reading comprehension, and written expression: Related yet unique language systems in grades 1, 3, 5, and 7. Journal of Educational Psychology, 102, 635-651.         [ Links ]

Best, R. M., Floyd, R. G., & Mcnamara, D. S. (2008). Differential competencies contributing to children’s comprehension of narrative and expository texts. Reading Psychology, 29, 137-164. doi: 10.1080/02702710801963951

Bond, T. G., & Fox, C. M. (2007). Applying the Rasch model: Fundamental measurement in the human sciences (2^nd ed.). Mahwah, NJ: Lawrence Erlbaum.         [ Links ]

Cadime, I., Ribeiro, I., Viana, F. L., Santos, S., & Prieto, G. (2014). Calibration of a reading comprehension test for Portuguese students. Anales de Psicología, 30, 1025-1034. doi: 10.6018/analesps.30.3.172611        [ Links ]

Cain, K., & Oakhill, J. (2006). Profiles of children with specific reading comprehension difficulties. The British Journal of Educational Psychology, 76, 683-696. doi: 10.1348/0007099056x67610        [ Links ]

Cain, K., Oakhill, J., Barnes, M. A., & Bryant, P. E. (2001). Comprehension skill, inference-making ability, and their relation to knowledge. Memory & Cognition, 29, 850-859.         [ Links ]

Carnine, D. W., Silbert, J., Kame’enui, E. J., & Tarver, S. G. (2010). Direct instruction reading (5^th ed.). Upper Saddle River, NJ: Prentice Hall.

Carretti, B., Caldarola, N., Tencati, C., & Cornoldi, C. (2014). Improving reading comprehension in reading and listening settings: The effect of two training programmes focusing on metacognition and working memory. The British Journal of Educational Psychology, 84, 194-210. doi: 10.1111/bjep.12022        [ Links ]

Cervetti, G. N., Bravo, M. A., Hiebert, E. H., Pearson, P. D., & Jaynes, C. A. (2009). Text genre and science content: Ease of reading, comprehension, and reader preference. Reading Psychology, 30, 487-511.         [ Links ]

Colomer, T., & Camps, A. (2002). Ensinar a ler, ensinar a compreender. Porto Alegre: Artmed.         [ Links ]

de Ayala, R. J. (2009). The theory and practice of item response theory. New York: The Guilford Press.         [ Links ]

Diakidoy, I.-A., Stylianou, P., Karefillidou, C., & Papageorgiou, P. (2005). The relationship between listening and reading comprehension of different types of text at increasing grade levels. Reading Psychology, 26, 55-80.         [ Links ]

Duke, N., Pressley, M., & Hilden, K. (2004). Difficulties with reading comprehension. In C. A. Stone, E. R. Silliman, B. J. Ehren, & K. Apel (Eds.), Handbook of language and literacy: Development and disorders (pp. 501-520). New York: The Guilford Press.         [ Links ]

Fayol, M. (2003). La compréhension: Evaluation, difficultés et interventions. Retrieved from http://www.cndp.fr/bienlire/01-actualite/document/fayol.pdf        [ Links ]

Fayol, M., & Morais, J. (2004). La lecture et son apprentissage. In Observatoire National de la Lecture (Ed.), L’évolution de l’enseignement de la lecture en France, depuis dix ans (pp. 13-60). Paris: Ministère de l’Éducation Nationale, de l’Enseignement Supérieur et de la Recherche.

Goff, D., Pratt, C., & Ong, B. (2005). The relations between children’s reading comprehension, working memory, language skills and components of reading decoding in a normal sample. Reading and Writing, 18, 583-616. doi: 10.1007/s11145-004-7109-0

Goldman, S. R., & Rakestraw, J. A. (2000). Structural aspects of constructing meaning from text. In M. Kamil, P. B. Mosenthal, P. D. Pearson, & R. Barr (Eds.), Handbook of reading research (Vol. III, pp. 311-336). Mahwah, NJ: Erlbaum.         [ Links ]

Herber, H. (1978). Teaching reading in content areas (2^nd ed.). Englewood Cliffs, NJ: Prentice-Hall.         [ Links ]

Hulme, C., & Snowling, M. (2011). Children’s reading comprehension difficulties. Current Directions in Psychological Science, 20, 139-142. doi: 10.1177/0963721411408673

International Association for the Evaluation of Educational Achievement & Ministério da Educação e Ciência. (2011). PIRLS-Principais resultados em leitura. Nota de leitura. Lisboa: Ministério da Educação e Ciência.         [ Links ]

Linacre, J. M. (2002). What do infit and outfit, mean-square and standardized mean?. Rasch Measurement Transactions, 16, 878.         [ Links ]

Megherbi, H., Seigneuric, A., & Ehrlich, M. F. (2006). Reading comprehension in French 1^st and 2^nd grade children: Contribution of decoding and language comprehension. European Journal of Psychology of Education, 21, 135-147.         [ Links ]

Moss, B. (2004). Teaching expository text structures through information trade book retellings. The Reading Teacher, 57, 710-718.         [ Links ]

Mullis, I., Martin, M., Foy, P., & Drucker, K. (2012). PIRLS 2011 international results in reading. Chestnut Hill, MA: Boston College.         [ Links ]

Oakhill, J., & Cain, K. (2007). Introduction to comprehension development. In K. Cain & J. Oakhill (Eds.), Children’s comprehension problems in oral and written language: A cognitive perspective (pp. 3-40). New York: The Guilford Press.

Pearson, P. D., & Johnson, D. D. (1978). Teaching reading comprehension. New York: Holt, Rinehart and Winston.         [ Links ]

RAND Reading Study Group. (2002). Reading for understanding toward an R & D program in reading comprehension. Santa Monica, CA: RAND Corporation.         [ Links ]

Ribeiro, I., Cadime, I., Freitas, T., & Viana, F. L. (2016). Beyond word recognition, fluency, and vocabulary: The influence of reasoning on reading comprehension. Australian Journal of Psychology, 68, 107-115. doi: 10.1111/ajpy.12095        [ Links ]

Ribeiro, I., & Viana, F. L. (2014). BAL – Bateria de Avaliação de Leitura. Abordagens teóricas e opções metodológicas. Lisboa: Cegoc – Tea Edições.

Santos, S., Viana, F. L., Ribeiro, I., Prieto, G., Brandão, S., & Cadime, I. (2015). Development of listening comprehension tests with narrative and expository texts for Portuguese students. The Spanish Journal of Psychology, 18(e5), 1-7. doi: 10.1017/sjp.2015.7        [ Links ]

Singer, M. (1994). Discourse inference processes. In M. A. Gernsbacher (Ed.), Handbook of psycholinguistics (pp. 479-516). New York: Academic Press.         [ Links ]

Smith, R. J., & Barrett, T. C. (1979). Teaching reading in the middle grades (2^nd ed.). Reading, MA: Addison-Wesley.         [ Links ]

Sticht, T. G., Beck, L. J., Hauke, R. N., Kleinman, G. M., & James, J. H. (1974). Auding and reading: A developmental model. Alexandria, VA: Human resources Research Organization.         [ Links ]

Van den Broek, P., Virtue, S., Everson, M. G., Tzeng, Y., & Sung, Y. (2002). Comprehension and memory of science texts: Inferential processes and the construction of a mental representation. In J. Otero, J. A. León, & A. C. Graesser (Eds.), The psychology of science text comprehension (pp. 131-154). Mahwah, NJ: Lawrence Erlbaum Associates.         [ Links ]

van Kleeck, A. (2008). Providing preschool foundations for later reading comprehension: The importance of and ideas for targeting inferencing in storybook-sharing interventions. Psychology in the Schools, 45, 627-643. doi: 10.1002/pits        [ Links ]

Viana, F. L., Santos, S., Ribeiro, I., Chaves-Sousa, S., Brandão, S., Cadime, I., & Maia, J. (2015). Listening comprehension assessment: Validity studies of two vertically scaled tests for Portuguese students. Universitas Psychologica, 14, 345-354. doi: 10.11144/Javeriana.upsy14-1.lcav        [ Links ]

Wolfe, M. B. W., & Woodwyk, J. M. (2010). Processing and memory of information presented in narrative or expository texts. British Journal of Educational Psychology, 80, 341-362. doi: 10.1348/000709910x485700        [ Links ]

Wright, B. D., & Linacre, J. M. (1998). WINSTEPS: A Rasch computer program. Chicago, IL: MESA Press.         [ Links ]

CORRESPONDÊNCIA

A correspondência relativa a este artigo deverá ser enviada para: Irene Cadime, Centro de Investigação em Estudos da Criança, Universidade do Minho, Campus de Gualtar, 4710-057 Braga, Portugal. E-mail: irenecadime@ie.uminho.pt

Este estudo foi realizado em parte no Centro de Investigação em Psicologia (UID/PSI/01662/2013), Universidade do Minho, e foi financeiramente suportado pela Fundação para a Ciência e Tecnologia e pelo Ministério da Ciência, Tecnologia e Ensino Superior, através de fundos nacionais, e co-financiado pelo FEDER, através do COMPETE2020, no âmbito do acordo Portugal 2020 (POCI-01-0145-FEDER-007653).

As duas primeiras autoras são ainda apoiadas por bolsas da Fundação para a Ciência e Tecnologia (referências SFRH/BPD/102549/2014 e SFRH/BD/94763/2013).

Submissão: 19/02/2016 Aceitação: 08/07/2016