NATÉRCIA MORAIS (*)

LEANDRO S. ALMEIDA (*)

M. IRENE MONTENEGRO (*)

RESUMO

Apresentamos a validação do questionário Percepções do Ensino pelos Alunos (PEA), inspirado no Student’s Evaluation of Educational Quality (SEEQ; Marsh, 2001), tomando 41 962 questionários recolhidos no segundo semestre de 2003/04 na Universidade do Minho. A partir dos coeficientes de correlação entre os itens por dimensões do questionário, procedemos à redução de 33 para 23 itens. A estrutura factorial não replica os nove factores ou dimensões de Marsh (2001), embora se encontrem cinco factores de forma consistente: (i) qualidade ou valor das aprendizagens proporcionadas; (ii) aspectos sócio-relacionais do processo ensino/aprendizagem; (iii) características do próprio ensino e do currículo; (iv) considerações sobre a avaliação; e, (v) confronto pessoal do aluno com as características e as exigências da disciplina. Para uma análise mais fina dos dados, é possível agrupar os itens nas nove dimensões de Marsh: (i) Relevância da Aprendizagem; (ii) Empenhamento Docente; (iii) Organização/Clareza; (iv) Interacção da Turma; (v) Relação Docente/Aluno; (vi) Profundidade na Abordagem dos Assuntos; (vii) Avaliação/Classificações; (viii) Trabalhos/Leituras; e, (ix) Carga de Trabalho/Dificuldade da disciplina. Na generalidade das dimensões observou-se um efeito de interacção do ano curricular da disciplina e da tipologia de aula, verificando-se percepções mais positivas dos alunos em relação aos docentes de disciplinas dos últimos anos dos cursos e aos docentes das aulas práticas.

ABSTRACT

We present the validation of the questionnaire Percepções do Ensino pelos Alunos (PEA), inspired in the Student’s Evaluation of Educational Quality Questionnaire (SEEQ; Marsh, 2001), using a sample of 41 962 surveys collected on the second semester of 2003/04 at the University of Minho. Based on the correlation coefficients’ scores between items per questionnaire’s dimensions, a reduction from 33 to 23 items was made. The factor structure does not reply the nine factors in Marsh’s studies (2001). However, the results seem consistently organized in five factors: (i) quality and value of learning; (ii) value of social aspects of teaching and learning; (iii) value of teaching and other aspects of the curriculum; (iv) value of the evaluation; and, (v) personal confrontation of the student with the characteristics and requirements of the unit. For a more accurate analysis, it is possible to aggregate the items in the nine Marsh’s dimensions: (i) Learning/Academic Value; (ii) Instructor Enthusiasm; (iii) Organization/Clarity; (iv) Group Interaction; (v) Individual Rapport; (vi) Breadth of Coverage; (vii) Examinations/Grading; (viii) Assignments/Readings; and, (ix) Workload/Difficulty. The existence of main effects of the year and type of class was observed in the majority of the dimensions, showing that the students’ perceptions relative to lecturers of more advanced and practical classes are more favourable.

Key words: Higher education, teaching evaluation, students’ perceptions of teaching, pedagogy at University.

Texto completo disponivel apenas em PDF.

Full text only available in PDF format.

REFERÊNCIAS

Abrami, P. C., d’Apollonia, S., & Cohen, P. A. (1990). Validity of student ratings of instruction: What we know and what we do not. Journal of Educational Psychology, 82 (2), 219-231.

Abrantes, P., & Valente, M. (2000). Estudo sobre a avaliação dos docentes do Ensino Superior: Desenvolvimento de instrumentos e avaliação de desempenho. Relatório Final. Lisboa: Direcção Geral do Ensino Superior.

Alarcão, I. (1996). A construção do conhecimento profissional. In M. R. Delgado-Martins, M. I. Rocheta, & D. R. Pereira (Orgs.), Formar professores de português, hoje (pp. 91-95). Lisboa: Edições Colibri.

Almeida, L. S. (2002). Formatar o ensino a pensar na aprendizagem. In A. S. Pouzada, L. S. Almeida, & R. M. Vasconcelos (Eds.), Contextos e dinâmicas da vida académica (pp. 239-252). Guimarães: Universidade do MInho.

Amaral, A. (1998). Sistemas europeus de avaliação da qualidade. Coimbra: Fundação das Universidades Portuguesas/CIPES.

Amaral, A., & Rosa, M. (2004). A alteração do relacionamento entre as instituições do Ensino Superior e o Estado e as suas consequências em torno da qualidade. In Seminário Consequências institucionais da avaliação das universidades públicas (pp. 1-43). Coimbra: Fundação das Universidades Portuguesas.

Bedggood, R. E., & Pollard, R. J. (1999). Uses and misures of student opinion surveys in eight Australian universities. Australian Journal of Education, 43 (2), 129-141.

Biggs, J. B. (1999). Teaching for quality learning at university: What the student does. London: Society for Research into Higher Education & Open University Press.

Braga da Cruz, M., Cruzeiro, M. E., Ramos, A., Leandro, E., Nunes, J. S., Matias, N., Pedroso, P., Robinson, M. G., & Cavaco, V. (1995). O desenvolvimento do Ensino Superior em Portugal: Situação e problemas de acesso. Lisboa: Ministério da Educação, Departamento de Programação e Gestão Financeira.

Braskamp, L. A., & Ory, J. C. (1994). Assessing faculty work: Enhancing individual and institutional performance. San Francisco, CA: Jossey-Bass.

Caetano, A., & Vala, J. (2002). Gestão dos recursos humanos: Contextos, processos e técnicas. Lisboa: Editora RH.

Cantero, J. M., Deus, R. M., & Abalde, E. (2002). Evaluación docente vs evaluación de la calidad. http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm

Cashin, W. E. (1989). Defining and evaluating college teaching. (IDEA Paper 21). Manhattan, KS: Kansas State University, Center for Faculty Evaluation and Development.

Centra, J. A. (1993). Reflective faculty evaluation: Enhancing teaching and determining faculty effectiveness. San Francisco, CA: Jossey Bass.

Chonko, L. B., Tanner, J. F., & Davis, R. (2002). What are they thinking? Student’s expectations and self-assessments. Journal of Education for Business, 77 (5), 271-281.

Coffey, M., & Gibbs, G. (2001). The evaluation of Student Evaluation of Educational Quality questionnaire (SEEQ) in UK higher education. Assessment & Evaluation in Higher Education, 26 (1), 89-93.

D’Apollonia, S., & Abrami, P. (1997). Navigating student ratings of instruction. American Psychologist, 52 (11), 1198-1208.

Estrela, M. T., & Simão, A. M. V. (2003). Algumas reflexões sobre práticas de avaliação do ensino universitário e dos docentes a partir da informação recolhida no Projecto EVALUE. Revista Portuguesa de Educação, 16 (1), 101-120.

Felder, R., & Brent, R. (2004). How to evaluate teaching. Chemical Engineering Education, 38 (3), 202-204.

Feldman, K. A. (1976). Grades and college student’s evaluations of their courses and teachers. Research in Higher Education, 4, 69-111.

Feldman, K. A. (1989a). Instructional effectivess of college teachers as judged by teachers themselves, current and former students, colleagues, administrators, and external (neutral) observers. Research in Higher Education, 30, 137-194.

Feldman, K. A. (1989b). Association between student ratings of specific instructional dimensions and student achievement: Redefining and extending the synthesis of data from multisection validity studies. Research in Higher Education, 30, 583-645.

Fernández, J., & Mateo, M. A. (1997). Student and faculty gender in ratings of university teaching quality. Sex Roles, 37, 11-12.

Fernández, J., Mateo, M. A., & Muñiz, J. (1996). Valoración por parte del profesorado de la evaluación docente realizada por los alumnos. Psicothema, 8 (1), 167-172.

Ferreira, A. (2003). O papel do professor na educação médica: Contributos para um ensino de qualidade no Ensino Superior. Dissertação de Mestrado. Braga: Universidade do Minho.

Freire, T., & Almeida, L. S. (2001). Escalas de avaliação: Construção e validação. In E. M. Fernandes, & L. S. Almeida (Eds.), Métodos e técnicas de avaliação: Contributos para a prática e investigação psicológicas (pp. 109-128). Braga: Universidade do Minho, Centro de Estudos em Educação e Psicologia.

García, J. M., & Congosto, E. (2000). Evaluación y calidad del profesorado. In T. González Ramírez (Coord.), Evaluación y gestión de la calidad educativa: Un enfoque metodológico (pp. 127-157). Málaga: Ed. Aljibe.

Gillmore, G. M., Kane, M. T., & Naccarato, R. W. (1978). The generalizability of student ratings of instruction: Estimates of teacher and course components. Journal of Educational Measurement, 15, 1-13.

Greenwald, A. G., & Gillmore, G. (1997). Grading leniency is a removable contaminant of student ratings. American Psychologist, 52 (11), 1209-1217.

Harvey, L. (2003). Student feedback. Quality in Higher Education, 9 (1), 3-20.

Howard, G. S., Conway, C. G., & Maxwell, S. E. (1985). Construct validity of measures of college teaching effectiveness. Journal of Educational Psychology, 77, 187-196.

Macedo, S. G. (2001). Desempenho docente pela avaliação discente: Uma prposta metodológica para subsidiar a gestão universitária. Dissertação de Doutoramento. Florianópolis, Santa Catarina: Universidade Federal de Santa Catarina.

Marsh, H. W. (1984). Students’ evaluations of university teaching: Dimensionality, reliability, validity, potential biases and utility. Journal of Educational Psychology, 76, 707-754.

Marsh. H. W. (1987). Students’ evaluation of university teaching: Research findings, methodological issues and directions for future research. International Journal of Educational Research, 11 (3), 253-388.

Marsh, H. W. (2001). Students’ evaluations of university teaching. Conferência no Seminário Percepções dos alunos sobre a qualidade do ensino. Braga: Universidade do Minho, Conselho Académico.

Marsh, H. W., & Bailey, M. (1993). Multidimensional of students’ evaluations of teaching effectiveness. A profile analysis. Journal of Higher Education, 64, 1-18.

Marsh, H. W., & Dunkin, M. J. (1992). Students’ evaluation of teaching effectiveness: The stability of mean ratings of the same teachers over a 13-year period. Teaching and Teacher Education, 7, 303-314.

Marsh, H. W., & Hocevan, D. (1991). Student’s evaluation of teaching effectiveness: The stability of mean ratings of the same teachers over a 13-year period. Teaching and Teacher Education, 7, 303-314.

Marsh, H. W., & Overall, J. U. (1981). The relative influence of course level, course type, and instructor on students’ evaluations of college teaching. American Educational Research Journal, 18, 103-112.

Marsh, H. W., & Roche, L. A. (1992). The use of students’ evaluation of university teaching in different settings: The applicability paradigm. Australian Journal of Education, 36, 278-300.

Marsh, H. W., & Roche, L. A. (1994). The use of students’ evaluation of university teaching to improve teaching effectiveness. Camberra, ACT: Australian Department of Employment, Education, and Training.

Marsh, H. W., & Roche, L. A. (1997). Making students’ evaluations of teaching effectiveness: The critical issues of validity, bias and utility. American Psychologist, 52, 1187-1197.

Mateo, M. A., & Sanchez, J. F. (1993). Dimensions de la calidad de la enseñanza universitaria. Psicothema, 5 (2), 265-275.

Ory, J. C. (2001). Faculty thoughts and concerns about student ratings. New Directions for Teaching and Learning, 87, 3-15.

Overall, J. U., & Marsh, H. W. (1980). Students’ evaluations of instruction: A longitudinal study of their stability. Journal of Educational Research, 72, 321-325.

Ramsden, P. (1991). A performance indicator of teaching quality in higher education: The course experience questionnaire. Studies in Higher Education, 16 (2), 33-52.

Ramsden, P. (1998). Learning to lead in higher education. London: Routledge.

Rego, A. (2003). Comportamentos de cidadania docente: Na senda da qualidade no Ensino Superior. Coimbra: Quarteto Editora.

Rego, A., & Sousa, L. (2000). Impactos dos comportamentos de cidadania docente sobre os alunos. Aveiro: Universidade de Aveiro.

Rowley, J. (2003). Designing student feedback questionnaires. Quality Assurance in Education, 11 (3), 142-149.

Santiago, R. A., Tavares, J., Taveira, M. C., Lencastre, L., & Gonçalves, F. (2001). Promover o sucesso académico através da avaliação e intervenção na Universidade. Braga: Universidade do Minho, Conselho Académico.

Seldin, P. (1993). The teaching portfolio. Boston, MA: Anker Publishing.

Simão, J. V. (2003b). Modernização do Ensino Superior: Da ruptura à excelência. Coimbra: Fundação das Universidades Portuguesas.

Simões, G. A. (2000). A avaliação do desempenho docente: Contributos para uma análise crítica. Lisboa: Texto Editora.

Soares, A. P. C., & Almeida, L. S. (2002). Ambiente académico e adaptação à Universidade: Contributos para validação do Classroom Environment Scale. In A. S. Pouzada, L. S. Almeida, & R. M. Vasconcelos (Eds.), Contextos e dinâmicas da vida académica (pp. 175-193). Guimarães: Universidade do Minho.

Sobrinho, J. D. (2000). Avaliação da Educação Superior. Petrópolis, RJ: Editora Vozes.

Sorenson, D. L., & Reiner, C. (2004). Charting the uncharted seas of online student ratings of instruction. New Directions for Teaching and Learning, 96, 1-24.

Tavares, J. (2000). Pedagogia universitária e inovação. In B. D. Silva, & L. S. Almeida (Orgs.), Actas do VI Congresso Galaico-Português de Psicopedagogia (pp. 879-886). Braga: Universidade do Minho.

Vieira, F., Gomes, A., Silva, J. L., Moreira, M. A., Melo, M. C., & Albuquerque, P. B. (2002). Concepções de pedagogia universitária: Um estudo na Universidade do Minho. Braga: Universidade do Minho.

Toda a correspondência relativa a este artigo deverá ser enviada para leandro@iep.uminho.pt