Adaptação da escala s-srq à população portuguesa da relaçâo supervisâo psicoterapeutas

Adaptation of the s-srq scale - psychotherapists portuguese population about supervised relationship

João Serra de Almeida¹, António Pazo Pires¹, Miguel Oliveira¹, & Miguel Basto Pereira¹

1ISPA - Instituto Universitário de Ciências Psicológicas, Sociais e da Vida, joaoalmeida_93@hotmail.com, apires@ispa.pt, miguel.oliveira.371@gmail.com, mbpereira@ispa.pt

---

 

RESUMO

A supervisão tem vindo a constituir-se enquanto um dos três pilares da formação do psicoterapeuta. Num sentido geral, a supervisão tem sido caracterizada por diferentes sociedades de psicoterapia como possuindo elevada pertinência científica. O estudo dos processos que envolvem o processo de supervisão tem-se constituído como principal ponte à melhoria da prática do psicoterapeuta, embora haja muito pouca publicação empírica sobre o tema. Como tal, o processo que mais importância adquire, e que menos investigação possui, é a relação entre psicoterapeutas em meio de supervisão. Foi realizada a adaptação da escala S-SRQ à população Portuguesa de 233 psicoterapeutas. Para a adaptação e validação foi utilizada a análise da sensibilidade dos itens, análise factorial confirmatória, fiabilidade e sensibilidade das dimensões encontradas, validade discriminante, validade convergente e método split half. Como softwares foram utilizados o SPSS e o Amus. Através da AFC obteve-se um modelo de três dimensões, de onde se retiraram os itens 6, 12 e 17. O modelo da AFC foi escolhido em detrimento do modelo da AFE por causa da qualidade obtida pelo modelo estatístico.

Palavras-chave: supervisão, psicoterapeutas, relação

---

 

ABSTRACT

The supervision has come to consist while one of the three pillars of the formation of the psychotherapist. In a general direction, the supervision has been characterized for different societies of psycotherapy as possessing raised scientific relevancy. The study of the processes that involve the supervision process has consisted as main bridge to the improvement of the practice of the psychotherapist, even so has very little empirical publication on the subject. As such, the process that more importance acquires, and that little inquiry possesss, is the relation between psychotherapists in way of supervision.: The adaptation of scale S-SRQ to the Portuguese population of 233 psychotherapists was carried through. For the adaptation and validation of the same one the analysis of the sensitivity of the item was used, exploratory and confirmatory factorial analysis, reliability and sensitivity of the found dimensions, discriminante and convergent validity and method split half. As softwares had been used the SPSS and the Amus. Through the AFC we obtained a model with good adjustment indices wich the itens 6, 12 and 17 were removed. The model from AFC was chosen because of the high quality of the statistically principles.

Keywords: supervision, psychotherapist, relation

---

 

A investigação nos processos de supervisão tem ganho relevância nos últimos anos. De acordo com as guidelines da prática profissional psicoterapêutica, nomeadamente sobre a formação do psicoterapeuta (Chow, et al., 2015; Watkins, 2014), a supervisão vem a ser nomeada enquanto pilar da prática, formação inicial e durante a vida profissional do psicoterapeuta. De acordo com Fernandez-Alvarez (2015), a supervisão visa providenciar uma base de suporte ao supervisando, prover conhecimento clinico e cientifico teórico-prático (Watkins, 2013), bem como meios de fornecer resposta às necessidades do cliente e do supervisando. Falender e Shafranske (2014) apontam que a supervisão será sustentada pela relação entre supervisor e supervisando (hierárquica / colaborativa), avaliação e feedback e a necessidade de uma abordagem reflexiva e colaborativa entre supervisor e supervisando. Nesse sentido, e por meio da interacção entre supervisor e supervisando, tende a surgir confiança, estrutura, coordenação e planeamento da supervisão, (Falender et al., 2014).

Os modelos de supervisão formulados até aqui (Worthington, 2006; Hess, 1987), têm insistido no papel da supervisão e do supervisor mas não na relação entre supervisor e supervisando. Watkins e Milne (2014) referem que os modelos usuais que visam explicar a relação de supervisão (i.e., a aliança de trabalho, a relação real, o modelo de poder de Holloway, e a teoria dos factores comuns), são modelos explicativos da relação, contudo, poderão ser entendidos enquanto partes de um todo, ou seja, partes explicativas da dimensão da relação em supervisão de psicoterapeutas. Como tal surgem alguns apontamentos aos modelos teóricos explicativos da relação. Neste sentido, a lógica do modelo de Bordin (1979) e a lógica do modelo de Holloway (2014; Beinart, 2012) visam inserir- se na dimensão estrutura de Cliffe et al., (2016), de Palomo et al., (2010) e Milne (2009 cit. Por Beinart, 2014).

Vários são os modelos que compreendem a relação entre supervisor e supervisando. Cliffe et al., (2016) conceptualizam o instrumento S-SRQ (um instrumento de medida da relação de supervisão sob o ponto de vista do supervisando (SRQ)) com avaliação das dimensões estrutura, educação reflexiva e . Por outro lado, e baseado na literatura, Lizzio et al., (2009) conceptualiza o instrumento Supervisor Relating Style Inventory (SRSI) onde obtém as dimensões, abertura, suporte e desafio.

A escala S-SRQ foi recentemente adaptada ao contexto Luso-Brasileiro (Almeida, Pires e Oliveira, 2018). Apesar dos resultados da fiabilidade compósita terem demonstrado estar contidos dentro dos parâmetros de Marôco (2014) (FC≥0,68), variando de níveis aceitáveis a muito bons e dos índices de ajustamento se revelarem de boa qualidade (X2=201,065 p=0,000; CFI=,962; GFI=,910; PCFI=,814; RMSESA=,057; MECVI=1,244), não existe validade descriminante entre as dimensões educação reflexiva e a dimensão estrutura (VEMER=0,55 e a VEME=0,36 revelaram- se inferiores ao r2 E/ER=0,72) e entre as dimensões base segura e educação reflexiva (VEMBS=0,65 revelou-se superior ao r 2 BS/ER=0,64 e a VEMER=0,55 revelou-se inferior). Por outro lado, os autores referem que o item 4, quando em comparação com a escala original, demonstra necessidade de ser retirado, bem como existe uma relação entre os itens 12 e 18, que podem revelar, ora uma má tradução e construção dos itens, ou a revelação de constructos teóricos que necessitam de ser revistos. Neste sentido, refere-se a necessidade de averiguar especificamente a escala para o contexto Português de forma a perceber se de facto os problemas se constituem por via da tradução, se por via da amostra em si ou se por via de questões teóricas que necessitem de ser revisadas.

Para o efeito, pretende-se estudar as características psicométricas da escala S-SRQ. Foram utilizados os procedimentos análise da sensibilidade dos itens, análise factorial confirmatória, fiabilidade e sensibilidade das dimensões encontradas, validade discriminante, validade convergente e método split half, a título de validação do referido instrumento exclusivamente para a população Portuguesa, comparar os resultados obtidos a nível das análises estatísticas com os artigos originais e com o artigo de Almeida, Pires e Oliveira (2018). O presente trabalho apresenta-se como sendo essencial a título da exploração da investigação iniciada em Portugal (Almeida, Pires e Oliveira, 2018; Gabriel e Pires, 2018), e continuada a nível internacional (Watkins, 2014), sobre a formação e prática de supervisão. Como tal, a adaptação e validação do instrumento S-SRQ (Cliffe et al., 2016) para a população Portuguesa apresenta elevada pertinência, uma vez que não existem outro tipo de escalas adaptadas e validadas para a população Portuguesa de Psicoterapeutas.

Método

Participantes

A amostra caracteriza-se como sendo não aleatória, tendo sido escolhidos participantes que sejam psicoterapeutas (N=233) ou exerçam funções de psicoterapia. Os resultados obtidos sintetizam-se pelos quadros 1 (Dados Sócio-Demográficos), 2 (Dados referentes aos conteúdos sobre psicoterapia) e 3 (Dados sobre supervisão).

 

 

 

 

Procedimento

Em primeiro lugar a escala foi traduzida seguindo os passos tradicionais no respeitante à tradução, re-tradução e tradução. Em análise obteve-se a colaboração de um especialista na matéria referente à psicoterapia, bem como, no respeitante aos idiomas Inglês e Português. No processo de tradução tiveram-se em conta os processos culturais, e suas especificidades no que remonta aos processos linguísticos e especificidades relativas aos processos de tradução teórico-conceptual.

Em seguida, o questionário, quer socio-demográfico, sobre dados de Psicoterapia e Supervisão, quer em relação às escalas S-SRQ (Cliffe et al., 2016) foi distribuído via internet por meio de e- mails enviados a associados de instituições Portuguesas de Psicoterapia, bem como, pelas redes sociais (ex. Facebook) sob método Snowball.

Por fim, adaptou-se a escala à população Portuguesa, sendo que para tal, utilizou-se a sensibilidade dos itens (com utilização dos valores de assimetria |3| e curtose |8|) e normalidade por via do teste Kolmogorov-Smirnov (N>50), validade de constructo pela análise factorial confirmatória, fiabilidade (Alpha de Cronbach) dos constructos e sensibilidade relativa às dimensões (com utilização dos valores de assimetria |3| e curtose |8|, bem como do teste de normalidade Kolmogorov-Smirnov (N>50), validade convergente entre ambas as escalas, validade descriminante e método de split half. Todos os valores que foram utilizados, constam nos valores padrão de Marôco (2014).

Material

Short-Supervisory Relationship Questionnaire (S-SRQ) de Cliffe et al. (2016). Veio a ser constituída sob, inicialmente, uma amostra de 203 psicólogos clínicos de UK, e como test-re-test reliability 86 participantes (r=0,94). A referida escala divide-se em 18 itens, sob um referencial de resposta Likert [Discordo totalmente (1), Concordo Totalmente (7)], subdividindo-se os itens por três subescalas, base segura, educação reflexiva e estrutura, tendo por objectivo a recolha de informação sobre a relação supervisor-supervisando sob a perspectiva do supervisando. A referida escala apresenta fiabilidade com valores bastante adequados (total α=0,96; base segura α=0,97; educação reflexiva α=0,89; estrutura α=0,88).

Resultados

De forma a proceder à análise factorial exploratória, efetuou-se a análise da sensibilidade, pela análise dos valores da curtose l8l e da assimetria l3l, bem como o teste de Kolmogorov-Smirnov (N>50) ao seguimento da normalidade.

 

 

Como todos os itens, tal como percepcionado, possuem valores aceitáveis da assimetria [3] e da curtose [8], e de todos os valores serem significativos da distribuição normativa (para alfa=0.05) tem-se a possibilidade de análise por análise factorial exploratória.

 

 

Assim sendo, apresentam-se os pressupostos da AFE. A análise da medida Kaiser-Meyer-Olkin KMO=0.938 - excelente qualidade, pressupõe boa correlação entre variáveis (itens) e o ajustamento da amostra ao número de itens. Pelo teste de esfericidade de Bartlett (sig. = ,000) tem-se a aceitação de Ho (a matriz de correlações é uma matriz identidade), onde se aponta a existência de caracter correlacional entre variáveis.

Pela análise das comunalidades, tem-se que todos os itens propostos (correlações acima de 0,5) garantem/contribuem para a explicação das componentes, em excepção dos itens 4 e 17. Pelo facto deste critério não se constituir enquanto obrigatório na exclusão de itens, preferiu-se seguir a estrutura da escala precedente nos passos de extração dos factores principais, onde se poderá verificar e escolher com maior rigor quais os itens que permanecem, e os itens que deverão ser excluídos.

 

 

 

 

Pela análise factorial exploratória, tendo em regra os eigenvalue superior a 1, ou critério de Kaiser e com o scree plot , obtém-se a estrutura relacional das classificações das dimensões relacionais por três factores latentes.

Como tal, o primeiro factor apresenta pesos factoriais elevados, explicando sensivelmente 47,78% da variância total, o segundo factor apresenta pesos factoriais mais baixos de 10,085% e o terceiro factor pesos factoriais de 5,824%, pelo que no seu todo, prefiguram uma percentagem comulativa de pesos factoriais de 63,692%. A Matriz de componente rotativa foi realizada sob pressuposto de rotação varimax, e utilizando o método de extração de componentes principais.

Neste sentido, pela matriz de componente rotativa por rotação varimax, tem-se a constituição das dimensões Base Segura (itens 1 a 10), Educação reflexiva (itens 11, 13, 14, 15, 16) e suporte (itens 17 e 18).

Pela análise da fiabilidade, tem-se que a escala completa apresenta um Alpha de Cronbach de valor ,922. Neste sentido, e tendo em conta os valores das comunalidades e estatísticas-total (Quadro 2), percebe-se que não deverá ser retirado nenhum item, uma vez que a fiabilidade da escala não se altera, revelando a fiabilidade, consistência e perícia da mesma no que se propõe avaliar. Em relação à dimensão Base segura, esta possui um Alpha de 0,937, sendo que pelas análises da estatística item-total (Quadro 3), não se vem a retirar nenhum item desta mesma dimensão. Por outro lado, a dimensão Educação Reflexiva, possui um Alpha de 0,821, sendo que em análise da estatística item-total (Quadro 3) não se vem a retirar nenhum item. Por último, em relação à dimensão Estrutura, esta possui um Alpha de ,375, valor este considerado enquanto inadmissível. Este processo foi conduzido sob condição do valor item-total, pelo que retira-se determinado item caso o mesmo venha a baixar o valor do Alpha de Cronbach de determinada dimensão.

Foi realizado o método Split-half de modo a calcular, com um outro teste estatístico a fiabilidade do instrumento. Neste sentido, e tendo em conta o valor da correlação de Pearson (r=,886; Sig=,000), obtém-se uma boa consistência interna.

 

 

Em último lugar, testou-se a sensibilidade das dimensões encontradas, bem como, o teste relativo à normalidade das referidas dimensões.

 

 

Em relação à validade discriminante e convergente, utilizaram-se as três dimensões da escala SRSI (Lizzio, et al., 2009) e as três dimensões da escala S-SRQ (Lizzio, et al., 2016). Como tal, obtém-se que todas as dimensões possuem correlação entre si, o que aponta a uma boa explicação conjunta do conceito relação. Por outro lado, as correlações elevadas entre Base Segura e Abertura (r=,725; Sig=,000) e Base Segura e Suporte (r=,866; Sig=,000), sugerem uma aproximação estatística significativa e aproximação/semelhança a nível conceptual. Como tal, obtém-se que existe pouca descriminação entre as dimensões mencionadas e, deste modo, convergência (semelhança) entre as mesmas.

 

 

Foi efectuada uma análise factorial confirmatória. Realizaram-se dois modelos e respetivas análises com o intuito de obter um ajustamento adequado. Neste sentido, o primeiro modelo, apesar de apresentar valores aceitáveis, alguns itens revelaram-se problemáticos, pelo que se retirou o item 6 devido ao erro do mesmo covariar com o fator (Educação Reflexiva) que, além disso, não era o fator no qual o referido item deveria saturar bem como foram também retirados os itens 12 e 17 pelos pesos fatoriais serem inferiores a 0.4.

Após a remoção dos itens acima mencionados, verificou-se que os restantes são, não só significativos como apresentam um peso fatorial ≥ 0.4.

Por forma a verificar se a diferença entre o modelo original e o agora simplificado era significativa, realizámos um teste de diferenças X2. Deste modo, utilizando os valores das estatísticas do X2 de ambos os modelos e os respetivos gaus de liberdade (gl), verificou-se que X2dif= 283,654-177,466= 106,188 e (gl)132-87= 45. Consultando o Quadro da Distribuição do Chi-Quadrado, para α=0,05 observa-se que X20.95;(45) = 61,656. Logo sendo X2dif=106,188 > X20.95;(45) =61,656, conclui-se que o modelo simplificado se ajusta melhor à estrutura fatorial observada do que o modelo original, bem como, mostra que os fatores não estão perfeitamente correlacionados entre si e que medem construtos diferentes, assim demonstrando que o instrumento tem validade discriminante.

Salienta-se, ainda, que o modelo simplificado apresenta uma redução no MECVI (cf. Quadro 10), revelando que o modelo simplificado tem melhor validade para a amostra sob estudo.

O modelo tri-fatorial da escala S-SRQ ajustado a uma amostra de 233 psicoterapeutas portugueses, após a análise efetuada, revelou uma qualidade de ajustamento global, nos indicies avaliados, considerado como bom.

 

 

Demonstrada a validade fatorial e discriminante da estrutura em análise, seguimos para a análise da validade convergente, com recurso à análise da fiabilidade compósita (FC) e da variância extraída média (VEM) para cada fator e para o total da medida. Segundo os resultados obtidos (Quadro 11) a fiabilidade compósita dos fatores revelou-se adequada, com bons valores de fiabilidade compósita (FC>0.7) e, por sua vez, também para a variância extraída média se verificaram valores aceitáveis (VEM>0.4), indicando uma validade convergente considerada adequada.

 

 

Procedeu-se à análise da sensibilidade da medida, avaliada pelos coeficientes de assimetria e curtose. Segundo os resultados obtidos, não se verificaram violações desta medida, (-2,008>SK>- 1,054; 0,458>K>4,945), demonstrando estar a Distribuição Normal conservada e sem desvios grosseiros, indicando, por isso, a sensibilidade do construto de acordo com os valores relativos ao coeficiente de assimetria que devem estar compreendidos entre |3| e os valores relativos ao coeficiente de achatamento ou curtose devem estar compreendidos entre |7| (Maroco, 2010).

As análises levadas a cabo permitiram chegar a uma estrutura fatorial que demonstra ser adequada, sendo a figura seguinte a que representa o modelo final encontrado.

 

 

Discussão

Com a análise factorial exploratória com parâmetros e metodologia de Marôco (2014) e Bryman e Cramer, (1993) obtém-se uma estrutura fiável de três dimensões relacionais Base Segura (1,2,3,5,6,7,8,9, 10), Educação Reflexiva (11,13,14, 15, 16) e Estrutura (17, 18). Por outro lado com a análise da fibailidade (Quadro 3), percebe-se que a dimensão estrutura necessita de ser revisitada no sentido teórico e no sentido da constituição dos itens, uma vez que tende a medir com fraca precisão aquilo a que se propõe.

Com a Análise factorial exploratória, apesar de ser fornecida uma estrutura, tem-se uma elevada percentagem de variância não explicada pelas três dimensões do conceito da relação em supervisão de psicoterapeutas (Quadro 3). Como tal, compreende-se a necessidade de utilizar metodologias que aprofundem não só as correlações entre itens, mas sim os erros associados aos mesmos (Marôco, 2014), bem como, de revisitar o conceito teórico da relação propriamente dita, e compreender outras dimensões que possam interferir na sua conceptualização.

Em relação à escala propriamente dita, o item 10 tende a mudar para a dimensão Base Segura, o que difere da estrutura da escala original (Cliffe et al., 2016) e dos resultados encontrados por Almeida e Pires (2018). O referido item “O meu supervisor incentivava-me a reflectir sobre a minha prática” apesar de saturar de forma confiável na dimensão Base Segura, satura de forma menos significativa na dimensão Educação Reflexiva. Em análise, pode-se compreender o carácter contentor e seguro no sentido da exploração da prática mais abrangente, onde se insere a exploração teórico-prática e, posteriormente, a capacidade reflexiva de pensar estes mesmos conceitos no seu mapa conceptual que tendem a influenciar a prática so sujeito. Este resultado é curioso, uma vez que o item tende a incidir, do ponto de vista teórico na dimensão Educação reflexiva tal como proposto por Cliffe et al., (2016) e Almeida, Pires e Oliveira (2018).

O item 12 será excluído por via de vir a saturar nas dimensões Base Segura e Educação Reflexiva. Pela análise do item “O meu supervisor tinha flexibilidade em relação a um número vasto de modelos” consegue-se compreender o carácter contentor ou transmissor de segurança para com o supervisando, bem como, a capacidade reflexiva que se encontra latente na sapiência de várias vertentes teóricas adquiridas e, consequentemente, pensadas, assimiladas e acomodadas.

Por fim, os itens 15 “As sessões de supervisão eram focadas” e 16 “As sessões de supervisão eram estruturadas” possuem resultados inesperados e que, de facto, vão em contra do proposto por Cliffe et al., (2016) e Almeida e Pires (2018). Como tal, poder-se-á ter em conta a restruturação e reflexão sobre a dimensão Estrutura, tanto do ponto de vista teórico com transposição à construção dos itens, tanto da construção de novos itens que possam vir a constituir-se enquanto reflexo do resumo teórico a efectuar.

Com a AFC, método estatistico de maior potência de ajustamento de modelo, obtém-se que apesar de apresentar valores aceitáveis, alguns itens revelaram-se problemáticos, pelo que se retirou o item 6 devido ao erro do mesmo covariar com o fator (Educação Reflexiva) e que, além disso, não era o fator no qual o referido item deveria saturar bem como foram também retirados os itens 12 e 17 pelos pesos fatoriais serem inferiores a 0.4. Por outro lado, as dimensões revelaram conter descriminação entre si, bem como serem fiáveis naquilo a que se pretendem medir.

 

REFERÊNCIAS

Almeida, J., Pires, A. P., & Oliveira, M. (2018). A relação de supervisão em psicoterapeutas. Psicologia, Saúde & Doenças, 19(1), 71-79.         [ Links ]

Beinart, H. (2012). Moles of supervision and the supervisory relationship. Em I. Fleming, & L. Steen, Supervision and clinical psychology - Theory, Practice and Perspectives (Chapter 4). New York: Routledge.         [ Links ]

Beinart, H. (2014). Builging and sustaining the supervisory relationship. Em C. E. Watkins, & L. Milne, The wiley international handbook of clinical supervision (pp. 257-281). Oxford: Wiley Blackwell.         [ Links ]

Bordin, E. S. (1979). A Working Alliance - Based Model of Supervision. The Counselling Psychologist, 11(1)35-42.         [ Links ]

Chow, D. L., Miller, S. D., Seidel, J. A., Kane, R. T., Thornton, A., & Andrews, W. P. (2015). The Role of Deliberate Practice in the Development of Highly Effective Psychotherapists. Psychotherapy, 337-345.         [ Links ]

Cliffe, T., Beinart, H., & Cooper, M. (2016). Development and Validation of a short Version of the supervisory relationship Questionnaire. Clinical Psychology and Psychotherapy, 77-86.         [ Links ]

Falender, C. A., & Shafranske, E. P. (2014). Clinical supervision: The state of the art. Journal of Clinical Psychology: In session, 1030-1041.

Falender, C. C., Doll, B., Ellis, M., Goodyear, R. K., Kaslow, N., McCutcheon, S., . . . Morris, J.-S. (2014). Guidelines for Clinical Supervision in Health Service Psychology - Approved by APA Council of Representatives, 2014 - Board of Educational Affairs Task Force on Supervision Guidelines. United States of America: APA - American Paychological Association.         [ Links ]

Fernández-Alvarez, H. (2015). Reflections on supervision in psychotherapy. Psychologya Research, 1-10.         [ Links ]

Gonçalo Barbosa Gabriel, A formação contínua dos psicoterapeutas, 2017. Dissertação (Psicologia Clínica e da Saúde) - ISPA - Instituto Universitário de Ciências Psicológicas, Sociais e da Vida.

Hess, A. K. (1987). Psychotherapy Supervision: Stages, Buber, and a Theory of Relationship. Professional Psychology: Research and Practice, 252-259.         [ Links ]

Holloway, E. L. (2014). Supervisory roles within systems of practice. Em C. E. Watkins, & D. L. Milne, The wiley international handbook of clinical supervision (pp. 598-621). Oxford: Wiley Blackwell.         [ Links ]

Lizzio, A., Wilson, K., & Que, J. (2009). Relationship dimensions in the professional supervision of psychology graduates: Supervisee perceptions of processes and outcome. Studies in Continuing Education, 127-140.         [ Links ]

Marôco, J. (2010). Análise estatística com o PASW Statistics (ex-SPPS). Pêro Pinheiro: ReportNumber.         [ Links ]

Marôco, J. (2014). Análise estatística com o SPSS Statistics. Pêro Pinheiro: Report Number - Análise e Gestão de Informação, LDA.         [ Links ]

Palomo, M., Beinart, H., & Cooper, M. J. (2010). Development and validation of the Supervisory relationship questionnaire (SRQ) in UK trainee clinical psychologists. British Journal of Clinical Psychology, 131-149.         [ Links ]

Watkins, C. E. (2013). Being and Becoming a Psychotherapy Supervisor: The Crucial Triad of Learning Difficulties. American Journal of Psychotherapy, 135-151.

Watkins, C. E., & Milne, D. L. (2014). Clinical supervision at the international crossroads - Currents status and future directions. Em C. E. Watkins, & D. L. Milne, The wiley international handbkook of clinical supervision (pp. 673-696). Oxford: Wiley Blackwell.         [ Links ]

Worthington, E. L. (2006). Changes in supervision as counselors ans supervisors gain experience: A review. Training and Education in professional psychology, 133-160.         [ Links ]

 

Recebido em 20 de Novembro de 2018/ Aceite em 05 de Março de 2019