Observações de Aulas no Técnico
8 de novembro, 2022
Educação Superior ● 2022
Observações de Aulas no Técnico
https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/
Implementação da Prática
A docência caracteriza-se por ser uma atividade desafiante e exigente. Neste sentido os Conselhos Pedagógico e Científico do IST, seguindo as melhores práticas internacionais para melhorar a qualidade do ensino e da aprendizagem, iniciaram um Programa de Observação de Aulas associado ao Programa Shaping the Future (PSF – http://shapingthefuture.tecnico.ulisboa.pt/)[1], que “promove a integração e adaptação do corpo docente júnior e dos/as investigadores/as à cultura do IST, através de um Programa de Mentoria e de um conjunto de iniciativas que visam acelerar o desenvolvimento das suas carreiras nas dimensões de liderança científica e académica e o desenvolvimento de competências em áreas científicas e pedagógicas (formação e observação de aulas)”. No decurso da avaliação do Programa Shaping the Future, surgiu a ideia de observar docentes avaliados pelos estudantes como necessitando de melhorar a qualidade das suas aulas[2], ou que sentissem que poderiam beneficiar desta prática de melhoria da qualidade. Atualmente, as observações de aulas no IST decorrem no âmbito do Programa Shaping the Future e do Programa de Acompanhamento de Docentes com Desempenho Pedagógico a Melhorar (DDPaM), havendo também observações de aulas a pedido de docentes, de departamentos, de áreas científicas ou outros.
O Conselho Pedagógico (CP), o Núcleo de Desenvolvimento Académico (NDA) e o Núcleo de Estatística e Prospetiva (NEP) colaboraram na implementação deste sistema de observação de aulas dentro do Técnico (https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/). O principal objetivo deste projeto consiste na promoção e melhoria das competências pedagógicas dos/as docentes, contribuindo para o seu desenvolvimento profissional, apoiando-se na literatura, uma vez que se tem “verificado uma tendência internacional e nacional para encarar a observação de aulas como um processo de interação profissional, de carácter essencialmente formativo, centrado no desenvolvimento individual e coletivo dos professores e na melhoria da qualidade do ensino e das aprendizagens” (Reis, 2011: 11 )[3].
As observações são realizadas por um ou dois técnicos da equipa do NDA e, por norma, cada docente é observado uma vez por ano letivo. Em algumas situações, a pedido do/a docente ou em casos que requerem um maior acompanhamento, pode ser efetuada uma observação por semestre. De forma a uniformizar os critérios das observações, a equipa do NDA elaborou uma grelha[4] de observação de aulas presenciais e de aulas remotas, com base na literatura disponível. Este instrumento de observação é disponibilizado previamente aos docentes, para que se possam inteirar dos aspetos que serão considerados, estando igualmente disponível para qualquer docente do IST que assim o deseje.
A organização e calendarização das observações, no âmbito dos Programas PSF e DDPaM, inicia-se com um primeiro contacto feito pelo NDA, no início de cada ano letivo, para informar os/as docentes deste recurso e averiguar a sua disponibilidade. A aula a ser observada é escolhida pelo/a docente, podendo ser uma aula teórica, prática, de laboratório, tutorial de qualquer ciclo e de 1º ou 2º semestre. No caso das observações a pedido, o/a docente toma a iniciativa de contactar a equipa do NDA, demonstrando o seu interesse e disponibilidade para a observação. Por norma, os/as docentes escolhem UCs em que querem melhorar o seu desempenho pedagógico ou onde o feedback dos alunos em anos letivos anteriores tem sido mais crítico.
Após a observação, realiza-se uma reunião entre o/a docente e o(s) membro(s) da equipa do NDA, com o objetivo de refletir conjuntamente sobre a aula observada e transmitir feedback sobre os aspetos positivos e as melhorias a implementar nas aulas futuras ou nas práticas pedagógicas. Este feedback, bem como a grelha de observação preenchida, integram um relatório escrito que é enviado ao/à docente em formato PDF, para referência futura. Podem também ser fornecidos documentos de apoio adicionais, mediante pedido, ou para complementar o feedback dado e podem ser sugeridas formações extra, disponibilizadas pelo Programa de Formação e Desenvolvimento, a fim de apoiar aspetos das atividades de ensino e aprendizagem que necessitem ser melhorados.
Resultados Alcançados
Em 2021 foi realizado um estudo pelo NEP, em que se baseou o artigo apresentado pelo NEP e pelo NDA na CISPEE 2021[5], em que se pretendeu analisar o impacto das observações de aulas no desempenho dos/as docentes do Técnico, no âmbito dos três programas de observação de aulas existentes (PSF, DDPaM e Observações a Pedido), por forma a identificar o reflexo do processo de Observação de Aulas no desempenho pedagógico dos/as docentes ao longo do tempo. Para isso, o Sistema de Garantia da Qualidade das Unidades Curriculares do IST (QUC)[6] revela-se uma ferramenta crucial, uma vez que uma das medidas de análise deste processo é precisamente o desempenho dos/as docentes num semestre, para uma determinada disciplina-tipo de aula. O indicador usado é uma medida calculada com base em dimensões de análise do próprio inquérito aplicado aos estudantes.
Nesta análise, os/as docentes estão identificados como tendo sido observados por um dos três programas distintos, sendo que poderão ocorrer casos excecionais em que a observação a que são sujeitos pode decorrer de mais do que um processo. Foram por isso distinguidos pelos grupos A, B e C (PSF, DDPaM e Observações a Pedido).
O desempenho pedagógico dos/as docentes foi analisado de acordo com a classificação RADIST[7], que é a média aritmética da mediana de respostas às questões dos grupos 6, 7 e 8 relativos ao corpo docente das disciplinas-tipo de aula nos inquéritos aos alunos (QUC), com o objetivo de caracterizar o conjunto de docentes avaliados pelo sistema QUC através do inquérito aos alunos, entre os anos 2010/2011 e 2019/2020, considerando apenas os resultados que têm representatividade.
Assim, e para que o desempenho pedagógico dos/as docentes por ano letivo tivesse apenas um valor anual, considerou-se a média dos vários valores de RADIST ponderada com o número de respostas dadas ao trio disciplina – docente – tipo de aula. À semelhança do que está regulamentado no sistema QUC, adotou-se a categorização (e também coloração) desta medida, que toma valores entre 1 e 9, da seguinte forma:
[1;3]: Resultado Inadequado
]3;5[: Resultado A melhorar
[5;7[: Resultado Regular
[7;8[: Resultado Regular +
[8;9[: Resultado Muito Bom
[9]: Resultado Excelente
No estudo, com foco no universo de mais de 700 docentes avaliados no Técnico anualmente pelo QUC, entre os anos letivos 2010/2011 e 2019/2020, verifica-se que pouco mais de 1/4 são do sexo feminino. A representação por faixa etária identifica claramente um envelhecimento da população docente (onde há 10 anos existiam 11,1% de docentes com mais de 60 anos, em 2019/2020 são já 21,9%), acompanhando o decréscimo de jovens docentes na faixa etária até aos 39 anos (22,8% do total de docentes em 2010/2011, desceu para 8,7% em 2019/20). Existem cerca de 3% de docentes com nacionalidade estrangeira desde 2014/2015. A maioria do corpo docente é composto por Professores Auxiliares (cerca de 25%) ou Associados (cerca de 50%) em todos os anos da análise, revelando uma tendência crescente dos Professores Associados em detrimento do decréscimo dos Professores Auxiliares desde 2012/2013.
Procedeu-se à aplicação de vários testes estatísticos, em busca de uma resposta para diferentes situações que podem existir para responder à mesma questão – por exemplo: “Existem diferenças na classificação RADIST entre os diferentes momentos de avaliação?, em função de ter sido, ou não, sujeito a Observação de Aulas?”, “Existe algum efeito do fator “Observação de Aulas” no desempenho pedagógico dos docentes?”, “Se existir algum efeito, será que o programa/grupo em que os docentes foram observados tem algum impacto nesse efeito?”.
Estas questões podem ser exploradas de várias formas como, por exemplo:
– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC com base na classificação RADIST ponderada (medida) em dois, de entre três, momentos distintos (Teste Não Paramétrico de Wilcoxon para 2 amostras dependentes[8]);
– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com a Observação, ou não, de Aulas em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes);
– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com o grupo/programa de Observação de Aulas em que os docentes participaram, em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes).
Com base na classificação RADIST, procedeu-se à organização da informação por cada docente avaliado nos inquéritos aos alunos pelo QUC em cada ano letivo considerado na análise:
Se foi ou não sujeito a Observação de Aula(s) no respetivo ano letivo (independentemente do(s) semestre(s) em que a observação tenha ocorrido);
Do grupo a que pertence (A, B ou C), caso tenha sido sujeito a observação no âmbito de algum dos programas de Observação de Aula(s) em funcionamento;
Da classificação RADIST ponderada (descrita anteriormente) em três momentos distintos:
Antes do ano letivo[9] do registo/avaliação, se existente;
No ano letivo[10] do registo/avaliação, se existente;
Após o ano letivo[11] do registo/avaliação, se existente.
Veja-se a distribuição da classificação RADIST ponderada nos diferentes momentos descritos nos gráficos seguintes (1, 2 e 3):
Gráfico 1: Distribuição do nº de classificações RADIST ponderadas no momento “Antes”, nos anos em análise.
Gráfico 2: Distribuição do nº de classificações RADIST ponderadas no momento ”Atual”, nos anos em análise.
Gráfico 3: Distribuição do nº de classificações RADIST ponderadas no momento “Após”, nos anos em análise.
É possível observar que em qualquer um dos momentos o desempenho pedagógico dos docentes aproxima-se de uma distribuição assimétrica à esquerda, com uma média à volta do valor 7,8 em cada um dos momentos. Apesar de não se aproximar de uma distribuição normal, como as amostras têm uma dimensão muito superior a 30, pode pressupor-se a normalidade dos dados e, assim, proceder à aplicação dos testes estatísticos mencionados.
Pretende-se, com esta análise, observar não só a evolução do desempenho pedagógico dos docentes ao longo do tempo, em três momentos distintos, através da medida de desempenho pedagógico (classificação RADIST ponderada) mas também analisar se o processo de observação de aulas a que os docentes foram sujeitos tem algum impacto no seu desempenho pedagógico.
Relembrando as questões enunciadas no início, realizou-se um teste estatístico não paramétrico de Wilcoxon[12] para comparar o desempenho pedagógico, com base na classificação RADIST ponderada, de um mesmo docente em dois momentos distintos:
- No momento Antes e no momento Atual
- No momento Atual e no Após
- No momento Antes e no momento Após
Com base nos resultados obtidos, é possível concluir que há evidência estatística de que existam diferenças entre o desempenho pedagógico dos docentes ao longo do tempo. Este facto já pôde ser verificado pelas representações gráficas da classificação RADIST ponderada ao longo do tempo, que apresenta uma tendência crescente de docentes com melhor desempenho pedagógico (“muito bom” e “excelente”).
Ao realizar a mesma análise para duas populações distintas: os que foram sujeitos a Observação de Aulas e os que não foram sujeitos a Observação de Aulas (distinguidos por “Observado” ou “Não Observado”), conclui-se que:
“Não Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes ao longo do tempo.
“Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes entre o momento Antes e o momento Atual [1]; e entre o momento Antes e o momento Após [2]. Por outro lado, a hipótese de igualdade de medianas da classificação RADIST ponderada no momento atual e no momento Após rejeita-se e, portanto, não há evidência estatística para afirmar que existam diferenças entre o desempenho pedagógico dos docentes entre o momento Atual e o momento Após.
Portanto, se existe uma diferença estatisticamente significativa entre o desempenho pedagógico dos docentes que foram sujeitos a Observação de Aulas em dois dos testes, é interessante perceber em qual dos momentos a mediana da medida de desempenho pedagógico é maior. Observando os valores da mediana na tabela das estatísticas descritivas, que podem ser consultadas em detalhe no artigo subjacente a este estudo, podemos compreender que:
no caso [1] a mediana é superior no momento Atual (8,2) em comparação com o momento Antes (8,13);
E no caso [2] a mediana é superior no momento Após (8,3) em comparação com o momento Atual.
Apesar das evidências, percebe-se que a diferença identificada entre os dois momentos nos dois casos é mínima e, portanto, não é possível extrair uma conclusão forte sobre o efeito da observação de aulas no desempenho dos docentes, uma vez que a tendência tem seguido um caminho de melhoria ao longo dos anos.
Para responder a outra das questões levantadas, realizou-se também o mesmo teste para cada um dos grupos de observação de aulas com um número significativo de docentes, considerando assim somente os Grupos A e B e excluindo o Grupo C da análise. Com este teste pretende-se analisar se dentro do mesmo grupo de observação de aulas existem diferenças entre o desempenho pedagógico dos docentes, esclarecendo melhor se as diferenças identificadas nos testes anteriores, de que existe um efeito da observação de aulas, está de alguma forma relacionado com o grupo/programa.
Com base nos resultados dos testes aplicados para os docentes observados no Grupo A (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes deste grupo nos momentos Antes e Após. Verifica-se que a mediana do momento Antes de ocorrer a observação é de 8,37 e no momento Após a observação ocorrer é de 8,51. Apesar da diferença, trata-se de um grupo com um desempenho pedagógico maioritariamente “muito bom”, com classificação RADIST ponderada acima de 8, e que acompanha também a tendência global dos docentes na melhoria do seu desempenho ao longo dos anos.
Analisando os resultados dos testes aplicados para os docentes observados no Grupo B (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes no momento Antes da observação e no momento Atual (no ano da observação). Verifica-se que a mediana no momento Antes de ocorrer a observação é de 6,46 e no momento Atual da observação é de 6,81. Apesar da ligeira diferença, além de ser um grupo com desempenho pedagógico maioritariamente “regular”, com classificação RADIST ponderada entre 5 e 7, também não apresenta um padrão evolutivo de desempenho, talvez por terem sido realizadas menos observações no período de análise e, portanto, ser mais difícil corroborar esta conclusão de melhoria entre estes dois momentos.
Por forma a compreender o comportamento do desempenho pedagógico dos docentes observados, por algum dos grupos de Observação de Aulas (A ou B), em função dos três diferentes momentos, representaram-se graficamente[13] três situações distintas. As situações são as seguintes:
A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s) em função da mesma no momento Antes da observação ter ocorrido, revela uma certa relação linear, principalmente nos casos com valores acima de 7. Isto é, parece que quanto melhor for o desempenho antes da observação de aulas, melhor será o seu desempenho no ano em que a observação ocorra. Já nos casos com valores abaixo de 7, esta tendência não é tão evidente uma vez que os casos estão mais dispersos e tanto podem melhorar ou não o seu desempenho no ano da observação.
Gráfico 4: Distribuição da Classificação RADIST ponderada no momento “Atual” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.
A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s)) em função da mesma no momento Após a observação ter ocorrido, revela algo semelhante ao caso anterior, ou seja, uma relação linear entre os dois momentos principalmente nos casos com valores acima de 7.
Os restantes casos mostram-se mais dispersos, existindo alguns que no momento Atual da observação têm valores entre 5,5 e 7 e posteriormente (momento Após observação) têm um desempenho melhor, entre 7 e 8, aproximadamente. Assim como também existem casos com um desempenho melhor (valores acima de 7) no momento Atual da observação e posteriormente baixaram ligeiramente o seu desempenho (valores entre 6 e 7) (Gráfico 5).
Gráfico 5: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Atual” da Observação de Aulas dos Docentes, por Grupo de Observação.
A distribuição da classificação RADIST ponderada dos docentes no momento Após a Observação de aulas(s) em função da mesma no momento Antes da observação ter ocorrido, revela também a relação linear mais direta nos casos com valores superiores a 7 em ambos os momentos. E, tal como se verificou anteriormente, os docentes com classificação RADIST Antes da observação de aulas entre 5 e 7 têm, no momento Após a observação, um desempenho semelhante ou superior (acima de 6, maioritariamente) (Gráfico 6).
Gráfico 6: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.
Avaliação e Monitorização
O processo inerente à prática da observação de aulas é alvo de monitorização e avaliação contínua, quer por parte dos técnicos do NDA que realizam as observações, quer pelos docentes que são observados. Todas as observações são constituídas por três fases que correspondem aos momentos pré, durante e após as observações. Antes de qualquer observação, o docente é contactado e é recolhida informação sobre o tipo de aula a observar, de modo a orientar e preparar o tipo de observação, ajustando-a ao contexto, cabendo ao docente a escolha da aula a observar (dia, hora e tipo de aula). Antes da observação, a grelha de observação é enviada ao docente para seu conhecimento.
Alguns exemplos de atividades observadas que estão incluídas nesta grelha são: começa por resumir brevemente o ponto final da aula anterior; organiza a aula para que a relação entre objetivos e atividades seja clara; fala de forma percetível, com volume suficiente e velocidade apropriada; tem contacto visual com os alunos ao longo da aula; propõe exercícios e/ou atividades práticas para os alunos realizarem, fornecendo instruções claras; analisa e discute com o grupo os desafios e os resultados alcançados; mostra explicitamente entusiasmo pela disciplina da turma; encoraja a participação dos alunos; identifica e reforça positivamente a participação dos alunos; promove atividades que são razoáveis e desafiantes; assegura uma relação equilibrada entre a complexidade/volume de conteúdos transmitidos e o tempo disponível.
Durante a observação são registadas, na grelha, as evidências observadas na aula, nas seguintes áreas: organização da aula; exposição; conteúdo; componente prática e clima na sala de aula. É também feito o registo fundamentado dos aspetos positivos da aula e daqueles que podem ser melhorados. A grelha de observação é um instrumento fundamental nesta atividade, sendo regularmente aperfeiçoada com base em todo o conhecimento empírico recolhido e igualmente na literatura. Depois da observação, é feita uma harmonização da informação recolhida e é combinada uma reunião de feedback com o docente. Nesta reunião, os observadores transmitem ao docente, de forma fundamentada e dialogada, os aspetos positivos, inovadores e a melhorar da aula observada e é feita uma reflexão conjunta sobre a mesma, sendo delineadas estratégias potenciadoras do desenvolvimento das competências pedagógicas do docente. Nesta reunião, há total abertura para os docentes comentarem a intervenção do NDA. O facto de este processo ser estruturado e dividido em momentos padronizados facilita a monitorização e avaliação de todo o processo.
A componente de feedback após a observação das aulas é considerada central para a qualidade da observação, tal como comentada pelos/as docentes observados. Este momento de análise dos dados recolhidos, diálogo e reflexão entre a equipa de observadores e o/a docente tem seis objetivos principais: identificar situações que podem ser melhoradas ou mantidas; descrever os comportamentos dos alunos e dos/as docentes durante a aula; analisar as situações mais desafiantes no contexto da aula; fazer sugestões de melhoria (por exemplo, literatura, formações complementares); encorajar a autoavaliação e partilhar informações e conhecimentos.
No âmbito das observações realizadas a docentes e Investigadores/as Auxiliares existe um conjunto de informações que espelha, de forma mais contundente, a opinião sobre o impacto positivo que as observações têm na sua prática letiva. Estes dados podem ser consultados através do seguinte link: http://shapingthefuture.tecnico.ulisboa.pt/shaping-the-future/balanco-das-5-primeiras-edicoes/.
A documentação desta boa prática, que implicou reflexão sobre todo o processo, assim como todo o trabalho estatístico desenvolvido pelo NEP, foram também dois momentos importantes de avaliação desta atividade que tem vindo a ser realizada desde 2015/2016. É importante referir que, relativamente a um dos programas de observação referidos anteriormente, o NEP foi realizando um trabalho regular de avaliação estatística sobre as observações, predizendo o impacto desta prática na avaliação pelo QUC dos docentes observados.
Carácter Inovador e Transferibilidade
A observação de aulas assume um papel fundamental na promoção da qualidade do ensino, enquanto ferramenta de promoção do desenvolvimento pedagógico de docentes. Embora tradicionalmente, na literatura e no imaginário da docência, a observação de aulas esteja muito ligada à ideia de avaliação de desempenho dos docentes (Reis, 2011), no Técnico esta metodologia apresenta, na grande maioria das situações, um papel construtivo, formativo e de desenvolvimento das competências de docência pois entendemos que se torna “necessário encarar a observação como uma oportunidade para os professores se envolverem, colaborativamente, na reflexão sobre o seu desempenho profissional e na investigação e discussão de estratégias que permitam melhorar a sua prática”(Reis, 2011:9). Neste sentido, esta metodologia de promoção do desenvolvimento pedagógico dos docentes tem sido utilizada para identificar aspetos da prática profissional a melhorar; monitorizar o progresso e o desenvolvimento de competências; proporcionar o contacto e a reflexão sobre as potencialidades e limitações de diferentes abordagens, estratégias, metodologias e atividades usadas em contexto de sala de aula; ou desenvolver e alargar horizontes das diferentes dimensões do conhecimento pedagógico dos/as docentes.
Aliada a esta metodologia existe uma componente de feedback após a observação das aulas. Qualquer processo de desenvolvimento, quer pessoal ou profissional, beneficia de uma vertente reflexiva. Este momento de análise dos dados recolhidos, diálogo e reflexão entre os técnicos que fazem a observação e o docente observado tem como principais objetivos: a identificação de situações que podem ser melhoradas ou mantidas, a descrição de comportamentos, a análise de situações mais desafiantes em contexto de sala de aula, a apresentação de sugestões, o incentivo à autoavaliação e a partilha de informações e conhecimentos. Toda esta informação é consolidada num relatório escrito, harmonizado em equipa, após a reunião de feedback, e enviado a cada docente. Os/as docentes observados/as referem frequentemente a utilidade destes relatórios na sua prática, parecendo sobretudo impressionados positivamente pela identificação de tudo o que faziam bem, ou muito bem.
As observações permitem à equipa do NDA adquirir conhecimento e disseminar boas práticas na Escola. Quer sejam boas práticas observadas em contexto de aula, quer revistas na literatura e que, por vezes, alguns docentes podem desconhecer. Neste sentido, este é um dos motivos pelos quais esta é uma prática que beneficia e enriquece pedagogicamente a Escola, para além de cada docente que se observa. A melhoria da qualidade pedagógica das aulas dadas por docentes, após observação, também se traduz numa mais-valia para a Escola, uma vez que tanto os estudantes como os docentes se sentem mais envolvidos no processo de ensino e aprendizagem. Adicionalmente, temos indicadores de que, espontaneamente, os feedbacks destas observações são partilhados entre pares, disseminando-se também desta forma as boas práticas, e também a informação relativa a práticas a evitar.
Paralelamente aos programas de observação referidos, será de destacar o trabalho que tem vindo a ser desenvolvido no projeto Observar e Aprender. Este projeto tem por base um modelo de observação entre pares e visa estimular a atividade de docência no Ensino Superior. Esta é uma outra vertente das potencialidades da observação em contexto de sala de aula, estando devidamente documentada e analisada numa outra boa prática, anteriormente submetida no ObservIST[14].
De acordo com o artigo sobre o impacto das Observações de aulas no IST é possível concluir que existe evidência estatística, ainda que modesta, para afirmar que há diferenças entre o desempenho pedagógico dos docentes ao longo dos anos, nomeadamente com ênfase em momentos após a observação de aulas ter ocorrido, reforçando o facto que o momento após poderá ser num ano imediatamente seguinte ou dois a mais anos posteriores, dependendo da ocorrência de avaliação do docente no âmbito do QUC. Mais particularmente, esta diferença revela, tal como observado nos gráficos de evolução de desempenho pedagógico, que no momento após a observação de aulas o desempenho pedagógico é melhor, ou seja, toma um valor da medida de desempenho superior ao anterior (ano ou anos antes antes), mesmo que esta diferença seja residual. Este estudo revelou a importância da monitorização e acompanhamento do desempenho pedagógico dos docentes por mais anos (ainda que, extraordinariamente, uma única observação/ano já tenha um efeito mensurável), assim como a relevância de se fazerem mais observações de aulas para perceber se este é de facto um fator que influencia positivamente o domínio de novas competências pedagógicas no corpo docente do Técnico.
Referências
David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211 Acesso em: 10/03/2022.
Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf, Acesso em: 10/03/2022.
NOTAS
[1] O Programa Shaping the Future foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2017, na área do Capital Humano (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)
[2] O Sistema de garantia da Qualidade das Unidades Curriculares do IST – https://quc.tecnico.ulisboa.pt/ foi reconhecido com o Prémio de Boas Práticas do ObservIST, em 2016, na área do Ensino Superior (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)
[3] Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf
[4] A grelha pode ser consultada através do seguinte link: https://nda.tecnico.ulisboa.pt/files/sites/40/nova-grelha.pdf
[5] F. David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211
[6] https://quc.tecnico.ulisboa.pt/
[7] A classificação RADIST considerada na análise trata-se de uma média ponderada das várias avaliações do/a docente por ano letivo. No seu formato original o valor é obtido por semestre de cada ano letivo. Continua a ser um valor que varia numa escala entre 1 e 9, inclusive.
[8] As amostras consideradas – classificação RADIST em distintos momentos – são dependentes entre si porque se considera o mesmo sujeito (docente) mas em três momentos distintos. A comparação das amostras será feita de duas a duas.
[9] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo imediatamente antes ou, caso não exista, ao último ano antes em que tenha tido alguma classificação decorrente da avaliação pelos QUC. Note-se que para os registos de 2010/11 não existe informação nesta variável.
[10] Esta variável considera o momento “zero” (atual) da análise.
[11] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo seguinte ou, caso não exista, à classificação decorrente da avaliação pelos QUC após aquele ano letivo. Note-se que para os registos de 2019/2020 não existe informação nesta variável.
[12] O teste não paramétrico de Wilcoxon para amostras dependentes utiliza a mediana para calcular a diferença entre duas medidas e, assim, testar se existe ou não diferença. (Capítulo 7 – Testes Não Paramétricos, em Marôco, J. (2007))
[13] Note-se que as linhas verticais e horizontais, com cor verde, representam os limites mínimos da classificação RADIST dos grupos designados por “Regular” e “Regular+” (todos os detalhes metodológicos podem ser consultados no artigo).
[14] https://observist.tecnico.ulisboa.pt/files/sites/64/observar-e-aprender-observist_final.pdf O Projeto Observar e Aprender foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2018, na área do Ensino Superior https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf