Instituto Superior Técnico

Observatório de Boas Práticas do IST

Archive for the ‘Monitorização e Melhoria’ Category

Projeto “Técnico faz a diferença”. Modelo e Plano Operativo para a gestão de resíduos sólidos urbanos no IST.

quarta, novembro 29th, 2023

BOA PRÁTICA DO ANO | Impacto Societal | 2023

Silvia Di Salvatore, Inês Ribeiro, Ricardo Veloso, Pedro Sanches,

Tiago Mamouros, Ricardo da Silva Vieira, Rita Santos, João Gonçalves,

Técnico Sustentável – Ambiente Sociedade Economia e

Grupo de estudantes ambientalista do Instituto Superior Técnico (AmbientalIST)

 

Implementação da Prática

O projeto “Técnico faz a diferença” (TFD), desenvolvido pela iniciativa Técnico Sustentável da Plataforma IST-Ambiente, é um procedimento inovador para a gestão de resíduos sólidos urbanos nos campi do IST, transitando de uma situação atual onde não existe um procedimento sistemático de separação para um modelo (modelo MFD – boa prática ObservIST 2021) de separação de resíduos e recolha seletiva (i) desativando os caixotes nas salas e nos gabinetes, (ii) introduzindo ecoilhas nos espaços comuns e (iii) subdividindo o campus em zonas para a implementação de vários ecopontos. Este procedimento, monitorizado num projeto piloto no Pavilhão de Mecânica I, obteve resultados de separação excelentes, com 58% de resíduos recicláveis separados, dos quais 16% de biorresíduos, recicláveis nos compostores instalados no campus.

A implementação do projeto “Técnico faz a diferença” começou no Campus Alameda, com as seguintes ações:

  • Criação da Comissão de Acompanhamento (CA) de vários órgãos da escola e desenvolvimento de reuniões preparatórias.
  • Contabilização de equipamentos (ecoilhas para a separação dos seguintes resíduos: indiferenciado, embalagens, papel, vidro, biorresíduos) para os edifícios do Campus Alameda.
  • Monitorização da quantidade de resíduos produzidos em cada pavilhão.
  • Execução de um Plano Estratégico de Comunicação, com (i) desenvolvimento de um Plano de Comunicação para transmitir o novo procedimento à comunidade IST; (ii) desenvolvimento de um projeto gráfico com a elaboração de cartazes informativos de fácil leitura para os caixotes.
  • Aquisição dos equipamentos. Para constituir a ecoilha, foram adquiridos (i) caixotes em cartão com o volume de 100I (resíduos recicláveis), (ii) caixotes de 7l em plástico (biorresíduos).
  • Implementação nos Edifícios. À data, está a decorrer a implementação no Pavilhão de Civil.
  • Após a implementação em cada edifício, será realizada nova monitorização do novo procedimento.

Resultados Alcançados

Primeiros resultados obtidos em algumas ações apresentadas:

  • Os órgãos, serviços e núcleos envolvidos na Comissão de Acompanhamento são: a Direção Técnica (DT), o Núcleo de Segurança, Higiene e Saúde (NSHS), a Área de Comunicação I. e M. (ACIM), o Núcleo de Design e Multimédia (NDM), a Associação de Estudantes (AEIST) e o Núcleo AmbientalIST.
  • Para a contabilização de equipamentos para os edifícios do Campus Alameda, entre janeiro e novembro de 2021, decorreram reuniões com todos os gestores dos pavilhões do Campus Alameda para apresentar o projeto e transmitir o novo procedimento.
    1. Por cada pavilhão constitui-se uma equipa de acompanhamento do projeto (EA) constituída pelo gestor do pavilhão e a coordenadora das funcionárias de limpeza do pavilhão, para garantir uma presença e acompanhamento constante na implementação do projeto. A EA efetua o levantamento das necessidades com vista a determinação do número de ecoílhas a implementar e a sua localização no pavilhão.
  • A monitorização da quantidade de resíduos produzidos em cada pavilhão começou em abril de 2022 e até à data decorreu nos seguintes pavilhões: Civil, Central, C. Interdisciplinar, Matemática, Física, Mecânica I, II, III e IV.
  • O Plano Estratégico de Comunicação teve como resultados: (i) o desenvolvimento de um projeto gráfico pelo NDM, com a elaboração de cartazes informativos de fácil leitura para os caixotes, onde confluíram texto e imagens com a síntese das principais regras de separação de resíduos produzidos em ambiente de trabalho, disponibilizadas pela Valorsul e cartazes informativos sobre o projeto para afixar junto de cada ecoilha; (ii) para transmitir o novo procedimento, organização de reuniões com diretores/presidentes de departamentos/centros de investigação e respetivos secretariados; a execução começou pelo Pavilhão de Civil, com reuniões que decorreram em Outubro e Novembro de 2022; (iii) organização de sessões de esclarecimento para a população de cada pavilhão. (iv)  organização de ações de formação para as equipas de limpeza.

Avaliação e Monitorização

No processo de monitorização e avaliação do impacte do projeto foi desenvolvida uma análise ambiental preliminar de resíduos no Campus da Alameda IST. Os indicadores Gerais foram retirados do software SimaPro, um software de Life Cycle Assessment (LCA). Este software tem uma base de dados profissional, EcoInvent, que inclui os inventários de diferentes materiais, permitindo uma análise completa de todos os processos envolvidos em cada cenário de recolha e tratamento de resíduos. Foi ainda usado o método Recipe, recomendado pela Comissão Europeia para estas análises. O Recipe mede 18 categorias de impacto. No documento que anexamos à esta candidatura, mostramos primeiro a categoria de Climate Change, medida pelo CO2 equivalente. Neste estudo considerou-se que todo os resíduos indiferenciados tratados na ValorSul são incinerados, com a respetivo aproveitamento de energia.

O cenário de separação segundo o procedimento do projeto “Técnico faz a diferença” apresenta melhorias evidentes em quase todos os indicadores. Estima-se que se poupe mais de 32 toneladas de CO2 equivalente.

Carácter Inovador e Transferibilidade

Entre os aspetos inovadores da prática em termos internos:

  • transição de uma situação atual no IST onde não existe um procedimento sistemático de separação de resíduos para um modelo de separação de resíduos e recolha seletiva para diminuir drasticamente o impacto neste tema ambiental da instituição.
  • diminuição do impacte económico do procedimento de gestão de resíduos sólidos urbanos do IST para gerar capacidade de investimento nos equipamentos de separação e recolha.
  • implementação a separação de biorresíduos, tal como previsto pela Diretiva (UE) 2018/851, de maio de 2018, com obrigatoriedade a partir de 1 de janeiro de 2024, sendo um importante contributo na futura Estratégia Nacional de Bioeconomia Circular e também para o cumprimento do Roteiro para a Neutralidade Carbónica 2050 e do Plano Nacional de Energia e Clima.
  • colocação de compostores no espaço exterior, com a valorização interna dos biorresíduos e o reaproveitamento do composto nos jardins do campi.

Entre os aspetos inovadores da prática em termos externos:

  • desenvolvimento de um modelo/procedimento inovador de gestão de resíduos sólidos urbanos, com excelentes resultados de separação, acima das médias nacionais (58% de resíduos recicláveis separados, dos quais 16% de biorresíduos), replicável em outras instituições de ensino superior.

Programa de Formação de Delegados

terça, novembro 8th, 2022

Capital Humano● 2022

Programa de Formação de Delegados

https://conselhopedagogico.tecnico.ulisboa.pt/delegados

Implementação da Prática

O Programa de Formação de Delegados (PFD) é direcionado aos Delegados de Ano dos cursos dos 1º, 2º e 3º ciclos do Instituto Superior Técnico (IST), que pretende não só providenciar as ferramentas e conhecimento necessários ao exercício do cargo, como a responsabilização de quem o desempenha.

O PFD é uma das iniciativas da Comissão para o Corpo de Delegados (CCD) do Conselho Pedagógico (CP) do IST, uma comissão permanente do CP constituída apenas por estudantes do órgão que assegura a eleição dos Delegados dos pares ano-curso dos 1º, 2º e 3º ciclos, e promove acompanhamento e formação ajustados às necessidades dos Delegados.

A 1ª formação realiza-se após a eleição dos Delegados, tipicamente em outubro. A última é usualmente realizada na semana de preparação para os exames de recurso do 2º semestre. Assim, o PFD cobre o ano letivo e as formações são calendarizadas para alturas em que a informação será útil para os Delegados. As formações do PFD focam-se em temas como liderança, gestão de tempo, gestão de conflitos, funcionamento do IST ou comunicação.

A 1ª edição realizou-se em 2017/18, estando em 2021/22 na sua 5ª edição. Os Delegados que realizem o mínimo de formações definido e cumprirem as suas funções são reconhecidos pelo IST com a atribuição do Estatuto de Delegado no Fénix, permitindo ao Delegado colocar a sua função no Suplemento ao Diploma, tal como acesso à Época Especial.

As principais funções dos Delegados prendem-se com a identificação e promoção da resolução de problemas de índole pedagógica; representação dos seus colegas; preenchimento dos Relatórios de Delegado QUC e participação na Comissão Pedagógica de curso.

À CCD compete organizar o PFD, contudo é vital a cooperação com outras entidades para certas formações, nomeadamente, o Núcleo de Desenvolvimento Académico, o Núcleo de Estatística e Prospetiva, o Grupo para os Estudantes com Necessidades Educativas Especiais e a Área de Comunicação, Imagem e Marketing.

Resultados Alcançados

Na sua 1ª edição, o PFD era constituído por 7 formações. As formações eram agrupadas em 4 níveis. O primeiro tinha 3 formações (Procedimentos Comuns, Reuniões de Calendarização e Avaliação e, Feedback e Feedforward). Um segundo grupo era constituído por 3 formações (Gestão de Conflitos, Funcionamento do Técnico e, Conversas Difíceis e Assertividade). Neste ano, 4 Delegados obtiveram o reconhecimento, dos 82 em funções.

Na 2ª edição foi utilizado um sistema de pontos, em que cada formação tinha uma pontuação equivalente e em que os Delegados tinham que alcançar um valor mínimo para o reconhecimento. Um total de 70 Delegados participou nas formações, mas apenas 42 dos 121 Delegados eleitos tiveram o mínimo para o reconhecimento.

Na 3ª edição, tiveram reconhecimento 82 Delegados dos 131 eleitos ou nomeados.

Na 4ª edição, o número de Delegados com reconhecimento atingiu o máximo de 83 dos 131 eleitos ou nomeados.

Nesta 5ª edição, o programa está dividido em 3 grupos consoante: soft skills, hard skills e essential skills. O primeiro grupo (soft) é constituído pelas formações de Feedback & Feedforward, Ética e Conversa com CP. No segundo grupo (hard) estão as formações Introdutória (às funções), Comunicação, Funcionamento do Técnico, Dia dos Delegados e uma Sessão de Partilha (de vivências no cargo). Para o reconhecimento do cargo, o Delegado terá de realizar uma formação hard e uma formação soft. As formações do grupo essential são formações de cariz obrigatório e nesse grupo estão as formações QUC & R3A e Preparação Comissão Pedagógica.

O reconhecimento de apenas 4 Delegados no primeiro ano mostra a falta de interesse, de reconhecimento e de responsabilização que o cargo de Delegado tinha na Escola. A CCD foi criada no CP para melhorar estes aspetos. Atualmente é notável o reconhecimento e motivação em “ser Delegado”, existindo cursos nos quais são os próprios Delegados a incentivar os colegas a candidatarem-se ao cargo. Também é notório o aumento da responsabilização dos Delegados e a forma como estes interagem com a Escola, nomeadamente com os Coordenadores de curso. Exemplos são a elevada participação dos Delegados nas Comissões Pedagógicas de curso para elaboração do calendário e dos métodos de avaliação para os seus anos-cursos e o aumento das respostas dos Delegados aos QUC, tendo vindo a subir a taxa de resposta dos Delegados, estando atualmente a rondar os 90%, face aos menos de 70% da 1ª edição. Em relação às formações em si, na 4ª edição foi obtida uma taxa média de 56% de assistência. A formação mais assistida teve a presença de 90 dos 131 Delegados. Este ano, os valores são idênticos.

Deste modo, é possível demonstrar que o PFD tem influência direta ou indireta nos mais de 11 mil alunos do IST, assim como nos mais de 900 docentes e investigadores. O PFD permitiu mobilizar alunos (não só os Delegados) para a representação estudantil, envolvendo-os para a resolução dos problemas da comunidade do IST.

Avaliação e Monitorização

Nas primeiras três edições cada formação era avaliada pelos Delegados, que caracterizavam a formação em diversos aspetos, respondendo a um inquérito online, com respostas rápidas (seleção) e com respostas abertas. Esta estratégia ajudou ao melhoramento do PFD, uma vez que os Delegados apontaram diversas sugestões de melhoria.

Na 4ª e 5ª edições, a monitorização decorre de forma diferente, uma vez que a CCD tem outras iniciativas onde contacta regularmente com os Delegados. Parte da monitorização é realizada mensalmente, dado que a restante monitorização decorre em dois tempos: a meio do PFD os Delegados são questionados sobre o desenvolvimento do mesmo, e no final existirá uma sessão de partilha de experiências onde um dos pontos é também este.

Mesmo assim, em todas as formações infere-se informalmente os Delegados acerca dos conteúdos e da forma de apresentação dos mesmos.

É competência da CCD planear e identificar pontos de melhoria no PFD. De entre alguns estudos desenvolvidos pela CCD constam ideias como a digitalização de partes do PFD (formações com conteúdo disponível online, por exemplo em vídeo ou partilhas escritas), e criação do kit do Delegado com todos os documentos e notas úteis ao exercício das funções, a realização de formações com entidades externas ao IST ou a abertura de algumas formações a outros membros da comunidade do IST que demonstrem interesse em assistir às formações. O sistema de avaliação e de monitorização do PFD tem permitido melhorar o funcionamento do mesmo.

Na 4ª edição o PFD foi reforçado com uma iniciativa denominada “Telefonema do CP” que permite aproximar a CCD de todos os Delegados. Esta iniciativa vem complementar o PFD, uma vez que permite um acompanhamento regular por parte da CCD, ajudando à resolução de problemas reais e concretos do seu curso e fortificando as relações entre os Delegados e a CCD. Este telefonema também permite receber feedback direto dos Delegados e melhorar o PFD. Por outro lado, permite ainda recolher informações dos Delegados que são compiladas pela CCD e analisadas pelo CP de modo a monitorizar e melhorar as práticas pedagógicas no IST. Formações como a atual QUC & R3A foram incluídas por sugestão dos Delegados.

Carácter Inovador e Transferibilidade

O carácter inovador do PFD e a eleição de Delegados dos estudantes teve já eco noutras instituições de Ensino Superior. Em concreto, a Universidade do Minho convidou membros da CCD a participarem num debate para convergência e transferibilidade de ideias. Este trabalho de divulgação externa teve início em 2021, quando o PFD foi apresentado e analisado na conferência CISPEE2021, tendo inclusivamente sido publicado um abstract. Também se considera que esta prática pode ser transferida para outras instituições da Universidade de Lisboa, criando-se um programa de formação mais amplo, havendo interação entre os Delegados dos estudantes das diversas faculdades/institutos. A partir desta 5ª edição, e já tendo um historial, dados concretos e experiência passada, começa-se a pensar em partilhar mais eficazmente esta iniciativa.

No IST, o PFD poderá ser aplicado a outros subgrupos da comunidade do IST, tanto a nível de oferecer formação, como de reconhecer os seus elementos que optem por receber esse conhecimento. Esta prática terá mais interesse em subgrupos com funções diferenciadas e/ou de representação (por exemplo, os Coordenadores de curso), de modo a fomentar a passagem de conhecimento, nomeadamente em relação a regulamentos, guias, funcionamento das estruturas do IST. As formações do PFD focam-se em temas como liderança, gestão de tempo, gestão de conflitos, funcionamento do IST, comunicação. O IST poderia ter formações regulares para grupos especiais da sua comunidade, certificando os mesmos para as suas tarefas. Neste sentido, permitiria a passagem de conhecimento e da realidade/tradição do que é o IST, responsabilização dos seus elementos e criação de uma maior união e transparência da comunidade ou dos seus subgrupos. Permitiria também mobilizar e envolver os membros da comunidade nestas funções mais específicas.

Como referido nos pontos anteriores, o PFD capacita os Delegados, influenciando toda a comunidade (não só os estudantes). Se outros programas idênticos forem criados, mais elementos serão envolvidos, havendo influência também para o resto da comunidade, tal como acontece com o PFD.

Observações de Aulas no Técnico

terça, novembro 8th, 2022

Educação Superior ● 2022

Observações de Aulas no Técnico

https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/

 

Implementação da Prática

A docência caracteriza-se por ser uma atividade desafiante e exigente. Neste sentido os Conselhos Pedagógico e Científico do IST, seguindo as melhores práticas internacionais para melhorar a qualidade do ensino e da aprendizagem, iniciaram um Programa de Observação de Aulas associado ao Programa Shaping the Future (PSF – http://shapingthefuture.tecnico.ulisboa.pt/)[1], que “promove a integração e adaptação do corpo docente júnior e dos/as investigadores/as à cultura do IST, através de um Programa de Mentoria e de um conjunto de iniciativas que visam acelerar o desenvolvimento das suas carreiras nas dimensões de liderança científica e académica e o desenvolvimento de competências em áreas científicas e pedagógicas (formação e observação de aulas)”. No decurso da avaliação do Programa Shaping the Future, surgiu a ideia de observar docentes avaliados pelos estudantes como necessitando de melhorar a qualidade das suas aulas[2], ou que sentissem que poderiam beneficiar desta prática de melhoria da qualidade. Atualmente, as observações de aulas no IST decorrem no âmbito do Programa Shaping the Future e do Programa de Acompanhamento de Docentes com Desempenho Pedagógico a Melhorar (DDPaM), havendo também observações de aulas a pedido de docentes, de departamentos, de áreas científicas ou outros.

O Conselho Pedagógico (CP), o Núcleo de Desenvolvimento Académico (NDA) e o Núcleo de Estatística e Prospetiva (NEP) colaboraram na implementação deste sistema de observação de aulas dentro do Técnico (https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/). O principal objetivo deste projeto consiste na promoção e melhoria das competências pedagógicas dos/as docentes, contribuindo para o seu desenvolvimento profissional, apoiando-se na literatura, uma vez que se tem “verificado uma tendência internacional e nacional para encarar a observação de aulas como um processo de interação profissional, de carácter essencialmente formativo, centrado no desenvolvimento individual e coletivo dos professores e na melhoria da qualidade do ensino e das aprendizagens” (Reis, 2011: 11 )[3].

As observações são realizadas por um ou dois técnicos da equipa do NDA e, por norma, cada docente é observado uma vez por ano letivo. Em algumas situações, a pedido do/a docente ou em casos que requerem um maior acompanhamento, pode ser efetuada uma observação por semestre.  De forma a uniformizar os critérios das observações, a equipa do NDA elaborou uma grelha[4] de observação de aulas presenciais e de aulas remotas, com base na literatura disponível. Este instrumento de observação é disponibilizado previamente aos docentes, para que se possam inteirar dos aspetos que serão considerados, estando igualmente disponível para qualquer docente do IST que assim o deseje.

A organização e calendarização das observações, no âmbito dos Programas PSF e DDPaM, inicia-se com um primeiro contacto feito pelo NDA, no início de cada ano letivo, para informar os/as docentes deste recurso e averiguar a sua disponibilidade. A aula a ser observada é escolhida pelo/a docente, podendo ser uma aula teórica, prática, de laboratório, tutorial de qualquer ciclo e de 1º ou 2º semestre. No caso das observações a pedido, o/a docente toma a iniciativa de contactar a equipa do NDA, demonstrando o seu interesse e disponibilidade para a observação. Por norma, os/as docentes escolhem UCs em que querem melhorar o seu desempenho pedagógico ou onde o feedback dos alunos em anos letivos anteriores tem sido mais crítico.

Após a observação, realiza-se uma reunião entre o/a docente e o(s) membro(s) da equipa do NDA, com o objetivo de refletir conjuntamente sobre a aula observada e transmitir feedback sobre os aspetos positivos e as melhorias a implementar nas aulas futuras ou nas práticas pedagógicas. Este feedback, bem como a grelha de observação preenchida, integram um relatório escrito que é enviado ao/à docente em formato PDF, para referência futura. Podem também ser fornecidos documentos de apoio adicionais, mediante pedido, ou para complementar o feedback dado e podem ser sugeridas formações extra, disponibilizadas pelo Programa de Formação e Desenvolvimento, a fim de apoiar aspetos das atividades de ensino e aprendizagem que necessitem ser melhorados.

Resultados Alcançados

Em 2021 foi realizado um estudo pelo NEP, em que se baseou o artigo apresentado pelo NEP e pelo NDA na CISPEE 2021[5], em que se pretendeu analisar o impacto das observações de aulas no desempenho dos/as docentes do Técnico, no âmbito dos três programas de observação de aulas existentes (PSF, DDPaM e Observações a Pedido), por forma a identificar o reflexo do processo de Observação de Aulas no desempenho pedagógico dos/as docentes ao longo do tempo. Para isso, o Sistema de Garantia da Qualidade das Unidades Curriculares do IST (QUC)[6] revela-se uma ferramenta crucial, uma vez que uma das medidas de análise deste processo é precisamente o desempenho dos/as docentes num semestre, para uma determinada disciplina-tipo de aula. O indicador usado é uma medida calculada com base em dimensões de análise do próprio inquérito aplicado aos estudantes.

Nesta análise, os/as docentes estão identificados como tendo sido observados por um dos três programas distintos, sendo que poderão ocorrer casos excecionais em que a observação a que são sujeitos pode decorrer de mais do que um processo. Foram por isso distinguidos pelos grupos A, B e C (PSF, DDPaM e Observações a Pedido).

O desempenho pedagógico dos/as docentes foi analisado de acordo com a classificação RADIST[7], que é a média aritmética da mediana de respostas às questões dos grupos 6, 7 e 8 relativos ao corpo docente das disciplinas-tipo de aula nos inquéritos aos alunos (QUC), com o objetivo de caracterizar o conjunto de docentes avaliados pelo sistema QUC através do inquérito aos alunos, entre os anos 2010/2011 e 2019/2020, considerando apenas os resultados que têm representatividade.

Assim, e para que o desempenho pedagógico dos/as docentes por ano letivo tivesse apenas um valor anual, considerou-se a média dos vários valores de RADIST ponderada com o número de respostas dadas ao trio disciplina – docente – tipo de aula. À semelhança do que está regulamentado no sistema QUC, adotou-se a categorização (e também coloração) desta medida, que toma valores entre 1 e 9, da seguinte forma:

[1;3]: Resultado Inadequado

]3;5[: Resultado A melhorar

[5;7[: Resultado Regular

[7;8[: Resultado Regular +

[8;9[: Resultado Muito Bom

[9]: Resultado Excelente

No estudo, com foco no universo de mais de 700 docentes avaliados no Técnico anualmente pelo QUC, entre os anos letivos 2010/2011 e 2019/2020, verifica-se que pouco mais de 1/4 são do sexo feminino. A representação por faixa etária identifica claramente um envelhecimento da população docente (onde há 10 anos existiam 11,1% de docentes com mais de 60 anos, em 2019/2020 são já 21,9%), acompanhando o decréscimo de jovens docentes na faixa etária até aos 39 anos (22,8% do total de docentes em 2010/2011, desceu para 8,7% em 2019/20). Existem cerca de 3% de docentes com nacionalidade estrangeira desde 2014/2015. A maioria do corpo docente é composto por Professores Auxiliares (cerca de 25%) ou Associados (cerca de 50%) em todos os anos da análise, revelando uma tendência crescente dos Professores Associados em detrimento do decréscimo dos Professores Auxiliares desde 2012/2013.

Procedeu-se à aplicação de vários testes estatísticos, em busca de uma resposta para diferentes situações que podem existir para responder à mesma questão – por exemplo: “Existem diferenças na classificação RADIST entre os diferentes momentos de avaliação?, em função de ter sido, ou não, sujeito a Observação de Aulas?”, “Existe algum efeito do fator “Observação de Aulas” no desempenho pedagógico dos docentes?”, “Se existir algum efeito, será que o programa/grupo em que os docentes foram observados tem algum impacto nesse efeito?”.

Estas questões podem ser exploradas de várias formas como, por exemplo:

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC com base na classificação RADIST ponderada (medida) em dois, de entre três, momentos distintos (Teste Não Paramétrico de Wilcoxon para 2 amostras dependentes[8]);

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com a Observação, ou não, de Aulas em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes);

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com o grupo/programa de Observação de Aulas em que os docentes participaram, em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes).

Com base na classificação RADIST, procedeu-se à organização da informação por cada docente avaliado nos inquéritos aos alunos pelo QUC em cada ano letivo considerado na análise:

Se foi ou não sujeito a Observação de Aula(s) no respetivo ano letivo (independentemente do(s) semestre(s) em que a observação tenha ocorrido);

Do grupo a que pertence (A, B ou C), caso tenha sido sujeito a observação no âmbito de algum dos programas de Observação de Aula(s) em funcionamento;

Da classificação RADIST ponderada (descrita anteriormente) em três momentos distintos:

Antes do ano letivo[9] do registo/avaliação, se existente;

No ano letivo[10] do registo/avaliação, se existente;

Após o ano letivo[11] do registo/avaliação, se existente.

Veja-se a distribuição da classificação RADIST ponderada nos diferentes momentos descritos nos gráficos seguintes (1, 2 e 3):

Gráfico 1: Distribuição do nº de classificações RADIST ponderadas no momento “Antes”, nos anos em análise.

Gráfico 2: Distribuição do nº de classificações RADIST ponderadas no momento ”Atual”, nos anos em análise.

Gráfico 3: Distribuição do nº de classificações RADIST ponderadas no momento “Após”, nos anos em análise.

É possível observar que em qualquer um dos momentos o desempenho pedagógico dos docentes aproxima-se de uma distribuição assimétrica à esquerda, com uma média à volta do valor 7,8 em cada um dos momentos. Apesar de não se aproximar de uma distribuição normal, como as amostras têm uma dimensão muito superior a 30, pode pressupor-se a normalidade dos dados e, assim, proceder à aplicação dos testes estatísticos mencionados.

Pretende-se, com esta análise, observar não só a evolução do desempenho pedagógico dos docentes ao longo do tempo, em três momentos distintos, através da medida de desempenho pedagógico (classificação RADIST ponderada) mas também analisar se o processo de observação de aulas a que os docentes foram sujeitos tem algum impacto no seu desempenho pedagógico.

Relembrando as questões enunciadas no início, realizou-se um teste estatístico não paramétrico de Wilcoxon[12] para comparar o desempenho pedagógico, com base na classificação RADIST ponderada, de um mesmo docente em dois momentos distintos:

  1. No momento Antes e no momento Atual
  2. No momento Atual e no Após
  3. No momento Antes e no momento Após

Com base nos resultados obtidos, é possível concluir que há evidência estatística de que existam diferenças entre o desempenho pedagógico dos docentes ao longo do tempo. Este facto já pôde ser verificado pelas representações gráficas da classificação RADIST ponderada ao longo do tempo, que apresenta uma tendência crescente de docentes com melhor desempenho pedagógico (“muito bom” e “excelente”).

Ao realizar a mesma análise para duas populações distintas: os que foram sujeitos a Observação de Aulas e os que não foram sujeitos a Observação de Aulas (distinguidos por “Observado” ou “Não Observado”), conclui-se que:

“Não Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes ao longo do tempo.

“Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes entre o momento Antes e o momento Atual [1]; e entre o momento Antes e o momento Após [2]. Por outro lado, a hipótese de igualdade de medianas da classificação RADIST ponderada no momento atual e no momento Após rejeita-se e, portanto, não há evidência estatística para afirmar que existam diferenças entre o desempenho pedagógico dos docentes entre o momento Atual e o momento Após.

Portanto, se existe uma diferença estatisticamente significativa entre o desempenho pedagógico dos docentes que foram sujeitos a Observação de Aulas em dois dos testes, é interessante perceber em qual dos momentos a mediana da medida de desempenho pedagógico é maior. Observando os valores da mediana na tabela das estatísticas descritivas, que podem ser consultadas em detalhe no artigo subjacente a este estudo, podemos compreender que:

no caso [1] a mediana é superior no momento Atual (8,2) em comparação com o momento Antes (8,13);

E no caso [2] a mediana é superior no momento Após (8,3) em comparação com o momento Atual.

Apesar das evidências, percebe-se que a diferença identificada entre os dois momentos nos dois casos é mínima e, portanto, não é possível extrair uma conclusão forte sobre o efeito da observação de aulas no desempenho dos docentes, uma vez que a tendência tem seguido um caminho de melhoria ao longo dos anos.

Para responder a outra das questões levantadas, realizou-se também o mesmo teste para cada um dos grupos de observação de aulas com um número significativo de docentes, considerando assim somente os Grupos A e B e excluindo o Grupo C da análise. Com este teste pretende-se analisar se dentro do mesmo grupo de observação de aulas existem diferenças entre o desempenho pedagógico dos docentes, esclarecendo melhor se as diferenças identificadas nos testes anteriores, de que existe um efeito da observação de aulas, está de alguma forma relacionado com o grupo/programa.

Com base nos resultados dos testes aplicados para os docentes observados no Grupo A (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes deste grupo nos momentos Antes e Após. Verifica-se que a mediana do momento Antes de ocorrer a observação é de 8,37 e no momento Após a observação ocorrer é de 8,51. Apesar da diferença, trata-se de um grupo com um desempenho pedagógico maioritariamente “muito bom”, com classificação RADIST ponderada acima de 8, e que acompanha também a tendência global dos docentes na melhoria do seu desempenho ao longo dos anos.

Analisando os resultados dos testes aplicados para os docentes observados no Grupo B (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes no momento Antes da observação e no momento Atual (no ano da observação). Verifica-se que a mediana no momento Antes de ocorrer a observação é de 6,46 e no momento Atual da observação é de 6,81. Apesar da ligeira diferença, além de ser um grupo com desempenho pedagógico maioritariamente “regular”, com classificação RADIST ponderada entre 5 e 7, também não apresenta um padrão evolutivo de desempenho, talvez por terem sido realizadas menos observações no período de análise e, portanto, ser mais difícil corroborar esta conclusão de melhoria entre estes dois momentos.

Por forma a compreender o comportamento do desempenho pedagógico dos docentes observados, por algum dos grupos de Observação de Aulas (A ou B), em função dos três diferentes momentos, representaram-se graficamente[13] três situações distintas. As situações são as seguintes:

A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s) em função da mesma no momento Antes da observação ter ocorrido, revela uma certa relação linear, principalmente nos casos com valores acima de 7. Isto é, parece que quanto melhor for o desempenho antes da observação de aulas, melhor será o seu desempenho no ano em que a observação ocorra. Já nos casos com valores abaixo de 7, esta tendência não é tão evidente uma vez que os casos estão mais dispersos e tanto podem melhorar ou não o seu desempenho no ano da observação.

Gráfico 4: Distribuição da Classificação RADIST ponderada no momento “Atual” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.

A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s)) em função da mesma no momento Após a observação ter ocorrido, revela algo semelhante ao caso anterior, ou seja, uma relação linear entre os dois momentos principalmente nos casos com valores acima de 7.

Os restantes casos mostram-se mais dispersos, existindo alguns que no momento Atual da observação têm valores entre 5,5 e 7 e posteriormente (momento Após observação) têm um desempenho melhor, entre 7 e 8, aproximadamente. Assim como também existem casos com um desempenho melhor (valores acima de 7) no momento Atual da observação e posteriormente baixaram ligeiramente o seu desempenho (valores entre 6 e 7) (Gráfico 5).

Gráfico 5: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Atual” da Observação de Aulas dos Docentes, por Grupo de Observação.

A distribuição da classificação RADIST ponderada dos docentes no momento Após a Observação de aulas(s) em função da mesma no momento Antes da observação ter ocorrido, revela também a relação linear mais direta nos casos com valores superiores a 7 em ambos os momentos. E, tal como se verificou anteriormente, os docentes com classificação RADIST Antes da observação de aulas entre 5 e 7 têm, no momento Após a observação, um desempenho semelhante ou superior (acima de 6, maioritariamente) (Gráfico 6).

Gráfico 6: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.

Avaliação e Monitorização

O processo inerente à prática da observação de aulas é alvo de monitorização e avaliação contínua, quer por parte dos técnicos do NDA que realizam as observações, quer pelos docentes que são observados. Todas as observações são constituídas por três fases que correspondem aos momentos pré, durante e após as observações. Antes de qualquer observação, o docente é contactado e é recolhida informação sobre o tipo de aula a observar, de modo a orientar e preparar o tipo de observação, ajustando-a ao contexto, cabendo ao docente a escolha da aula a observar (dia, hora e tipo de aula). Antes da observação, a grelha de observação é enviada ao docente para seu conhecimento.

Alguns exemplos de atividades observadas que estão incluídas nesta grelha são: começa por resumir brevemente o ponto final da aula anterior; organiza a aula para que a relação entre objetivos e atividades seja clara; fala de forma percetível, com volume suficiente e velocidade apropriada; tem contacto visual com os alunos ao longo da aula; propõe exercícios e/ou atividades práticas para os alunos realizarem, fornecendo instruções claras; analisa e discute com o grupo os desafios e os resultados alcançados; mostra explicitamente entusiasmo pela disciplina da turma; encoraja a participação dos alunos; identifica e reforça positivamente a participação dos alunos; promove atividades que são razoáveis e desafiantes; assegura uma relação equilibrada entre a complexidade/volume de conteúdos transmitidos e o tempo disponível.

Durante a observação são registadas, na grelha, as evidências observadas na aula, nas seguintes áreas: organização da aula; exposição; conteúdo; componente prática e clima na sala de aula. É também feito o registo fundamentado dos aspetos positivos da aula e daqueles que podem ser melhorados. A grelha de observação é um instrumento fundamental nesta atividade, sendo regularmente aperfeiçoada com base em todo o conhecimento empírico recolhido e igualmente na literatura. Depois da observação, é feita uma harmonização da informação recolhida e é combinada uma reunião de feedback com o docente. Nesta reunião, os observadores transmitem ao docente, de forma fundamentada e dialogada, os aspetos positivos, inovadores e a melhorar da aula observada e é feita uma reflexão conjunta sobre a mesma, sendo delineadas estratégias potenciadoras do desenvolvimento das competências pedagógicas do docente. Nesta reunião, há total abertura para os docentes comentarem a intervenção do NDA. O facto de este processo ser estruturado e dividido em momentos padronizados facilita a monitorização e avaliação de todo o processo.

A componente de feedback após a observação das aulas é considerada central para a qualidade da observação, tal como comentada pelos/as docentes observados. Este momento de análise dos dados recolhidos, diálogo e reflexão entre a equipa de observadores e o/a docente tem seis objetivos principais: identificar situações que podem ser melhoradas ou mantidas; descrever os comportamentos dos alunos e dos/as docentes durante a aula; analisar as situações mais desafiantes no contexto da aula; fazer sugestões de melhoria (por exemplo, literatura, formações complementares); encorajar a autoavaliação e partilhar informações e conhecimentos.

No âmbito das observações realizadas a docentes e Investigadores/as Auxiliares existe um conjunto de informações que espelha, de forma mais contundente, a opinião sobre o impacto positivo que as observações têm na sua prática letiva. Estes dados podem ser consultados através do seguinte link: http://shapingthefuture.tecnico.ulisboa.pt/shaping-the-future/balanco-das-5-primeiras-edicoes/.

A documentação desta boa prática, que implicou reflexão sobre todo o processo, assim como todo o trabalho estatístico desenvolvido pelo NEP, foram também dois momentos importantes de avaliação desta atividade que tem vindo a ser realizada desde 2015/2016. É importante referir que, relativamente a um dos programas de observação referidos anteriormente, o NEP foi realizando um trabalho regular de avaliação estatística sobre as observações, predizendo o impacto desta prática na avaliação pelo QUC dos docentes observados.

Carácter Inovador e Transferibilidade

A observação de aulas assume um papel fundamental na promoção da qualidade do ensino, enquanto ferramenta de promoção do desenvolvimento pedagógico de docentes. Embora tradicionalmente, na literatura e no imaginário da docência, a observação de aulas esteja muito ligada à ideia de avaliação de desempenho dos docentes (Reis, 2011), no Técnico esta metodologia apresenta, na grande maioria das situações, um papel construtivo, formativo e de desenvolvimento das competências de docência pois entendemos que se torna “necessário encarar a observação como uma oportunidade para os professores se envolverem, colaborativamente, na reflexão sobre o seu desempenho profissional e na investigação e discussão de estratégias que permitam melhorar a sua prática”(Reis, 2011:9). Neste sentido, esta metodologia de promoção do desenvolvimento pedagógico dos docentes tem sido utilizada para identificar aspetos da prática profissional a melhorar; monitorizar o progresso e o desenvolvimento de competências; proporcionar o contacto e a reflexão sobre as potencialidades e limitações de diferentes abordagens, estratégias, metodologias e atividades usadas em contexto de sala de aula; ou desenvolver e alargar horizontes das diferentes dimensões do conhecimento pedagógico dos/as docentes.

Aliada a esta metodologia existe uma componente de feedback após a observação das aulas. Qualquer processo de desenvolvimento, quer pessoal ou profissional, beneficia de uma vertente reflexiva. Este momento de análise dos dados recolhidos, diálogo e reflexão entre os técnicos que fazem a observação e o docente observado tem como  principais objetivos: a identificação de situações que podem ser melhoradas ou mantidas, a descrição de comportamentos, a análise de situações mais desafiantes em contexto de sala de aula, a apresentação de sugestões, o incentivo à autoavaliação e a partilha de informações e conhecimentos. Toda esta informação é consolidada num relatório escrito, harmonizado em equipa, após a reunião de feedback, e enviado a cada docente. Os/as docentes observados/as referem frequentemente a utilidade destes relatórios na sua prática, parecendo sobretudo impressionados positivamente pela identificação de tudo o que faziam bem, ou muito bem.

As observações permitem à equipa do NDA adquirir conhecimento e disseminar boas práticas na Escola. Quer sejam boas práticas observadas em contexto de aula, quer revistas na literatura e que, por vezes, alguns docentes podem desconhecer. Neste sentido, este é um dos motivos pelos quais esta é uma prática que beneficia e enriquece pedagogicamente a Escola, para além de cada docente que se observa. A melhoria da qualidade pedagógica das aulas dadas por docentes, após observação, também se traduz numa mais-valia para a Escola, uma vez que tanto os estudantes como os docentes se sentem mais envolvidos no processo de ensino e aprendizagem. Adicionalmente, temos indicadores de que, espontaneamente, os feedbacks destas observações são partilhados entre pares, disseminando-se também desta forma as boas práticas, e também a informação relativa a práticas a evitar.

Paralelamente aos programas de observação referidos, será de destacar o trabalho que tem vindo a ser desenvolvido no projeto Observar e Aprender. Este projeto tem por base um modelo de observação entre pares e visa estimular a atividade de docência no Ensino Superior. Esta é uma outra vertente das potencialidades da observação em contexto de sala de aula, estando devidamente documentada e analisada numa outra boa prática, anteriormente submetida no ObservIST[14].

De acordo com o artigo sobre o impacto das Observações de aulas no IST  é possível concluir que existe evidência estatística, ainda que modesta, para afirmar que há diferenças entre o desempenho pedagógico dos docentes ao longo dos anos, nomeadamente com ênfase em momentos após a observação de aulas ter ocorrido, reforçando o facto que o momento após poderá ser num ano imediatamente seguinte ou dois a mais anos posteriores, dependendo da ocorrência de avaliação do docente no âmbito do QUC. Mais particularmente, esta diferença revela, tal como observado nos gráficos de evolução de desempenho pedagógico, que no momento após a observação de aulas o desempenho pedagógico é melhor, ou seja, toma um valor da medida de desempenho superior ao anterior (ano ou anos antes antes), mesmo que esta diferença seja residual. Este estudo revelou a importância da monitorização e acompanhamento do desempenho pedagógico dos docentes por mais anos (ainda que, extraordinariamente, uma única observação/ano já tenha um efeito mensurável), assim como a relevância de se fazerem mais observações de aulas para perceber se este é de facto um fator que influencia positivamente  o domínio de novas competências pedagógicas no corpo docente do Técnico.

 

Referências

David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211 Acesso em: 10/03/2022.

Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf, Acesso em: 10/03/2022.

NOTAS

[1] O Programa Shaping the Future  foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2017, na área do Capital Humano  (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)

[2] O Sistema de garantia da Qualidade das Unidades Curriculares do IST – https://quc.tecnico.ulisboa.pt/ foi reconhecido com o Prémio de Boas Práticas do ObservIST, em 2016, na área do Ensino Superior (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)

[3] Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf

[4] A grelha pode ser consultada através do seguinte link: https://nda.tecnico.ulisboa.pt/files/sites/40/nova-grelha.pdf

[5] F. David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211

[6]  https://quc.tecnico.ulisboa.pt/

[7] A classificação RADIST considerada na análise trata-se de uma média ponderada das várias avaliações do/a docente por ano letivo. No seu formato original o valor é obtido por semestre de cada ano letivo. Continua a ser um valor que varia numa escala entre 1 e 9, inclusive.

[8] As amostras consideradas – classificação RADIST em distintos momentos – são dependentes entre si porque se considera o mesmo sujeito (docente) mas em três momentos distintos. A comparação das amostras será feita de duas a duas.

[9] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo imediatamente antes ou, caso não exista, ao último ano antes em que tenha tido alguma classificação decorrente da avaliação pelos QUC. Note-se que para os registos de 2010/11 não existe informação nesta variável.

[10] Esta variável considera o momento “zero” (atual) da análise.

[11] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo seguinte ou, caso não exista, à classificação decorrente da avaliação pelos QUC após aquele ano letivo. Note-se que para os registos de 2019/2020 não existe informação nesta variável.

[12] O teste não paramétrico de Wilcoxon para amostras dependentes utiliza a mediana para calcular a diferença entre duas medidas e, assim, testar se existe ou não diferença. (Capítulo 7 – Testes Não Paramétricos, em Marôco, J. (2007))

[13] Note-se que as linhas verticais e horizontais, com cor verde, representam os limites mínimos da classificação RADIST dos grupos designados por “Regular” e “Regular+” (todos os detalhes metodológicos podem ser consultados no artigo).

[14] https://observist.tecnico.ulisboa.pt/files/sites/64/observar-e-aprender-observist_final.pdf O Projeto Observar e Aprender  foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2018, na área do Ensino Superior  https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf

 

 

 

Supervision of master theses based on Scrum

terça, outubro 12th, 2021

Educação Superior ● 2021

Miguel Mira da Silva

https://link.springer.com/article/10.1007/s10639-021-10433-2

Implementação da Prática

The success rate of a master program on Information Systems and Computer Engineering (MEIC) in a Portuguese university is very unsatisfactory. However, the success rate of a group of students that were supervised based on the Scrum framework was much higher.

In this study we assessed the current situation and identified the benefits of using Scrum to supervise master’s theses. The evidence suggests that this approach increases the number of students successfully completing their theses.

This proposal discusses the issues at stake and summarizes a qualitative study with focus on the actual practices and benefits reported by students in the master program. We found that some techniques in the Scrum framework can address existing problems in the development of master theses with very positive results

Resultados Alcançados

The success rates of students who were supervised based on Scrum was very high compared to the global rates presented in the studies published by NEP. For example, in the 2012/2013 academic year, only 30% of the students enrolled in the Alameda campus and 32% of those enrolled in the Taguspark campus were successful in their master theses. Those numbers improved in the following years, but until 2016/2017 they never exceeded 55% in both campuses. However, the students supervised based on Scrum had 80% to 100% success rates in those academic years.

Our findings are in line with the results obtained by Mariz et al. (2010), showing a

positive correlation of the methods used in the success of a software development

project to the success of an academic thesis project, whenever the Scrum framework is used. With frequent meetings and a high commitment to the tasks discussed in the planning phase, the agile methodology becomes a relevant factor in the successful development of a master thesis.

The most significant benefits of adopting agile methods are knowledge, learning, feedback, and confidence Solinski and Petersen (2016). We can map these benefits to the evidence given by students, specifically during the review phase and the exchange of experiences in group meetings.

The practices we identified are: iteration, planning, meeting, iteration review and retrospective, face-to-face communication, small self-organizing cross-functional teams, frequent planning/reporting, and prioritized list of requirements.

However, in what concerns the practice of small self organizing teams, and considering that a thesis is rather individual, the key stakeholders are the student and the supervisor, and therefore we cannot map this practice to theses.

Concerning the prioritized list of requirements, we also cannot map this practice to

our results, since participants only developed a backlog of tasks they planned to implement in a Sprint, or tasks that had not yet been allocated to a Sprint.

Sprints and meetings between the stakeholders foster communication Rover et al. (2014). The benefits originating from these practices are teamwork, product quality, customer focus and iterative development. Benefits such as teamwork were not referred to by students since the thesis is associated with a student.

Regarding the iterative development, Rover et al. (2014) state that ‘bi-weekly meetings kept students accountable and motivated them to spread work throughout the semester’, which was also reported by the participants in our study as a positive factor towards delivering the master’s thesis within the stipulated time.

Begel and Nagappan (2007) highlight the top benefits of agile methods in order to

form a ranking of common benefits. The top three benefits perceived by participants

were: improved communication, quick releases and fast response to change (flexibility of design).

Avaliação e Monitorização

This study highlighted the value of several Scrum events in the development of academic theses: Sprint Planning meeting, Sprint Review meeting, frequent work deliveries, feedback and collaboration. Moreover, regarding the insufficient knowledge transmission, participants pointed that having group meetings was an opportunity to follow-up on the work of other students, learn with their ideas and developments, and learn from their mistakes.

However, Scrum has specific roles, such as Product Owner, Scrum Master and Team Member, which have specific responsibilities that are not appropriate for an academic context such as thesis development. So, to answer our preliminary question: is the Scrum project management framework applicable to supervising theses?

To a certain extent, yes. In what concerns our main research objective, we found that the adoption of Scrum and many of its methods can positively influence the success of a master thesis development process, thus overcoming the issues previously stated by students who were not satisfied with the supervision. In essence, the adoption of Scrum may be a way to foster communication and organization between students and supervisors, generating positive feedback, and improving the work in progress.

Looking back, considering that we could not find any previous study on the subject of Scrum applied to the supervision of theses, our research had to examine the experiences and use of the Scrum framework by a small group of students in a specific institution, spanning a few years. Based on qualitative data gathered through interviews we were able to find out which practices of Scrum and agile were more appropriate, and which benefits were generated by them. We also compared our results with the work of other researchers in somehow different contexts.

However, a more systematic and in-depth analysis of the implementation of Scrum in the academic context is needed, considering the subjective experiences of participants, but advancing beyond an exploratory research endeavor.

Carácter Inovador e Transferibilidade

We investigated the advantages of using the Scrum framework for supervising master theses. More specifically, we identified which parts of the Scrum framework may benefit the supervision of master theses, based on qualitative data collected in a specific program.

Scrum methods have been used with success in the industrial development of computer software, but not so much in the educational area. However, there is potential for using Scrum to help students to learn more effectively and develop themselves in an enjoyable way. Scrum as a framework is able to specify roles, artefacts and events that give both the student and the teacher the structure which is normally missing within project-based learning.

We think that Scrum may be used as an engaging and self-organizing way to work collaboratively and dynamically, and this may improve mutual collaboration and reflection among students and professors. Experiences of students during project-based learning are described by Dinis Carvalho et al. (2018) which showed that students recognized the advantages of the Scrum methodology and scored above average compared to students using regular teaching approaches.

Since the 2012/2013 academic year, studies and inquiries have been performed by the Statistics and Prospective Unit (NEP) to determine the reasons for the existence of very unsatisfactory completion rates and long (than stipulated) completion times. In the MEIC case, the students who rated their orientation as unsatisfactory pointed out as main reasons: lack of commitment and limited time of the supervision team to monitor the work, insufficient knowledge transmission ability, and lack of support for experimental and field work.

We developed a case study focusing on the perceptions and results related to the Scrum project management method for supervising theses. A group of master students, crossing a few years, was supervised based on the Scrum framework. The main goal was to collect their opinions, experiences and results regarding the application of the methods. We used semi-structured interviews that were analyzed with NVivo to understand which Scrum techniques were more effective, and if these practices were related to the success of each thesis project.

Since Scrum is a generic project management framework and a master thesis is just a type of project, this good practice can be applied to the supervision of any master thesis in Técnico.

Reuniões de Fecho do semestre na LEIC

segunda, setembro 28th, 2020

Educação Superior 2020

Nuno Mamede, Vasco Manquinho e Inês Lynce (docentes DEI)

Implementação da Boa Prática

No fim de cada semestre, e antes de se iniciar o próximo semestre, ocorre uma reunião, convocada pelo coordenador da licenciatura, com os responsáveis por todas as unidades curriculares para fazer o balanço do semestre findo.

Os responsáveis e os delegados produzem um relatório sobre cada unidade curricular. Os relatórios dos docentes incluem 5 tópicos:

  • Resultados das avaliações.
  • Trabalhos de programação com avaliação (número de alunos por grupo, tempo de resolução pelos docentes e tempo de resolução previsto para os alunos).
  • Resultados da introdução das experiencias pedagógicas (indicar experiencias pedagógicas que tinham decorrido na cadeira e comentar brevemente).
  • Pontos fortes (pontos fortes desta execução).
  • Pontos a melhoras (problemas ocorridos na disciplina e problemas gerados pela interacção com as outras disciplinas).
  • Propostas de solução para os problemas (soluções para os problemas referidos anteriormente)
  • Comentários e Sugestões gerais (indicar 2 – 3 medidas a implementar na próxima execução da disciplina) (Se a sua uc tem precedência de uma anterior, quais os conhecimentos que estes devem ter adquirido? Preencher apenas se for regente da uc-x e esta uc tiver como precedência a uc-y)

Os relatórios dos delegados incluem 3 tópicos:

  • Pontos fortes (pontos fortes desta execução).
  • Pontos a melhorar (problemas ocorridos nesta execução).
  • Comentários/sugestões gerais (soluções para os problemas referidos anteriormente).

Em cada semestre ocorrem 3 reuniões, uma por cada ano curricular onde se debate o resultado de experiencias pedagógicas, as dificuldades sentidas, e se propõem estratégias para resolver os problemas detetados.

Em cada uma destas reuniões são entregues aos responsáveis pelas unidades curriculares os relatórios produzidos pelos delegados.

Resultados Alcançados

Estas reuniões têm contribuído para a melhoria no desempenho dos estudantes nestas duas licenciaturas, mas não é possível quantificar o seu impacto.

Avaliação e Monitorização

Estas reuniões têm permitido detetar os problemas com muita antecedência, sendo possível aplicar medidas corretivas logo na próxima execução dessas unidades curriculares.

A principal vantagem desta prática é provocar reflexão logo após a execução das unidades curriculares, o que permite um registo nos relatórios dos docentes e dos delegados mais rico de ideia e mais detalhado do que fosse feito um a dois meses mais tarde no âmbito dos QUC.

Carácter Inovador e Transferibilidade

Esta prática não exige gasto de recursos e pode ser replicado em todas as licenciaturas. Também não exige um aumento das tarefas associadas aos docentes e aos delegados, pois os relatórios elaborados podem, e devem, ser desaproveitados nos QUC.

 

Observatório de Rankings do IST

sábado, julho 27th, 2019

Processos e Qualidade 2019

Carlos Carvalho (AEPQ)

Implementação da Boa Prática

O Observatório de Rankings do IST (ORank), no âmbito do Núcleo de Estudos e Projetos (E&P) do IST, monitoriza regularmente o posicionamento da Universidade. de Lisboa (ULisboa) nos principais rankings universitários internacionais, nomeadamente nas áreas de intervenção do IST, rankings sectoriais em Engenharia ou Tecnologia.

Os rankings universitários têm no atual contexto do ensino superior uma crescente importância sendo uma ferramenta relevante na escolha das Instituições pelos seus candidatos/estudantes, corpos docente, de investigação e técnicos e administrativos e outros stakeholders sendo, também, o posicionamento das Instituições de Ensino Superior (IES) nos rankings percecionado como indicador da sua qualidade.

O ORank monitoriza o posicionamento da ULisboa aquando da publicação dos resultados dos rankings THE, ARWU, QS, US News, NTU, entre outros, e publica uma análise detalhada do desempenho da ULisboa nas áreas do IST.

Neste contexto, tendo em conta a metodologia adotada por cada ranking, o seu sistema de indicadores e coeficiente de ponderação específicos, o ORank tem como missão disponibilizar informação de forma clara e objetiva das suas principais características, assim como os resultados e indicadores de performance.

Por conseguinte, são elaborados relatórios por ranking onde consta uma análise detalhada das metodologias utilizadas, dos pesos atribuídos aos respetivos indicadores sendo identificados pontos de melhoria e consequentes recomendações com o objetivo de melhorar os processos internos do IST.

Desta forma, cremos que o IST estará melhor preparado para atrair melhores

alunos, docentes, investigadores e técnicos e administrativos, construindo uma melhor reputação e imagem internacionais, por um lado, e será capaz de ganhar mais visibilidade atraindo financiamento, por outro.

Resultados Alcançados

Criado e a funcionar desde 2015, o ORank alicerça-se em trabalho desenvolvido no E&P antes da criação desta estrutura, contando com a experiencia e know-how pré existentes. Os resultados das monitorizações elaboradas são disponibilizados no seu website bem como análises às suas metodologias, ligações web e artigos diversos.

Os estudos elaborados por Ranking são enviados para o Conselho Científico do IST e são também elaboradas outras análises quando solicitadas pelos órgãos de gestão e/ou por diferentes unidades académicas do IST. O ORank compila, organiza e fornece a informação institucional para dar resposta a pedidos das agências de rankings, nomeadamente, U-Multirank, WUR THE e QS.

No âmbito das suas atividades o ORank tem marcado presença em várias iniciativas nacionais e internacionais, destacando-se a participação na 9ª Conferencia do Observatory on Academic Ranking and Excellence (IREG Observatory) que se realizou entre 23 e 25 de maio em Hasselt, Bélgica, através da apresentação da comunicação intitulada: “Accreditations & Rankings: the experience of Técnico Lisboa”. Nesta Conferencia sob o tema “Accreditation and Rankings – Two roads to the same goal?”  o ORank apresentou o trabalho que tem vindo a realizar utilizando os resultados dos rankings num processo de “reverse engineering” em busca da melhoria.

Esta participação do ORank no IREG promoveu o estabelecimento de contactos com outras universidades europeias. Destes contactos e com base no trabalho desenvolvido pelo ORank e na experiencia acumulada, formou-se um consórcio e submeteu-se uma proposta ao programa ERASMUS+ em fevereiro de 2019 (Project: Learning and Exchanging Good Practices and Approaches in University Rankings – LEAGUE) para a criação de estruturas de monitorização e análise de rankings em países emergentes, nomeadamente Arménia e Geórgia, países com que o Técnico tem desenvolvido parcerias em diversas áreas.

Avaliação e Monitorização

O ORank respondeu com sucesso às motivações que levaram à sua criação e reformulação ao longo dos anos. Atualmente, é considerado essencial para a monitorização do posicionamento do IST e da ULisboa nos rankings internacionais e para a promoção da melhoria contínua dos processos que influenciam o posicionamento do IST nos Rankings.  A metodologia e os procedimentos adotados e revistos durante a sua atividade têm permitido definir e melhorar procedimentos e qualidade das atividades de ensino ID&I no IST. Atualmente, os órgãos de Gestão reconhecem a eficácia dos mecanismos de “reverse engineering” para a promoção da melhoria e valorizam o impacto deste processo na avaliação do IST nos rankings internacionais. Também agências de rankings como o IREG reconheceram publicamente os resultados deste modelo na promoção interna da melhoria contínua.

O processo de avaliação e monitorização é feito com base em contributos recolhidos no sentido de a informação ser dada de forma mais clara, objetiva e útil para os utilizadores do site do ORank.

De facto, é solicitado ao observatório pelo Conselho Científico, órgãos de gestão e pelas diversas unidades académicas do IST informação aquando da publicação de novos resultados dos rankings e ao longo do tempo e o ORank tem conseguido prestar informação de forma sistematizada e mais célere, fruto das propostas de melhoria acima referidas.

 Carácter Inovador e Transferibilidade

O caráter inovador reside no facto de, através da análise dos diversos rankings universitários, nomeadamente dos resultados em diversos indicadores, as recomendações emanadas pelo ORank contribuírem para a melhoria de processos internos da instituição e, dessa forma, ser um instrumento de qualidade ao informar os órgãos decisores dos aspetos mais e menos positivos, potenciar os aspetos positivos e influenciar as suas políticas.

A nível da transferibilidade, caso a proposta do Projeto: Learning and Exchanging Good Practices and Approaches in University Rankings – LEAGUE referida supra seja aceite pela Comissão Europeia, podemos considerá-la um exemplo de uma boa prática que será replicada em países cujos sistemas de ensino superior anseiam em estar representados nos rankings internacionais pelo prestígio, reputação e visibilidade que daí advém.

Esta iniciativa, no formato de “reverse engineering” é inovadora no Instituto Superior Técnico e na Universidade de Lisboa.  O feedback recebido pelo Conselho Científico e pelos órgãos de gestão do IST tem sido extremamente positivo e a metodologia mereceu o convite do Observatory on Academic Ranking and Excellence (IREG Observatory) para a comunicação do IST acima referida na sua na 9ª Conferência.

 

Relatório semestral de avaliação do desempenho escolar dos alunos da LEIC

quinta, julho 26th, 2018

Educação Superior ● 2018

Nuno Mamede (docente DEI)

Implementação da Boa Prática

Os relatórios têm cinco fontes de informação:

  • as reuniões de avaliação do funcionamento do semestre com os regentes das UC que decorreram no dia 16 de Fevereiro de 2017 (uma reunião por ano lectivo);
  • os relatórios enviados pelos responsáveis das UC;
  • os relatórios enviados pelos delegados sobre cada UC;
  • a opinião coligida pelos delegados, ao longo do semestre, sobre o tempo despendido pelos estudantes na resolução de cada projeto;
  • os dados disponibilizados pelo sistema Fenix sobre o desempenho em cada uma das UC discriminados por licenciatura (tab “Departamento” > opção “Disciplinas”);
  • as pautas oficiais das UC.”

Resultados Alcançados

Os docentes passaram a ter uma melhor perceção da realidade e ater noção de que as suas decisões têm um verdadeiro impacto no aproveitamento dos estudantes.

Avaliação e Monitorização

Todos os relatórios têm vindo a melhorar o nível de análise. Presentemente, existe um projeto de automatização da informação necessária À elaboração do relatório.

Carácter Inovador e Transferibilidade

Numa 2ª etapa está prevista a sua integração no Fenix para que todos os Coordenadores tenham acesso atempado à evolução dei desempenho gestacional no grau que coordenam.

D-Day

quarta, julho 26th, 2017

Educação Superior ● 2017

Lurdes Farrusco (DEI)

Implementação da Boa Prática

O D-DEI é o Dia do Departamento de Engenharia Informática, que acontece uma vez por ano.

Durante esse dia de trabalho, todos os docentes e funcionários não docentes do DEI reúnem-se num local fora do IST, a partir de pequeno-almoço e até ao jantar, realizando-se diversas sessões em plenário cujos temas e contribuições são antecipadamente preparados e cuja documentação é disponibilizada com antecedência.

Entre os assuntos abordados sobressaem a apresentação de propostas inovadoras ou de melhoria das atividades pedagógicas e de investigação, a proposição de iniciativas de caráter estratégico visando o desenvolvimento do papel do DEI no IST e na Sociedade e a apresentação dos novos docentes, bem como a apreciação dos aspetos organizacionais e dos serviços deste departamento que opera vários cursos nos campi da Alameda e Tagus. É dada particular relevância à participação ativa de cada membro do DEI, em particular dos mais novos, num ambiente focado na abertura para ouvir e entender as suas ideias, as suas propostas, os problemas com que se confrontam e os desafios com que gostariam de se confrontar. Igualmente é dada oportunidade aos docentes mais seniores para comunicarem os seus pontos de vista e darem a conhecer os objetivos de desenvolvimento das atividades do DEI que se propões assumir dadas as suas posições hierárquicas e responsabilidades académicas.

A realização do D-DEI insere-se também no processo contínuo de autoavaliação departamental que teve inicio em 2016.

 

Resultados Alcançados

Da realização do 1º D-DEI em 2016 resultou a nomeação de um grupo de trabalho encarregue de dar início ao processo de definição de um plano Estratégico para o DEI, cujo resultado foi apresentado e validado em outubro de 2016 em Conselho de Departamento e que serviu de base estruturante para a formulação do programa de candidatura e a proposta de atuação da equipa de gestão do DEI 2017-2018, eleita em novembro de 2016.

Resultou ainda a decisão de se criar um grupo de trabalho para estudar o Ensino Horizontal da Informática no IST. Resultou também deste encontro a proposta de elaboração de um novo DFA em Informática em parceria com a Universidade Aberta a qual já foi aprovada em 2017 no DEI e submetida ao Conselho de Gestão do IST. Finalmente foi decidido iniciar a análise da criação de um mestrado em Data Science em parceria com outros departamentos do IST.

Avaliação e Monitorização

O Relatório de Autoapreciação do DEI submetido no final de 2016 incorporou já muitos contributos diretamente resultantes da realização do D-DEI 2016. No D- DEI 2017, que se realizará dia próximo 10 de Abril, far-se-á a apresentação dos resultados das ações implementadas em consequência do D-Day de 2016 e a recolha de sugestões de melhoria deste instrumento inovador da atuação do Departamento.

Carácter Inovador e Transferibilidade

A pressão das operações do dia-a-dia no seio de um departamento do IST é tremenda, deixando pouco espaço mental e poucos recursos humanos disponíveis para se prosseguir com foco, determinação e continuidade objetivos e linhas de ação de mais longo prazo. Desta forma, na prática, o espaço para num contexto departamental de pensar futuro, se conceberem, estudarem avaliarem, compararem estratégias, para se dialogar e debater alternativas, e para nos ouvirmos de forma personalizada, individualizada, presencialmente uns aos outros, não ocorre de forma espontânea, nem se prosseguem de forma sistemática.

A criação do D-DEI formalizou no quadro formal do serviço docente da escola um espaço temporal, físico, organizacional, especificamente dedicado a estes aspetos mais profundos, estratégicos fundamentais para a escola e para cada um dos seus colaboradores. Os documentos resultantes, as avaliações posteriormente feitas aos resultados alcançados, os contactos interpessoais estabelecidos, constituem património valioso a ser preservado, trabalho e comunicado de forma a dar vida real ao espaço de elaboração , debate, construção, desenvolvimento e avaliação de estratégias construídas bottom-up ou a ser implementadas top-down, com o envolvimento de alma e coração dos membros da comunidade académica.

Nada obsta a que esta tipológica de pratica académica seja adotada de forma alargada por toada a Escola, devidamente customizada às diferentes realidades que são os vários departamentos e outras unidades de serviços e de investigação do IST: Divulgação da Prática.

QUC-Qualidade das Unidades Curriculares

terça, julho 26th, 2016

Educação Superior ● 2016

Raquel Aires Barros (Presidente do CP); Marta Graça (AEP/NEP)

Implementação da Boa Prática

Os inquéritos de avaliação do desempenho dos docentes constituem uma das mais antigas ferramentas de avaliação da qualidade do ensino no IST. Em 2007 foram revistos os objetivos, e toda a metodologia associada a este processo, adotando a designação de QUC (Qualidade das Unidades Curriculares do IST). O QUC prevê uma avaliação semestral de cada Unidade Curricular (UC), com o objetivo de avaliar os seus resultados face aos objetivos previstos nos planos de estudo, de promover a melhoria contínua do ensino e aprendizagem (EA), e de identificar e promover boas práticas neste processo partilhado, com a avaliação e envolvimento dos diferentes intervenientes de forma clara e responsável. O Conselho Pedagógico (CP), coordena semestralmente o processo, que se inicia com o lançamento de um inquérito aos alunos, sendo os resultados tratados e disponibilizados a toda a comunidade. Com base nestes resultados os representantes dos alunos preenchem um relatório, completando as informações coletadas, que servirá de base de reflexão para todos os docentes, responsáveis por UC e Coordenadores de Curso, permitindo uma visão completa do que acontece em cada UC. Toda esta informação é recolhida com base no sistema de informação FÉNIX, e todas os formulários estão disponíveis on-line para os diferentes intervenientes. Após a coleta de dados o CP estabelece quais as UC que devem ser auditadas (e conduz os processos), promove as boas práticas identificadas e premeia os professores reconhecidos pelos alunos como O que distingue este sistema em particular é o integrado acompanhamento que é feito para cada UC e respetivos planos de ação. Ao abandonar um modelo estático, desenvolveu-se um modelo mais abrangente que não se limita à recolha e produção de dados sobre o ensino na escola, promovendo igualmente a implementação de um processo de melhoria contínua da qualidade com uma revisão cíclica de resultados e reajuste, em tempo real, dos processos internos. O sistema baseia-se no princípio da subsidiariedade e em instrumentos para resolver de forma rápida e localmente os problemas detetados. Somente quando esses mecanismos falharem é que se envolvem os órgãos de gestão (OG) da escola.Em casos mais graves (várias dimensões classificadas com “inadequado” ou “Para ser melhorado”) está previsto um processo de auditoria para a análise detalhada das situações. Caso os problemas reapareçam, os OG (em coordenação com os departamentos e coordenadores do curso), irão tomar medidas mais fortes que podem incluir alterações ao nível da responsabilidade ou do corpo docente alocado a uma UC. São também reconhecidos os resultados excelentes, através da publicação de uma lista em cada semestre, e atribuição do Prémio IST para o Ensino de Excelência. São ainda compiladas regularmente as boas práticas de ensino identificadas. Os resultados globais de cada professor também são usados no sistema de avaliação de professores do IST, de acordo com os respectivos regulamentos. Mais de 75 auditorias foram realizadas a partir de 2007/08, com resultados práticos nos processos de EA e, atualmente, mais de 8% dos professores são considerados como excelentes acordo com os resultados do QUC. O QUC avalia as UC em 4 dimensões: carga de trabalho, organização, avaliação e corpo docente. Quanto a este último, cada professor é avaliado pelos alunos em várias dimensões, podendo o resultado da avaliação do desempenho ser classificado como “inadequado”, “a ser melhorado” ou “regular”.

Resultados Alcançados

O que distingue este sistema em particular é o integrado acompanhamento que é feito para cada UC e respetivos planos de ação. Ao abandonar um modelo estático, desenvolveu-se um modelo mais abrangente que não se limita à recolha e produção de dados sobre o ensino na escola, promovendo igualmente a implementação de um processo de melhoria contínua da qualidade com uma revisão cíclica de resultados e reajuste, em tempo real, dos processos internos.

O sistema baseia-se no princípio da subsidiariedade e em instrumentos para resolver de forma rápida e localmente os problemas detetados. Somente quando esses mecanismos falharem é que se envolvem os órgãos de gestão (OG) da escola.

Em casos mais graves (várias dimensões classificadas com “inadequado” ou “Para ser melhorado”) está previsto um processo de auditoria para a análise detalhada das situações. Caso os problemas reapareçam, os OG (em coordenação com os departamentos e coordenadores do curso), irão tomar medidas mais fortes que podem incluir alterações ao nível da responsabilidade ou do corpo docente alocado a uma UC.

São também reconhecidos os resultados excelentes, através da publicação de uma lista em cada semestre, e atribuição do Prémio IST para o Ensino de Excelência. São ainda compiladas regularmente as boas práticas de ensino identificadas. Os resultados globais de cada professor também são usados no sistema de avaliação de professores do IST, de acordo com os respectivos regulamentos.

Mais de 75 auditorias foram realizadas a partir de 2007/08, com resultados práticos nos processos de EA e, atualmente, mais de 8% dos professores são considerados como excelentes acordo com os resultados do QUC.

Avaliação e Monitorização

O QUC respondeu com sucesso às motivações que levaram à sua criação e reformulação ao longo dos anos. Atualmente, é uma ferramenta essencial para a melhoria contínua da qualidade, com elevadas taxas de participação (dentro de cada grupo de intervenientes do QUC mais de 90% participam ativamente). A sua aplicação está atualmente focado nas unidades curriculares a funcionar normalmente (aulas teóricas, práticas e de laboratório) de 1º, 2º ciclo, estando em curso o seu alargamento a outras UC (dissertações, projetos, seminários), incluindo o 3º ciclo.

A metodologia e os procedimentos adoptados e revistos durante toda a duração deste processo permitiu esclarecer e definir os procedimentos de garantia de qualidade de ensino e aprendizagem no IST.

Carácter Inovador e Transferibilidade

Salientam-se alguns dos aspetos considerados inovadores: aplicação do questionário on-line, período de lançamento do mesmo (após o período de exames), divulgação pública (alunos, pessoal docente, técnico/administrativo e investigador) dos resultados individuais dos docentes, envolvimento de todos os intervenientes no processo de EA (responsáveis e corpo docente da UC, alunos e delegados, e ainda coordenadores do ciclo de estudo), definição de clara de situações insatisfatórias e de excelência (com auditorias e reconhecimentos públicos, respetivamente), e “follow-up” das UC submetidas a auditoria durante 3 anos.

Hoje em dia, a comunidade académica está familiarizado com o processo, e reconhece a eficácia não só dos mecanismos de retroação no contexto de ensino e aprendizagem, mas também o impacto cada vez mais valorizado deste processo na avaliação dos professores.

Também outras escolas nacionais, e até mesmo internacionais, reconhecem os resultados deste modelo na promoção interna da qualidade do EA, sendo facilmente transferível para outras instituições de ensino superior nacionais ou internacionais, que pretendem objectiva e claramente delinear e promover a qualidade nos processos de ensino e aprendizagem com a participação activa da academia.