Instituto Superior Técnico

Observatório de Boas Práticas do IST

Archive for the ‘Monitorização e Melhoria’ Category

Reuniões de Fecho do semestre na LEIC

segunda, setembro 28th, 2020

Educação Superior 2020

Nuno Mamede, Vasco Manquinho e Inês Lynce (docentes DEI)

Implementação da Boa Prática

No fim de cada semestre, e antes de se iniciar o próximo semestre, ocorre uma reunião, convocada pelo coordenador da licenciatura, com os responsáveis por todas as unidades curriculares para fazer o balanço do semestre findo.

Os responsáveis e os delegados produzem um relatório sobre cada unidade curricular. Os relatórios dos docentes incluem 5 tópicos:

  • Resultados das avaliações.
  • Trabalhos de programação com avaliação (número de alunos por grupo, tempo de resolução pelos docentes e tempo de resolução previsto para os alunos).
  • Resultados da introdução das experiencias pedagógicas (indicar experiencias pedagógicas que tinham decorrido na cadeira e comentar brevemente).
  • Pontos fortes (pontos fortes desta execução).
  • Pontos a melhoras (problemas ocorridos na disciplina e problemas gerados pela interacção com as outras disciplinas).
  • Propostas de solução para os problemas (soluções para os problemas referidos anteriormente)
  • Comentários e Sugestões gerais (indicar 2 – 3 medidas a implementar na próxima execução da disciplina) (Se a sua uc tem precedência de uma anterior, quais os conhecimentos que estes devem ter adquirido? Preencher apenas se for regente da uc-x e esta uc tiver como precedência a uc-y)

Os relatórios dos delegados incluem 3 tópicos:

  • Pontos fortes (pontos fortes desta execução).
  • Pontos a melhorar (problemas ocorridos nesta execução).
  • Comentários/sugestões gerais (soluções para os problemas referidos anteriormente).

Em cada semestre ocorrem 3 reuniões, uma por cada ano curricular onde se debate o resultado de experiencias pedagógicas, as dificuldades sentidas, e se propõem estratégias para resolver os problemas detetados.

Em cada uma destas reuniões são entregues aos responsáveis pelas unidades curriculares os relatórios produzidos pelos delegados.

Resultados Alcançados

Estas reuniões têm contribuído para a melhoria no desempenho dos estudantes nestas duas licenciaturas, mas não é possível quantificar o seu impacto.

Avaliação e Monitorização

Estas reuniões têm permitido detetar os problemas com muita antecedência, sendo possível aplicar medidas corretivas logo na próxima execução dessas unidades curriculares.

A principal vantagem desta prática é provocar reflexão logo após a execução das unidades curriculares, o que permite um registo nos relatórios dos docentes e dos delegados mais rico de ideia e mais detalhado do que fosse feito um a dois meses mais tarde no âmbito dos QUC.

Carácter Inovador e Transferibilidade

Esta prática não exige gasto de recursos e pode ser replicado em todas as licenciaturas. Também não exige um aumento das tarefas associadas aos docentes e aos delegados, pois os relatórios elaborados podem, e devem, ser desaproveitados nos QUC.

 

Observatório de Rankings do IST

sábado, julho 27th, 2019

Processos e Qualidade 2019

Carlos Carvalho (AEPQ)

Implementação da Boa Prática

O Observatório de Rankings do IST (ORank), no âmbito do Núcleo de Estudos e Projetos (E&P) do IST, monitoriza regularmente o posicionamento da Universidade. de Lisboa (ULisboa) nos principais rankings universitários internacionais, nomeadamente nas áreas de intervenção do IST, rankings sectoriais em Engenharia ou Tecnologia.

Os rankings universitários têm no atual contexto do ensino superior uma crescente importância sendo uma ferramenta relevante na escolha das Instituições pelos seus candidatos/estudantes, corpos docente, de investigação e técnicos e administrativos e outros stakeholders sendo, também, o posicionamento das Instituições de Ensino Superior (IES) nos rankings percecionado como indicador da sua qualidade.

O ORank monitoriza o posicionamento da ULisboa aquando da publicação dos resultados dos rankings THE, ARWU, QS, US News, NTU, entre outros, e publica uma análise detalhada do desempenho da ULisboa nas áreas do IST.

Neste contexto, tendo em conta a metodologia adotada por cada ranking, o seu sistema de indicadores e coeficiente de ponderação específicos, o ORank tem como missão disponibilizar informação de forma clara e objetiva das suas principais características, assim como os resultados e indicadores de performance.

Por conseguinte, são elaborados relatórios por ranking onde consta uma análise detalhada das metodologias utilizadas, dos pesos atribuídos aos respetivos indicadores sendo identificados pontos de melhoria e consequentes recomendações com o objetivo de melhorar os processos internos do IST.

Desta forma, cremos que o IST estará melhor preparado para atrair melhores

alunos, docentes, investigadores e técnicos e administrativos, construindo uma melhor reputação e imagem internacionais, por um lado, e será capaz de ganhar mais visibilidade atraindo financiamento, por outro.

Resultados Alcançados

Criado e a funcionar desde 2015, o ORank alicerça-se em trabalho desenvolvido no E&P antes da criação desta estrutura, contando com a experiencia e know-how pré existentes. Os resultados das monitorizações elaboradas são disponibilizados no seu website bem como análises às suas metodologias, ligações web e artigos diversos.

Os estudos elaborados por Ranking são enviados para o Conselho Científico do IST e são também elaboradas outras análises quando solicitadas pelos órgãos de gestão e/ou por diferentes unidades académicas do IST. O ORank compila, organiza e fornece a informação institucional para dar resposta a pedidos das agências de rankings, nomeadamente, U-Multirank, WUR THE e QS.

No âmbito das suas atividades o ORank tem marcado presença em várias iniciativas nacionais e internacionais, destacando-se a participação na 9ª Conferencia do Observatory on Academic Ranking and Excellence (IREG Observatory) que se realizou entre 23 e 25 de maio em Hasselt, Bélgica, através da apresentação da comunicação intitulada: “Accreditations & Rankings: the experience of Técnico Lisboa”. Nesta Conferencia sob o tema “Accreditation and Rankings – Two roads to the same goal?”  o ORank apresentou o trabalho que tem vindo a realizar utilizando os resultados dos rankings num processo de “reverse engineering” em busca da melhoria.

Esta participação do ORank no IREG promoveu o estabelecimento de contactos com outras universidades europeias. Destes contactos e com base no trabalho desenvolvido pelo ORank e na experiencia acumulada, formou-se um consórcio e submeteu-se uma proposta ao programa ERASMUS+ em fevereiro de 2019 (Project: Learning and Exchanging Good Practices and Approaches in University Rankings – LEAGUE) para a criação de estruturas de monitorização e análise de rankings em países emergentes, nomeadamente Arménia e Geórgia, países com que o Técnico tem desenvolvido parcerias em diversas áreas.

Avaliação e Monitorização

O ORank respondeu com sucesso às motivações que levaram à sua criação e reformulação ao longo dos anos. Atualmente, é considerado essencial para a monitorização do posicionamento do IST e da ULisboa nos rankings internacionais e para a promoção da melhoria contínua dos processos que influenciam o posicionamento do IST nos Rankings.  A metodologia e os procedimentos adotados e revistos durante a sua atividade têm permitido definir e melhorar procedimentos e qualidade das atividades de ensino ID&I no IST. Atualmente, os órgãos de Gestão reconhecem a eficácia dos mecanismos de “reverse engineering” para a promoção da melhoria e valorizam o impacto deste processo na avaliação do IST nos rankings internacionais. Também agências de rankings como o IREG reconheceram publicamente os resultados deste modelo na promoção interna da melhoria contínua.

O processo de avaliação e monitorização é feito com base em contributos recolhidos no sentido de a informação ser dada de forma mais clara, objetiva e útil para os utilizadores do site do ORank.

De facto, é solicitado ao observatório pelo Conselho Científico, órgãos de gestão e pelas diversas unidades académicas do IST informação aquando da publicação de novos resultados dos rankings e ao longo do tempo e o ORank tem conseguido prestar informação de forma sistematizada e mais célere, fruto das propostas de melhoria acima referidas.

 Carácter Inovador e Transferibilidade

O caráter inovador reside no facto de, através da análise dos diversos rankings universitários, nomeadamente dos resultados em diversos indicadores, as recomendações emanadas pelo ORank contribuírem para a melhoria de processos internos da instituição e, dessa forma, ser um instrumento de qualidade ao informar os órgãos decisores dos aspetos mais e menos positivos, potenciar os aspetos positivos e influenciar as suas políticas.

A nível da transferibilidade, caso a proposta do Projeto: Learning and Exchanging Good Practices and Approaches in University Rankings – LEAGUE referida supra seja aceite pela Comissão Europeia, podemos considerá-la um exemplo de uma boa prática que será replicada em países cujos sistemas de ensino superior anseiam em estar representados nos rankings internacionais pelo prestígio, reputação e visibilidade que daí advém.

Esta iniciativa, no formato de “reverse engineering” é inovadora no Instituto Superior Técnico e na Universidade de Lisboa.  O feedback recebido pelo Conselho Científico e pelos órgãos de gestão do IST tem sido extremamente positivo e a metodologia mereceu o convite do Observatory on Academic Ranking and Excellence (IREG Observatory) para a comunicação do IST acima referida na sua na 9ª Conferência.

 

Relatório semestral de avaliação do desempenho escolar dos alunos da LEIC

quinta, julho 26th, 2018

Educação Superior ● 2018

Nuno Mamede (docente DEI)

Implementação da Boa Prática

Os relatórios têm cinco fontes de informação:

  • as reuniões de avaliação do funcionamento do semestre com os regentes das UC que decorreram no dia 16 de Fevereiro de 2017 (uma reunião por ano lectivo);
  • os relatórios enviados pelos responsáveis das UC;
  • os relatórios enviados pelos delegados sobre cada UC;
  • a opinião coligida pelos delegados, ao longo do semestre, sobre o tempo despendido pelos estudantes na resolução de cada projeto;
  • os dados disponibilizados pelo sistema Fenix sobre o desempenho em cada uma das UC discriminados por licenciatura (tab “Departamento” > opção “Disciplinas”);
  • as pautas oficiais das UC.”

Resultados Alcançados

Os docentes passaram a ter uma melhor perceção da realidade e ater noção de que as suas decisões têm um verdadeiro impacto no aproveitamento dos estudantes.

Avaliação e Monitorização

Todos os relatórios têm vindo a melhorar o nível de análise. Presentemente, existe um projeto de automatização da informação necessária À elaboração do relatório.

Carácter Inovador e Transferibilidade

Numa 2ª etapa está prevista a sua integração no Fenix para que todos os Coordenadores tenham acesso atempado à evolução dei desempenho gestacional no grau que coordenam.

D-Day

quarta, julho 26th, 2017

Educação Superior ● 2017

Lurdes Farrusco (DEI)

Implementação da Boa Prática

O D-DEI é o Dia do Departamento de Engenharia Informática, que acontece uma vez por ano.

Durante esse dia de trabalho, todos os docentes e funcionários não docentes do DEI reúnem-se num local fora do IST, a partir de pequeno-almoço e até ao jantar, realizando-se diversas sessões em plenário cujos temas e contribuições são antecipadamente preparados e cuja documentação é disponibilizada com antecedência.

Entre os assuntos abordados sobressaem a apresentação de propostas inovadoras ou de melhoria das atividades pedagógicas e de investigação, a proposição de iniciativas de caráter estratégico visando o desenvolvimento do papel do DEI no IST e na Sociedade e a apresentação dos novos docentes, bem como a apreciação dos aspetos organizacionais e dos serviços deste departamento que opera vários cursos nos campi da Alameda e Tagus. É dada particular relevância à participação ativa de cada membro do DEI, em particular dos mais novos, num ambiente focado na abertura para ouvir e entender as suas ideias, as suas propostas, os problemas com que se confrontam e os desafios com que gostariam de se confrontar. Igualmente é dada oportunidade aos docentes mais seniores para comunicarem os seus pontos de vista e darem a conhecer os objetivos de desenvolvimento das atividades do DEI que se propões assumir dadas as suas posições hierárquicas e responsabilidades académicas.

A realização do D-DEI insere-se também no processo contínuo de autoavaliação departamental que teve inicio em 2016.

 

Resultados Alcançados

Da realização do 1º D-DEI em 2016 resultou a nomeação de um grupo de trabalho encarregue de dar início ao processo de definição de um plano Estratégico para o DEI, cujo resultado foi apresentado e validado em outubro de 2016 em Conselho de Departamento e que serviu de base estruturante para a formulação do programa de candidatura e a proposta de atuação da equipa de gestão do DEI 2017-2018, eleita em novembro de 2016.

Resultou ainda a decisão de se criar um grupo de trabalho para estudar o Ensino Horizontal da Informática no IST. Resultou também deste encontro a proposta de elaboração de um novo DFA em Informática em parceria com a Universidade Aberta a qual já foi aprovada em 2017 no DEI e submetida ao Conselho de Gestão do IST. Finalmente foi decidido iniciar a análise da criação de um mestrado em Data Science em parceria com outros departamentos do IST.

Avaliação e Monitorização

O Relatório de Autoapreciação do DEI submetido no final de 2016 incorporou já muitos contributos diretamente resultantes da realização do D-DEI 2016. No D- DEI 2017, que se realizará dia próximo 10 de Abril, far-se-á a apresentação dos resultados das ações implementadas em consequência do D-Day de 2016 e a recolha de sugestões de melhoria deste instrumento inovador da atuação do Departamento.

Carácter Inovador e Transferibilidade

A pressão das operações do dia-a-dia no seio de um departamento do IST é tremenda, deixando pouco espaço mental e poucos recursos humanos disponíveis para se prosseguir com foco, determinação e continuidade objetivos e linhas de ação de mais longo prazo. Desta forma, na prática, o espaço para num contexto departamental de pensar futuro, se conceberem, estudarem avaliarem, compararem estratégias, para se dialogar e debater alternativas, e para nos ouvirmos de forma personalizada, individualizada, presencialmente uns aos outros, não ocorre de forma espontânea, nem se prosseguem de forma sistemática.

A criação do D-DEI formalizou no quadro formal do serviço docente da escola um espaço temporal, físico, organizacional, especificamente dedicado a estes aspetos mais profundos, estratégicos fundamentais para a escola e para cada um dos seus colaboradores. Os documentos resultantes, as avaliações posteriormente feitas aos resultados alcançados, os contactos interpessoais estabelecidos, constituem património valioso a ser preservado, trabalho e comunicado de forma a dar vida real ao espaço de elaboração , debate, construção, desenvolvimento e avaliação de estratégias construídas bottom-up ou a ser implementadas top-down, com o envolvimento de alma e coração dos membros da comunidade académica.

Nada obsta a que esta tipológica de pratica académica seja adotada de forma alargada por toada a Escola, devidamente customizada às diferentes realidades que são os vários departamentos e outras unidades de serviços e de investigação do IST: Divulgação da Prática.

QUC-Qualidade das Unidades Curriculares

terça, julho 26th, 2016

Educação Superior ● 2016

Raquel Aires Barros (Presidente do CP); Marta Graça (AEP/NEP)

Implementação da Boa Prática

Os inquéritos de avaliação do desempenho dos docentes constituem uma das mais antigas ferramentas de avaliação da qualidade do ensino no IST. Em 2007 foram revistos os objetivos, e toda a metodologia associada a este processo, adotando a designação de QUC (Qualidade das Unidades Curriculares do IST). O QUC prevê uma avaliação semestral de cada Unidade Curricular (UC), com o objetivo de avaliar os seus resultados face aos objetivos previstos nos planos de estudo, de promover a melhoria contínua do ensino e aprendizagem (EA), e de identificar e promover boas práticas neste processo partilhado, com a avaliação e envolvimento dos diferentes intervenientes de forma clara e responsável. O Conselho Pedagógico (CP), coordena semestralmente o processo, que se inicia com o lançamento de um inquérito aos alunos, sendo os resultados tratados e disponibilizados a toda a comunidade. Com base nestes resultados os representantes dos alunos preenchem um relatório, completando as informações coletadas, que servirá de base de reflexão para todos os docentes, responsáveis por UC e Coordenadores de Curso, permitindo uma visão completa do que acontece em cada UC. Toda esta informação é recolhida com base no sistema de informação FÉNIX, e todas os formulários estão disponíveis on-line para os diferentes intervenientes. Após a coleta de dados o CP estabelece quais as UC que devem ser auditadas (e conduz os processos), promove as boas práticas identificadas e premeia os professores reconhecidos pelos alunos como O que distingue este sistema em particular é o integrado acompanhamento que é feito para cada UC e respetivos planos de ação. Ao abandonar um modelo estático, desenvolveu-se um modelo mais abrangente que não se limita à recolha e produção de dados sobre o ensino na escola, promovendo igualmente a implementação de um processo de melhoria contínua da qualidade com uma revisão cíclica de resultados e reajuste, em tempo real, dos processos internos. O sistema baseia-se no princípio da subsidiariedade e em instrumentos para resolver de forma rápida e localmente os problemas detetados. Somente quando esses mecanismos falharem é que se envolvem os órgãos de gestão (OG) da escola.Em casos mais graves (várias dimensões classificadas com “inadequado” ou “Para ser melhorado”) está previsto um processo de auditoria para a análise detalhada das situações. Caso os problemas reapareçam, os OG (em coordenação com os departamentos e coordenadores do curso), irão tomar medidas mais fortes que podem incluir alterações ao nível da responsabilidade ou do corpo docente alocado a uma UC. São também reconhecidos os resultados excelentes, através da publicação de uma lista em cada semestre, e atribuição do Prémio IST para o Ensino de Excelência. São ainda compiladas regularmente as boas práticas de ensino identificadas. Os resultados globais de cada professor também são usados no sistema de avaliação de professores do IST, de acordo com os respectivos regulamentos. Mais de 75 auditorias foram realizadas a partir de 2007/08, com resultados práticos nos processos de EA e, atualmente, mais de 8% dos professores são considerados como excelentes acordo com os resultados do QUC. O QUC avalia as UC em 4 dimensões: carga de trabalho, organização, avaliação e corpo docente. Quanto a este último, cada professor é avaliado pelos alunos em várias dimensões, podendo o resultado da avaliação do desempenho ser classificado como “inadequado”, “a ser melhorado” ou “regular”.

Resultados Alcançados

O que distingue este sistema em particular é o integrado acompanhamento que é feito para cada UC e respetivos planos de ação. Ao abandonar um modelo estático, desenvolveu-se um modelo mais abrangente que não se limita à recolha e produção de dados sobre o ensino na escola, promovendo igualmente a implementação de um processo de melhoria contínua da qualidade com uma revisão cíclica de resultados e reajuste, em tempo real, dos processos internos.

O sistema baseia-se no princípio da subsidiariedade e em instrumentos para resolver de forma rápida e localmente os problemas detetados. Somente quando esses mecanismos falharem é que se envolvem os órgãos de gestão (OG) da escola.

Em casos mais graves (várias dimensões classificadas com “inadequado” ou “Para ser melhorado”) está previsto um processo de auditoria para a análise detalhada das situações. Caso os problemas reapareçam, os OG (em coordenação com os departamentos e coordenadores do curso), irão tomar medidas mais fortes que podem incluir alterações ao nível da responsabilidade ou do corpo docente alocado a uma UC.

São também reconhecidos os resultados excelentes, através da publicação de uma lista em cada semestre, e atribuição do Prémio IST para o Ensino de Excelência. São ainda compiladas regularmente as boas práticas de ensino identificadas. Os resultados globais de cada professor também são usados no sistema de avaliação de professores do IST, de acordo com os respectivos regulamentos.

Mais de 75 auditorias foram realizadas a partir de 2007/08, com resultados práticos nos processos de EA e, atualmente, mais de 8% dos professores são considerados como excelentes acordo com os resultados do QUC.

Avaliação e Monitorização

O QUC respondeu com sucesso às motivações que levaram à sua criação e reformulação ao longo dos anos. Atualmente, é uma ferramenta essencial para a melhoria contínua da qualidade, com elevadas taxas de participação (dentro de cada grupo de intervenientes do QUC mais de 90% participam ativamente). A sua aplicação está atualmente focado nas unidades curriculares a funcionar normalmente (aulas teóricas, práticas e de laboratório) de 1º, 2º ciclo, estando em curso o seu alargamento a outras UC (dissertações, projetos, seminários), incluindo o 3º ciclo.

A metodologia e os procedimentos adoptados e revistos durante toda a duração deste processo permitiu esclarecer e definir os procedimentos de garantia de qualidade de ensino e aprendizagem no IST.

Carácter Inovador e Transferibilidade

Salientam-se alguns dos aspetos considerados inovadores: aplicação do questionário on-line, período de lançamento do mesmo (após o período de exames), divulgação pública (alunos, pessoal docente, técnico/administrativo e investigador) dos resultados individuais dos docentes, envolvimento de todos os intervenientes no processo de EA (responsáveis e corpo docente da UC, alunos e delegados, e ainda coordenadores do ciclo de estudo), definição de clara de situações insatisfatórias e de excelência (com auditorias e reconhecimentos públicos, respetivamente), e “follow-up” das UC submetidas a auditoria durante 3 anos.

Hoje em dia, a comunidade académica está familiarizado com o processo, e reconhece a eficácia não só dos mecanismos de retroação no contexto de ensino e aprendizagem, mas também o impacto cada vez mais valorizado deste processo na avaliação dos professores.

Também outras escolas nacionais, e até mesmo internacionais, reconhecem os resultados deste modelo na promoção interna da qualidade do EA, sendo facilmente transferível para outras instituições de ensino superior nacionais ou internacionais, que pretendem objectiva e claramente delinear e promover a qualidade nos processos de ensino e aprendizagem com a participação activa da academia.