Instituto Superior Técnico

Observatório de Boas Práticas do IST

Archive for the ‘Pedagógico’ Category

ScientIST: Experiências no Domínio da Engenharia Biomédica Suportadas em Dispositivos Móveis, Serviços Cloud e Internet das Coisas (IoT)

quarta, novembro 29th, 2023

Boa Prática Reconhecida | Educação | 2023

Hugo Plácido da Silva e Ana Nobre Fred

 

Implementação da Prática

Os dispositivos móveis (ex: smartphones e/ou tablets), serviços cloud e IoT, encontram-se perfeitamente disseminados na comunidade académica. A prática ScientIST foi iniciada com a missão de explorar a utilização destas tecnologias para enriquecer a experiência de ensino, no domínio da Engenharia Biomédica. Está totalmente alinhada com o novo modelo pedagógico do IST, potenciando paradigmas de estudo autónomo e aprendizagem baseada em projetos. As principais ações centraram-se em:

  1. Desenvolvimento de hardware IoT específico para aplicações biomédicas[1];
  2. Desenvolvimento de software para aquisição, análise e processamento de biossinais[2];
  3. 3)Criação de conteúdos de suporte ás atividades pedagógicas[3];
  4. Constituição de um núcleo/grupo de alunos (em várias fases de formação) que assegure a sustentabilidade da prática[4];
  5. Implementação da prática nas atividades experimentais e laboratoriais de várias UCs relacionadas com instrumentação, aquisição, processamento e classificação de sinais biomédicos, estando também gradualmente a ser introduzida nas UCs de PIC 1, PIC 2, e Teses de MSc e PhD.
  6. Expansão da prática além do Departamento de Bioengenharia (DBE), sendo já parcialmente utilizada no Departamento de Engenharia Eletrotécnica e de Computadores (DEEC), e estando a ser projetada a extensão ao Departamento de Engenharia Informática (DEI).

A implementação começou no ano letivo de 19/20 com o Projeto de Inovação Pedagógica (PIP) “ScientIST”, continuando a ser adoptada e até expandida com os PIP 20/21 “ScientIST NOTES”, PIP 21/22 “ScientIST SENSE”, e PIP 22/23 “ScientIST SENSORS”.

O investimento direto do IST foi de ~€20k, complementado pelo Instituto de Telecomunicações (IT) com ~€80k. Até ao momento colaboraram ~20 pessoas.

[1] https://www.scientisst.com/sense

[2] https://sense.scientisst.com

[3] https://github.com/scientisst/notebooks

[4] https://www.linkedin.com/search/results/people/?keywords=scientisst&origin=SPELL_CHECK_REPLACE&sid=-e%2C&spellCorrectionEnabled=false

Resultados Alcançados

A prática ScientIST está em utilização regular nas UCs de: Introdução à Engenharia Biomédica (A1-P4); Fundamentos de Bioinstrumentação (A3-P1); Projeto Integrador de 1º Ciclo em Engenharia Biomédica (A3-S1 & S2); Instrumentação e Aquisição de Biosinais (A4-P3); Aprendizagem Automática em Bioengenharia (A5-P1); Projeto Integrador de 2º Ciclo em Engenharia Biomédica (A5-S1 & S2); Projeto Integrador de 2º Ciclo em Engenharia Eletrotécnica e de Computadores (A5-S1 & S2); Projeto Integrador de 2º Ciclo em Engenharia Eletrónica (A5-S1 & S2); Dissertação de Mestrado em Engenharia Biomédica (A5-S2); Dissertação de Mestrado em Engenharia Eletrotécnica e de Computadores (A5-S2); e Dissertação de Mestrado em Engenharia Eletrónica (A5-S2). Está também a ser utilizada em vários trabalhos atualmente em curso no Programa Doutoral em Engenharia Biomédica.

Entre as várias UCs, a prática beneficia (ou já beneficiou) mais de 400 estudantes do IST em todos os ciclos de estudo. Foi utilizada (ou está em utilização) em mais de 20 trabalhos de projeto integrador, teses de Mestrado, e teses de Doutoramento no IST. Além do DBE, a prática já foi adotada também em atividades do DEEC, estando a ser discutida a extensão a atividades do DEI, abrangendo por isso 3 departamentos a nível do IST. A Diferentes componentes da prática ScientIST já foram (ou estão a ser) adotados em atividades de 3 outras instituições de ensino superior, nomeadamente os ScientIST NOTES na Escola Superior de Tecnologia do Instituto Politécnico de Setúbal (UC de Telemedicina), e o ScientIST SENSE na Faculdade de Engenharia da Universidade do Porto e na Faculdade de Ciência e Tecnologia da Universidade de Coimbra (em Dissertações de Mestrado e Doutoramento).

Do PIP ScientIST resultou numa publicação em revista internacional com arbitragem científica[1], tendo a mesma sido escolhida como artigo de capa do volume[2]. Foi ainda submetido um abstract relativo aos ScientISST NOTES, aceite para publicação na edição 2021 da Conferência Internacional da Sociedade Portuguesa para a Educação em Engenharia (CISPEE); a apresentação realizada na CISPEE foi distinguida com uma menção honrosa no “Best Presentation Award”. Para mais, a prática ScientIST contribuiu de forma significativa para alavancar a spin-off Binedge.ai[3], oficialmente incorporada em 2023.

De um modo geral, a prática ScientIST mostrou resultados promissores nos vários casos de uso em que foi aplicada, nomeadamente no estudo autónomo, criação de relatórios de experiências laboratoriais durante aulas, e aquisição e processamento de dados. A implementação da prática decorreu dentro do previsto, tendo inclusive excedido o plano inicial em várias das componentes, tais como o número de módulos ilustrativos, desempenho do hardware, e número de sensores disponíveis.

[1] https://www.mdpi.com/2624-6120/1/2/6

[2] https://www.mdpi.com/2624-6120/1/2

[3] https://binedge.ai/

Avaliação e Monitorização

A prática ScientIST tem sido objeto de um processo de monitorização e melhoria contínua, maioritariamente com base em inquéritos e questionários aos discentes. Para aferir a perceção quanto à componente de hardware, foi realizado um estudo piloto utilizando a System Usability Scale (SUS), na qual a pontuação geral obtida foi de 78,68%. Uma das limitações identificadas foi o desempenho da placa “off-the-shelve” Arduino MKR WIFI 1010 que adotámos inicialmente, o que motivou o desenvolvimento de raiz de uma base de hardware própria[1], conduzindo ao PIP ScientIST SENSE. Outras limitações identificadas foram o número reduzido de sensores disponíveis e a falta de uma aplicação para comunicar com o hardware diretamente a partir do computador, o que motivou a criação de software de suporte[2] e o desenvolvimento de novos sensores (PIP ScientIST SENSORS).

Relativamente aos conteúdos de suporte (PIP ScientIST NOTES), procurámos perceber a recetividade tanto do lado dos discentes como dos docentes. No caso dos discentes, foi realizado um questionário àqueles que já tinham tido contacto prévio com a prática. No caso dos docentes, foram realizadas entrevistas tanto a professores que não tivessem conhecimento do projeto como a quem já tivesse contacto com o mesmo. No que respeita à utilidade, grande parte dos alunos reconhece a importância dos recursos para compreender melhor os conteúdos lecionados nas aulas. Relativamente à organização, os alunos que conheciam a prática afirmaram gostar da sua estruturação. Mais de 80% dos alunos prefere a prática ScientIST por comparação com os métodos convencionais, sendo que 41.7% indicaram que esta preferência depende do conteúdo lecionado envolver programação.

A prática tem vindo a ser aplicada num conjunto muito diversificado de UCs. No geral, o feedback recolhido é bastante positivo; uma análise de saliência a questões abertas realizadas aos discentes sobre a sua opinião revelou como aspetos positivos a “facilidade de utilização”, “praticidade”, e “portabilidade” da prática. Para além dos conhecimentos técnicos, a metodologia ScientIST introduz os discentes a componentes práticas importantes para a sua formação, permite-lhes a aplicação dos conhecimentos adquiridos, e expõe os discentes a literatura científica e técnica relevante para a sua área de formação. Contribui ainda para o reforço das suas soft skills.

[1] https://www.scientisst.com/sense

[2] https://github.com/scientisst

Carácter Inovador e Transferibilidade

A utilização de dispositivos móveis, de que a grande maioria dos discentes e docentes dispõe (por exemplo smartphones e tablets), como uma extensão das ferramentas de ensino, é um tópico relativamente inexplorado e de carácter fortemente inovador a nível global. Para mais, a prática ScientIST deu origem a tecnologias cloud e IoT que vão além do estado da arte, tais como a plataforma ScientIST SENSE desenvolvida no IT/IST. Da combinação destas tecnologias, e tirando o maior partido de cada uma delas, está a ser possível desenvolver uma abordagem de ensino mais rica e inovadora, beneficiando da apetência crescente dos discentes para as mesmas.

Os discentes reconhecem como particularmente vantajosa e inovadora, por comparação com as abordagens clássicas utilizadas até então, a utilização de ferramentas interativas e baseadas na web como uma extensão dos recursos de ensino ao dispor do corpo docente. O hardware ScientIST SENSE constitui uma nova plataforma de hardware de baixo custo, baseada no SoC ESP32, com conectividade WiFi, Bluetooth, e BLE, frequência de amostragem superior a 4kHz (uniforme) e 8 canais com até 24-bit de resolução. Além de canais analógicos, são disponibilizados também canais digitais, nomeadamente I2C e SPI, cada vez mais utilizados, sendo o firmware reprogramável facilmente a partir do Arduíno IDE.  De acordo com o nosso melhor conhecimento, esta plataforma tem características únicas a nível mundial no domínio da Engenharia Biomédica.

Como resultado do processo de avaliação e monitorização, foi possível perceber que os alunos reconhecem uma melhor compreensão dos conteúdos, e que o trabalho laboratorial se torna mais prático. Das entrevistas aos docentes, foi apontada como inovadora a integração de conteúdos diversificados, permitindo ilustrar melhor os conceitos teóricos com recurso a recursos interativos, bem como a maior liberdade para os alunos aprenderem ao seu ritmo. A prática ScientIST pode ser imediatamente transposta para outros cursos no IST (para além do DBE) e até escalada para outras universidades, tanto a nível nacional como internacional. É já utilizada em algumas atividades do DEEC, estando a ser planeada a sua introdução também no DEI. Como indicado anteriormente, partes desta prática estão a ser utilizadas também por 3 outras instituições do ensino superior nacionais.

PDF – Programa de Desenvolvimento e Formação (2019 -2022)

quarta, novembro 29th, 2023

Boa Prática Reconhecida | Educação | 2023

Isabel Gonçalves, Leonor Moura, Gonçalo Moura e Patrícia Simões

 

Website

Implementação da Prática

O Programa de Desenvolvimento e Formação[1] – PDF para docentes e investigadores/as do IST é um Programa da responsabilidade do Conselho Pedagógico que foi desenhado pelo Núcleo de Desenvolvimento Académico com o apoio do Conselho Científico e lançado a 26 de março de 2019. O seu objetivo é promover, capacitar e apoiar o desenvolvimento de competências profissionais, interpessoais e transversais dos/as docentes e investigadores/as do Técnico, nas vertentes de Planificação das Unidades Curriculares, Transmissão de Conteúdos e implementação de atividades de Avaliação e Feedback, contribuindo assim para a otimização dos processos de ensino-aprendizagem, através de formações destinadas aos/às docentes e investigadores/as do IST.

As ações de formação do Programa foram calendarizadas tendo em conta as pausas letivas dos/as docentes/investigadores/as e ocorrem, por regra, em janeiro/fevereiro e junho/julho. Foi criado um site para este Programa e a gestão e monitorização do Programa, entre os anos de 2019 e 2022 envolveu ativamente a Coordenadora do NDA e três elementos da equipa do NDA.

O NDA seguiu os seguintes procedimentos na organização do PDF:

  1. Preparação e planeamento
    • Elaboração do plano de formação semestral com a escolha das temáticas e dos/as formadores/as a convidar;
    • Calendarização dos convites e das formações, em setembro e fevereiro de cada ano letivo;
    • Validação do plano de formação semestral com a Presidente do CP;
    • Envio dos convites aos/às formadores/as, por email e com preenchimento de um formulário online e confirmação por parte dos/as formadores;
    • Elaboração do plano de formação final semestral e à reserva das salas junto do GOP.
  2. Divulgação
    • Em meados de janeiro e inícios de junho, realiza-se a divulgação das formações junto do público-alvo, através de:
      • Publicação do plano de formação semestral no site pdf.tecnico.ulisboa.pt;
      • Envio da informação para os/as docentes via Fénix;
      • Envio da informação para o GCRP para publicação de uma notícia com destaque na página do IST;
    • Abertura das inscrições e posterior confirmação das mesmas.
  3. Realização das formações
    • Apoio às formações nas datas estabelecidas;
    • Envio dos materiais da formação aos/às formandos/as, após o seu término.
  4. Avaliação
    • Avaliação da satisfação dos/as formandos/as de cada formação, através de um formulário online;
    • Envio dos certificados aos/às formandos/as e aos/às formadores/as;
    • Registo das presenças, por formação, no Histórico de Formações do NDA;
    • Elaboração de uma Factsheet para cada edição do PDF.

[1] https://pdf.tecnico.ulisboa.pt/

Resultados Alcançados*

De forma a avaliar o impacto do PDF na prática pedagógica dos/as docentes/investigadores/as, e complementando a avaliação de qualidade feita no final de cada ação, foi enviado um inquérito aos/às docentes/investigadores/as que frequentaram as formações. O inquérito foi enviado a 308 docentes/investigadores/as e obtivemos 55 respostas. 92,7% das pessoas que responderam consideraram que as formações que frequentaram no âmbito do PDF foram relevantes para a sua prática profissional.

Neste inquérito, foi também pedido aos/às docentes/investigadores/as para indicarem exemplos concretos de aplicação de conteúdos aprendidos nas formações na sua prática profissional. Como se pode ver no gráfico seguinte, os/as docentes/investigadores/as aplicaram na sua prática profissional, maioritariamente, metodologias de ensino ativo, conhecimentos de pedagogia e preparação de Unidades Curriculares, conhecimentos sobre feedback, interação e acompanhamento de alunos. Alguns/Algumas docentes/investigadores/as aplicaram na sua prática profissional conhecimentos e competências adquiridos sobre ferramentas informáticas e audiovisuais e também sobre uso e colocação da voz.

Solicitámos igualmente aos/às docentes/investigadores/as sugestões de melhoria para o programa. Vinte e três pessoas afirmaram que não tinham sugestões de melhoria a fazer. As sugestões mais numerosas referem-se aos seguintes tópicos: mais variedade de formações, alteração do formato de formação e sugestões de temas de formações a fazer no futuro. Foi também sugerido por quatro docentes/investigadores/as que as formações fossem mais frequentes e três docentes/investigadores/as sugeriram que houvesse formações sobre metodologias de ensino e também que fosse disponibilizada mais documentação de apoio às formações.

Avaliação e Monitorização*

Entre junho de 2019 e julho de 2022 organizaram-se cinco edições do Programa de Desenvolvimento e Formação, realizaram-se 42 formações, com 639 participações e 308 formandos/as no total.

Ao longo dos anos de execução do PDF, as formações foram avaliadas através de um questionário de avaliação que serviu de base à elaboração de Factsheets que apresentam de forma visual os resultados de cada edição. Estes resultados podem ser consultados na página[1].

Nos formulários de avaliação de cada formação os/as formandos/as fizeram sugestões de formação e de melhoria do Programa que eram posteriormente analisadas e inventariadas pelo NDA. Sempre que possível tentava-se dar resposta a estas sugestões e pedidos em edições seguintes do Programa.

[1] https://pdf.tecnico.ulisboa.pt/avaliacao/

Carácter Inovador e Transferibilidade

Um dos objetivos do PDF consistiu em fazer convergir num só programa as formações para docentes e investigadores/as do IST, objetivo que foi alcançado.

A partir da 5ª edição em diante, a gestão do PDF foi repensada e alterada. O Programa, da responsabilidade do Conselho Pedagógico, continua a ter o NDA como responsável pela orientação científica, no entanto, a gestão logística/técnica passou a ser assegurada pelo Núcleo de Desenvolvimento e Formação da DRH, uma vez que este Núcleo tinha já a missão de promover e gerir a formação para os/as funcionários/as não docentes do IST.

O PDF, à data a que foi lançado e no formato pelo qual se optou, foi inovador no panorama do Ensino Superior Português, disseminando também a sua experiência no plano internacional através da colaboração de elementos da equipa do NDA no Programa Teaching and Learning do projeto Unite![1].

A nível nacional, o NDA recebeu várias propostas de contratualização para a realização de ações de formação específicas (p.e. Inteligência Emocional ou Coaching para a Orientação de Dissertações de Mestrado e Doutoramento), na FEUP, na Universidade de Aveiro e na Universidade do Minho, entre outras. Em alguns casos, estas formações partilhadas permitiram também a organização de permutas, no decurso das quais foi possível disponibilizar no PDF formações pela parte do Corpo Docente dessas Escolas e Universidades. No âmbito destas atividades de partilha, o NDA foi também membro fundador da plataforma de formação no Ensino Superior “Jornadas Interinstitucionais de Desenvolvimento Pedagógico”, que teve a sua primeira edição em 2020, e que vai agora na sua 8ª edição[2].

[1] https://www.unite-university.eu/unitenews/a-unite-ed-future-2013-submit-your-ideas-for-the-teaching-and-learning-unite-conference

[2] https://cms.ua.pt/jornadasidp/

* Conteúdo completo no Portefólio 2023 (PDF, 0.8MB).

Criação de um caderno com hexágonos

quarta, novembro 29th, 2023

Boa Prática Reconhecida | Educação | 2023

Dulce Pereira Simão e Associação dos Estudantes do Instituto Superior Técnico (AEIST)

 

Implementação da Prática

Esta prática foi realizada em colaboração com a seção de folhas da Associação de estudantes do IST.

Foi implementado pela 1ª vez no P2 de 2022/2023 na UC de Química Orgânica para os alunos de Engenharia Química e depois no P3 em Fundamentos de Química Orgânica para os alunos de Engenharia Biológica.

O caderno foi utilizado nas aulas teórico-práticas e no estudo autónomo.

Esta prática vem complementar uma outra anterior, as folhas de teste com hexágonos criadas em colaboração com um aluno de Engenharia Biomédica e vendidas igualmente na secção de folhas da AEIST.

Resultados Alcançados

Na correção dos testes realizados verificaram-se menos enganos na passagem do enunciado para a folha de teste e igualmente na resolução dos problemas.

Apesar das múltiplas variáveis e fatores, a percentagem de alunos aprovados subiu consideravelmente em relação ao ano anterior em que não tinha sido ainda implementada esta prática

Avaliação e Monitorização

Foram feitos inquéritos no final do P2 aos alunos do 1º ano de Engenharia Química onde 73% eram da opinião de que o uso do caderno facilitou o estudo da UC e 65% referiram que as folhas de teste facilitaram a realização dos MAPs.

No final do P3 foram também realizados inquéritos aos alunos de Engenharia Biológica do 1º ano onde 55% dos alunos disseram o uso do caderno foi útil no estudo da UC e 71% referiram que as folhas de teste facilitaram a realização dos MAPs.

Carácter Inovador e Transferibilidade

A criação deste caderno surgiu após a constatação da dificuldade demostrada pelos alunos do 1º ano em desenhar e representar estruturas químicas com cadeias de carbonos mais ou menos longas contendo os grupos funcionais.

As folhas de teste foram criadas em 1º lugar de modo a ajudar a desenhar na folha de teste, de forma correta, os compostos presentes no enunciado, o que é essencial para a resolução acertada do MAP/teste/exame.

A utilização deste caderno facilita a representação das estruturas químicas a duas dimensões, treinando a resolução de exercícios, quer seja em ambiente de aula quer seja no estudo autónomo, facilitando a apreensão da matéria e posteriormente uma melhor resolução dos testes/exames.

Que seja do nosso conhecimento, este tipo de cadernos não existe à venda em Portugal, sendo, no entanto, possível comprar online.

Além das UCs de Química Orgânica, esta prática pode ser aplicada a outras UCs como, a Química Geral lecionada a quase todas as licenciaturas do IST, Química Medicinal/Farmacêutica, Ciência e Tecnologia de Polímeros, Química Biológica e outras num universo de mais de 1000 alunos.

Programa de Formação de Delegados

terça, novembro 8th, 2022

Capital Humano● 2022

Programa de Formação de Delegados

https://conselhopedagogico.tecnico.ulisboa.pt/delegados

Implementação da Prática

O Programa de Formação de Delegados (PFD) é direcionado aos Delegados de Ano dos cursos dos 1º, 2º e 3º ciclos do Instituto Superior Técnico (IST), que pretende não só providenciar as ferramentas e conhecimento necessários ao exercício do cargo, como a responsabilização de quem o desempenha.

O PFD é uma das iniciativas da Comissão para o Corpo de Delegados (CCD) do Conselho Pedagógico (CP) do IST, uma comissão permanente do CP constituída apenas por estudantes do órgão que assegura a eleição dos Delegados dos pares ano-curso dos 1º, 2º e 3º ciclos, e promove acompanhamento e formação ajustados às necessidades dos Delegados.

A 1ª formação realiza-se após a eleição dos Delegados, tipicamente em outubro. A última é usualmente realizada na semana de preparação para os exames de recurso do 2º semestre. Assim, o PFD cobre o ano letivo e as formações são calendarizadas para alturas em que a informação será útil para os Delegados. As formações do PFD focam-se em temas como liderança, gestão de tempo, gestão de conflitos, funcionamento do IST ou comunicação.

A 1ª edição realizou-se em 2017/18, estando em 2021/22 na sua 5ª edição. Os Delegados que realizem o mínimo de formações definido e cumprirem as suas funções são reconhecidos pelo IST com a atribuição do Estatuto de Delegado no Fénix, permitindo ao Delegado colocar a sua função no Suplemento ao Diploma, tal como acesso à Época Especial.

As principais funções dos Delegados prendem-se com a identificação e promoção da resolução de problemas de índole pedagógica; representação dos seus colegas; preenchimento dos Relatórios de Delegado QUC e participação na Comissão Pedagógica de curso.

À CCD compete organizar o PFD, contudo é vital a cooperação com outras entidades para certas formações, nomeadamente, o Núcleo de Desenvolvimento Académico, o Núcleo de Estatística e Prospetiva, o Grupo para os Estudantes com Necessidades Educativas Especiais e a Área de Comunicação, Imagem e Marketing.

Resultados Alcançados

Na sua 1ª edição, o PFD era constituído por 7 formações. As formações eram agrupadas em 4 níveis. O primeiro tinha 3 formações (Procedimentos Comuns, Reuniões de Calendarização e Avaliação e, Feedback e Feedforward). Um segundo grupo era constituído por 3 formações (Gestão de Conflitos, Funcionamento do Técnico e, Conversas Difíceis e Assertividade). Neste ano, 4 Delegados obtiveram o reconhecimento, dos 82 em funções.

Na 2ª edição foi utilizado um sistema de pontos, em que cada formação tinha uma pontuação equivalente e em que os Delegados tinham que alcançar um valor mínimo para o reconhecimento. Um total de 70 Delegados participou nas formações, mas apenas 42 dos 121 Delegados eleitos tiveram o mínimo para o reconhecimento.

Na 3ª edição, tiveram reconhecimento 82 Delegados dos 131 eleitos ou nomeados.

Na 4ª edição, o número de Delegados com reconhecimento atingiu o máximo de 83 dos 131 eleitos ou nomeados.

Nesta 5ª edição, o programa está dividido em 3 grupos consoante: soft skills, hard skills e essential skills. O primeiro grupo (soft) é constituído pelas formações de Feedback & Feedforward, Ética e Conversa com CP. No segundo grupo (hard) estão as formações Introdutória (às funções), Comunicação, Funcionamento do Técnico, Dia dos Delegados e uma Sessão de Partilha (de vivências no cargo). Para o reconhecimento do cargo, o Delegado terá de realizar uma formação hard e uma formação soft. As formações do grupo essential são formações de cariz obrigatório e nesse grupo estão as formações QUC & R3A e Preparação Comissão Pedagógica.

O reconhecimento de apenas 4 Delegados no primeiro ano mostra a falta de interesse, de reconhecimento e de responsabilização que o cargo de Delegado tinha na Escola. A CCD foi criada no CP para melhorar estes aspetos. Atualmente é notável o reconhecimento e motivação em “ser Delegado”, existindo cursos nos quais são os próprios Delegados a incentivar os colegas a candidatarem-se ao cargo. Também é notório o aumento da responsabilização dos Delegados e a forma como estes interagem com a Escola, nomeadamente com os Coordenadores de curso. Exemplos são a elevada participação dos Delegados nas Comissões Pedagógicas de curso para elaboração do calendário e dos métodos de avaliação para os seus anos-cursos e o aumento das respostas dos Delegados aos QUC, tendo vindo a subir a taxa de resposta dos Delegados, estando atualmente a rondar os 90%, face aos menos de 70% da 1ª edição. Em relação às formações em si, na 4ª edição foi obtida uma taxa média de 56% de assistência. A formação mais assistida teve a presença de 90 dos 131 Delegados. Este ano, os valores são idênticos.

Deste modo, é possível demonstrar que o PFD tem influência direta ou indireta nos mais de 11 mil alunos do IST, assim como nos mais de 900 docentes e investigadores. O PFD permitiu mobilizar alunos (não só os Delegados) para a representação estudantil, envolvendo-os para a resolução dos problemas da comunidade do IST.

Avaliação e Monitorização

Nas primeiras três edições cada formação era avaliada pelos Delegados, que caracterizavam a formação em diversos aspetos, respondendo a um inquérito online, com respostas rápidas (seleção) e com respostas abertas. Esta estratégia ajudou ao melhoramento do PFD, uma vez que os Delegados apontaram diversas sugestões de melhoria.

Na 4ª e 5ª edições, a monitorização decorre de forma diferente, uma vez que a CCD tem outras iniciativas onde contacta regularmente com os Delegados. Parte da monitorização é realizada mensalmente, dado que a restante monitorização decorre em dois tempos: a meio do PFD os Delegados são questionados sobre o desenvolvimento do mesmo, e no final existirá uma sessão de partilha de experiências onde um dos pontos é também este.

Mesmo assim, em todas as formações infere-se informalmente os Delegados acerca dos conteúdos e da forma de apresentação dos mesmos.

É competência da CCD planear e identificar pontos de melhoria no PFD. De entre alguns estudos desenvolvidos pela CCD constam ideias como a digitalização de partes do PFD (formações com conteúdo disponível online, por exemplo em vídeo ou partilhas escritas), e criação do kit do Delegado com todos os documentos e notas úteis ao exercício das funções, a realização de formações com entidades externas ao IST ou a abertura de algumas formações a outros membros da comunidade do IST que demonstrem interesse em assistir às formações. O sistema de avaliação e de monitorização do PFD tem permitido melhorar o funcionamento do mesmo.

Na 4ª edição o PFD foi reforçado com uma iniciativa denominada “Telefonema do CP” que permite aproximar a CCD de todos os Delegados. Esta iniciativa vem complementar o PFD, uma vez que permite um acompanhamento regular por parte da CCD, ajudando à resolução de problemas reais e concretos do seu curso e fortificando as relações entre os Delegados e a CCD. Este telefonema também permite receber feedback direto dos Delegados e melhorar o PFD. Por outro lado, permite ainda recolher informações dos Delegados que são compiladas pela CCD e analisadas pelo CP de modo a monitorizar e melhorar as práticas pedagógicas no IST. Formações como a atual QUC & R3A foram incluídas por sugestão dos Delegados.

Carácter Inovador e Transferibilidade

O carácter inovador do PFD e a eleição de Delegados dos estudantes teve já eco noutras instituições de Ensino Superior. Em concreto, a Universidade do Minho convidou membros da CCD a participarem num debate para convergência e transferibilidade de ideias. Este trabalho de divulgação externa teve início em 2021, quando o PFD foi apresentado e analisado na conferência CISPEE2021, tendo inclusivamente sido publicado um abstract. Também se considera que esta prática pode ser transferida para outras instituições da Universidade de Lisboa, criando-se um programa de formação mais amplo, havendo interação entre os Delegados dos estudantes das diversas faculdades/institutos. A partir desta 5ª edição, e já tendo um historial, dados concretos e experiência passada, começa-se a pensar em partilhar mais eficazmente esta iniciativa.

No IST, o PFD poderá ser aplicado a outros subgrupos da comunidade do IST, tanto a nível de oferecer formação, como de reconhecer os seus elementos que optem por receber esse conhecimento. Esta prática terá mais interesse em subgrupos com funções diferenciadas e/ou de representação (por exemplo, os Coordenadores de curso), de modo a fomentar a passagem de conhecimento, nomeadamente em relação a regulamentos, guias, funcionamento das estruturas do IST. As formações do PFD focam-se em temas como liderança, gestão de tempo, gestão de conflitos, funcionamento do IST, comunicação. O IST poderia ter formações regulares para grupos especiais da sua comunidade, certificando os mesmos para as suas tarefas. Neste sentido, permitiria a passagem de conhecimento e da realidade/tradição do que é o IST, responsabilização dos seus elementos e criação de uma maior união e transparência da comunidade ou dos seus subgrupos. Permitiria também mobilizar e envolver os membros da comunidade nestas funções mais específicas.

Como referido nos pontos anteriores, o PFD capacita os Delegados, influenciando toda a comunidade (não só os estudantes). Se outros programas idênticos forem criados, mais elementos serão envolvidos, havendo influência também para o resto da comunidade, tal como acontece com o PFD.

Pilot courses on “Life Cycle Assessment of Construction”

terça, novembro 8th, 2022

Educação Superior● 2022

Pilot courses on “Life Cycle Assessment of Construction”

ND

 Practice Implementation

The candidate become an expert on the environmental and economic Life Cycle Assessment (LCA) of materials, assemblies and buildings (LCA of Construction) after completing his PhD in this area in 2012. After that, in 2015, there was an increasing interest of the students that the candidate was supervising, and of other MSc and PhD students of the Department of Civil Engineering, Architecture and Georesources (DECivil), in this area of knowledge and research, since it allows the estimation of the impacts and costs of the activities of the construction sector that they need to consider in their theses. However, there was no training offer that could meet this demand. For that reason, the candidate organized in 2016 the 1st pilot course in “LCA of Construction”, with the participation of 6 trainees,

in the classrooms of DECivil. This course, organised and participated in a voluntary basis by the candidate and the trainees, respectively, was mainly taught by the candidate as the responsible Professor, complemented by expert presentations from Eng. Ana Silva and Eng. Vera Durão, the latter being also a trainee of this course. This course had a total of 20 hours of theoretical-practical training. This innovative techno-scientific knowledge was integrated for the first time in a course in Portugal. To answer the continuous demand, and given the success of the 1st edition, two more pilot editions of this course were organised by the candidate:

  • in 2018, with the same duration and with the participation of 14 trainees, also in the classrooms of DECivil. The expert presentations were made by Eng. Vera Durão, Eng. Martha Demertzi (trainee of this course) and Eng. Rawaz Kurda (trainee of the 1st edition);
  • in 2020, with the same duration but totally online, and with the participation of 10 trainees. The expert presentations were made by Eng. Vera Durão and Eng. Rawaz Kurda, the latter live streaming from Iraq.

Results Achieved

The aim of the organisation of the referred pilot courses was to:

  1. train the maximum possible number of students and researchers from DECivil in-terested in this innovative techno-scientific area;
  2. test the syllabus, the structure and the evaluation methods, foreseeing:

2.1.      its integration in the 2nd and 3rd cycles of study of the DECivil offer;

2.2.      and its proposal as an advanced training course organised within FUNDEC/Técnico+.

30 trainees, with different backgrounds and including five non-Portuguese speaking students, participated in the three editions of this pilot course. Regarding objective 1, it was possible to test the knowledge that they acquired via an homework and three practical assignments that were developed by the students in groups of two, or individually, and corrected by the candidate. Moreover, the trainees filled a survey by the end of each edition of the course to express their opinion about the:

  • syllabus, including suggestions for additional topics;
  • organisation, duration and level of detail of the lectures, of each module and of the course;
  • sufficiency of their background to follow the course;
  • support and feedback given by the candidate;
  • learning and teaching documents, including the presentations used in the lectures and the references suggested;
  • duration and difficulty of the autonomous work required to follow and complete the course;
  • difficulty, extension and scope of the practical assignments.

The answers confirmed that the course satisfactorily answered most of the expectations and the learning need of the trainees.

The experience of the candidate on teaching this course, along with the answers to the referred survey, allowed to accomplish objective 2. In fact, from the 1st to the 2nd edition, and from the 2nd to the 3rd one, some changes were made to the syllabus, to the structure and to the evaluation methods, in order to improve the course and following the lessons learned from the previous editions.

Objective 2.1 was accomplished by the integration of modules taught by the candidate, dedicated to “LCA of Construction”, and with:

  • 14 hours, in a new elective course on “Construction Life Cycle” in the new MSc in Civil Engineering at IST from the academic year of 2021/22, in the 2nd quarter of the 2nd year of the Construction’s specialization area;
  • 6 hours, in the course “Advanced Topics in Construction” of the PhD Course in Civil Engineering of DECivil of IST in the 2nd semester of the 2020/21 academic year.

Finally, and to accomplish objective 2.2, the candidate is preparing a proposal of an advanced training course in “LCA of Construction” to be organised within FUNDEC/Técnico+.

These 3 pilot courses were also a major contribution to the creation and development of the research group that the candidate coordinates (PositiveCyclegroup@CERIS), as well as a benefit to teaching innovation and quality.

Evaluation and Monitoring

One of the main contributions of the 30 trainees for these pilot courses corresponded to the opinions and suggestions that they provided in the survey distributed by the candidate, as referred in the previous section. That practice permitted the evaluation of the syllabus, structure and evaluation methods of each pilot course and the identification of potential improvement measures in the following edition. Based on that, and on the experience of the candidate on teaching this course, one of the changes that he decided to implement from the 2nd edition corresponded to a project-based learning approach, side-by-side with other active learning techniques and in line with IST recommendations (conselhopedagogi-co.tecnico.ulisboa.pt/files/sites/32/percist-ce_20maio-1.pdf – In Portuguese), being the lectures directed from the beginning to introduce LCA principles and procedures using a dedicated software that was bought by the research centre of the candidate, after recognising the importance and emergence of this research area. This approach is particularly suitable for an elective course like this one, in which the number of enrolled students is not expected to be very high. This permits a close interaction between the Professor and the students, with a better monitoring of their learning process.

These pilot courses offered therefore the opportunity for continuous improvement and fine-tuning of the course contents, organisation, and grading system, with active participation and recommendations by the students via final surveys. The methods of teaching and evaluation of this course were established in an articulated way in order to fulfil the goals set for this course.

A teaching and learning support document and supporting presentations (379 slides) for the classes were prepared in English by the candidate. He also prepared reference tables and schemes to distribute to the students, and schemes and detailed instructions to support the development of group assignments.

All course materials are already prepared for in person, remote or hybrid (with some students in the classroom and the remaining ones attending via a web-conference platform, e.g., zoom) modes, thus negating any limitations.

Innovative Character and Transferability

The area of this proposal in an emergent training area in which international reference Universities have increasingly created dedicated minors or courses. Moreover, the contents of this course can fulfil the training needs of students from seven MSc, and related PhD programmes, at IST, thus representing an important learning complement for a relevant and representative diversity of IST degrees. Regarding the existing offer of IST in related areas, there is a course on “Industrial Ecology” in the Mechanical and Environmental Engineering MScs, where LCA corresponds only to one out of five modules. Moreover, this course is not focused in the construction sector. In the Integrated MSc in Civil Engineering, there was a course on “Environmental and Sustainability Challenges in Engineering” in the 1st year of the 5-years degree. In line with the title, the content is significantly broad and introductory. In the same degree, there is also an elective course on “Built Environment and Impacts”, for the 5th-year students in the “Hydraulic and Water Resources” branch, but it does not include the LCA-related knowledge or applications.

This innovative techno-scientific knowledge was integrated for the first time in (pilot) courses in Portugal. The priority was to therefore to motivate autonomous working, but with immediate feedback from the candidate regarding the quality and correctness of the individual or group work developed by the students.

The three pilot courses that the candidate organised since 2016 with a similar title, scope and aim revealed the attractiveness of this knowledge area at national but also international level, and the feasibility of implementing a course with the syllabus, schedule and grading proposed. In fact, the first edition of the “Construction Life Cycle” course attracted 61% of Erasmus students.

These pilot courses were innovative not only due to their scope, but also because of the creation of a 10-minute interval in the middle of the 2-hour classes in which the candidate played a song related with the topics of the course in his computer and showed the corresponding lyrics in the screen. This practice fulfilled the expectations of the students, also permitting the simplification of some complex concepts.

The experience from the 3 pilot courses that allowed the accomplishment of the objectives described in this proposal can be replicated in other scientific areas following a similar process.

Observações de Aulas no Técnico

terça, novembro 8th, 2022

Educação Superior ● 2022

Observações de Aulas no Técnico

https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/

 

Implementação da Prática

A docência caracteriza-se por ser uma atividade desafiante e exigente. Neste sentido os Conselhos Pedagógico e Científico do IST, seguindo as melhores práticas internacionais para melhorar a qualidade do ensino e da aprendizagem, iniciaram um Programa de Observação de Aulas associado ao Programa Shaping the Future (PSF – http://shapingthefuture.tecnico.ulisboa.pt/)[1], que “promove a integração e adaptação do corpo docente júnior e dos/as investigadores/as à cultura do IST, através de um Programa de Mentoria e de um conjunto de iniciativas que visam acelerar o desenvolvimento das suas carreiras nas dimensões de liderança científica e académica e o desenvolvimento de competências em áreas científicas e pedagógicas (formação e observação de aulas)”. No decurso da avaliação do Programa Shaping the Future, surgiu a ideia de observar docentes avaliados pelos estudantes como necessitando de melhorar a qualidade das suas aulas[2], ou que sentissem que poderiam beneficiar desta prática de melhoria da qualidade. Atualmente, as observações de aulas no IST decorrem no âmbito do Programa Shaping the Future e do Programa de Acompanhamento de Docentes com Desempenho Pedagógico a Melhorar (DDPaM), havendo também observações de aulas a pedido de docentes, de departamentos, de áreas científicas ou outros.

O Conselho Pedagógico (CP), o Núcleo de Desenvolvimento Académico (NDA) e o Núcleo de Estatística e Prospetiva (NEP) colaboraram na implementação deste sistema de observação de aulas dentro do Técnico (https://nda.tecnico.ulisboa.pt/docentes-e-investigadores/observacao-de-aulas/). O principal objetivo deste projeto consiste na promoção e melhoria das competências pedagógicas dos/as docentes, contribuindo para o seu desenvolvimento profissional, apoiando-se na literatura, uma vez que se tem “verificado uma tendência internacional e nacional para encarar a observação de aulas como um processo de interação profissional, de carácter essencialmente formativo, centrado no desenvolvimento individual e coletivo dos professores e na melhoria da qualidade do ensino e das aprendizagens” (Reis, 2011: 11 )[3].

As observações são realizadas por um ou dois técnicos da equipa do NDA e, por norma, cada docente é observado uma vez por ano letivo. Em algumas situações, a pedido do/a docente ou em casos que requerem um maior acompanhamento, pode ser efetuada uma observação por semestre.  De forma a uniformizar os critérios das observações, a equipa do NDA elaborou uma grelha[4] de observação de aulas presenciais e de aulas remotas, com base na literatura disponível. Este instrumento de observação é disponibilizado previamente aos docentes, para que se possam inteirar dos aspetos que serão considerados, estando igualmente disponível para qualquer docente do IST que assim o deseje.

A organização e calendarização das observações, no âmbito dos Programas PSF e DDPaM, inicia-se com um primeiro contacto feito pelo NDA, no início de cada ano letivo, para informar os/as docentes deste recurso e averiguar a sua disponibilidade. A aula a ser observada é escolhida pelo/a docente, podendo ser uma aula teórica, prática, de laboratório, tutorial de qualquer ciclo e de 1º ou 2º semestre. No caso das observações a pedido, o/a docente toma a iniciativa de contactar a equipa do NDA, demonstrando o seu interesse e disponibilidade para a observação. Por norma, os/as docentes escolhem UCs em que querem melhorar o seu desempenho pedagógico ou onde o feedback dos alunos em anos letivos anteriores tem sido mais crítico.

Após a observação, realiza-se uma reunião entre o/a docente e o(s) membro(s) da equipa do NDA, com o objetivo de refletir conjuntamente sobre a aula observada e transmitir feedback sobre os aspetos positivos e as melhorias a implementar nas aulas futuras ou nas práticas pedagógicas. Este feedback, bem como a grelha de observação preenchida, integram um relatório escrito que é enviado ao/à docente em formato PDF, para referência futura. Podem também ser fornecidos documentos de apoio adicionais, mediante pedido, ou para complementar o feedback dado e podem ser sugeridas formações extra, disponibilizadas pelo Programa de Formação e Desenvolvimento, a fim de apoiar aspetos das atividades de ensino e aprendizagem que necessitem ser melhorados.

Resultados Alcançados

Em 2021 foi realizado um estudo pelo NEP, em que se baseou o artigo apresentado pelo NEP e pelo NDA na CISPEE 2021[5], em que se pretendeu analisar o impacto das observações de aulas no desempenho dos/as docentes do Técnico, no âmbito dos três programas de observação de aulas existentes (PSF, DDPaM e Observações a Pedido), por forma a identificar o reflexo do processo de Observação de Aulas no desempenho pedagógico dos/as docentes ao longo do tempo. Para isso, o Sistema de Garantia da Qualidade das Unidades Curriculares do IST (QUC)[6] revela-se uma ferramenta crucial, uma vez que uma das medidas de análise deste processo é precisamente o desempenho dos/as docentes num semestre, para uma determinada disciplina-tipo de aula. O indicador usado é uma medida calculada com base em dimensões de análise do próprio inquérito aplicado aos estudantes.

Nesta análise, os/as docentes estão identificados como tendo sido observados por um dos três programas distintos, sendo que poderão ocorrer casos excecionais em que a observação a que são sujeitos pode decorrer de mais do que um processo. Foram por isso distinguidos pelos grupos A, B e C (PSF, DDPaM e Observações a Pedido).

O desempenho pedagógico dos/as docentes foi analisado de acordo com a classificação RADIST[7], que é a média aritmética da mediana de respostas às questões dos grupos 6, 7 e 8 relativos ao corpo docente das disciplinas-tipo de aula nos inquéritos aos alunos (QUC), com o objetivo de caracterizar o conjunto de docentes avaliados pelo sistema QUC através do inquérito aos alunos, entre os anos 2010/2011 e 2019/2020, considerando apenas os resultados que têm representatividade.

Assim, e para que o desempenho pedagógico dos/as docentes por ano letivo tivesse apenas um valor anual, considerou-se a média dos vários valores de RADIST ponderada com o número de respostas dadas ao trio disciplina – docente – tipo de aula. À semelhança do que está regulamentado no sistema QUC, adotou-se a categorização (e também coloração) desta medida, que toma valores entre 1 e 9, da seguinte forma:

[1;3]: Resultado Inadequado

]3;5[: Resultado A melhorar

[5;7[: Resultado Regular

[7;8[: Resultado Regular +

[8;9[: Resultado Muito Bom

[9]: Resultado Excelente

No estudo, com foco no universo de mais de 700 docentes avaliados no Técnico anualmente pelo QUC, entre os anos letivos 2010/2011 e 2019/2020, verifica-se que pouco mais de 1/4 são do sexo feminino. A representação por faixa etária identifica claramente um envelhecimento da população docente (onde há 10 anos existiam 11,1% de docentes com mais de 60 anos, em 2019/2020 são já 21,9%), acompanhando o decréscimo de jovens docentes na faixa etária até aos 39 anos (22,8% do total de docentes em 2010/2011, desceu para 8,7% em 2019/20). Existem cerca de 3% de docentes com nacionalidade estrangeira desde 2014/2015. A maioria do corpo docente é composto por Professores Auxiliares (cerca de 25%) ou Associados (cerca de 50%) em todos os anos da análise, revelando uma tendência crescente dos Professores Associados em detrimento do decréscimo dos Professores Auxiliares desde 2012/2013.

Procedeu-se à aplicação de vários testes estatísticos, em busca de uma resposta para diferentes situações que podem existir para responder à mesma questão – por exemplo: “Existem diferenças na classificação RADIST entre os diferentes momentos de avaliação?, em função de ter sido, ou não, sujeito a Observação de Aulas?”, “Existe algum efeito do fator “Observação de Aulas” no desempenho pedagógico dos docentes?”, “Se existir algum efeito, será que o programa/grupo em que os docentes foram observados tem algum impacto nesse efeito?”.

Estas questões podem ser exploradas de várias formas como, por exemplo:

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC com base na classificação RADIST ponderada (medida) em dois, de entre três, momentos distintos (Teste Não Paramétrico de Wilcoxon para 2 amostras dependentes[8]);

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com a Observação, ou não, de Aulas em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes);

– comparar o desempenho pedagógico dos docentes avaliados no âmbito dos QUC entre duas populações distintas, de acordo com o grupo/programa de Observação de Aulas em que os docentes participaram, em dois momentos distintos (Teste Não Paramétrico de Wilcoxon para comparar populações a partir de 2 amostras dependentes).

Com base na classificação RADIST, procedeu-se à organização da informação por cada docente avaliado nos inquéritos aos alunos pelo QUC em cada ano letivo considerado na análise:

Se foi ou não sujeito a Observação de Aula(s) no respetivo ano letivo (independentemente do(s) semestre(s) em que a observação tenha ocorrido);

Do grupo a que pertence (A, B ou C), caso tenha sido sujeito a observação no âmbito de algum dos programas de Observação de Aula(s) em funcionamento;

Da classificação RADIST ponderada (descrita anteriormente) em três momentos distintos:

Antes do ano letivo[9] do registo/avaliação, se existente;

No ano letivo[10] do registo/avaliação, se existente;

Após o ano letivo[11] do registo/avaliação, se existente.

Veja-se a distribuição da classificação RADIST ponderada nos diferentes momentos descritos nos gráficos seguintes (1, 2 e 3):

Gráfico 1: Distribuição do nº de classificações RADIST ponderadas no momento “Antes”, nos anos em análise.

Gráfico 2: Distribuição do nº de classificações RADIST ponderadas no momento ”Atual”, nos anos em análise.

Gráfico 3: Distribuição do nº de classificações RADIST ponderadas no momento “Após”, nos anos em análise.

É possível observar que em qualquer um dos momentos o desempenho pedagógico dos docentes aproxima-se de uma distribuição assimétrica à esquerda, com uma média à volta do valor 7,8 em cada um dos momentos. Apesar de não se aproximar de uma distribuição normal, como as amostras têm uma dimensão muito superior a 30, pode pressupor-se a normalidade dos dados e, assim, proceder à aplicação dos testes estatísticos mencionados.

Pretende-se, com esta análise, observar não só a evolução do desempenho pedagógico dos docentes ao longo do tempo, em três momentos distintos, através da medida de desempenho pedagógico (classificação RADIST ponderada) mas também analisar se o processo de observação de aulas a que os docentes foram sujeitos tem algum impacto no seu desempenho pedagógico.

Relembrando as questões enunciadas no início, realizou-se um teste estatístico não paramétrico de Wilcoxon[12] para comparar o desempenho pedagógico, com base na classificação RADIST ponderada, de um mesmo docente em dois momentos distintos:

  1. No momento Antes e no momento Atual
  2. No momento Atual e no Após
  3. No momento Antes e no momento Após

Com base nos resultados obtidos, é possível concluir que há evidência estatística de que existam diferenças entre o desempenho pedagógico dos docentes ao longo do tempo. Este facto já pôde ser verificado pelas representações gráficas da classificação RADIST ponderada ao longo do tempo, que apresenta uma tendência crescente de docentes com melhor desempenho pedagógico (“muito bom” e “excelente”).

Ao realizar a mesma análise para duas populações distintas: os que foram sujeitos a Observação de Aulas e os que não foram sujeitos a Observação de Aulas (distinguidos por “Observado” ou “Não Observado”), conclui-se que:

“Não Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes ao longo do tempo.

“Observado”: há evidência estatística para afirmar que existem diferenças entre o desempenho pedagógico dos docentes entre o momento Antes e o momento Atual [1]; e entre o momento Antes e o momento Após [2]. Por outro lado, a hipótese de igualdade de medianas da classificação RADIST ponderada no momento atual e no momento Após rejeita-se e, portanto, não há evidência estatística para afirmar que existam diferenças entre o desempenho pedagógico dos docentes entre o momento Atual e o momento Após.

Portanto, se existe uma diferença estatisticamente significativa entre o desempenho pedagógico dos docentes que foram sujeitos a Observação de Aulas em dois dos testes, é interessante perceber em qual dos momentos a mediana da medida de desempenho pedagógico é maior. Observando os valores da mediana na tabela das estatísticas descritivas, que podem ser consultadas em detalhe no artigo subjacente a este estudo, podemos compreender que:

no caso [1] a mediana é superior no momento Atual (8,2) em comparação com o momento Antes (8,13);

E no caso [2] a mediana é superior no momento Após (8,3) em comparação com o momento Atual.

Apesar das evidências, percebe-se que a diferença identificada entre os dois momentos nos dois casos é mínima e, portanto, não é possível extrair uma conclusão forte sobre o efeito da observação de aulas no desempenho dos docentes, uma vez que a tendência tem seguido um caminho de melhoria ao longo dos anos.

Para responder a outra das questões levantadas, realizou-se também o mesmo teste para cada um dos grupos de observação de aulas com um número significativo de docentes, considerando assim somente os Grupos A e B e excluindo o Grupo C da análise. Com este teste pretende-se analisar se dentro do mesmo grupo de observação de aulas existem diferenças entre o desempenho pedagógico dos docentes, esclarecendo melhor se as diferenças identificadas nos testes anteriores, de que existe um efeito da observação de aulas, está de alguma forma relacionado com o grupo/programa.

Com base nos resultados dos testes aplicados para os docentes observados no Grupo A (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes deste grupo nos momentos Antes e Após. Verifica-se que a mediana do momento Antes de ocorrer a observação é de 8,37 e no momento Após a observação ocorrer é de 8,51. Apesar da diferença, trata-se de um grupo com um desempenho pedagógico maioritariamente “muito bom”, com classificação RADIST ponderada acima de 8, e que acompanha também a tendência global dos docentes na melhoria do seu desempenho ao longo dos anos.

Analisando os resultados dos testes aplicados para os docentes observados no Grupo B (detalhados no artigo), observa-se que existe evidência estatística para rejeitar a igualdade da mediana da medida de desempenho pedagógico dos docentes no momento Antes da observação e no momento Atual (no ano da observação). Verifica-se que a mediana no momento Antes de ocorrer a observação é de 6,46 e no momento Atual da observação é de 6,81. Apesar da ligeira diferença, além de ser um grupo com desempenho pedagógico maioritariamente “regular”, com classificação RADIST ponderada entre 5 e 7, também não apresenta um padrão evolutivo de desempenho, talvez por terem sido realizadas menos observações no período de análise e, portanto, ser mais difícil corroborar esta conclusão de melhoria entre estes dois momentos.

Por forma a compreender o comportamento do desempenho pedagógico dos docentes observados, por algum dos grupos de Observação de Aulas (A ou B), em função dos três diferentes momentos, representaram-se graficamente[13] três situações distintas. As situações são as seguintes:

A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s) em função da mesma no momento Antes da observação ter ocorrido, revela uma certa relação linear, principalmente nos casos com valores acima de 7. Isto é, parece que quanto melhor for o desempenho antes da observação de aulas, melhor será o seu desempenho no ano em que a observação ocorra. Já nos casos com valores abaixo de 7, esta tendência não é tão evidente uma vez que os casos estão mais dispersos e tanto podem melhorar ou não o seu desempenho no ano da observação.

Gráfico 4: Distribuição da Classificação RADIST ponderada no momento “Atual” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.

A distribuição da classificação RADIST ponderada dos docentes no momento Atual (ano da Observação de Aula(s)) em função da mesma no momento Após a observação ter ocorrido, revela algo semelhante ao caso anterior, ou seja, uma relação linear entre os dois momentos principalmente nos casos com valores acima de 7.

Os restantes casos mostram-se mais dispersos, existindo alguns que no momento Atual da observação têm valores entre 5,5 e 7 e posteriormente (momento Após observação) têm um desempenho melhor, entre 7 e 8, aproximadamente. Assim como também existem casos com um desempenho melhor (valores acima de 7) no momento Atual da observação e posteriormente baixaram ligeiramente o seu desempenho (valores entre 6 e 7) (Gráfico 5).

Gráfico 5: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Atual” da Observação de Aulas dos Docentes, por Grupo de Observação.

A distribuição da classificação RADIST ponderada dos docentes no momento Após a Observação de aulas(s) em função da mesma no momento Antes da observação ter ocorrido, revela também a relação linear mais direta nos casos com valores superiores a 7 em ambos os momentos. E, tal como se verificou anteriormente, os docentes com classificação RADIST Antes da observação de aulas entre 5 e 7 têm, no momento Após a observação, um desempenho semelhante ou superior (acima de 6, maioritariamente) (Gráfico 6).

Gráfico 6: Distribuição da Classificação RADIST ponderada no momento “Após” em função da Classificação RADIST ponderada no momento “Antes” da Observação de Aulas dos Docentes, por Grupo de Observação.

Avaliação e Monitorização

O processo inerente à prática da observação de aulas é alvo de monitorização e avaliação contínua, quer por parte dos técnicos do NDA que realizam as observações, quer pelos docentes que são observados. Todas as observações são constituídas por três fases que correspondem aos momentos pré, durante e após as observações. Antes de qualquer observação, o docente é contactado e é recolhida informação sobre o tipo de aula a observar, de modo a orientar e preparar o tipo de observação, ajustando-a ao contexto, cabendo ao docente a escolha da aula a observar (dia, hora e tipo de aula). Antes da observação, a grelha de observação é enviada ao docente para seu conhecimento.

Alguns exemplos de atividades observadas que estão incluídas nesta grelha são: começa por resumir brevemente o ponto final da aula anterior; organiza a aula para que a relação entre objetivos e atividades seja clara; fala de forma percetível, com volume suficiente e velocidade apropriada; tem contacto visual com os alunos ao longo da aula; propõe exercícios e/ou atividades práticas para os alunos realizarem, fornecendo instruções claras; analisa e discute com o grupo os desafios e os resultados alcançados; mostra explicitamente entusiasmo pela disciplina da turma; encoraja a participação dos alunos; identifica e reforça positivamente a participação dos alunos; promove atividades que são razoáveis e desafiantes; assegura uma relação equilibrada entre a complexidade/volume de conteúdos transmitidos e o tempo disponível.

Durante a observação são registadas, na grelha, as evidências observadas na aula, nas seguintes áreas: organização da aula; exposição; conteúdo; componente prática e clima na sala de aula. É também feito o registo fundamentado dos aspetos positivos da aula e daqueles que podem ser melhorados. A grelha de observação é um instrumento fundamental nesta atividade, sendo regularmente aperfeiçoada com base em todo o conhecimento empírico recolhido e igualmente na literatura. Depois da observação, é feita uma harmonização da informação recolhida e é combinada uma reunião de feedback com o docente. Nesta reunião, os observadores transmitem ao docente, de forma fundamentada e dialogada, os aspetos positivos, inovadores e a melhorar da aula observada e é feita uma reflexão conjunta sobre a mesma, sendo delineadas estratégias potenciadoras do desenvolvimento das competências pedagógicas do docente. Nesta reunião, há total abertura para os docentes comentarem a intervenção do NDA. O facto de este processo ser estruturado e dividido em momentos padronizados facilita a monitorização e avaliação de todo o processo.

A componente de feedback após a observação das aulas é considerada central para a qualidade da observação, tal como comentada pelos/as docentes observados. Este momento de análise dos dados recolhidos, diálogo e reflexão entre a equipa de observadores e o/a docente tem seis objetivos principais: identificar situações que podem ser melhoradas ou mantidas; descrever os comportamentos dos alunos e dos/as docentes durante a aula; analisar as situações mais desafiantes no contexto da aula; fazer sugestões de melhoria (por exemplo, literatura, formações complementares); encorajar a autoavaliação e partilhar informações e conhecimentos.

No âmbito das observações realizadas a docentes e Investigadores/as Auxiliares existe um conjunto de informações que espelha, de forma mais contundente, a opinião sobre o impacto positivo que as observações têm na sua prática letiva. Estes dados podem ser consultados através do seguinte link: http://shapingthefuture.tecnico.ulisboa.pt/shaping-the-future/balanco-das-5-primeiras-edicoes/.

A documentação desta boa prática, que implicou reflexão sobre todo o processo, assim como todo o trabalho estatístico desenvolvido pelo NEP, foram também dois momentos importantes de avaliação desta atividade que tem vindo a ser realizada desde 2015/2016. É importante referir que, relativamente a um dos programas de observação referidos anteriormente, o NEP foi realizando um trabalho regular de avaliação estatística sobre as observações, predizendo o impacto desta prática na avaliação pelo QUC dos docentes observados.

Carácter Inovador e Transferibilidade

A observação de aulas assume um papel fundamental na promoção da qualidade do ensino, enquanto ferramenta de promoção do desenvolvimento pedagógico de docentes. Embora tradicionalmente, na literatura e no imaginário da docência, a observação de aulas esteja muito ligada à ideia de avaliação de desempenho dos docentes (Reis, 2011), no Técnico esta metodologia apresenta, na grande maioria das situações, um papel construtivo, formativo e de desenvolvimento das competências de docência pois entendemos que se torna “necessário encarar a observação como uma oportunidade para os professores se envolverem, colaborativamente, na reflexão sobre o seu desempenho profissional e na investigação e discussão de estratégias que permitam melhorar a sua prática”(Reis, 2011:9). Neste sentido, esta metodologia de promoção do desenvolvimento pedagógico dos docentes tem sido utilizada para identificar aspetos da prática profissional a melhorar; monitorizar o progresso e o desenvolvimento de competências; proporcionar o contacto e a reflexão sobre as potencialidades e limitações de diferentes abordagens, estratégias, metodologias e atividades usadas em contexto de sala de aula; ou desenvolver e alargar horizontes das diferentes dimensões do conhecimento pedagógico dos/as docentes.

Aliada a esta metodologia existe uma componente de feedback após a observação das aulas. Qualquer processo de desenvolvimento, quer pessoal ou profissional, beneficia de uma vertente reflexiva. Este momento de análise dos dados recolhidos, diálogo e reflexão entre os técnicos que fazem a observação e o docente observado tem como  principais objetivos: a identificação de situações que podem ser melhoradas ou mantidas, a descrição de comportamentos, a análise de situações mais desafiantes em contexto de sala de aula, a apresentação de sugestões, o incentivo à autoavaliação e a partilha de informações e conhecimentos. Toda esta informação é consolidada num relatório escrito, harmonizado em equipa, após a reunião de feedback, e enviado a cada docente. Os/as docentes observados/as referem frequentemente a utilidade destes relatórios na sua prática, parecendo sobretudo impressionados positivamente pela identificação de tudo o que faziam bem, ou muito bem.

As observações permitem à equipa do NDA adquirir conhecimento e disseminar boas práticas na Escola. Quer sejam boas práticas observadas em contexto de aula, quer revistas na literatura e que, por vezes, alguns docentes podem desconhecer. Neste sentido, este é um dos motivos pelos quais esta é uma prática que beneficia e enriquece pedagogicamente a Escola, para além de cada docente que se observa. A melhoria da qualidade pedagógica das aulas dadas por docentes, após observação, também se traduz numa mais-valia para a Escola, uma vez que tanto os estudantes como os docentes se sentem mais envolvidos no processo de ensino e aprendizagem. Adicionalmente, temos indicadores de que, espontaneamente, os feedbacks destas observações são partilhados entre pares, disseminando-se também desta forma as boas práticas, e também a informação relativa a práticas a evitar.

Paralelamente aos programas de observação referidos, será de destacar o trabalho que tem vindo a ser desenvolvido no projeto Observar e Aprender. Este projeto tem por base um modelo de observação entre pares e visa estimular a atividade de docência no Ensino Superior. Esta é uma outra vertente das potencialidades da observação em contexto de sala de aula, estando devidamente documentada e analisada numa outra boa prática, anteriormente submetida no ObservIST[14].

De acordo com o artigo sobre o impacto das Observações de aulas no IST  é possível concluir que existe evidência estatística, ainda que modesta, para afirmar que há diferenças entre o desempenho pedagógico dos docentes ao longo dos anos, nomeadamente com ênfase em momentos após a observação de aulas ter ocorrido, reforçando o facto que o momento após poderá ser num ano imediatamente seguinte ou dois a mais anos posteriores, dependendo da ocorrência de avaliação do docente no âmbito do QUC. Mais particularmente, esta diferença revela, tal como observado nos gráficos de evolução de desempenho pedagógico, que no momento após a observação de aulas o desempenho pedagógico é melhor, ou seja, toma um valor da medida de desempenho superior ao anterior (ano ou anos antes antes), mesmo que esta diferença seja residual. Este estudo revelou a importância da monitorização e acompanhamento do desempenho pedagógico dos docentes por mais anos (ainda que, extraordinariamente, uma única observação/ano já tenha um efeito mensurável), assim como a relevância de se fazerem mais observações de aulas para perceber se este é de facto um fator que influencia positivamente  o domínio de novas competências pedagógicas no corpo docente do Técnico.

 

Referências

David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211 Acesso em: 10/03/2022.

Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf, Acesso em: 10/03/2022.

NOTAS

[1] O Programa Shaping the Future  foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2017, na área do Capital Humano  (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)

[2] O Sistema de garantia da Qualidade das Unidades Curriculares do IST – https://quc.tecnico.ulisboa.pt/ foi reconhecido com o Prémio de Boas Práticas do ObservIST, em 2016, na área do Ensino Superior (https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf)

[3] Reis, P., “Observação de aulas e avaliação do desempenho docente,” in Cadernos do Conselho Científico para a Avaliação de Professores, Vol. 2, Junho 2011. https://repositorio.ul.pt/bitstream/10451/4708/1/Observacao-de-aulas-e-avaliacao-do-desempenho-docente.pdf

[4] A grelha pode ser consultada através do seguinte link: https://nda.tecnico.ulisboa.pt/files/sites/40/nova-grelha.pdf

[5] F. David, L. Moura, P. Simões, G. Moura, M. Graça and I. Gonçalves, “Observing Classes at Técnico (2010-2019): Do observations impact on the quality of teaching?,” 2021 4th International Conference of the Portuguese Society for Engineering Education (CISPEE), 2021, pp. 1-10, doi: 10.1109/CISPEE47794.2021.9507211.

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9507211

[6]  https://quc.tecnico.ulisboa.pt/

[7] A classificação RADIST considerada na análise trata-se de uma média ponderada das várias avaliações do/a docente por ano letivo. No seu formato original o valor é obtido por semestre de cada ano letivo. Continua a ser um valor que varia numa escala entre 1 e 9, inclusive.

[8] As amostras consideradas – classificação RADIST em distintos momentos – são dependentes entre si porque se considera o mesmo sujeito (docente) mas em três momentos distintos. A comparação das amostras será feita de duas a duas.

[9] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo imediatamente antes ou, caso não exista, ao último ano antes em que tenha tido alguma classificação decorrente da avaliação pelos QUC. Note-se que para os registos de 2010/11 não existe informação nesta variável.

[10] Esta variável considera o momento “zero” (atual) da análise.

[11] A classificação RADIST ponderada desta variável corresponde ao valor no ano letivo seguinte ou, caso não exista, à classificação decorrente da avaliação pelos QUC após aquele ano letivo. Note-se que para os registos de 2019/2020 não existe informação nesta variável.

[12] O teste não paramétrico de Wilcoxon para amostras dependentes utiliza a mediana para calcular a diferença entre duas medidas e, assim, testar se existe ou não diferença. (Capítulo 7 – Testes Não Paramétricos, em Marôco, J. (2007))

[13] Note-se que as linhas verticais e horizontais, com cor verde, representam os limites mínimos da classificação RADIST dos grupos designados por “Regular” e “Regular+” (todos os detalhes metodológicos podem ser consultados no artigo).

[14] https://observist.tecnico.ulisboa.pt/files/sites/64/observar-e-aprender-observist_final.pdf O Projeto Observar e Aprender  foi reconhecido com o prémio de Boas Práticas do ObservIST, em 2018, na área do Ensino Superior  https://observist.tecnico.ulisboa.pt/files/sites/64/20190502portofolio20152018_vg.pdf

 

 

 

Clube de Estudantes do Técnico sobre Saúde Mental e Inclusão

terça, novembro 8th, 2022

Promoção da saúde mental e inclusão na comunidade académica do Técnico● 2022

Clube de Estudantes do Técnico sobre Saúde Mental e Inclusão

http://mentalhealthclub.tecnico.ulisboa.pt/

Implementação da Prática

O “Clube de Estudantes do Técnico sobre Saúde Mental e Inclusão” foi criado em 2020 como uma resposta à preocupação acerca deste assunto transmitida por elementos da comunidade académica do Técnico ao Núcleo de Desenvolvimento Académico (NDA). Assim sendo, o Clube nasceu como um ponto de encontro de caráter transversal para a promoção da saúde mental e inclusão no Técnico, através da organização de atividades de sensibilização e apoio ao estudante.

De entre as atividades desenvolvidas, destaca-se o projeto “BrainStorms”, iniciado durante a fase inicial da pandemia COVID-19 em co-promoção com elementos do NDA. Este projeto consiste num ciclo de conversas informais via Zoom (18 até à data), onde se abordam questões a nível de saúde mental e inclusão, que se percecionam problemáticas no seio da comunidade do Técnico (e.g., igualdade de género, sentimento de pertença, aulas a distância, gestão das emoções em tempos de pandemia). As sessões contam com oradores convidados com experiência nas várias questões abordadas e são transmitidas através do canal de Youtube do Clube. Neste contexto, é de notar a parceria estabelecida com o programa FAIL! (MIT (EUA); 2017), focado na gestão positiva do fracasso em ambientes académicos e profissionais.

Para além disto, o Clube promoveu a implementação de um programa de mentorado para estudantes de PhD junto com o NAPE, o Clube de Estudantes de Doutoramento e a Área de Pós-Graduação, e tem colaborado com diversos grupos da esfera Técnico tais como o QueerIST, o Grupo de trabalho para estudantes com necessidades educativas especiais do Técnico, Women in Physics (WIP), a AEIST ou o Núcleo de Estudantes Africanos do IST na organização de palestras. Mais recentemente, o Clube está ainda a promover um ciclo de sensibilização acerca de comportamentos aditivos (substâncias, jogo, FOMO, sexo; Março-Abril 2022) e sessões periódicas de partilha e meditação guiada.

Resultados Alcançados

O objetivo do Clube tem sido o desenvolvimento de iniciativas focadas na melhoria da qualidade de vida cognitiva e/ou emocional e promoção de uma melhor saúde mental na comunidade do Técnico. Embora a organização e formato das atividades a desenvolver se viu afetada pela pandemia, foi possível desenvolver um número significativo de iniciativas via Zoom.

Assim, o impacto positivo da constituição do Clube na comunidade Técnico viu-se materializado através do desenvolvimento das atividades que se seguem:

– Abordagem de 18 assuntos relacionados com a saúde mental, resiliência, adaptabilidade ou pertença ao Técnico, entre outros, através das sessões do projeto “BrainStorms”, disponíveis no canal de Youtube do Clube (https://www.youtube.com/channel/UCdYHtc0et6xXe3ZH88zhZtQ). Entre elas, destacam-se as sessões de “Estes tempos não são para fracos” com Ana Moniz; “Sanidade mental e ensino à distância: Missão impossível?” com Teresa Espassandim; “Desconfinar, mas devagar: Resiliência, Qualidade de Vida e Saúde Mental” com Catarina Rivero, “Comunicar com Inclusão” com Yolanda Tati e Joana Lobo Antunes, “Técnico no feminino – Mulheres na Engenharia” com Isabel Ribeiro, “LGBTQ? E há +? Identidade e Saúde Mental” com Delso Batista ou “Sou uma fraude!? – Lidar com a Síndrome do Impostor” com Andreia Santos.

– Colaboração com o programa FAIL! (https://fail-sharing.org), criado no MIT (EUA) em 2017, e cujo foco é promover a desestigmatização do fracasso em ambientes académicos e profissionais e na sociedade em geral. Foram organizadas três sessões no contexto das “Brainstorms” com Arlindo Oliveira, Zita Martins e Miguel Duarte como oradores convidados;

– Implementação do programa de mentorado para estudantes de PhD em colaboração com o NAPE, o Clube de Estudantes de Doutoramento e a Área de Pós-Graduação;

– Realização de atividades conjuntas com outros núcleos/grupos da comunidade do Técnico tais como o QueerIST, Grupo de trabalho para estudantes com necessidades educativas especiais do Técnico, Women in Physics (WIP) ou Núcleo de Estudantes Africanos do IST;

– Estabelecimento de uma parceria com a AEIST que visa desenvolver atividades focalizadas na saúde mental (e.g., ciclo de partilha, sessões de meditação guiada).

Avaliação e Monitorização

O Clube está atualmente formado por estudantes de licenciatura, mestrado e doutoramento assim como alumni e/ou investigadoras/es do Técnico, com formação em diversas áreas (e.g., informática, física, engenharia civil, engenharia mecânica, engenharia química). As/os voluntárias/os são responsáveis pela organização das atividades em termos de: (i) conceptualização; (ii) contacto com potenciais parceiras/os e/ou especialistas nos assuntos a abordar; (iii) calendarização e definição do formato (on-line, híbrido ou presencial); (iv) elaboração da estratégia de comunicação e divulgação da atividade nas redes do Clube e site do Técnico; (v) realização efetiva da atividade (criação de links, moderação); (vi) avaliação do impacto quantitativo da atividade (engajamento por parte da comunidade, número de participantes, respostas ao formulário posterior às sessões); e (vii) avaliação do impacto qualitativo (discussão entre os membros do grupo acerca dos principais pontos positivos e identificação de estratégias a melhorar no futuro).

Neste contexto, os principais impactos positivos do Clube têm sido confirmados através dos seguintes pontos:

– Número de seguidores nas redes sociais do Clube: Instagram (539; https://www.instagram.com/saudementalist/), Facebook (177; https://www.facebook.com/Student-Club-on-Mental-Health-and-Inclusion-IST-101432234814705/), Twitter (87; https://twitter.com/SaudeMentalIST) e LinkedIn (14; https://www.linkedin.com/groups/12474728/);

– Número de subscritores no canal de YouTube do clube (227; https://www.youtube.com/channel/UCdYHtc0et6xXe3ZH88zhZtQ) e número de visualizações das sessões do “BrainStorms” (>3775);

– Estabelecimento de parcerias materializadas na realização (passada e futura) conjunta de atividades/programas com mais do que 10 núcleos/grupos/associações da esfera Técnico (e.g., NDA, NAPE, CommUnity by EIT InnoEnergy, Clube de Estudantes de Doutoramento, Área de Pós-Graduação, Núcleo de Estudantes Africanos, Núcleo de Estudantes de Engenharia do Ambiente, Núcleo de Minas, WIP, AEIST, QueerIST).

Carácter Inovador e Transferibilidade

A vida académica consegue traduzir-se numa fase de alto peso emocional, de alta pressão social e pressão adicional autoimposta. Neste sentido, iniciativas que se proponham a promover a manutenção da nossa saúde mental e a desmistificar distúrbios psicológicos são muito importantes e essenciais no ambiente académico do Técnico. Sabe-se também que o isolamento constitui uma agravante para os problemas associados à saúde mental que é necessário mitigar. Assim, através da formação do Clube, tem sido possível chegar mais facilmente aos vários elementos da comunidade académica e incentivar reflexões que melhorem o bem-estar individual e coletivo. Para além disto, até à data, não existia nenhuma organização de estudantes dedicada especificamente às questões associadas à saúde mental e à forma como esta se associa com a noção de inclusão. Para além do impacto na comunidade do Técnico, a criação do Clube vem a manifestar-se como uma estratégia com potencial para ser replicada em outras instituições de ensino superior. De facto, atividades como o projeto “Brainstorms” ou o programa de mentorado para estudantes de PhD, tipicamente vindos de fora do Técnico e sem uma rede de apoio e suporte suficientemente abrangente, têm potencial para serem reproduzidos em outras instituições de ensino superior.

Supervision of master theses based on Scrum

terça, outubro 12th, 2021

Educação Superior ● 2021

Miguel Mira da Silva

https://link.springer.com/article/10.1007/s10639-021-10433-2

Implementação da Prática

The success rate of a master program on Information Systems and Computer Engineering (MEIC) in a Portuguese university is very unsatisfactory. However, the success rate of a group of students that were supervised based on the Scrum framework was much higher.

In this study we assessed the current situation and identified the benefits of using Scrum to supervise master’s theses. The evidence suggests that this approach increases the number of students successfully completing their theses.

This proposal discusses the issues at stake and summarizes a qualitative study with focus on the actual practices and benefits reported by students in the master program. We found that some techniques in the Scrum framework can address existing problems in the development of master theses with very positive results

Resultados Alcançados

The success rates of students who were supervised based on Scrum was very high compared to the global rates presented in the studies published by NEP. For example, in the 2012/2013 academic year, only 30% of the students enrolled in the Alameda campus and 32% of those enrolled in the Taguspark campus were successful in their master theses. Those numbers improved in the following years, but until 2016/2017 they never exceeded 55% in both campuses. However, the students supervised based on Scrum had 80% to 100% success rates in those academic years.

Our findings are in line with the results obtained by Mariz et al. (2010), showing a

positive correlation of the methods used in the success of a software development

project to the success of an academic thesis project, whenever the Scrum framework is used. With frequent meetings and a high commitment to the tasks discussed in the planning phase, the agile methodology becomes a relevant factor in the successful development of a master thesis.

The most significant benefits of adopting agile methods are knowledge, learning, feedback, and confidence Solinski and Petersen (2016). We can map these benefits to the evidence given by students, specifically during the review phase and the exchange of experiences in group meetings.

The practices we identified are: iteration, planning, meeting, iteration review and retrospective, face-to-face communication, small self-organizing cross-functional teams, frequent planning/reporting, and prioritized list of requirements.

However, in what concerns the practice of small self organizing teams, and considering that a thesis is rather individual, the key stakeholders are the student and the supervisor, and therefore we cannot map this practice to theses.

Concerning the prioritized list of requirements, we also cannot map this practice to

our results, since participants only developed a backlog of tasks they planned to implement in a Sprint, or tasks that had not yet been allocated to a Sprint.

Sprints and meetings between the stakeholders foster communication Rover et al. (2014). The benefits originating from these practices are teamwork, product quality, customer focus and iterative development. Benefits such as teamwork were not referred to by students since the thesis is associated with a student.

Regarding the iterative development, Rover et al. (2014) state that ‘bi-weekly meetings kept students accountable and motivated them to spread work throughout the semester’, which was also reported by the participants in our study as a positive factor towards delivering the master’s thesis within the stipulated time.

Begel and Nagappan (2007) highlight the top benefits of agile methods in order to

form a ranking of common benefits. The top three benefits perceived by participants

were: improved communication, quick releases and fast response to change (flexibility of design).

Avaliação e Monitorização

This study highlighted the value of several Scrum events in the development of academic theses: Sprint Planning meeting, Sprint Review meeting, frequent work deliveries, feedback and collaboration. Moreover, regarding the insufficient knowledge transmission, participants pointed that having group meetings was an opportunity to follow-up on the work of other students, learn with their ideas and developments, and learn from their mistakes.

However, Scrum has specific roles, such as Product Owner, Scrum Master and Team Member, which have specific responsibilities that are not appropriate for an academic context such as thesis development. So, to answer our preliminary question: is the Scrum project management framework applicable to supervising theses?

To a certain extent, yes. In what concerns our main research objective, we found that the adoption of Scrum and many of its methods can positively influence the success of a master thesis development process, thus overcoming the issues previously stated by students who were not satisfied with the supervision. In essence, the adoption of Scrum may be a way to foster communication and organization between students and supervisors, generating positive feedback, and improving the work in progress.

Looking back, considering that we could not find any previous study on the subject of Scrum applied to the supervision of theses, our research had to examine the experiences and use of the Scrum framework by a small group of students in a specific institution, spanning a few years. Based on qualitative data gathered through interviews we were able to find out which practices of Scrum and agile were more appropriate, and which benefits were generated by them. We also compared our results with the work of other researchers in somehow different contexts.

However, a more systematic and in-depth analysis of the implementation of Scrum in the academic context is needed, considering the subjective experiences of participants, but advancing beyond an exploratory research endeavor.

Carácter Inovador e Transferibilidade

We investigated the advantages of using the Scrum framework for supervising master theses. More specifically, we identified which parts of the Scrum framework may benefit the supervision of master theses, based on qualitative data collected in a specific program.

Scrum methods have been used with success in the industrial development of computer software, but not so much in the educational area. However, there is potential for using Scrum to help students to learn more effectively and develop themselves in an enjoyable way. Scrum as a framework is able to specify roles, artefacts and events that give both the student and the teacher the structure which is normally missing within project-based learning.

We think that Scrum may be used as an engaging and self-organizing way to work collaboratively and dynamically, and this may improve mutual collaboration and reflection among students and professors. Experiences of students during project-based learning are described by Dinis Carvalho et al. (2018) which showed that students recognized the advantages of the Scrum methodology and scored above average compared to students using regular teaching approaches.

Since the 2012/2013 academic year, studies and inquiries have been performed by the Statistics and Prospective Unit (NEP) to determine the reasons for the existence of very unsatisfactory completion rates and long (than stipulated) completion times. In the MEIC case, the students who rated their orientation as unsatisfactory pointed out as main reasons: lack of commitment and limited time of the supervision team to monitor the work, insufficient knowledge transmission ability, and lack of support for experimental and field work.

We developed a case study focusing on the perceptions and results related to the Scrum project management method for supervising theses. A group of master students, crossing a few years, was supervised based on the Scrum framework. The main goal was to collect their opinions, experiences and results regarding the application of the methods. We used semi-structured interviews that were analyzed with NVivo to understand which Scrum techniques were more effective, and if these practices were related to the success of each thesis project.

Since Scrum is a generic project management framework and a master thesis is just a type of project, this good practice can be applied to the supervision of any master thesis in Técnico.

EscapulISTe? Escape Rooms com estudantes da LEIC

segunda, setembro 28th, 2020

Educação Superior 2020

Luísa Coheur (docente DEI), Ana Moura Santos (docente DM), Sofia Sá (docente DEI), Luís Costa (docente DEI)

Implementação da Boa Prática

Escape Rooms são jogos em que equipas são “fechadas” numa sala e têm tempo limitado para resolver desafios, que lhes fornecem chaves para “escapar”. Embora desenvolvidos para efeitos comerciais, devido às suas características – possibilidade de adaptar os temas, trabalho em equipa e competitividade saudável – têm vindo a ser aplicados no ensino como metodologia ativa.

A prática descrita nesta proposta consistiu na conceção, implementação e validação de dois Escape Rooms para alunos do 1º ano de LEIC-T. Os desafios basearam-se em conteúdos estruturantes do 1º ano da LEIC – Lógica para Programação (LP) e Álgebra Linear (AL).

Para o efeito transformámos uma sala de aula, no campus Taguspark, no quarto da Anita – uma estudante de Informática que adora criar escape games. A narrativa dos Escape Rooms foi diferente – em LP (2ºS, 2018/2019), o objetivo era escapar para chegar a tempo a um exame; em AL (1ºS, 2019/2020) era salvar a Anita, fechada num armário.

Os elementos foram integrados num conjunto coerente para promover uma experiência imersiva. O quarto foi preparado de acordo com a narrativa, com objetos e decorações que criaram um enredo plausível. A escola disponibilizou-nos a sala e móveis (mesas, armário, cadeiras e um computador antigo) e, com o apoio de um patrocinador, incluiu-se uma cama. A Anita era fã de futebol e do Harry Potter – características que foram refletidas em posters, fotos e livros colocados no quarto. Foi também preciso adquirir cadeados e outros materiais extra. No caso de AL, os estudantes inscreveram-se utilizando um software desenvolvido por um bolseiro. A bolsa e as aquisições extra foram financiadas no âmbito de um projeto PIP.

A implementação contemplou as seguintes atividades: criação do cenário, narrativa e desafios; realização de testes; organização das ações a serem rigorosamente seguidas na reorganização da sala após as sessões e criação de formulários para os estudantes – um inicial de confidencialidade e um final de feedback.

Resultados Alcançados

O jogo EscapulISTe? foi primeiro implementado em LP (2º semestre 2018/2019) e, enquanto piloto, teve como principal objetivo testar os procedimentos da implementação de Escape rooms.  Nesta experiência participaram 33 estudantes (7 equipas de 3 a 6 elementos) e, após a realização de uma avaliação informal, a opinião geral dos estudantes foi que representam uma forma engraçada de praticar os diferentes tópicos da UC.

No primeiro semestre de 2019/2020, o EscapulISTe? foi então integrado como uma parte da avaliação de AL. Foram constituídas 16 equipas de 4 a 5 alunos (num total de 79 alunos do 1º ano de LEIC). Também desta vez, e após realização do questionário de avaliação, os resultados mostraram que os estudantes consideram este tipo de experiência muito válida, além de divertida, tendo sugerido a implementação de dinâmicas semelhantes em outros tópicos.

A implementação do Escape room em AL surgiu, também, como fonte de motivação e preparação para o 2º teste escrito (a meio do semestre, altura em que normalmente os estudantes ficam desmotivados). Os resultados da Unidade Curricular demonstraram que os estudantes tiveram um desempenho melhor que nos semestres de anos anteriores.

Com base nas respostas ao questionário final, é possível concluir que os estudantes reconhecem que estas atividades incentivam o trabalho de equipa e a confiança nos seus conhecimentos sobre os conteúdos testados. Os alunos de LEIC de 1º ano matriculados em AL tiveram um ótimo desempenho nas provas escritas do presente semestre: a percentagem de taxa de sucesso académico aumentou 5% quando comparado a primeiros semestres de anos anteriores (com o mesmo par docente e estratégia flipped classroom). Além disso, nas respostas à pergunta de um questionário final sobre a UC: “A atividade EscapulISTe? foi um momento importante na tua aprendizagem?” 84,9% dos inquiridos (num total de 59 respostas) indicaram que essa atividade tinha sido importante para a sua aprendizagem. No formulário existia uma área de comentários que nos proporcionou informação adicional, como é exemplo o seguinte comentário “esse tipo de atividade deve ser repetido com mais frequência, pois estimula o estudo do assunto, promove a cooperação e tudo de uma maneira divertida”.

Pode concluir-se que a implementação de Escape Rooms promoveu aprendizagens ativas dos conteúdos das UC, enquanto proporcionou momentos de diversão. Além disso, os estudantes reconhecem nas suas respostas e feedbacks que este tipo de atividade promove o trabalho em equipa e fortalece o poder da comunicação entre eles, dando igualmente espaço para um ganho de confiança nos seus conhecimentos sobre os tópicos. A equipa está, igualmente, a desenvolver um artigo onde estes resultados serão apresentados com mais detalhe.

Avaliação e Monitorização

No caso de LP, os alunos foram solicitados a fornecer feedback preenchendo um formulário do Google para o qual se obtiveram 24 respostas. Nesta recolha recebemos diversos comentários positivos, como são exemplos os seguintes: “Foi muito engraçado! […] rever a matéria […] bastante criativo!”; “Foi uma experiência muito boa […] forma apelativa de aplicar os conhecimentos adquiridos nas aulas teóricas”; “Foi uma boa experiência. […] revisão a muitos tópicos […] acabou por ser outra forma de estudo, mais divertida e também diferente”; “Brutal !!!!!”; “nunca tinha estado numa sala de fuga e gostei imenso”.

No caso de AL, foi distribuído um questionário via Fenix com o intuito de identificar a relevância do Escape Room como ferramenta de aprendizagem. O instrumento integrou três dimensões: 1) motivação para se inscrever na atividade; 2) perceção sobre o EscapulISTe?; 3) sugestões gerais para atividades semelhantes. Dos 79 alunos que realizaram o EscapulISTe?, foram recolhidas 66 respostas, 63 respostas de alunos que participaram e 3 de alunos que não participaram.  Embora só 26% dos estudantes se tenha identificado como fã de Escape Games, 38% das respostas selecionadas indicaram que uma das motivações para a sua participação foi considerarem que podia ser uma oportunidade divertida para aprender, 37% das respostas indicaram que os estudantes encontraram valor nas interações em grupo, e 43% reconheceram um aumento no nível de confiança nos seus conhecimentos após a experiência. Além disso, após cada sessão, os estudantes deram feedbacks muito positivos e deixaram comentários no questionário final como: “considerei a atividade do escape room interessante, por usar a matéria de forma divertida e interativa. Na minha opinião deveria haver mais atividades deste género”; “adorei a ideia do Escape room :)”; “acho que as ideias “fora da caixa” como o Escape room são bastante aceites pela comunidade estudantil e é o caminho para uma aprendizagem mais atrativa”.

Para finalizar, consideramos que foi uma experiência interessante que gostaríamos de repetir nas nossas UC, alargar em experiências similares com estudantes de outros cursos, ou até estender a experiência a tópicos de 2º ciclo.

Carácter Inovador e Transferibilidade

Apesar de existirem experiências de Escape Rooms no panorama universitário internacional, tanto quanto sabemos é a primeira implementação numa Universidade Portuguesa. Para além de ser uma metodologia ativa, alinhada com o panorama pedagógico futuro definido pelo IST, os Escape rooms são experiências imersivas, potenciadoras de novas aprendizagens, consolidação de conteúdos e desenvolvimento de competências comunicacionais e de trabalho eficaz em equipa. Transferem a aprendizagem para um espaço exterior à tradicional sala de aula e baseiam-se na autonomia e colaboração dos estudantes representando, assim, atividades inovadoras, adaptadas ao contexto do ensino da engenharia.

A literatura defende a ideia de que a preparação envolvida é complexa, constituindo assim uma desvantagem potencial para a sua implementação. No nosso caso, a experiência foi contrária e discordamos desta afirmação. Os desafios maiores foram a compatibilização da narrativa com os desafios específicos de cada UC e a construção de chaves numéricas. Em cada um dos casos, definimos o fluxo de cinco desafios, determinando, por exemplo, que o primeiro abrisse o armário X (por exemplo, com 3 dígitos) que permitiria aos alunos o acesso ao desafio 2, etc. A integração em áreas não numéricas pode representar um desafio adicional – mesmo em disciplinas STEM, pode ser difícil adaptar o tipo de exercícios que conduzam a resultados numéricos, sendo mais fácil ter outputs que sejam palavras. No entanto, adotando uma abordagem criativa, as palavras podem-se tornar números e existem outras maneiras de desbloquear “cadeados” que podem ser exploradas. Desta forma, a nossa experiência é facilmente transponível à maioria – senão totalidade – das UC do IST.

Além disso, também encontrámos uma maneira fácil de dar instruções aos alunos, que lhes permitiu seguirem autonomamente as pistas durante o tempo em que estavam no quarto da Anita. Em relação ao orçamento, em ambos os casos, tratou-se de quantias não muito elevadas. Se excluirmos a bolsa do sistema de inscrições implementado em AL, a experiência em LP foi organizada com menos de 15 euros. Na nossa opinião, a única desvantagem neste tipo de experiência é a disponibilidade de tempo. A preparação da narrativa, do cenário e a implementação de testes é morosa, sem dúvida.

No entanto, a parte mais exigente é a disponibilidade para estar presente na abertura, reorganização e fecho da sala em cada sessão, sendo um aspeto a ter em conta na escolha da sua implementação.

 

Design e Produção dos cursos MOOC Técnico

segunda, setembro 28th, 2020

Educação Superior e Internacionalização● 2020

Selecionada “Boa Prática do Ano”

Ana Moura Santos (docente DM), Duarte Fleming, Miguel Garcia Martinho e Patrícia Guerreiro (DASI)

Implementação da Boa Prática

Os 13 cursos online produzidos até o momento são desenvolvidos por meio de uma colaboração multidisciplinar entre os professores do IST (e/ou colaboradores externos) e a equipa MOOC Técnico. Tutores, instructional designer (1) e designers gráficos (2) começam a conceber e projetar o conteúdo STEAM de acordo com o modelo pedagógico do projeto. Este modelo pressupõe cursos MOOC disponíveis para três diferentes níveis de ensino ou públicos diferentes. Cursos bridging sobre ciências e tecnologias básicas para o secundário; cursos de graduação sobre tópicos baseados em UC do 1º e 2º ciclos dirigidos a alunos IST e alunos STEAM internacionais; cursos extracurriculares sobre tópicos transversais para um público mais alargado (nacional e internacional). Os conteúdos vídeo são gravados em português (cursos bridging, 1º ciclo e transversais) ou em inglês (cursos 2º ciclo e transversais), mas incluem transcrições e textos noutros idiomas. Cada curso MOOC Técnico tem uma duração planeada de 4 a 5 semanas, correspondendo a uma carga de trabalho de 5 a 8 horas por semana. As soluções multimédia para os conteúdos, principalmente vídeos educativos de curta e média duração, são elaboradas pela equipa para torná-las claras, visualmente estimulantes e adaptadas ao online, onde serão disponibilizadas. Os cursos do MOOC Técnico permitem diferentes formas de avaliação: testes, revisão por pares e avaliação formativa, que permitem que um participante inscrito obtenha um certificado gratuito ao ter êxito em pelo menos 60% das atividades de avaliação. O processo de criação de um curso do MOOC Técnico começa com uma proposta da equipa de professores/tutores e inicializa-se com várias reuniões de kick off com a equipa. Após a validação científica dos SB pelos tutores, o material criativo é gravado no estúdio do IST e editado pelo técnico audio-vídeo (1). Paralelamente a este trabalho colaborativo, o corpo docente estrutura o conteúdo do curso na plataforma MOOC Técnico.

Resultados Alcançados

Objetivos dos cursos MOOC Técnico:

Como se pode perceber a partir do modelo pedagógico, os cursos MOOC Técnico têm como objetivo servir diferentes públicos: alunos e professores do secundário, alunos do 1º e 2º ciclos, tanto IST como alunos internacionais, e um público alargado, tanto nacional como internacional, que necessita de reciclar conhecimentos na área STEAM. Existe uma forte representatividade da comunidade Alumni nestes cursos. Relativamente aos conteúdos e à sua disponibilização online, os critérios principais são a relevância científica, tecnológica e pedagógica dos tópicos abordados, aliadas a conteúdos multimédia atraentes e apelativos em formato MOOC. Com estes objetivos em vista, estamos a conseguir projetar uma imagem do IST tanto a nível nacional, como internacional. O MOOC Técnico tem atualmente participação ativa em 2 projetos europeus financiados (World Pendulum Alliance 2019, FOSTOW 2019), e constituiu parcerias em mais 3 propostas 2020.

Re-edições melhoradas dos cursos MOOC Técnico:

Os vários cursos produzidos correram já em várias edições, totalizando 37 edições de cursos MOOC Técnico com uma participação de mais de 10000 inscritos. Em geral, uma edição decorre num intervalo de tempo limitado, entre 4 a 10 semanas, mas desde 2019 que se lançaram 2 edições self-paced (o MOOC sobre Matrizes de Markov, e o MOOC sobre Energy Services) que é um modelo de curso sem limite de tempo de inscrição, que poderá trazer ainda mais visibilidade ao projeto. Após cada edição de um curso MOOC faz-se uma reunião de balanço entre tutores e equipa donde sai um plano de melhoramento para a edição seguinte.

Resultados alcançados:

Os principais resultados até ao momento são, além da qualidade dos conteúdos e da sua apresentação (reconhecida em feedbacks expontâneos dos participantes dos cursos), a diversidade dos tópicos dos MOOC (ver lista), o reconhecimento por parte do corpo docente do IST da relevância dos cursos para as suas áreas de expertise (depois de um primeiro MOOC, voltam para fazer um segundo), 12 implementações de flipped-classroom com base nos MOOC, e finalmente a percentagem de 36% de participantes MOOC que são externos ao universo IST (i.e., não são atuais alunos IST, nem Alumni, nem funcionários) e vêm de 89 países. Finalmente, os cursos MOOC Técnico têm uma taxa de retenção superior a 30%, que comparada com a taxa de 7,7% dos cursos MOOC do edX é bastante superior.

Número de cursos MOOC por área:

Física: 3 MOOC produzidos e 3 MOOC em preparação; Matemática: 3 MOOC produzidos e 1 MOOC proposto; Engenharia e Tecnologia: 5 MOOC produzidos e 1 em preparação; Informática e Aplicações: 5 MOOC produzidos ou em produção e 2 em preparação.

Avaliação e Monitorização

O processo de design e produção dos cursos online usa as seguintes ferramentas de validação e monitorização do grau de adequação dos cursos ao público-alvo: formulários de inscrição na plataforma que permitem a identificação do perfil do participante; questionários inicial e final integrados em cada curso que é editado na plataforma MOOC Técnico; num futuro próximo será ainda possível analisar os muitos dados sobre as práticas de visualização dos vídeos, usando o dashboard do Learning Analytics que está associada à plataforma. A taxa de retenção elevada dos cursos online é a melhor prova de que os tópicos são relevantes e os conteúdos multimédia são apelativos.

Tanscrevemos algumas respostas retiradas dos questionários inicial (4 questões fechadas e 1 questão aberta) e final (18 questões fechadas e 4 questões abertas) de cada MOOC. Escolhemos as seguintes questões: 1) Quais são os seus principais objetivos para este curso?; 2) O curso correspondeu às suas expectativas/ aos seus objetivos iniciais? Justifique. Respostas à questão 1: “Novos conhecimentos numa área da engenharia diferente da minha, mas com a qual procuro aperfeiçoar e complementar o meu conhecimento.”, “Mejorar mis conocimientos acerca de la física de los drones”, “Mastery of the content to use it in my research.”, “To get a refresh on general aspects […] and to go a bit deep in a few topics […] ”, “More knowledge about how to build better and more sustainable energy services!”, “[…]uma vez que atualmente me encontro num curso de engenharia física […] procuro saciar a minha busca incessante pelo conhecimento da ciência.”, “Learn more about the topic […] learn how to finish a course online, by planning, having deadlines, and doing self-study”. Respostas à questão 2: “Superou as expetativas em termos do funcionamento […] foi uma experiência (uso do MOOC para flipped classroom) interessante nesse aspeto que até seria desejável ter noutras cadeiras”,“ […] possibilitou a revisão de conceitos que aprendi há 20 anos, mas que por motivos profissionais nao pude mais aprofundar […] ”,“ Sim, estava à espera que o curso ajudasse a ganhar tecnica […] e agora sinto-me mais à vontade depois de o fazer”. Os cursos MOOC estão sempre em constante processo de melhoramento, sendo que em cada nova edição, e como consequência da reunião de balanço, são introduzidas melhorias, não só nos conteúdos multimédia, mas também nos restantes conteúdos de texto, atividades interativas e de avaliação.

Carácter Inovador e Transferibilidade

Tanto o design pedagógico dos cursos MOOC Técnico, como o processo de produção dos cursos online, têm provado ser eficazes mesmo com uma equipa pequena. Isto deve-se ao trabalho prévio e jornadas de reflexão (sprint design) sobre os procedimentos e organização do trabalho de equipa para criação de conteúdos relevantes e graficamente apelativos. Os relatórios publicados até à altura, que podem ser consultados na página (mooc.tecnico.ulisboa.pt), bem como as apresentações em conferências internacionais, e os artigos científicos publicados no âmbito do projeto têm sempre atraído a curiosidade da comunidade nacional e internacional para os cursos MOOC Técnico.

Os projetos co-financiados pela EU, principalmente o World Pendulum Alliance 2019 (com parceiros do Brasil e outros países da América Latina), e o FOSTOW 2019 (com parceiros de escolas europeias de referência, como UPV, Polimi, KTH), têm estreitado os contactos internacionais, em particular com outras equipas de design e produção de MOOC, como por exemplo a METID da Polimi, e a UPVx da UPV. Recentemente, após a submissão de uma proposta à Conferência Open edX 2020, fomos contactos pelo edX mostrando interesse na divulgação de um dos resultados do projeto FOSTWOM.

Benchmarking: Os cursos MOOC Técnico têm um custo associado e um tempo de produção (cerca de 6 meses), que se situa entre os MOOC produzidos pela a METID da Polimi (custos mais elevados e iguais tempos de produção) e os MOOC produzidos pela UPV (de baixo custo e com uma pós-produção de 2 meses). Será importante referir, que a produção de baixo custo da UPVx tem como resultado cursos online com um assumido pouco tratamento gráfico e com vídeos longos, que na nossa opinião poderão ser considerados pouco didáticos. Atualmente o MOOC Técnico está a trabalhar num modelo de negócio: alguns cursos gratuitos sem certificação, mas sempre abertos para atrair o público internacional, e cursos com certificação paga (verified certificates) para um público com interesses mais específicos.