Educação Superior ● 2021
Ana Moura Santos, Alexandra Moutinho, Carlos Santos Silva
exams.elearning.tecnico.ulisboa.pt
Implementação da Prática
A plataforma de avaliação online EXONLINE(https://exams.elearning.tecnico.ulisboa.pt/) tem como base a plataforma Open edX que disponibiliza os cursos MOOC Técnico (https://courses.elearning.tecnico.ulisboa.pt/). A plataforma pode ser utilizada na avaliação de qualquer Unidade Curricular (UC) do Técnico, por qualquer estudante registado através do método de autenticação Técnico ID. Esta plataforma permite a construção de avaliações com diferentes níveis de complexidade, adequados a exames na área STEM (Science, Technology, Engineering e Mathematics), recorrendo a diferentes tipos de perguntas: perguntas de escolha múltipla, perguntas de resposta aberta, perguntas de avaliação numérica, perguntas de avaliação de expressões matemáticas ou ainda perguntas de identificação de pontos em figuras. A plataforma permite ainda a utilização de bancos de perguntas e a geração de parâmetros aleatórios numa pergunta destinada a um dado aluno, o que resulta na geração de exames únicos para cada estudante. Outra funcionalidade do sistema é a submissão de ficheiros com respostas abertas. Finalmente, a plataforma permite a correção automática dos exames com acesso imediato às pautas dos resultados.
Para facilitar a criação de exames foram desenvolvidos um Manual do Docente e vídeos tutoriais e feitas acções de formação para docentes. Para facilitar a inscrição e utilização da plataforma durante o exame, foi desenvolvido um Manual do Aluno.
Para a utilização da plataforma, basta enviar um email para exonline@tecnico.ulisboa.pt. É criada uma instância de avaliação para a UC. O docente parametriza as avaliações, inscreve os alunos e deve criar uma avaliação de exemplo que permite aos alunos verificar se estão registados na plataforma e ganhar experiência na utilização da plataforma.
A plataforma está disponível desde Março de 2020 e foi utilizada em dois semestres na avaliação de 47 UCs com 6853 alunos.
Resultados Alcançados
A plataforma ExonlineX foi utilizada no 2º semestre de 2019-2020 para a realização de testes e exames em 25 UCs dos 1º e 2º ciclos de diferentes cursos, com um total de 4150 alunos, cobrindo diferentes áreas e dimensões:
─ Unidades curriculares transversais como Gestão (1280 alunos) e Cálculo II (672 alunos);
─ Unidades curriculares de massas do 1º ciclo como Mecânica Aplicada II (370 alunos), Tecnologia Mecânica (220 alunos) e Controlo de Sistemas (240 alunos) do Mestrado Integrado em Engenharia Mecânica (MEMec);
─ Unidades curriculares de várias licenciaturas e mestrados, com universos que variaram entre 5 e 150 alunos, onde a plataforma foi utilizada para fichas, testes parciais, exames finais e exames de Época Especial.
No 1º semestre de 2020/2021 a plataforma foi utilizada para a a realização de testes e exames em 22 UCs dos 1º e 2º ciclos de diferentes cursos, com um total de 2693 alunos:
─ Unidades curriculares transversais como Gestão (474 alunos) e Cálculo I-II (395 alunos);
─ Unidades curriculares de massas do1º ciclo como Mecânica Aplicada I (456 alunos) 2º ciclo como Gestão de Energia (224 alunos) do Mestrado Integrado em Engenharia Mecânica (MEMec);
─ Unidades curriculares de várias licenciaturas e mestrados, com universos que variaram entre 30 e 143 alunos, onde a plataforma foi utilizada para fichas, testes parciais, exames finais e exames de Época Especial.
O número de docentes envolvidos no desenvolvimento de avaliações é em média de 2 por UC.
Avaliação e Monitorização
Foi realizado um inquérito de satisfação aos alunos e docentes relativamente ao uso da plataforma.
De acordo com as respostas de 20 docentes a um questionário de satisfação sobre a utilização da plataforma no 2ºS de 2019/2020 :
─ 75% revelaram estar Satisfeitos ou Muito Satisfeitos com a plataforma;
─ 65% consideram utilizar a plataforma para futuras avaliações mesmo em contexto de avaliações presenciais;
─ 50% acharam a sua utilização fácil ou muito fácil;
─ 65% utilizaram as funcionalidades para a geração de exames diferenciados para os alunos;
─ 50% preferiram incluir perguntas de resposta aberta por forma a corrigir manualmente o exame.
As respostas relativas à utilização durante o 1º semestre de 2020/2021 (com 16 respostas) revelou:
– 37% acharam a sua utilização fácil ou muito fácil;
– 56 %utilizaram as funcionalidades para a geração de exames diferenciados para os alunos
– apenas 12.5% não considera utilizar a plataforma novamente
De acordo com as respostas dos alunos inquiridos no contexto da UC Controlo de Sistemas do MEMec em 2019/2020 sobre a utilização da plataforma:
─ 57% demoraram menos de 1 minuto a entrar na plataforma
─ 73% tiveram acesso ao teste em menos de 5 minutos;
─ 51% acharam a leitura do exame na plataforma fácil;
─ 70% acharam que a dificuldade da avaliação era comparável com a avaliação escrita.
Testemunhos
“Poupamos vigilantes externos e marcação de mais de 20 salas e horas de secretariado; poupamos cerca de 10 000 folhas de papel com enunciados e os respetivos custos de impressão; poupamos o custo de conversão e digitalização dos testes em folhas de cálculo por empresa externa. No futuro, o rápido apuramento de notas vai ser ainda mais importante dados os períodos letivos mais curtos após o PERCIST. É também muito útil a parametrização dos exames, diferenciando-os de aluno para aluno” (UC Gestão, João Soares – Departamento de Engenharia e Gestão)
“A possibilidade de gerar fórmulas através de um script em Phyton permitiu-nos usar cálculo simbólico e introduzir parâmetros aleatórios nas perguntas, como coeficientes ou escolhas de funções a partir de listas. A plataforma funcionou de forma estável, sem atrasos significativos na submissão das respostas. O apoio da equipa da plataforma permitiu resolver os problemas pontuais que surgiram durante a realização dos testes.” (UC Cálculo II, Sílvia Anjos, José Natário, Gabriel Pires e Pedro F. dos Santos – Departamento de Matemática)
Carácter Inovador e Transferibilidade
A utilização da plataforma OpenEDX exclusivamente para avaliação é inovadora. Que seja do nosso conhecimento, entre todas as plataformas Open EdX utilizadas por Instituições de Ensino Superior a nível mundial, foi a 1ª vez que uma plataforma deste tipo se adaptou para se especializar em avaliações online remotas.
Neste momento, a utilização está limitada a utilizadores do Técnico (via autenticação via Técnico ID), mas a plataforma poderia ser utilizada de forma livre por outras instituições (já houve solicitações externas ao Técnico, nomeadamente para a utilização em escolas secundárias). Desta forma, foi possível escalar, planear e tornar mais seguras as avaliações online remotas, quando foi necessário fechar o campus por causa da pandemia. Ou seja, em resposta à situação global de pandemia causada pela COVID-19, foi oferecida a possibilidade aos docentes do Técnico utilizarem a plataforma MOOC Técnico nas avaliações intermédias e exames finais remotos das disciplinas.
As sessões que se preparam para dar suporte aos professores que viriam a optar por usar o Exonline nas suas avaliações deram origem ainda a vários vídeos de apoio ao utilizadores, bem como manuais. Os manuais, que foram sendo atualizados, passaram a estar acessíveis no site SARTre (http://SARTre.tecnico.ulisboa.pt/) criado pelo Conselho Pedagógico para orientação de práticas pedagógicas online.
No 1º semestre de 2020/2021, muitos docentes optaram por fazer as suas avaliações contínuas e até exames nesta plataforma, sendo previsível que esta tendência se mantenha num futuro próximo com a entrada em vigor no próximo ano letivo 2021/2022 do novo Modelo de Ensino e Práticas Pedagógicas.
O projeto foi ainda convidado a estar presente com sessões de formação na 2ª Edição das Jornadas Interinstitucionais de Desenvolvimento Pedagógico (https://www.jornadasidp.pt/2ª-edição/), em novembro de 2020, e no Programa de Desenvolvimento e Formação PDF (http://pdf.tecnico.ulisboa.pt) em fevereiro de 2021.