Instituto Superior Técnico

Observatório de Boas Práticas do IST

Archive for the ‘Avaliação’ Category

Exonline: Utilização da plataforma openedX para a avaliação (testes, exames, fichas)

terça, outubro 12th, 2021

Educação Superior ● 2021

Ana Moura Santos, Alexandra Moutinho, Carlos Santos Silva

exams.elearning.tecnico.ulisboa.pt

Implementação da Prática

A plataforma de avaliação online EXONLINE(https://exams.elearning.tecnico.ulisboa.pt/) tem como base a plataforma Open edX que disponibiliza os cursos MOOC Técnico (https://courses.elearning.tecnico.ulisboa.pt/). A plataforma pode ser utilizada na avaliação de qualquer Unidade Curricular (UC) do Técnico, por qualquer estudante registado através do método de autenticação Técnico ID. Esta plataforma permite a construção de avaliações com diferentes níveis de complexidade, adequados a exames na área STEM (Science, Technology, Engineering e Mathematics), recorrendo a diferentes tipos de perguntas: perguntas de escolha múltipla, perguntas de resposta aberta, perguntas de avaliação numérica, perguntas de avaliação de expressões matemáticas ou ainda perguntas de identificação de pontos em figuras. A plataforma permite ainda a utilização de bancos de perguntas e a geração de parâmetros aleatórios numa pergunta destinada a um dado aluno, o que resulta na geração de exames únicos para cada estudante. Outra funcionalidade do sistema é a submissão de ficheiros com respostas abertas. Finalmente, a plataforma permite a correção automática dos exames com acesso imediato às pautas dos resultados.

Para facilitar a criação de exames foram desenvolvidos um Manual do Docente e vídeos tutoriais e feitas acções de formação para docentes. Para facilitar a inscrição e utilização da plataforma durante o exame, foi desenvolvido um Manual do Aluno.

Para a utilização da plataforma, basta enviar um email para exonline@tecnico.ulisboa.pt. É criada uma instância de avaliação para a UC. O docente parametriza as avaliações, inscreve os alunos e deve criar uma avaliação de exemplo que permite aos alunos verificar se estão registados na plataforma e ganhar experiência na utilização da plataforma.

A plataforma está disponível desde Março de 2020 e foi utilizada em dois semestres na avaliação de 47 UCs com 6853 alunos.

Resultados Alcançados

A plataforma ExonlineX foi utilizada no 2º semestre de 2019-2020 para a realização de testes e exames em 25 UCs dos 1º e 2º ciclos de diferentes cursos, com um total de 4150 alunos, cobrindo diferentes áreas e dimensões:

─ Unidades curriculares transversais como Gestão (1280 alunos) e Cálculo II (672 alunos);

─ Unidades curriculares de massas do 1º ciclo como Mecânica Aplicada II (370 alunos), Tecnologia Mecânica (220 alunos) e Controlo de Sistemas (240 alunos) do Mestrado Integrado em Engenharia Mecânica (MEMec);

─ Unidades curriculares de várias licenciaturas e mestrados, com universos que variaram entre 5 e 150 alunos, onde a plataforma foi utilizada para fichas, testes parciais, exames finais e exames de Época Especial.

No 1º semestre de 2020/2021 a plataforma foi utilizada para a a realização de testes e exames em 22 UCs dos 1º e 2º ciclos de diferentes cursos, com um total de 2693 alunos:

─ Unidades curriculares transversais como Gestão (474 alunos) e Cálculo I-II (395 alunos);

─ Unidades curriculares de massas do1º ciclo como Mecânica Aplicada I (456 alunos) 2º ciclo como Gestão de Energia (224 alunos) do Mestrado Integrado em Engenharia Mecânica (MEMec);

─ Unidades curriculares de várias licenciaturas e mestrados, com universos que variaram entre 30 e 143 alunos, onde a plataforma foi utilizada para fichas, testes parciais, exames finais e exames de Época Especial.

O número de docentes envolvidos no desenvolvimento de avaliações é em média de 2 por UC.

Avaliação e Monitorização

Foi realizado um inquérito de satisfação aos alunos e docentes relativamente ao uso da plataforma.

De acordo com as respostas de 20 docentes a um questionário de satisfação sobre a utilização da plataforma no 2ºS de 2019/2020 :

─ 75% revelaram estar Satisfeitos ou Muito Satisfeitos com a plataforma;

─ 65% consideram utilizar a plataforma para futuras avaliações mesmo em contexto de avaliações presenciais;

─ 50% acharam a sua utilização fácil ou muito fácil;

─ 65% utilizaram as funcionalidades para a geração de exames diferenciados para os alunos;

─ 50% preferiram incluir perguntas de resposta aberta por forma a corrigir manualmente o exame.

As respostas relativas à utilização durante o 1º semestre de 2020/2021 (com 16 respostas) revelou:

– 37% acharam a sua utilização fácil ou muito fácil;

– 56 %utilizaram as funcionalidades para a geração de exames diferenciados para os alunos

– apenas 12.5% não considera utilizar a plataforma novamente

De acordo com as respostas dos alunos inquiridos no contexto da UC Controlo de Sistemas do MEMec em 2019/2020 sobre a utilização da plataforma:

─ 57% demoraram menos de 1 minuto a entrar na plataforma

─ 73% tiveram acesso ao teste em menos de 5 minutos;

─ 51% acharam a leitura do exame na plataforma fácil;

─ 70% acharam que a dificuldade da avaliação era comparável com a avaliação escrita.

Testemunhos

“Poupamos vigilantes externos e marcação de mais de 20 salas e horas de secretariado; poupamos cerca de 10 000 folhas de papel com enunciados e os respetivos custos de impressão; poupamos o custo de conversão e digitalização dos testes em folhas de cálculo por empresa externa. No futuro, o rápido apuramento de notas vai ser ainda mais importante dados os períodos letivos mais curtos após o PERCIST. É também muito útil a parametrização dos exames, diferenciando-os de aluno para aluno” (UC Gestão, João Soares – Departamento de Engenharia e Gestão)

“A possibilidade de gerar fórmulas através de um script em Phyton permitiu-nos usar cálculo simbólico e introduzir parâmetros aleatórios nas perguntas, como coeficientes ou escolhas de funções a partir de listas.  A plataforma funcionou de forma estável, sem atrasos significativos na submissão das respostas.  O apoio da equipa da plataforma permitiu resolver os problemas pontuais que surgiram durante a realização dos testes.”  (UC Cálculo II, Sílvia Anjos, José Natário, Gabriel Pires e Pedro F. dos Santos – Departamento de Matemática)

Carácter Inovador e Transferibilidade

A utilização da plataforma OpenEDX exclusivamente para avaliação é inovadora. Que seja do nosso conhecimento, entre todas as plataformas Open EdX utilizadas por Instituições de Ensino Superior a nível mundial, foi a 1ª vez que uma plataforma deste tipo se adaptou  para se especializar em avaliações online remotas.

Neste momento, a utilização está limitada a utilizadores do Técnico (via autenticação via Técnico ID), mas a plataforma poderia ser utilizada de forma livre por outras instituições (já houve solicitações externas ao Técnico, nomeadamente para a utilização em escolas secundárias). Desta forma, foi possível escalar, planear e tornar mais seguras as avaliações online remotas, quando foi necessário fechar o campus por causa da pandemia. Ou seja, em resposta à situação global de pandemia causada pela COVID-19, foi oferecida a possibilidade aos docentes do Técnico utilizarem a plataforma MOOC Técnico nas avaliações intermédias e exames finais remotos das disciplinas.

As sessões que se preparam para dar suporte aos professores que viriam a optar por usar o Exonline nas suas avaliações deram origem ainda a vários vídeos de apoio ao utilizadores, bem como manuais. Os manuais, que foram sendo atualizados, passaram a estar acessíveis no site SARTre (http://SARTre.tecnico.ulisboa.pt/) criado pelo Conselho Pedagógico para orientação de práticas pedagógicas online.

No 1º semestre de 2020/2021, muitos docentes optaram por fazer as suas avaliações contínuas e até exames nesta plataforma, sendo previsível que esta tendência se mantenha num futuro próximo com a entrada em vigor no próximo ano letivo 2021/2022 do novo Modelo de Ensino e Práticas Pedagógicas.

O projeto foi ainda convidado a estar presente com sessões de formação na 2ª Edição das Jornadas Interinstitucionais de Desenvolvimento Pedagógico (https://www.jornadasidp.pt/2ª-edição/), em novembro de 2020, e no Programa de Desenvolvimento e Formação PDF (http://pdf.tecnico.ulisboa.pt) em fevereiro de 2021.