Um Joint Committee on Standards for Educational Evaluation (Sanders, 1994) desenvolveu, testou e publicou padrões para julgar avaliações baseadas no conceito de “meta-avaliações” exposto por Scriven (1991) e Stufflebeam (1975). A abordagem para a avaliação proposta nesse capítulo inclui avaliação da avaliação, assim como avaliação do objeto de aprendizagem ou avaliados originais. Essa inclusão de meta-avaliação ajuda a assegurar que a avaliação adicione valor ao processo instrucional, identificando maneiras de melhorar a avaliação, assim como o próprio processo instrucional.

A estrutura de avaliação proposta combina as abordagens de Stufflebeam e de Patton em um modelo no qual utiliza uma lógica de avaliação básica ( Scriven, 1980) , comparando o que é e o que deveria ser, tanto quanto alguém compararia o peso de um item com um peso padrão em uma balança.

Como indicado lá, na parte mais abaixo da esquerda da balança, o critério do usuário, definição do avaliado, níveis ideais de desempenho, necessidades de informação, dúvidas e padrões de meta-avaliação estão justapostos com o lado mais baixo da direita da balança, que contém métodos de coleta de dados e resultado das descrições do avaliado. A atividade chave de avaliação ocorre no fulcro, onde o usuário faz sua avaliação comparando os seus critérios com as descrições do avaliado, com a assistência dos avaliadores.

Uma elaboração mais profunda esquematiza um processo para executar avaliações de vários tipos de avaliados para vários tipos de audiências, usando essa estrutura de avaliação.

De acordo com a abordagem que está sendo processa da aqui, como parte de cada avaliação as seguintes atividades devem ser conduzidas por participantes qualificados (algumas vezes por internos da organização ou por consultores externos, de preferência por uma das pessoas que irá utilizar os resultados da avaliação para tomar decisões sobre objetos de aprendizagem ou outros avaliados):

•  Esclarecer quem são os usuários da avaliação (quem se importa?), como administradores, membros docentes, alunos, designers instrucionais, etc.

•  Convidar usuários para esclarecer quem é o avaliado (com o que eles se importam para serem avaliados e em qual estágio da sua vida?). Por exemplo, objetos de aprendizagem de muitos tipos, assim como várias variáveis contextuais, inputs alternativos, elementos do processo ou produtos alternativos ou dimensões desses produtos podem ser consideradas.

•  Trabalhar com usuários para esclarecer critérios ou indicadores de sucesso para na julgar o avaliado (o que é sucesso?). Por exemplo, qual definição de objeto de aprendizagem eles concordam em usar? Em quais metadados e outros padrões eles irão acreditar?

•  Trabalhar com usuários para esclarecer dúvidas que eles possuem e o que eles farão com os resultado (o que perguntar?).

•  Usar os passos 1-4 para determinar os métodos de investigação, recursos necessários, linhas de tempo, custos, etc. para realizar um projeto particular de avaliação, supondo que muitos projetos diferentes de diferentes participantes farão parte, ao longo do tempo, de um sistema de avaliação em andamento que é parte integral do processo de design instrucional e do trabalho dos membros docentes, alunos e administradores com interesse na instrução.

Resumo

Então, o que toda essa informação sobre avaliação tem a ver com objetos de aprendizagem? Como o mundo de valores se encaixa ou não com o mundo dos objetos de aprendizagem? As respostas para essas questões devem aparecer de forma mais clara ao longo desse capítulo. Mas deve estar claro, agora, que os objetos de aprendizagem são os avaliados de interesse particular para usuários em particular desses objetos de aprendizagem e suas informações de avaliação. O campo da avaliação recomenda que um primeiro passo na avaliação de objetos de aprendizagem seja esclarecer quem os quer avaliar e usar. A seguir, como o usuário define o objeto de aprendizagem e o critério que ele possui para julgar a necessidade do objeto de aprendizagem para ser esclarecido, então é claro o que eles esperam que o objeto de aprendizagem faça.