Embed Size (px)
Citation preview
QUESTIONÁRIO DE AVALIAÇÃO
DOCENTE PELO DISCENTE: ANÁLISE
DA CAPACIDADE DE AVALIAÇÃO
Tomoe Daniela Hamanaka Gusberti (UFRGS)
Regina Vignatti (UFRGS)
Tania Poleth Aulestia Pillajo (UFRGS)
Wilson Pablo Medina Beltran (UFRGS)
Observam-se atualmente práticas com preocupações com a qualidade
na educação superior, como a implementação de sistemas de
qualidade, e/ou sistemas de avaliação. Conhecer a opinião de quem
convive com a realidade universitária, os estudantees, é de suma
importância neste contexto, pois a Universidade poderá direcionar a
aplicação dos recursos disponíveis. Este trabalho consiste em um
trabalho exploratório, com alguns dados resultantes da avaliação
docente pelo discente. Conduziram-se análises estatísticas de forma a
investigar se o processo de avaliação cumpre seu objetivo, ou seja, se
há coerência entre os resultados. O escopo com esse trabalho é
planejar e conduzir um experimento que responda aos seguintes
questionamentos: (i) o conceito que o aluno obtém interfere na
avaliação que ele realiza da atividade de ensino?; (ii) o questionário
consegue distinguir infra-estruturas com qualidades nitidamente
distintas? Em relação à averiguação da capacidade de avaliação do
questionário, os resultados esperados eram: turmas com
infraestruturas muito distintas apresentassem resultados de avaliações
significativamente diferentes; e infraestruturas semelhantes, avaliação
igual. Alguns resultados obtidos, porém, não foram totalmente
condizentes com o esperado. Observou-se, por exemplo, que turmas
com mesmas infra-estruturas a disposição avaliavam diferentemente.
Por exemplo, observou-se que, embora as turmas tivessem à disposição
o mesmo acervo de livros e tivesse a mesma necessidade, avaliavam
diferentemente. Estes resultados indicam que há outros fatores
influenciando na avaliação do aluno, que não somente a infra-
estrutura. Também se observou que há, para algumas questões,
atividades de ensino e turma, grande variabilidade das respostas, o
que dificulta testes de inferência estatística. De forma paralela,
investigou-se a possibilidade da influência do conceito obtido pelo
estudante e o índice de ordenamento na avaliação, para verificar se há
dados para respaldar a possibilidade de atribuir ponderação distinta a
avaliação de alunos com conceitos melhores e/ou piores. Para avaliar
XXX ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO Maturidade e desafios da Engenharia de Produção: competitividade das empresas, condições de trabalho, meio ambiente.
São Carlos, SP, Brasil, 12 a15 de outubro de 2010.
2
se os dados sustentam tal possibilidade, realizou-se análise de
correlação. Observou-se, no entanto, que não há correlação linear
nítida entre conceitos transcritos de forma quantitativa, ou índice de
ordenamento com nenhuma das avaliações, quando agrupamos os
dados de todas as atividades de ensino. Finalmente, conduziu-se a
análise da variância, ANOVA. Uma atividade de ensino com uma
quantidade significativa de respostas foi selecionada, e os alunos
classificados quanto aos conceitos obtidos. A ANOVA foi utilizada
para avalia
Palavras-chaves: Instituição de ensino; avaliação docente pelo
discente; avaliação de desempenho; estatística
3
1. Introdução
Observam-se atualmente práticas com preocupações com a qualidade na educação superior,
como a implementação de sistemas de qualidade, e/ou sistemas de avaliação (DOBRZANSKI
E ROSZAK, 2007). De forma similar, a UFRGS apresenta diversas ações para avaliação.
Dentre estas ações, uma avaliação é conduzida com a participação do discente ao final de
cada semestre. A avaliação pelo discente na UFRGS é gerenciada pelo Centro de
Processamento de Dados – CPD. Esta avaliação representa uma importante ferramenta para a
Universidade, visto que dessa forma ela pode avaliar o desempenho das ações e estruturas de
ensino e identificaras áreas que carecem de investimento. Conhecer a opinião de quem
convive com a realidade universitária, os estudantes, é de suma importância neste contexto,
pois a UFRGS, poderá direcionar a aplicação dos recursos disponíveis.
Este trabalho foi conduzido com o apoio da Secretaria de Avaliação Institucional (SAI). Esta
secretaria possui o propósito de sistematizar a permanente avaliação (UFRGS, 2010).
Especificamente, consiste em um trabalho exploratório, com alguns dados resultantes da
avaliação docente pelo discente. Conduziram-se análises estatísticas de forma a investigar se o
processo de avaliação cumpre seu objetivo, ou seja, se há coerência entre os resultados. O
escopo com esse trabalho é planejar e conduzir um experimento que responda aos seguintes
questionamentos: (i) o conceito que o aluno obtém interfere na avaliação que ele realiza da
atividade de ensino?; (ii) o questionário consegue distinguir infra-estruturas com qualidades
nitidamente distintas?
A pesquisa conduzida visou uma análise preliminar em resposta à demanda da SAI. A
secretaria, por exemplo, em uma das reuniões em que o grupo participou, destacou a
possibilidade de conceder mais valor aos alunos com melhores conceitos, uma vez que
acredita que a avaliação que esses estudantes deveria ser mais valorizada. Outros testes foram
realizados, com o propósito de auxiliar a SAI, com ferramentas estatísticas, que consiste em
uma ferramenta útil na tomada de decisão, especificamente na análise de dados reais e
quantitativos. Com o auxílio destas ferramentas, podem-se conduzir uma tomada de decisão
baseado em dados, e não apenas em suposições.
2. Método
As principais áreas empregadas no trabalho são, primeiro, a estatística descritiva, que utiliza
números para descrever fatos, segundo, a estatística inferencial, que trabalha com a análise e
interpretação de informações coletadas a partir de amostras. Os objetivos específicos
estudados foram: (i) Desenvolvimento de um novo modelo de relatório para apresentar a
análise dos dados da avaliação, utilizando a estatística descritiva; (ii) Avaliar se turmas com
infra-estrutura sabidamente iguais avaliam a infra-estrutura de forma similar e turmas com
infra-estrutura sabidamente diferentes avaliam o item de forma significantemente diferentes.
Para isto, testou-se a avaliação do item infraestrutura de duas atividades de ensino distintas
com infra-estrutura distintas: a conclusão esperada era de que as avaliações fossem desiguais;
e testou-se a análise da avaliação do item infraestrutura em duas turmas da mesma atividade
de ensino: era esperado que as duas turmas efetuassem uma avaliação análoga; (iii)
Investigação da interferência do conceito obtido pelo estudante com a avaliação realizada por
ele: Suspeita-se que o conceito possa intervir na avaliação que o discente efetua; (iv)
Determinar se existe uma relação linear entre o índice de ordenamento e a avaliação que ele
realiza em certo quesito do formulário: o grupo deseja saber se há uma correlação entre as
variáveis.
4
O primeiro passo para a análise dos dados foi a junção dos dados em uma só tabela, uma vez
que, foram fornecidos dispersos em diferentes planilhas. Posteriormente, foram designadas as
variáveis a serem utilizadas nos objetivos específicos do trabalho, para então empregar a
estatística descritiva para proporcionar as informações das características da população, bem
como das subpopulações, como a média, variância, moda, desvio padrão, coeficiente de
variação, boxplot e gráficos.
Após esse passo, o grupo trabalhou com a inferência estatística. Primeiramente, o grupo
questionou se o percentual de alunos que preenchem a avaliação (tamanho de amostra) é
suficiente, avaliando a precisão possível para a inferência sobre a média da população. Em
seguida, foram realizados dois testes de hipóteses para averiguar se a variável grau de
avaliação do item infra-estrutura de duas atividades de ensino distintas era também desigual.
Outro teste também investigado, analogamente, se o grau de avaliação de duas turmas
diferentes de uma mesma atividade de ensino é idêntico.
Posteriormente, realizou-se análise de correlação para determinar quais variáveis tinham
alguma correlação. Para isto, o grupo definiu as variáveis índice de ordenamento e grau de
avaliação como relação a ser investigada mais importante, na medida em que a SAI tinha
intenções de dar mais valor à avaliação dos alunos com maiores conceitos.
Finalmente, conduziu-se a análise da variância, ANOVA. Uma atividade de ensino com uma
quantidade significativa de respostas foi selecionada, e os alunos classificados quanto aos
conceitos obtidos. A ANOVA foi utilizada para avaliar se o grau de avaliação dos estudantes
era influenciado pelos conceitos obtidos A, B, C ou D.
4. Resultados
Os dados utilizados são referentes aos semestres de 2008/2 e 2009/1, coletados através da
avaliação on-line, disponibilizada pela universidade ao estudante ao final de cada semestre
letivo. Os itens avaliados são agrupados em cinco áreas de avaliação: infra-estrutura,
atividade de ensino, professor e auto-avaliação. Cada um dos itens é subdividido em subitens.
O grau de avaliação possui cinco níveis, variando de um (concordo plenamente) a cinco
(discordo completamente).
Atualmente, o relatório disponibilizado aos professores e ao departamento contém uma tabela
os seguintes dados: quantidade de respostas, máximo, mínimo, média e desvio padrão.
Após a junção dos dados e elaboração da base para a análise, a codificação e descrição
resumida das atividades de ensino avaliadas são descritas na Figura 1.
Atividade de ensino Turma Avaliações Infra-estrutura
08/2 09/1
1 1 14 14 Regular, possui cadeiras e mesas, sem computador ou ar-condicionado
5 2 26 31
2 1 9 7
6 2 17 22
3 10 182 213
8 3 22 29 Ótima, com computador e ar condicionado
Figura 1: Codificação das atividades de ensino analisadas
Os dados estudados são divididos em variáveis categóricas e quantitativas. As Variáveis
categóricas ordinais compreendem o conceito obtido pelo estudante. Variáveis categóricas
nominais compreendem turma e atividade de ensino. Variáveis quantitativas compreendem o
grau de avaliação em cada um dos itens (e subitens) avaliados, e o índice de ordenamento.
5
Sendo que a primeira compreende uma variável discreta, e, a segunda, contínua.
4.1 Estatística descritiva
A Tabela 1 apresenta uma parte da estatística descritiva obtida que resume alguns itens das
avaliações das atividades de ensino. A tabela apresenta média, desvio padrão, tamanho da
amostra e coeficiente de variação, de algumas atividades e alguns critérios, segregadas pelo
semestre, porém sem segregar por turma.
Os valores de média observados indicam que há variabilidade entre as atividades de ensino e,
às vezes, entre semestres. Observa-se que a variabilidade das avaliações são diferentes
conforme questão ou atividade de ensino. Observamos, inclusive, itens de avaliação com
coeficiente de variação superior a 70%, especialmente em atividades que ocorreu baixa
resposta às avaliações.
Tabela 1: Estatística descritiva - atividades de ensino e avaliações
Critério Atividade Ensino
08/02 09/01
s CV n
s CV n Disc-cap
acidad
e
intelectu
al
5 3,833 1,239 32% 24 4,167 1,239 30% 24
6 3,571 1,555 44% 14 4,143 0,793 19% 21
8 4,429 0,746 17% 21 4,586 0,733 16% 29
3 3,677 1,388 38% 158 3,201 1,598 50% 174
1 4,500 1,092 24% 14 4,286 1,204 28% 14
2 2,125 1,642 77% 8 4,286 1,496 35% 7 Disc-realid
ade so
cial
5 3,400 1,635 48% 20 4,000 1,140 29% 21
6 3,700 0,949 26% 10 3,250 1,603 49% 12
8 4,278 1,074 25% 18 4,286 0,976 23% 28
3 3,168 1,535 48% 113 2,738 1,650 60% 126
1 3,909 1,700 43% 11 4,000 1,528 38% 13
2 1,714 1,496 87% 7 4,600 0,548 12% 5 IE-acerv
o
5 3,632 1,383 38% 19 3,750 1,653 44% 16
6 3,167 1,467 46% 12 3,412 1,583 46% 17
8 3,533 1,407 40% 15 4,063 1,237 30% 16
3 3,750 1,395 37% 124 3,689 1,504 41% 132
1 4,286 1,139 27% 14 4,231 1,013 24% 13
2 3,750 1,581 42% 8 4,667 0,516 11% 6 IE-b
iblio
teca
5 3,895 1,286 33% 19 4,158 1,302 31% 19
6 4,077 1,115 27% 13 3,867 1,246 32% 15
8 4,200 1,014 24% 15 4,231 0,927 22% 13
3 4,039 1,232 31% 128 4,024 1,287 32% 126
1 4,571 0,756 17% 14 4,385 1,193 27% 13
2 4,429 1,512 34% 7 5,000 0,000 0% 4 IE-sala d
e aula
5 2,542 1,414 56% 24 2,680 1,492 56% 25
6 3,429 1,089 32% 14 2,650 1,348 51% 20
8 4,905 0,301 6% 21 4,857 0,356 7% 28
3 4,013 1,116 28% 152 3,506 1,371 39% 168
1 3,923 1,553 40% 13 3,923 1,498 38% 13
2 3,500 1,773 51% 8 3,000 1,414 47% 6
Além da obtenção de média e desvio padrão, foram também elaborados boxplots que
permitem explorar a dispersão dos dados. Alguns resultados selecionados são apresentados a
6
seguir.
A Figura 2 apresenta o boxplot relacionado à questão “As condições da(s) sala(s) de aula colaboram para o desenvolvimento da disciplina”. Observa- se todas as turmas da
disciplina 8 indicam uma nítida satisfação com a adequação da sala de aula, o que é esperado,
já que este departamento disponibiliza salas com ar condicionado e computadores. Observa-se
uma grande variabilidade na percepção dos alunos em relação ao item nas demais disciplinas.
A disciplina 6 chama a atenção por esta variabilidade. A turma 3 e 1 do semestre 2008/02
parecem não concordar em percepção. A turma 1 apresenta percepção dos alunos entre notas
3 e 5, com mediana em 3. A turma 4 apresenta percepções entre 1 e 4, com os 50% centrais
entre 2 e 3,5. Não há informação que distinga a infra-estrutura disponível para as turmas.
Figura 2: boxplot com a dispersão das respostas à questão sala de aula (obtida utilizando SPSS 18.0)
A Figura 3 apresenta o boxplot com a resposta à questão “O acervo da biblioteca é suficiente e adequado para o desenvolvimento da disciplina”.
7
Figura 3: Boxplot com a dispersão das respostas à questão acervo (obtida utilizando SPSS 18.0)
A disciplina 8 parecem ilustrar algumas inconsistências da percepção dos alunos referentes a
alguns itens. Nitidamente, todas as turmas requerem o mesmo acervo, e a biblioteca e,
portanto acervo, disponível para as turmas é a mesma. No entanto, a Figura 3 ilustra
diferentes percepções entre as turmas 1, 4 e 7 de 2008/02. A turma 1 parece concordar na
adequação do acervo, enquanto a turma 7 afirmam entre notas 3 e 4, e a turma 4 avaliam de
forma mais variável, a partir da nota um. Isto parece indicar que há outros fatores
influenciando sobre a percepção dos alunos em relação a qualidade do acervo, uma vez que o
acervo disponível teoricamente seria o mesmo.
Observação similar é apresentada na Figura 4. Este apresenta o boxplot relacionado a resposta
à questão “As condições da biblioteca (espaço físico, horário, atendimento) colaboraram para o desenvolvimento da disciplina”. Observam-se, novamente, diferenças na resposta em relação à infra-estrutura da biblioteca, embora a biblioteca disponível e, portanto, seu espaço físico deveria ser o mesmo.
8
Figura 4: boxplot com a resposta à questão infra-estrutura - Biblioteca, para as disciplinas 3 e 8 (utilizando SPSS
18.0)
A representação na forma de boxplot indica que, em muitas turmas e muitos itens, há dados atípicos, que diferem significativamente dos demais. Estas suposições são testadas no item a seguir.
4.2 A avaliação consegue distinguir infra-estruturas sabidamente diferentes?
Qualquer instrumento de medição deveria ser capaz de distinguir objetos sabidamente
diferentes. Considerando o formulário de avaliação como o instrumento de medição, e as
escalas utilizadas, este trabalho conduziu uma investigação simples para testar se as respostas
fornecidas pelos discentes repercutem somente o que é de fato avaliado, ou se há outros
fatores influenciando. Para esta investigação, no entanto necessita-se que os mesmos itens
medidos fossem avaliados por algum instrumento-padrão para comparação. No entanto, para a
maioria dos itens tal instrumento não é disponível para as situações em análise. Um item
passível de avaliação de outras formas, segundo a percepção do grupo foram os itens
relacionados à infra-estrutura.
Neste item, algumas suposições realizadas como resultado da estatística descritiva,
especialmente análise do boxplot são testadas através de teste de hipótese. O objetivo foi
testar se as médias das avaliações da infraestrutura de uma mesma disciplina, de um
determinado quesito, são iguais, uma vez que duas turmas avaliaram o mesmo edifício, num
mesmo semestre. Se esta hipótese for aceita então poderia se concluir que o processo de
avaliação está alcançando o seu objetivo. Aplicou-se o teste de hipótese para comparação de
médias, variância desconhecida. Observa-se que não há evidências de que as variâncias são
iguais.
Tabela 2: estatísticas utilizadas para comparação de médias
Critério/questão Semestre Ativ – turma s n
As condições da(s) sala(s) de aula colaboram para o desenvolvimento da disciplina
2009/01 8 - 1 4,917
0,288
12
6 - 1 2,77 1,48 9
9
8 1 6 - 4 2,54
5 1,29
3 11
O acervo da biblioteca é suficiente e adequado para o desenvolvimento da disciplina.
2008/02 8–- 1 4,667
0,577 3
8 –7 3,428
1,134 7
8 –4 3,000
1,871 5
As condições da biblioteca (espaço físico, horário, atendimento) colaboraram para o desenvolvimento da disciplina.
2009/01 8 - 4 5,000
0,000 4
8 - 7 4,333
0,577 3
8 - 1 3,667
1,033 6
Tabela 3: resultados para comparação de médias, variâncias desconhecidas e diferentes (* significativo para α =
0,01; ** significativo para α = 0,05)
Critério/questão Semestre Ativ – turma GL T calc.
P valor T crítico (α = 0,05)
As condições da(s) sala(s) de aula colaboram para o desenvolvimento da disciplina
2009/01 8 –- 1 e 6 – 1* 8,571
4,271 0,001 2,306
6 – 1 e 6 –4 17,910 0,36
9 0,358 2,110
6 - 4 e 8 - 1* 11,096 5,94
6 <0,001 2,201
O acervo da biblioteca é suficiente e adequado para o desenvolvimento da disciplina.
2008/02 8 - 1 e 8 – 7** 9,898
2,280 0,024 2,262
8–- 7 e 8 – 4 7,092 0,45
6 0,331 2,365
8 - 4 e 8 – 1 5,763 1,85
1 0,062 2,571
As condições da biblioteca (espaço físico, horário, atendimento) colaboraram para o desenvolvimento da disciplina.
2009/01 8 –- 4 e 8 – 7 2,000
2,000 0,092 4,303
8 - 7 e 8 – 1 8,979 1,24
0 0,125 2,306
8 - 1 e 8 - 4** 5,000 3,16
2 0,013 2,571
As análises confirmam as suposições realizadas. Para a questão condição da sala de aula, a
turma da atividade de ensino 8 descordam na percepção da condição de sala de aula das
turmas da atividade 6. Entre as turmas da atividade 6, não há diferença significativa. Tal
observação indica que o instrumento consegue avaliar diferentemente as infra-estruturas sala
de aula.
Os itens seguintes, relacionados a questões acervo da bilioteca e condições da biblioteca
avaliaram turmas diferentes da mesma atividade de ensino (8). Teoricamente, o acervo e
condições da biblioteca, como a necessidades dos alunos em relação aos mesmos seriam
similares. Em relação ao acervo, algumas turmas possuem percepções similares, porém, a
turma 1 e 7 apresentam percepções significativamente diferentes a α = 0,05. Em relação às
condições da biblioteca, as turmas 1 e 4 também diferenciam-se significativamente a α = 0,05.
4.3 Variabilidade dos dados e tamanho de amostra para inferência estatística
Para fins de inferência estatística, a variabilidade dos dados define o tamanho ideal de
10
amostras, dada uma precisão almejada. Para se obter a mesma precisão e nível de confiança
na estimativa do intervalo de confiança para um parâmetro, por exemplo, quanto maior a
variabilidade dos dados, maior é o tamanho da amostra requerida. Assim, foi analisado o
tamanho da amostra necessário para fins de inferência de um item de avaliação em uma
disciplina.
Analisou-se o número de amostra suficiente para obter uma média de avaliação de uma
atividade de ensino, com uma confiabilidade de 95% e precisão de 0,5. A precisão de 0,5 foi
selecionada, visto que desta forma a coleta de dados permitirá distinguir entre todos os níveis
da avaliação. Para isso foi aplicado o método de intervalo de confiança para a média com
variância desconhecida, visto que, embora a população de usuários de uma atividade de
ensino seja os alunos das suas turmas, o nível de resposta às avaliações costuma ser inferior a
100 %.
Para fins de comparação, escolheram-se duas atividades de ensino, sem distinção de turmas,
uma com grande variabilidade, e outra com pequena variabilidade.
O par atividade de ensino e questão selecionado com menor variabilidade foi a questão infra-
estrutura e sala de aula, atividade de ensino 8, do período letivo 08/02. O desvio padrão,
conforme apresentado anteriormente na estatística descritiva, foi 0,301. Considerando 2
2
e
szn
, com α = 0,05 e erro (e) = 0,5, obtêm-se n = 1,392.
O par atividade de ensino e questão selecionado dentre as com maior variabilidade foi a
questão disciplina – realidade soicial, com s = 1,535, da atividade de ensino 3 do semestre
08/02. Obteve-se, para esta questão, nesta atividade, um tamanho de amostra ideal de n =
36,205. Considerando que esta atividade de ensino apresentava muitas turmas e obteve 113
respostas, ela permite inferir a avaliação, permitindo distinguir suas respostas das demais. No
entanto, observa-se que temos questões com variabilidade próximas a esta que não obtiveram
quantidade de respostas tão alta, mesmo agrupando as diversas turmas do período.
Este resultado demonstra que, em geral, somente é possível obter uma estimativa para a média
com erro maior que 0,5. Desta forma, pelo menos nas questões com variabilidade maior, uma
inferência segura não é possível, sendo recomendado um censo da população (obrigar todos
os alunos a responderem a avaliação).
4.4 Há correlação entre índice de ordenamento e grau de avaliação?
Inicialmente, investigou-se a existência ou não uma correlação R entre as variáveis índice de
ordenamento e grau de avaliação. Também foi incorporado a variável conceito traduzida da
seguinte forma: A = 10; B = 7; C = 6; D = 0; FF = 0; Quanto mais próximo de um positivo ou
negativo, mais forte é a correlação entre as variáveis. Quanto mais próximo de zero, menor é a
chance de ter alguma relação entre elas. Esse cálculo foi realizado com a ajuda de uma
ferramenta, o excel, e os resultados obtidos são apresentados na Tabela 4.
Observa-se que não há correlação linear nítida entre conceitos e índice de ordenamento com
nenhum dos itens de avaliação. No entanto é necessário considerar que a matriz de correlação
foi elaborada sem distinguir as diferentes atividades de ensino, semestres e turmas,
agrupando-os. Possivelmente muitos outros fatores além do conceito ou ordenamento
influenciam as avaliações, como as características da atividade de ensino, da infra-estrutura,
do professor, entre outros, que não permitem destacar a influência do conceito sobre a
avaliação.
11
A matriz de correlação permitiu também identificar uma alta correlação entre diversas
variáveis. A existência de correlação significa a avaliação de um item é influenciada pela
avaliação no outro item, ou que resultam de algo em comum. Assim, as variáveis altamente
correlacionadas podem significar que para o avaliador tais questões são redundantes, ou que
não consegue distingüí-las. De fato, observa-se que muitos pares de variáveis altamente
correlacionadas são pertencentes a uma mesma categoria de questões. Por exemplo, observou-
se correlação forte de 0,87 entre as variáveis prof-Conteudos (O professor trabalhou os
conteúdos da disciplina com clareza, destacando aspectos importantes da matéria) e Prof-
Objetividade (O professor desenvolveu as aulas com objetividade, utilizando recursos e
procedimentos apropriados); 0,82 entre Prof-Objetividade e Prof-Enriquec (O professor
enriqueceu as aulas com resultados de pesquisa e/ou material atualizado). Os pares que
apresentaram moderada correlação foram: 0,79 entre prof-Conteudos e Prof-Participação (O
professor incentivou a participação dos alunos, considerando o seu questionamento crítico e
suas contribuições); 0,78 entre Prof-Conteudos e Prof-Enriquec; 0,77 entre Prof-Participação
e Prof-relação com demais conteúdos (O professor possibilitou dinâmicas que favorecem
relações entre o conteúdo da disciplina com os demais conteúdos); e 0,77 entre Prof-Enriquec
e Prof-Participação.
Tabela 4: Matriz de correlação entre as questões (obtida com auxílio do MS Excel 2007)
conceito
ord
_in
d3
Auto
-apre
ndiz
ado
Auto
-esfo
rço
Auto
-pre
-req
uis
tios
Dis
c-c
am
pos d
e tra
balh
o
Dis
c-c
apacid
ade
inte
lectu
al
Dis
c-C
arg
a h
or
Dis
c-e
xerc
icio
s
Dis
c-o
bje
tivos
Dis
c-p
lano d
e e
nsin
o
Dis
c-r
ealid
ade s
ocia
l
IE-a
cerv
o
IE-b
iblio
teca
IE-labora
torio
IE-s
ala
de a
ula
IE-t
rabalh
os d
e c
am
po
Pro
f-C
arg
a h
or
Pro
f-C
onte
udos
Pro
f-crite
rios a
va
liação
Pro
f-D
isponib
Pro
f-E
nri
que
c
Pro
f-in
str
um
ento
s
de
avalia
ção c
om
pativeis
Pro
f-O
bje
tivid
ade
Pro
f-P
art
icip
ação
Pro
f-re
lação c
om
dem
ais
conte
údos
Pro
f-re
sultados
avalia
ções
conceito 1,00 ord_ind3 0,28 1,00
Auto-aprendizado 0,36 0,26 1,00 Auto-esforço 0,21 0,24 0,44 1,00
Auto-pre-requistios 0,20 0,15 0,41 0,39 1,00 Disc-campos de trabalho 0,19 0,12 0,58 0,20 0,24 1,00
Disc-capacidade intelectual 0,27 0,11 0,67 0,22 0,36 0,58 1,00 Disc-Carga hor 0,24 0,18 0,57 0,22 0,32 0,50 0,53 1,00
Disc-exercicios 0,24 0,17 0,57 0,20 0,33 0,60 0,61 0,48 1,00 Disc-objetivos 0,33 0,25 0,76 0,35 0,38 0,52 0,66 0,62 0,57 1,00
Disc-plano de ensino 0,23 0,15 0,47 0,07 0,21 0,38 0,39 0,50 0,39 0,49 1,00 Disc-realidade social 0,13 0,03 0,48 0,05 0,26 0,76 0,52 0,49 0,62 0,52 0,42 1,00
IE-acervo 0,07 0,12 0,37 0,10 0,26 0,43 0,32 0,41 0,33 0,30 0,38 0,45 1,00 IE-biblioteca -0,02 0,14 0,33 0,10 0,21 0,31 0,29 0,38 0,34 0,34 0,32 0,33 0,56 1,00
IE-laboratorio 0,01 0,17 0,51 0,00 0,29 0,61 0,54 0,60 0,72 0,47 0,52 0,71 0,63 0,66 1,00 IE-sala de aula 0,03 0,04 0,31 0,07 0,10 0,34 0,25 0,29 0,35 0,27 0,28 0,36 0,45 0,44 0,74 1,00
IE-trabalhos de campo 0,07 0,06 0,52 0,14 0,41 0,66 0,66 0,71 0,58 0,64 0,55 0,64 0,76 0,71 0,76 0,69 1,00 Prof-Carga hor 0,19 0,11 0,42 0,08 0,15 0,30 0,35 0,52 0,39 0,39 0,37 0,34 0,31 0,28 0,44 0,23 0,47 1,00
Prof-Conteudos 0,24 0,16 0,55 0,10 0,24 0,55 0,50 0,61 0,65 0,55 0,49 0,52 0,36 0,30 0,66 0,26 0,62 0,45 1,00 Prof-criterios avaliação 0,10 0,15 0,43 -0,03 0,21 0,39 0,38 0,46 0,50 0,41 0,51 0,42 0,39 0,37 0,63 0,28 0,60 0,47 0,62 1,00
Prof-Disponib 0,18 0,10 0,47 0,03 0,12 0,42 0,42 0,49 0,52 0,45 0,41 0,48 0,36 0,33 0,61 0,31 0,61 0,44 0,67 0,62 1,00 Prof-Enriquec 0,20 0,16 0,47 0,12 0,26 0,64 0,47 0,53 0,64 0,46 0,44 0,68 0,34 0,28 0,67 0,27 0,70 0,41 0,78 0,53 0,59 1,00
Prof-instrumentos avaliação 0,18 0,10 0,53 0,05 0,25 0,47 0,52 0,52 0,60 0,58 0,50 0,50 0,35 0,32 0,49 0,32 0,57 0,49 0,67 0,58 0,56 0,64 1,00
12
Prof-Objetividade 0,20 0,19 0,59 0,12 0,28 0,59 0,52 0,64 0,66 0,57 0,51 0,57 0,41 0,35 0,69 0,30 0,63 0,47 0,87 0,60 0,63 0,81 0,69 1,00 Prof-Participação 0,17 0,14 0,51 0,08 0,26 0,61 0,48 0,54 0,68 0,50 0,47 0,65 0,32 0,28 0,66 0,27 0,63 0,35 0,79 0,57 0,63 0,79 0,63 0,82 1,00
Prof-relação demais conteúdos 0,22 0,17 0,54 0,08 0,25 0,66 0,51 0,55 0,64 0,50 0,44 0,67 0,35 0,27 0,57 0,23 0,57 0,39 0,72 0,50 0,58 0,74 0,63 0,77 0,77 1,00
Prof-resultados avaliações 0,23 0,19 0,53 0,14 0,21 0,51 0,49 0,48 0,61 0,48 0,42 0,52 0,38 0,33 0,56 0,29 0,54 0,41 0,68 0,54 0,66 0,67 0,58 0,72 0,71 0,64 1,00
Observou-se correlação moderada entre variáveis do grupo referente à infra-estrutura. Por
exemplo: obteve-se 0,76 de correlação entre IE-trabalhos de campo (Os trabalhos de campo
contaram com os recursos necessários) e IE-laboratorio (As condições do(s) laboratório(s)
/ambulatório(s)/ clínica(s) colaboram para o desenvolvimento da disciplina) e 0,76 entre IE-
trabalhos de campo e IE-acervo (O acervo da biblioteca é suficiente e adequado para o
desenvolvimento da disciplina).
!!! 4.5 O conceito obtido interfere na avaliação realizada?
A Análise de Variância permite a comparação de vários grupos. A hipótese formulada pelo
grupo pretende averiguar se o conceito obtido pelo estudante pode interferir na avaliação que
ele realiza da atividade de ensino. Esse experimento foi desenhado da seguinte forma: a
variável de resposta compreende o grau de avaliação no subitem; O fator controlável
compreende a variável conceito; como nível de confiabilidade, estabeleceu-se 95%.
Conduziu-se ANOVA com todos os dados disponíveis de uma atividade de ensino com
tamanho razoável de dados (atividade de ensino com maior quantidade de turmas). A
atividade de ensino analisada é 3. O semestre analisado foi 2009/01. As diferentes turmas
foram agrupadas, sabendo-se que, como política da universidade, na existência de mais de
uma turma, há uma preocupação pelo regente da atividade de ensino em termos de
uniformização do conteúdo e práticas de avaliação. A variável utilizada para fins de análise
foi Prof-Enriquec (O professor enriqueceu as aulas com resultados de pesquisa e/ou material atualizado).
A Tabela 5 resume a contagem das avaliações realizadas e os conceitos obtidos pelos alunos.
Tabela 5: freqüência de grau de avaliação por conceito obtido
GrauAvaliacao A B C D FF
1 2 3 8 10
2 2 3 7 2 2
3 4 3 17 5
4 3 11 13 4 3
5 11 12 23 2 4
Realizando a análise, foi obtido o seguinte resultado:
Tabela 6: resultados da análise de variância com conceitos diferentes (obtida utilizando MS Excel
2007).
Fonte da variação SQ gl MQ F valor-P F crítico
Entre grupos 26,529 4 6,632 3,137 0,016 2,430 Dentro dos grupos 327,664 155 2,114
Total 354,1938 159
Para averiguar qual grupo influi sobre a média de avaliações, comparação múltipla de médias
13
foi realizada, utilizando MQR para estimativa da variância.
Figura 5: Intervalo de confiança para médias
Observa-se que o grupo que obteve notas FF ou D não diferem significativamente, em relação
a avaliação, entre si, no entanto, são significativamente diferentes dos grupos que obtiveram
conceitos A, B ou C, que avaliaram melhor a questão.
5. Discussão
Em relação à averiguação da capacidade de avaliação do questionário, os resultados esperados
eram: turmas com infraestruturas muito distintas apresentassem resultados de avaliações
significativamente diferentes; e infraestruturas semelhantes, avaliação igual.
Alguns resultados obtidos, porém, não foram totalmente condizentes com o esperado.
Observou-se, por exemplo, que turmas com mesmas infra-estruturas a disposição avaliavam
diferentemente. Por exemplo, observou-se que, embora as turmas tivessem à disposição o
mesmo acervo de livros e tivesse a mesma necessidade, avaliavam diferentemente. Estes
resultados indicam que há outros fatores influenciando na avaliação do aluno, que não
somente a infra-estrutura.
De forma paralela, investigou-se a possibilidade da influência do conceito obtido pelo
estudante e o índice de ordenamento na avaliação, para verificar se há dados para respaldar a
possibilidade analisada pelo SAI de atribuir ponderação distinta a avaliação de alunos com
conceitos melhores e/ou piores. Para avaliar se os dados sustentam tal possibilidade,
conduziu-se inicialmente a análise da correlação. Observou-se, no entanto, que não há
correlação linear nítida entre conceitos transcritos de forma quantitativa, ou índice de
ordenamento com nenhuma das avaliações, quando agrupamos os dados de todas as
atividades de ensino.
A análise na ANOVA foi conduzida com uma questão e com dados de apenas uma atividade
de ensino. Esta análise indicou que há uma influência significativa do conceito obtido pelo
aluno em relação ao nível de satisfação apresentada na avaliação respondida. Os resultados da
ANOVA diferem dos resultados da correlação, pois a ANOVA permite distinguir a influência
dos diferentes grupos de conceito, mesmo que a relação não seja linear.
4.6 Proposta de um novo relatório
Considerando as análises acima, sugere-se um novo modelo de relatório. O atual contém
poucos dados, não apresenta sequer recurso visual, que tem o poder de fácil análise de dados.
A adição do Box-plot permitirá a visualização da dispersão dos dados, além da existência de
14
simetria ou não, atualmente não viabilizado. Sugere-se a utilização do Boxplot, uma vez que
este permite a visualização dos resultados da estatística descritiva de forma mais rápida, além
de permitir a expressão de maior informação que meramente média, máximo, mínimo e
desvio padrão. Também foi incluído o coeficiente de variação, que é uma medida muito útil
que permite a comparação da variabilidade dos dados, ou seja se eles são mais homogêneos,
ou mais dispersos, sem o problema de escala que pode ocorrer na utilização do desvio-padrão.
Outro recurso sugerido foi a inserção da moda, que identifica o valor mais freqüente.
A Figura 6 ilustra a parte visual do relatório sugerido.
Relatório de Avaliação de Disciplinas pelo Discente - Por Disciplina * 200* /*
.... 40Sempre que possível foram estabelecidas relações entre conteúdos das disciplinas e os campos de trabalho da profissão. 41Sempre que possível os conhecimentos desenvolvidos na disciplina foram contextualizados na realizade social, econômica, política e/ou ambiental brasileira. 50A carga horária total da disciplina foi cumprida e bem aproveitada. 42As condições da(s) sala(s) de aula colaboram para o desenvolvimento da disciplina. 43As condições do(s) laboratório(s)/ambulatório(s)/clínica(s) colaboram para o desenvolvimento da disciplina. 44O acervo da biblioteca é suficiente e adequado para o desenvolvimento da disciplina. 45Os trabalhos de campo contaram com os recursos necessários. 46As condições da biblioteca (espaço físico, horário, atendimento) colaboraram para o desenvolvimento da disciplina. 47Eu possuía os pré-requisitos necessários para o bom acompanhamento da disciplina. 48Estou satisfeito com o que aprendi na disciplina. 49Dediquei o esforço necessário à disciplina.
Figura 6: exemplo de estrutura do relatório proposto
6. Considerações Finais
Os objetivos deste trabalho foram analisar o processo de avaliação docente pelo discente,
avaliando o relatório gerado atualmente e verificando a capacidade de distinção de situações
sabidamente diferentes. Os dados indicam que as questões parecem permitir distinguir infra-
estruturas nitidamente distintas (extremos). Porém, observou-se que a percepção dos alunos é
15
influenciada por diversos outros fatores, não explicados neste trabalho, que devem ser
considerados. Parece, por exemplo, que há uma significativa influência de algo que
denominamos aqui de cultura própria das turmas. Algumas turmas embora possuam a mesma
infra-estrutura à disposição (acervo bibliográfico, estrutura da biblioteca) e tenham
teoricamente a mesma necessidade em relação à mesma, pareciam avaliar diferentemente.
Também se observou que há, para algumas questões, atividades de ensino e turma, grande
variabilidade das respostas, o que dificulta testes de inferência estatística.
Em relação à suposição de ponderar mais alunos que obtiveram aprovação ou melhores
conceitos na atividade de ensino, a análise realizada em uma atividade de ensino indica que
há, de fato, influência do conceito obtido sobre a avaliação, no caso específico.
As conclusões aqui apresentadas baseiam-se em métodos estatísticos básicos, que apresentam
suas limitações. As inferências também foram realizadas utilizando apenas algumas das
variáveis, atividade de ensinos, turmas e questões disponíveis. Utilizou-se toda a base de
dados apenas na análise da correlação, nas demais apenas parte da base de dados. As análises
realizadas apresentaram resultados bastante interessantes e úteis. No entanto, a ampliação da
análise para uma quantidade maior de dados e a utilização de outros métodos poderia ser mais
adequada. Para algumas das situações analisadas, outros métodos estatísticos, como ANOVA
com mais de um fator, estatística não-paramétrica, entre outros, podem ser interessantes, ou
até mesmo mais adequados para a confirmação dos resultados aqui obtidos.
Agradecimentos
Os autores agradecem ao CPD (Centro de Processamento de Dados) e à SAI (Secretaria de
avaliação Institucional) da Universidade Federal do Rio Grande do Sul – UFRGS pelos dados
e atenção disponibilizada.
Referências
DOBRZANSKI & ROSZAK. Quality Management in university education. Journal of Achievements in
Materials and Manufacturing Engineering. Vol. 24, issue 2, october 2007.
UFRGS. Secretaria de Avaliação Institucional. Disponível em: http://www.ufrgs.br/sai/ acessado em março de
2010.
RIBEIRO, J.D.L. e TEN CATEN, C.S. Estatística Industrial. UFRGS/EE/PPGEP. Porto Alegre, RS, Brasil.
2000
Stevenson, Willian J. Estatística Aplicada à Administração; São Paulo; Harper e Row do Brasil; 1981.
Montgomery, Douglas C.; Runger, George C. Estatística Aplicada e Probabilidade para Engenheiros. Rio de
Janeiro, RJ; LTC; 2ª ed.; 2003.
