Embed Size (px)
Citation preview
Relatório Final do Projeto
Avaliação da disciplina Noções de Estatística (MAE-116)
Agosto/2009
Programa: Ensinar com Pesquisa da Pró-Reitoria de Graduação da USP
Período: Março a Fevereiro/2009
Orientador: Marcos Nascimento Magalhães
Bolsistas: Marcus Dias e Mirian de Souza.
1. Introdução
A Estatística é uma disciplina presente em várias carreiras universitárias brasileiras e sua importância é ressaltada
em muitas ocasiões, mas dificilmente se avalia sua qualidade e o seu aproveitamento.
O projeto consiste em avaliar o ensino e a aprendizagem da disciplina MAE116 - Noções de Estatística sob a
responsabilidade do Departamento de Estatística do Instituto de Matemática e Estatística da Universidade de São Paulo
(USP).
Como principais objetivos do projeto destacamos: avaliar a situação do ensino de Estatística para os estudantes da
Universidade de São Paulo que fazem a disciplina de Noções de Estatística – MAE 116 (esses estudantes não são do IME);
aprender e aplicar a Estatística através de uma pesquisa real; sugerir possíveis mudanças e adaptações para melhoria do
aprendizado e do ensino da referida disciplina.
A disciplina tem duração semestral e algumas de suas turmas do primeiro e do segundo semestre de 2007 foram
avaliadas. As turmas foram escolhidas dentre aquelas em que o professor responsável aceitou participar e que os horários
das aulas não conflitavam com a disponibilidade dos estudantes que fazem parte do projeto, pois haveria necessidade de
fazer observação de aula nas turmas escolhidas.
Durante os dois anos do projeto aconteceram reuniões semanais de discussão das atividades realizadas e
estiveram envolvidos quatro estudantes: os dois bolsistas mencionados acima, Daniela F. Alvarenga e Liz Janduí S.
Baptista. Nos últimos 9 meses apenas os dois bolsistas desenvolveram as atividades.
Em cada semestre, foi designada uma turma a cada um dos alunos participantes do projeto. Foram analisadas as
seguintes carreiras: Biologia, Fonoaudiologia,Terapia Ocupacional, Psicologia, Ciências Sociais, Geologia, Farmácia,
Educação Física, Geografia, Fisioterapia e Física. Alguns poucos estudantes de outras carreiras também estavam presentes
nessas turmas e faziam a disciplina como optativa ou devido ao horário ser mais conveniente para eles.
Das oito turmas avaliadas, sete funcionavam numa estrutura denominada informalmente de grupão e uma no
esquema tradicional. O esquema que estamos denominando tradicional é aquele em que o professor faz o ritmo da aula de
acordo com o andamento da turma mesclando exercícios e teoria. No grupão todas as 4 aulas semanais são no mesmo dia
e estão pré-determinadas, sendo as 2 iniciais teóricas e as 2 seguintes de exercícios. Quase todas as aulas são dadas usando
projeção de slides e existe material disponível para ser consultado na internet. Exercícios semanais são solicitados aos
estudantes e o professor tem pouca flexibilidade no andamento da disciplina. Independente da estrutura da turma, grupão
ou tradicional, a disciplina tem o auxílio de monitores.
2. Desenvolvimento
Para desenvolver nossa pesquisa buscamos informações referentes a cinco aspectos que incluíam a visão do
professor, a visão do monitor, a observação em sala de aula, a visão do aluno obtida a partir de um Questionário e, após o
término da disciplina, um Teste que visava avaliar a retenção do conteúdo por parte dos estudantes.
A opinião dos professores, de cada turma avaliada, foi obtida através de uma entrevista seguindo um roteiro pré-
elaborado. Buscamos conhecer seus planos de aula, objetivos, troca de experiências com os outros docentes e desafios que
está enfrentando em sala. Esta entrevista foi feita cerca de seis semanas após o início das aulas. Veja no Apêndice 1 o
roteiro utilizado.
Para a opinião dos monitores também realizamos entrevistas que foram marcadas, aproximadamente, dois meses
após o início do curso, pois seria importante que eles já tivessem a experiência de prestar atendimento aos estudantes no
período de prova (ver roteiro no Apêndice 2).
Nas observações de sala de aula evitamos aulas de revisão, provas ou aulas imediatamente após a prova, pois
nesses dias há, além de outros fatores, uma diferença significativa de contingente. Buscamos ter um panorama da sala no
momento, observando a interação entre professor e alunos e identificando os possíveis empecilhos de um melhor
aprendizado. O roteiro utilizado está no Apêndice 3.
Solicitamos a todos os alunos que respondessem de forma voluntária e anônima a um Questionário (vide
Apêndice 4) que não continha qualquer pergunta sobre conteúdo estatístico, mas apenas questões que visavam relatar
expectativas dos alunos, relações com o professor e empenho na disciplina. A aplicação do Questionário antecedeu a 1a.
Prova e foi realizado durante uma aula convencional, ou seja, nem de revisão e nem de prova.
O último aspecto considerado na nossa avaliação foi a realização de um Teste com 30 questões de Estatística (ver
Apêndice 5). Para a elaboração do teste, além das provas e listas de exercícios da disciplina, foram utilizados os livros
Botter [1996], Magalhães [2008] e Morettin [2002]. O Teste foi respondido de forma voluntária pelos alunos aprovados
após alguns meses do término da disciplina. É importante ressaltar a dificuldade considerável que está envolvida nessa
coleta dos testes, uma vez que temos que procurar os estudantes aprovados, nos seus institutos de origem após o fim da
disciplina e solicitar que respondam ao Teste.
A Tabela 1 apresenta a participação dos estudantes por carreira e incluímos também, para referência, o número de
matriculados na disciplina. Tivemos um número expressivo de respostas e, como não se estabeleceu um planejamento
amostral à priori, houve participação diferenciada entre as diversas carreiras. Neste sentido os resultados podem ser usados
como uma boa descrição do grupo pesquisado mas é necessário cautela em qualquer projeção para o conjunto de
matriculados na disciplina.
2
Tabela 1: Número de respostas por carreira.
Curso No. Matriculados No. Questionários No. Testes
Biologia 56 40 30Ciências Sociais 90 34 15Educação Física 66 26 24
Farmácia 76 38 11Fisioterapia 28 7 21
Fonoaudiologia 27 11 15Geografia 23 16 1Geologia 69 7 27
Licenciatura em Física 37 16 1Psicologia 65 41 27
Terapia Ocupacional 16 6 6Outros* -- 16 0
Total 553 258 178
(*) Educação Ambiental, Relações Públicas, Contabilidade, Meteorologia, Oceanografia, Química e algumas
respostas sem identificação de carreira.
2.1. Visão do Professor
Ao longo do ano de 2007, foram entrevistados 10 professores da disciplina, sendo 4 no primeiro semestre e 6 no
segundo.
Os professores constataram que são sempre os mesmos alunos que participam da aula e houve divergência de
opiniões quanto à presença dos alunos nas aulas de exercícios e teóricas (nas turmas do grupão). Alguns disseram que
havia maior número de alunos nas aulas teóricas e outros nas aulas de exercícios. Os professores mencionaram que são
procurados por alguns alunos nos intervalos e finais de aula, mas raramente em outros horários.
Todos os professores do grupão comentaram que não há como fazer atividades diferenciadas para as turmas, visto
que não há mobilidade no programa da disciplina, pois as aulas já vêm prontas. Sobre essa questão, alguns professores
fizeram críticas à estrutura da matéria, dizendo que não é muito eficiente, além de serem cansativas. Outros acham que
essa estrutura é boa e a defendem sem maiores argumentações.
2.2. Visão do Monitor
Foram entrevistados 11 monitores da disciplina ao longo do ano de 2007, sendo 7 monitores no primeiro e 4 no
segundo semestre.
Os monitores poderiam ser estudantes de graduação ou de pós-graduação. Os que eram da graduação, faziam
atendimento semanal e correção de listas. Os estudantes da pós, chamados de monitores PAE (Programa de
Aperfeiçoamento de Ensino da USP), davam aulas de revisão e faziam os gabaritos das listas. Dos 7 monitores do primeiro
semestre, 3 eram monitores- PAE. No segundo semestre, todos os monitores eram estudantes da graduação.
A fim de entender melhor as relações monitor-aluno e monitor-professor, entrevistamos todos os monitores para
compreender melhor a sua rotina de trabalho. Buscamos saber se a monitoria é bem utilizada pelos alunos e até pelos
professores e como é feita a integração de trabalho entre eles.
A maior parte dos monitores informou que a freqüência dos estudantes nos atendimentos de monitoria foi baixa
ao longo do semestre, aumentando um pouco na véspera das provas. Acreditam que os estudantes não aproveitaram o
plantão de atendimento, pois eram poucos e quase sempre os mesmos que o freqüentavam. Os monitores mencionaram que
a procura predominante era para tirar dúvidas sobre os exercícios das listas, critérios de correção das provinhas/listas e
3
muitos procuravam “receitas de bolo” para a resolução de exercícios. Poucos alunos buscaram tirar dúvidas sobre
conceitos ou teorias. Grande parte dos monitores entrevistados apontou a existência de alto índice de cópia de listas.
Segundo os monitores, durante os plantões, os estudantes reclamavam que a disciplina era cansativa com grande
quantidade de conteúdo apresentado em aula e que havia muitos alunos na sala. Alguns dos monitores fizeram críticas à
disciplina dizendo que ela não deveria ser dada para os estudantes do primeiro ano e sim mais tarde. Além disso, alguns
opinaram que o sistema de slides do grupão não é muito eficiente.
2.3. Observação em sala de aula
Para cada uma das oito turmas avaliadas, dois estudantes do projeto fizeram as observações. Na observação da
aula, três itens foram destacados:
a) Sala de aula: avaliamos as condições das carteiras, mesas, lousa, acessibilidade, acústica, iluminação e limpeza
da sala no momento em que acontece a aula.
b) Alunos: aqui verificamos o envolvimento dos alunos na aula, avaliamos a sua participação, a intervenção, o uso
das notas de aula e a interação entre eles e o professor.
c) Professor: nesta observação, temos como objetivo descrever as atividades e o empenho do professor incluindo
sua motivação, como ele desperta o interesse nos alunos, se ele os incentiva a perguntarem, a formalidade da comunicação,
a organização da lousa e se a sua didática em sala explora erros, expõe o conteúdo com clareza e de forma gradual.
De modo geral, as salas de aula não estavam superlotadas e tinham boas condições físicas com pequenos
problemas de ventilação e barulho externo.
Em algumas turmas do grupão houve dificuldade de acompanhar a projeção de slides. Os estudantes das turmas
do grupão em geral prestavam atenção e acompanhavam as aulas com o material retirado da página (internet) da disciplina
e faziam pequenas anotações. A turma tradicional foi a única classificada como tendo uma boa participação e interação
entre professor e alunos. Nessa turma as aulas eram distribuídas em dois dias, ao invés de quatro horas em um único dia
como no grupão. Nas demais observações de aula a participação e a interação foram baixas.
Na maioria das salas visitadas, um pequeno grupo de alunos procurou o professor durante o intervalo com
dúvidas sobre a correção de listas de exercícios e o conteúdo da aula.
Em geral, os professores da turma do grupão escreveram pouco na lousa e, quando o fizeram, a visão dos alunos
foi dificultada pela pouca iluminação da lousa. Ocorreu, também, de professores escreverem de forma desorganizada.
Alguns problemas foram observados na projeção de telas do computador, pois as fontes eram pequenas em
relação ao tamanho físico da sala. Em algumas turmas foi constatado que o professor só leu os slides e o índice de evasão
após a primeira parte da aula (teórica) foi grande.
Os professores não abusaram da linguagem formal e, em geral, falaram alto e claro. Em alguns casos, deram
exemplos da aplicabilidade da matéria em diferentes áreas de trabalho.
2.4. Visão dos alunos
Um Questionário foi respondido em sala de aula, de forma voluntária e anônima, pelos estudantes das turmas
avaliadas. Alguns estudantes de Aperfeiçoamento (graduados em outras carreiras) também responderam, mas suas
respostas não foram consideradas neste trabalho. Tivemos 258 participantes mas, eventualmente, alguns itens foram
deixados em branco o que ocasionou diferença no número de respostas em algumas questões. O Questionário tinha 16
questões e, apresentamos a seguir as análises dos resultados desse estudo. É importante mencionar que as porcentagens
foram arredondadas para fazer a apresentação sem casas decimais.
4
Na Figura 1 apresentamos o resultado referente a pergunta sobre a expectativa inicial dos estudantes em relação à
disciplina. A maioria não tem uma boa expectativa. Percebemos, através do detalhamento apresentado por carreira, que
várias carreiras têm alto percentual de preconceito com a disciplina e isso certamente interfere no seu aprendizado.
Figura 1: Reação ao saber que teria essa disciplina (Pergunta 1).
Na Pergunta 2, estávamos interessados em saber qual a contribuição que o estudante espera que a disciplina tenha
na carreira escolhida. Percebemos, na Figura 2, que mesmo para as carreiras com alto índice de rejeição à disciplina, os
estudantes esperam que ela traga alguma contribuição à sua formação.
Figura 2: Contribuição esperada (Pergunta 2).
Ao elaborarmos o Questionário não tínhamos definido a forma de coleta e, dessa forma, a Pergunta 3 tinha como
objetivo saber se o estudante que estava respondendo tinha suas aulas divididas, ou não, em teóricas e de exercícios, o que
permitiria caracterizar sua turma como tradicional ou grupão. Ocorre que a coleta foi em sala de aula e a pergunta aos
estudantes se tornou irrelevante, servindo apenas para orientar as perguntas subseqüentes referentes à permanência dos
estudantes em classe. A Tabela 2 apresenta a divisão dos entrevistados segundo o tipo da turma.
5
Bio Ed. Fis. Farmácia
Física Fisio
Fono Geografia Geologia
Psico Sociais
Ter. Ocup. Outras
TODAS 0%
10% 20% 30% 40%
50% 60% 70% 80% 90%
100%
40% 58%
34%
6%
57%
27%
6%
29%
51% 50%
17% 19% 29%
28%
27%
37%
44%
29%
64%
38%
43%
22% 21%
33% 31%
31%
32% 15%
26% 50%
14% 9%
56% 14%
25% 23% 50%
44% 38%
3% 14%
2% 6% 6% 2%
Favorável Neutra Desfavorável Não respondeu
Bio Ed. Fis
Farmácia Física
Fisio Fono
Geografia Geologia
Psico Sociais
Ter. Ocup. Outras
TODAS 0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
62%
12%
37% 31% 14% 9% 13% 14% 12% 15% 17%
38% 27%
28%
27%
47% 50%
29%
73% 81%
86%
42% 26%
33%
50%
42%
10%
46%
13% 13%
43%
18% 6%
46%
41%
50%
12%
26%
15% 6%
14% 15%
4% 3% 3% 1%
Muito Regular Pouco Nada Não Respondeu
Tabela 2:Tipo da turma cursada.
Tipo Porcentagem
Tradicional 16%
Grupão 84%
Para cada tipo de turma gostaríamos de saber qual é a freqüência com que os alunos vão as aulas (Perguntas 4 e 5)
e se permanecem nela até o final (Perguntas 6 e 7). As Tabelas 3 e 4 apresentam os resultados para as turmas do grupão
das respostas às perguntas mencionadas para aulas teóricas e de exercícios, respectivamente. Em seguida, na Tabela 5, os
resultados relativos à freqüência (Pergunta 8) e à permanência nas aulas (Pergunta 9) são apresentados para os alunos da
turma tradicional.
Tabela 3:Freqüência e permanência em aulas teóricas do grupão.
Tabela 4: Freqüência e permanência em aulas de exercícios do grupão.
Tabela 5:Freqüência e permanência em aulas Tradicionais.
6
TOTAL
59% 2% 0% 61%
20% 10% 0% 30%
0% 7% 2% 9%
TOTAL 79% 19% 2% 100%
Aulas Tradicionais
Questão 8: Presença em aulas
Questão 9: Permanência na aula
Até o final Sai no meio Sai no começo
Todas
Quase
Raramente
TOTAL
53% 3% 0% 56%
17% 12% 0% 29%
6% 4% 5% 15%
TOTAL 76% 19% 5% 100%
Aulas de Exercícios/Grupão
Pergunta 5: Presença em aulas
Pergunta 7: Permanência na aula
Até o final Sai no meio Sai no começo
Todas
Quase todas
Raramente
TOTAL
69% 0% 0% 69%
19% 6% 1% 26%
3% 1% 1% 5%
TOTAL 91% 7% 2% 100%
Aulas Teóricas/ Grupão
Pergunta 4: Presença em aulas
Pergunta 6: Permanência na aula
Até o final Sai no meio Sai no começo
Todas
Quase todas
Raramente
Na Pergunta 10, desejamos saber como os estudantes solucionam suas dúvidas. A Figura 3 mostra que a maioria
deles não esclarecem dúvidas com o professor. Sim 40%
Figura 3:Auxílio do professor em dúvidas.
Ainda nesta pergunta, para os que responderam SIM, solicitamos que indicassem o momento/local em que tiravam dúvidas
(ver Figura 4).
Figura 4: Momento/Local em que tiram dúvidas com o professor.
Para aqueles que responderam NÃO, pedimos que justificassem sua resposta (ver Figura 5). Nas Figuras 4e 5, a
resposta Branco se refere àqueles que não apresentaram complemento ao SIM ou NÃO indicados. Nota-se que os
estudantes não procuram o professor em sua sala, mas tiram dúvidas durante ou no intervalo de aula. Percebemos,
também, que apesar de os motivos para NÃO serem muitos, muitos estudantes não tiram dúvidas por que não se sentem
confortáveis diante do professor ou ficam envergonhados.
Figura 5: Justificativas para não tirar dúvidas com o professor.
7
Durante a aula Intervalo Sala do prof. Branco
0%
10%
20%
30%
40%
50%
60%
54%44%
1% 1%
Você tiras suas dúvidas com o professor?
Sim 40%
Não 53%
Branco 7%
Você tiras suas dúvidas com o professor?
Sim 40%
Não 53%
Branco 7%
Vergonha Com colegas Sem dúvidas Desconforto Outros Branco
0%
5%
10%
15%
20%
25%
30%
21% 21%15%
4%
30%
9%
Perguntamos aos estudantes (Pergunta 11) se achavam as aulas interessantes (ver Figura 6).
Figura 6: Opinião sobre a aula.
A justificativa da escolha do SIM ou NÃO foi solicitada e mais de um motivo poderia ser indicado. As respostas
foram agrupadas, para efeito de tabulação, nas categorias descritas nas Figuras 7 e 8. Dos motivos apontados pelos que
acham as aulas interessantes destacamos a aplicabilidade indicada por ampla maioria. No lado oposto, a falta de motivação
e a crítica pelo uso excessivo de slides nas aulas do grupão foram indicados por aqueles que não acham as aulas
interessantes.
Figura 7:Justificativas para aulas interessantes.
Figura 8:Justificativa para aulas não interessantes.
Na estrutura do grupão está previsto a entrega de uma lista de exercícios por semana. Na Pergunta 12, o objetivo
era saber com que freqüência o aluno faz os exercícios propostos pelo professor. Percebemos aqui que ao redor de 40%
não entrega, habitualmente, os exercícios propostos. O resultado completo está apresentado na Figura 9.
8
Excesso de slides
Não vê aplicação
Falta motivação Branco
0% 5%
10% 15% 20% 25% 30% 35% 40% 45%
18%
37% 43%
3%
Aplicabilidade Fácil Somente exercícios Branco
0%
10%
20%
30%
40%
50%
60%
70%
80%
80%
5% 11% 4%
As aulas são interessantes?
Sim 44%
Não 46%
Branco 10%
As aulas são interessantes?
Sim 44%
Não 46%
Branco 10%
Figura 9:Entrega de lista de exercícios.
A Figura 10 retrata as respostas à Pergunta 13, referente à dedicação do estudante. Percebemos que a maioria dos
alunos estuda somente uma vez por semana a disciplina MAE 116.
Figura 10: Com que freqüência você estuda fora do horário de aula?
A Pergunta 14 se refere ao uso da monitoria no processo de aprendizagem que é pouco utilizada, como os
próprios monitores haviam dito. Além disso, 7% dos estudantes afirmam não ter monitor, o que não é verdade. Essas
respostas indicam que as informações não chegaram a alguns estudantes e uma divulgação mais efetiva por parte dos
professores poderia incentivar os alunos a buscarem a monitoria. Os dados estão apresentados na Figura 11.
9
0% 10% 20% 30% 40% 50% 60%
Às vezes32%
Sempre58%
Raramente7%
Não faço3%
Bio Ed. Fis. Farmácia Fís ica Fis io Fono Geografia Geologia Psico Sociais Ter. Ocup. Outros TODAS
0%
20%
40%
60%
80%
100%
120%
78%
42%58%
69%
57%
82%
69% 72%
24%
70%
100%
69% 60%
19%
39%
34%
19%
43%
18% 6% 14%
73%
18% 19% 31%
3%19%
8% 6% 3%6% 12% 6%
12% 19% 14%3% 3%
3%
Todos os dias Uma vez por semana Véspera da prova Não estudo Não respondeu
Figura 11: Com que freqüência você procura o monitor?
A Pergunta 15 se refere à opinião sobre o trabalho dos monitores (ver Figura 12). Aqueles que comparecem a
monitoria são 30% e apenas 11% destes consideram bom o trabalho dos monitores.
Figura 12: Trabalho do monitor.
Por fim, a Pergunta 16 era totalmente dissertativa e atuou como um espaço livre para os estudantes colocarem
qualquer comentário sobre a disciplina, professor ou monitor. Dos 258 alunos que responderam o questionário, 169 não
fizeram nenhum comentário adicional e deixaram a questão em branco. Para as respostas recebidas foram criadas
categorias classificando os vários comentários. Permitimos que uma resposta pudesse receber mais de uma categoria. A
Tabela 6 apresenta uma síntese destes comentários.
10
0% 10% 20% 30% 40% 50% 60% 70%
Não respondeu7%
Sempre3%
Às vezes21% Raramente
62%
Não tem monitor7%
Ruim 7%
Não respondeu 8%
Não procuro 62%
Bom 11%
Regular 12%
Tabela 6: Comentários.
Considerando apenas os que responderam a questão, classificamos (ver Figura 13) o comentário como Negativo,
se ele contém críticas à disciplina ou Positivo, se contém elogios.
Figura 13: Classificação do comentário.
2.5 Teste
O Teste aplicado aos alunos aprovados na disciplina foi baseado na ementa do curso e continha 30 questões de
múltipla escolha, sendo 25 com duas alternativas (Sim ou Não) e 5 com três alternativas. Logo, se um aluno respondesse
as questões ao acaso teria, em média, 14,17 acertos o que corresponde a 47,22% de porcentagem de acertos. Tivemos a
participação de 178 estudantes (110 no 1º semestre e 68 no 2º semestre) e o desempenho de cada estudante foi medido pela
porcentagem de acertos que será referido como sendo o escore do Teste.
11
Categorias Porcentagem
Aulas cansativas 2,3%
Critica de como é dada a matéria 10,9%
Pede exercícios específicos para carreira 1,6%
Monitoria é em bons horários (a) 1,2%
Deveria ser Optativa (b) 2,3%
Muita teoria (c ) 2,3%
Outros 1,6%
Reclama do monitor 3,1%
1,6%
Sala cheia 0,4%
Boas aulas / Bom professor (d) 6,6%
Mencionou (a) e (d) 0,4%
Mencionou (b) e (c ) 0,4%
Branco 65,5%
Total 100%
Professor só lê slides
Negativo 75%
Positivo 25%
Para efeito de avaliação, as questões foram divididas em três assuntos: Descritiva, Probabilidade e Inferência. A
Tabela 7 apresenta a média e o desvio padrão do desempenho dos estudantes (por assunto e geral).
Tabela 7: Média e desvio padrão por assunto.
Assunto Nº de itens Média (%) Desvio Padrão (%)
Descritiva 11 73 14
Probabilidade 9 60 18
Inferência 10 49 16
Geral 30 61 11
O número de questões de cada assunto está razoavelmente equilibrado e, tendo em vista que o Teste só foi
respondido por estudantes aprovados, a média 61 está um pouco baixa. Percebemos que o assunto Descritiva tem
desempenho médio superior aos demais, enquanto que Inferência tem o pior. Existe, inclusive, um estudante que não
acertou nenhuma das 10 questões desse tópico. A variabilidade do desempenho é aproximadamente a mesma nos três
assuntos mas note que o desempenho geral tem uma variabilidade menor, indicando que o conhecimento dos estudantes é
mais diferenciado quando olhado em cada assunto isoladamente. Ao juntar todos os assuntos temos uma certa
compensação que produz um conjunto de desempenhos com menor variabilidade.
Para complementar a análise, apresentamos na Figura 14 o desempenho para cada assunto através de um box-plot.
Observe que em Inferência temos um outlier com valor 0 conforme já indicado anteriormente.
Figura 14: Acertos por assunto.
Também analisamos o desempenho dos alunos em cada questão (Figura 15). Percebe-se que as questões 17 e 12
do assunto Descritiva tiveram a maior porcentagem de acertos, enquanto as questões 13, 22 e 27 com os assuntos de
Descritiva e Inferência tiveram as menores porcentagens de acertos.
12
Figura 15: Acertos por questão.
As duas questões com os melhores desempenhos são de Descritiva e são apresentadas a seguir com o índice de
acerto indicado entre parênteses.
Questões com os melhores desempenhos:
Questão 17 (95%):
Pelo diagrama, podemos dizer que as mulheres
possuem menor variabilidade no peso?
( ) Sim ( ) Não
13
Porcentagem de acertos por questão
85%
48%50%
75%
85%
75%
59%
47%44%
81%
52%
88%
28%
47%
43%
72%
95%
78%
45%
74%
58%
34%35%
78%
61%
78%
34%
65%
51%
62%
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Questão 12 (88%):
As notas em um exame de inglês foram: 4, 5, 6, 6, 7 e 10. Vamos retirar uma nota desse conjunto para diminuir a
variância. Assinale a nota que deve ser retirada:
( ) 4 ( ) 6 ( ) 10
Apesar dessas questões serem relativamente fáceis, o alto índice de acerto demonstra que os estudantes tiveram uma boa
compreensão do conceito de variabilidade. Vamos considerar agora as questões em que os estudantes não foram bem.
Questões com os piores desempenhos:
Questão 13 (28%):
Para uma variável, seguindo o modelo Normal, a média, a moda e a mediana são iguais?
( ) Sim ( ) Não
Questão 22 (34%):
Na realização de um Teste de Hipóteses, é possível concluir pela rejeição da proporção amostral observada?
( ) Sim ( ) Não
Questão 27 (34%):
Através de uma amostra numa certa cidade, obtemos [0,10; 0,16] como intervalo com 90% de confiança para a
proporção de casos de dengue. Assinale a afirmação correta:
( ) A proporção de dengue nessa cidade é de 0,13.
( ) Com probabilidade 0,9 a proporção de dengue está no intervalo [0,10; 0,16].
( ) A proporção de dengue pode estar ou não no intervalo acima, mas a confiança é 90%.
O pequeno número de acertos na Questão 13 indica que os estudantes não identificam características importantes
do modelo Normal. Esse modelo é muito utilizado em teoria e aplicações de Estatística e a dificuldade com suas
propriedades é preocupante. As Questões 22 e 27 empataram com apenas 34% na segunda posição de pior desempenho.
Elas são do assunto Inferência que, em geral, causa mais dificuldade aos estudantes. Note que essas questões se referem à
conceitos fundamentais para o pensamento estatístico e o baixo índice de acerto reflete que os estudantes não assimilaram
essas idéias.
Fizemos também um boxplot, ver Figura 16, com o escore de cada carreira em que foram destacadas as linhas de
70% e 50% de acertos para facilitar a avaliação do desempenho no teste. Nota-se que no curso de Fonoaudiologia nenhum
aluno acertou mais que 70% e no curso de Terapia Ocupacional todos os alunos acertaram mais de 50% das questões.
Percebe-se também a presença de outliers nos cursos de Educação Física, Fisioterapia e Geologia, indicando que em cada
um destes cursos um aluno teve desempenho muito inferior aos demais.
14
Figura 16: Desempenho por curso.
GeralT.O.PsicoGeologiaFonoFisioFarmEd FisC SociaisBio
90
80
70
60
50
40
30
20
Esc
ore
70
50
Todos os Cursos
A título de comparação verificamos a nota média no vestibular de ingresso e a nota média final na disciplina
MAE116 de cada carreira avaliada (ver Figura 17). Neste gráfico percebe-se que a nota média final da disciplina foi maior
em todas as carreiras. O escore médio no Teste teve o pior índice nos cursos de Biologia, Farmácia, Fisioterapia e
Psicologia.
Figura 17: Desempenho médio no Vestibular, Curso e Teste por carreira.
GeralTer OcupPsicGeologiaFonoFisioFarmEd FisC SociaisBio
85
80
75
70
65
60
55
50
Desempenho Médio dos alunos
Calculamos os intervalos de confiança para a Nota Final na disciplina e para o escore no Teste e apresentamos os
resultados na Figura 18. Para um IC de 95% da média da pontuação, percebe-se que no Teste, todas as carreiras tiveram
15
nota final maior do que o escore no Teste. No entanto, observa-se que as carreiras Educação Física, Farmácia, Fisioterapia
e Fonoaudiologia tiveram desempenho no teste proporcional à nota final na disciplina. Nota-se também que na carreira
Terapia Ocupacional temos uma amplitude relativamente grande nos intervalos de confiança, possivelmente devido ao
pequeno número de estudantes da carreira. Além disso, na Farmácia temos um contraste acentuado entre Nota Final e
escore no Teste produzindo, respectivamente, um dos menores e o maior IC dentre as carreiras avaliadas.
Figura 18: Intervalos de Confiança para Disciplina e Teste por carreira.
16
Ter. Ocupacional
Psicologia
Geologia
Fono
Fisioterapia
Farmácia
Educ. Física
Ciências Sociais
Biologia
85
80
75
70
65
60
55
50
No
ta F
ina
l
IC para a Nota Final
Ter. Ocupacional
Psicologia
Geologia
Fono
Fisioterapia
Farmácia
Educ. Física
Ciências Sociais
Biologia
85
80
75
70
65
60
55
50
Esc
ore
IC para o Escore
3. Atividades
Nesse último ano de bolsa os estudantes completaram a coleta de dados com a aplicação do Teste e trabalharam
na análise das respostas. Os resultados do projeto foram apresentados no Simpósio Nacional de Probabilidade e Estatística
em julho/2008 e nos Simpósios de Iniciação Científica do IME e da USP em novembro/2008.
4. Conclusões
A disciplina Noções de Estatística foi avaliada sob vários enfoques. Em geral, com uma expectativa desfavorável
por parte dos estudantes, os professores da disciplina precisariam aumentar a motivação nas aulas iniciais do semestre. Isto
talvez pudesse ser feito com exemplos nas áreas das carreiras dos estudantes. A participação mais ativa dos estudantes em
sala de aula é outra sugestão que nos parece adequada. O excessivo uso de slides em aulas do grupão, conforme indicado
pelos estudantes nas respostas ao Questionário, pode contribuir para aumentar a passividade dos estudantes. Os resultados
do Teste de conhecimentos estatísticos indicou problemas no aprendizado dos estudantes. Responderam ao Teste somente
estudantes aprovados na disciplina e um escore médio de acerto de 61% não é para ser comemorado, principalmente se
observarmos que o Teste não era difícil. Estaremos enviando uma cópia desse relatório ao Departamento de Estatística e
ficaremos à disposição para discutir seus resultados. Esperamos que o trabalho de avaliação realizado possa contribuir para
uma reflexão sobre a disciplina gerando eventuais modificações na busca de um melhor aprendizado dos estudantes.
Quanto aos estudantes participantes do projeto, acreditamos que tiveram uma boa experiência de reflexão com a
preparação do material de coleta de dados (roteiros, Questionário e Teste). Além disso, tiveram a oportunidade de exercitar
sua capacidade de redação e síntese ao sumarizar as respostas de entrevistas. Do ponto de vista estatístico, a elaboração do
Teste com 30 questões e análise das respostas serviu para revisar conceitos e aprofundar os conhecimentos em Estatística.
De modo geral, podemos afirmar que houve um significativo progresso dos estudantes na sua formação acadêmica.
17
Apêndice 1 – Visão do professor
1) Qual o objetivo desse curso?
2) Quais as idéias mais importantes a serem fixadas pelos alunos?
3) Como é a freqüência dos alunos em sala?
4) A participação dos alunos na aula é:
Intensa Pouca Regular Nenhuma
5) No caso de haver participação, quem participa: a maioria, a minoria, sempre os
mesmos alunos ou varia?
6) Os alunos o procuram fora da sala de aula?
7) Pretende fazer algo de diferente com a sala, algo como trabalhos, seminários ou
outras atividades?
8) Você percebeu alguma reação da sala em relação à matéria durante as primeiras
aulas?
9) Indique sua experiência em lecionar esta disciplina.
10) Quais as suas expectativas em relação à turma?
11) Quais as dificuldades/resistências que você encontra? Como pretende contorná-
las para lecionar essa disciplina?
18
Apêndice 2 – Visão do monitor
1) Você dá atendimento quantas vezes por semana? Quantas horas por atendimento?
2) Quantas horas você trabalha por semana?
3) Como é a freqüência dos alunos na monitoria?
4) Em que momento a procura dos alunos aumenta?
5) Qual o interesse dos alunos ao procurarem à monitoria?(dúvidas, reclamações,
listas, provas ou simplesmente conversas).
6) Você acha que os alunos estão aproveitando a monitoria?
7) É você quem elabora e corrige as listas?
8) Se você corrige, segue algum critério estipulado pelo professor?
9) Você resolve todas as listas? Com qual intuito?(para melhor atender os alunos ou o
professor exige sua resolução?)
10) Você é responsável por alguma aula de resolução de exercícios e/ou teórica?
11) Você assiste às aulas da matéria junto com os alunos?
12) Como é seu relacionamento com o professor desta disciplina?
13) Você sugere atividades para os alunos?
14) Se você sugere, o professor aplica as suas sugestões?
15) Houve alguma reclamação por parte dos alunos em relação ao seu atendimento
ou ao conteúdo do curso?
16) Você já foi monitor outras vezes? Quantas?
17) Algum outro comentário?
19
Apêndice 3 – Observação em sala de aula• Sala de aula
Condições (cadeiras, lousa, limpeza):
Excelente Boa Regular Ruim Péssima
Comentários:
Acústica:
Excelente Boa Regular Ruim Péssima
Comentários:
Iluminação:
Excelente Boa Regular Ruim Péssima
Comentários:
• Alunos
Prestam atenção
Todos Muitos Metade Poucos Ninguém
Comentários:
Anotam o que o professor diz/escreve:
Todos Muitos Metade Poucos Ninguém
Comentários:
Intervenção na aula:
Alta Média Baixa Nenhuma
Como eles intervêm na aula? Acerca do conteúdo ou o método de ensino?
Comentários:
• Professor
Motivação:
Alta Média Baixa Nenhuma
Como ele desperta o interesse nos alunos? Comentários:
Sobre perguntas dos alunos ele:
Incentiva/Busca Responde Inibe, mas responde Não responde/é rude.
Qual é a postura dele perante perguntas e situações adversas na sala? Comentários:
Lousa:
Comentários:
Comunicação (Formalidade):
Excessiva Necessária Mínima Informal
Ele utiliza palavras fáceis? Fala alto? Conversa com os alunos? Comentários:
Didática (Apresentação do conteúdo, utilização de recursos audiovisuais e exploração do erro). Comentários:
20
SIM NÃOOrganizada?Letra legível?
Apêndice 4 – Visão do alunoPrezado Estudante,
Nossa intenção é avaliar a disciplina MAE 116 em diversas carreiras na universidade. Suas respostas serão levadas em conta como parte da amostra e não
individualmente. Pedimos que concorde em responder esse questionário e agradecemos sua colaboração nesse projeto.
Obrigado. Equipe do projeto Avaliação de MAE 116 (Outubro/2007)
Curso: _________________________________________ Ano de Ingresso: _________
1) Qual foi sua reação ao saber que teria essa disciplina?
� Positiva � Indiferente � Negativa2) Esse curso vai contribuir com que intensidade para sua formação?
� Muito � Regular � Pouco � Nada3) Suas aulas de MAE 116 são divididas em aulas teóricas e aulas de exercícios?
� Sim � Não
Se sim, responda as questões de 4 a 7. Se não responda as questões 8 e 9:
Questões 4 a 7 (para sim):
4) Quanto a sua freqüência em aulas teóricas: 5) Quanto a sua freqüência em aulas de exercício:� Assiste todas as aulas. � Assiste todas as aulas.� Assiste quase todas as aulas. � Assiste quase todas as aulas.� Assiste raramente as aulas. � Assiste raramente as aulas.
6) Das aulas teóricas que assiste,você: 7) Das aulas de exercícios que assiste, você:� Fica até o final. � Fica até o final.� Sai no meio da aula. � Sai no meio da aula.� Sai no começo da aula. � Sai no começo da aula.
Questões 8 e 9 (para não):
8) Quanto a sua freqüência em aulas: 9) Das aulas que assiste, você:� Assiste todas as aulas. � Fica até o final.� Assiste quase todas as aulas. � Sai no meio da aula.� Assiste raramente as aulas. � Sai no começo da aula.
10) Você tiras suas dúvidas com o professor:
� Sim � Durante a aula.� No final da aula/intervalo.� Na sala do professor.
� Não � Professor não dá abertura.� Não tenho coragem.� Não tenho dúvidas.� Colegas.� Outros: ______________________________
11) As aulas são interessantes? Por quê?
12) Você faz os exercícios propostos pelo professor?
13) Com que freqüência você estuda MAE 116 fora do horário de aula?
� Duas ou mais vezes por semana � Uma vez por
semana
� Véspera da prova � Não estudo
14) Com que freqüência você procura o monitor?
� Sempre � Às vezes � Não procuro � Não tem monitor15) Qual a sua avaliação do trabalho do monitor?
� Bom � Regular � Ruim � Não procuro16) Se desejar, faça algum outro comentário sobre a disciplina (use o verso se necessário).
21
� Sempre � Às vezes � Raramente � Não faço � Ele não propõe
22
Apêndice 5 - TestePrezado estudante,
Este teste é parte do projeto desenvolvido noAvaliação do Curso Noções de Estatística - MAE 116
Departamento de Estatística do IME. O teste é para estudantes aprovados na disciplina, dura ao redor de 35 minutos econtém questões sobre conceitos básicos de estatística. Informamos que os resultados serão avaliados conjuntamente e não individualmente e pedimos que colaborerespondendo todas as questões. Para responder não é necessário identificar-se mas, se desejar, podemos informar seudesempenho (indique seu e-mail no final das questões). Muito obrigado.
Professor Marcos N. Magalhães ([email protected])Coordenador do Projeto- Março/2008
1. Numa escola, 40 crianças foram pesadas obtendo-se média de 38 kg. Mais tarde, verificou-se quea balança era incorreta e indicava 100g a menos que o peso verdadeiro. Indique qual afirmação écorreta:
( ) A média real é também 38 kg, pois todas foram pesadas com mesmo erro.
( ) A média real se altera, mas, para obtê-la, não é preciso pesar todas as crianças novamente.
( ) Nada podemos concluir sobre a média real sem antes pesar todas as crianças novamente.
2. Eventos independentes são eventos que nunca têm intersecção?
3. Em um Teste de Hipóteses, o nível de significância é a probabilidade de aceitara hipótese nula quando, de fato, ela é falsa?
Sim ( )
Não ( )
Sim ( )
Não ( )
Enunciado referente às Questões 4 a 6. As medidas da taxa de hemoglobina no sangue, emgramas/cm , de uma amostra de operários da construção civil, são apresentadas no histograma a$
seguir:
171514131211
0,3
0,2
0,1
0,0
hemoglobinahemoglobina
Densidade de Freqüência
0,25
0,15
0,05
15%
30%
25%
20%
10%
Então:
4. A mediana está na faixa de 13 a 14?
5. Pode ocorrer que 5% das observaçõesda amostra tenham taxa acima de 16?
6. Para esses operários a taxa média dehemoglobina é, certamente, inferior a 14?
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
23
7. Para um certo tipo de pneu, a durabilidade (em milhares de quilômetros) édescrita como uma variável aleatória Normal com média 60 e desvio padrão8,3. A proporção de pneus que são trocados, quando a garantia é para osprimeiros 48 mil quilômetros, é 0,07. Se a garantia fosse para os primeiros 45mil, que aconteceria com a probabilidade de troca?
8. Fazendo a média entre o 1 quartil e o 3 quartil obtemos o valor da mediana?o o
9. Em Testes Qui-quadrado de Independência, se o valor observado da estatísticaU# for muito alto, temos uma indicação da tendência de associação entre asvariáveis?
10. Todo dia um indivíduo lança uma moeda equilibrada para decidir se vai aotrabalho de ônibus (se der cara) ou de metrô (se der coroa). Em 30 dias,escolhidos ao acaso, o número de vezes que vai de ônibus é uma variávelaleatória que segue o modelo Binomial?
11. A proporção amostral é uma variável aleatória, cuja variância diminui com oaumento do tamanho da amostra?
12. As notas em um exame de inglês foram: 4, 5, 6, 6, 7 e 10. Vamos retirar umanota desse conjunto para diminuir a variância dos dados. Assinale a nota quedeve ser retirada.
13. Para uma variável, seguindo o modelo Normal, a média, a moda e a medianasão iguais?
14. Suponha que a variável segue um modelo Binomial com parâmetros\8 œ "!! : œ !ß( \ e . Em cálculos de probabilidade para a variável , podemos
obter resultados aproximados se usarmos uma Normal de média e variância(!#"?
15. Para um mesmo tamanho de amostra os intervalos com confiança , para a#proporção populacional, terão menor amplitude quanto maior for o valor de ?#
Diminui ( )
Aumenta ( )
Fica igual ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
4 ( )
6 ( )
10 ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
24
Enunciado referente às Questões 16 a 18. Peso O diagrama abaixo é da variável para amostrasde homens e mulheres com mesmo tamanho:
Sexo
Peso(kg)
MulherHomem
90
80
70
60
50
Boxplot de Peso vs Sexo
16. Nessa amostra, o peso mediano doshomens é aproximadamente igual ao3o. quartil do peso das mulheres?
17. Pelo diagrama, podemos dizer que asmulheres possuem menor variabilidadeno peso?
18. Juntando as amostras de homens emulheres, temos que mais de 50% daspessoas pesam mais do que 75 quilos?
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
19. Se o nível de significância em um Teste de Hipóteses é 10%, então o níveldescritivo (também chamado de é cerca de 90%?P-valor)
20. Se duas variáveis têm coeficiente de correlação linear próximo de 1 ou de -1,então temos um boa relação linear entre as variáveis?
21. Em um teste de proporção, temos como Região Crítica.ÖB − À B � !ß )'בEntão, se é a proporção na amostra, concluímos pela não rejeição da!ß )$hipótese nula?
22. Na realização de um Teste de Hipóteses, é possível concluir pela rejeição daproporção amostral observada?
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
23. Um indivíduo gasta em média R$ 10 por dia para se alimentar. Para um dia escolhido aoacaso, marque a afirmação correta referente ao gasto para se alimentar:
( ) A probabilidade de gastar mais é igual a de gastar menos de R$ 10.
( ) Ele tem maior probabilidade de gastar exatamente R$ 10.
( ) Não temos informação sobre a probabilidade de gastar R$ 10.
25
Enunciado referente às Questões 24 a 26. A tabela abaixo apresenta o desempenho em Biologia,segundo o sexo para os alunos de uma escola do ensino médio. Considere que um aluno seráescolhido ao acaso nessa escola e responda:
Desempenho
Sexo Bom Ruim Total
Masculino 280 620 900
Feminino 320 780 1100
Total 600 1400 2000
24. A probabilidade do estudante escolhido terdesempenho bom e ser do sexo feminino éde 0,32?
25. A probabilidade do estudante não ser dosexo masculino e nem ter desempenho ruimé de 0,16?
26. A probabilidade do estudante escolhido terdesempenho ruim, sabendo que ele é dosexo masculino é de 0,5?
Sim ( )
Não ( )
Sim ( )
Não ( )
Sim ( )
Não ( )
27. Através de uma amostra , numa certa cidade obtemos como intervalo com 90%Ò!ß"!à !ß"'Óde confiança para a proporção de casos de dengue. Assinale a afirmação correta:
( ) A proporção de dengue nessa cidade é de 0,13.
( ) Com probabilidade 0,9 a proporção de dengue está no intervalo .Ò!ß"!à !ß"'Ó
( ) A proporção de dengue pode estar ou não no intervalo acima, mas a confiança é 90%.
28. Em um Teste de Hipóteses o valor do nível descritivo (também chamado de P-valor) foi de3,5%. Assinale a afirmação correta:
( ) Rejeitamos a hipótese nula para um nível de significância de 3%.
( ) Não rejeitamos a hipótese nula para um nível de significância de 4%.
( ) Rejeitamos a hipótese nula para níveis de significância superiores a 3,5%.
29. Admita que o número de pessoas aprovadas em um exame seja uma variávelaleatória Binomial com 20 e 0,7. Então, a probabilidade de8 œ : œocorrência de 12 aprovações nesse exame é dada por 0,7 0,3 ?"# )‚
30. A amplitude de um intervalo de confiança não é afetada pelo tamanho daamostra, mas apenas pelo coeficiente de confiança utilizado?
Sim ( )
Não ( )
Sim ( )
Não ( )
Atenção:
Se desejar receber o resultado deste teste indique o seu e-mail: __________________________________
