Contratação de Serviços para Aplicação do Pré-teste do ...download.inep.gov.br/download/internacional/pisa/2011/proj_basico.pdf · 4. Características da avaliação A aplicação

MINISTÉRIO DA EDUCAÇÃO

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira

PROJETO BÁSICO

Contratação de Serviços para Aplicação do Pré-teste do Programa Internacional

para Avaliação de Estudantes — PISA, em 2011

Conteúdo 1. Introdução ............................................................................................................................................................. 3 2. Justificativa ........................................................................................................................................................... 3 3. Objetivo ................................................................................................................................................................. 3 4. Características da avaliação ................................................................................................................................. 4 5. Produtos e serviços a serem contratados .............................................................................................................. 5 6. Atividades a serem executadas ............................................................................................................................. 5

6.1 Seleção, treinamento e contratação de recursos humanos para execução das atividades .......................... 5 6.2 Elaboração de plano logístico de aplicação e contato com as escolas ......................................................... 8 6.3 Diagramação, impressão, organização, embalagem e distribuição do material de aplicação ..................... 10 6.4 Aplicação do Pré-teste ............................................................................................................................... 16 6.4.1 Avaliação Escrita ....................................................................................................................................... 16 6.4.2 Avaliação Eletrônica .................................................................................................................................. 17 6.4.2.1 Aplicação nos computadores da própria escola ......................................................................................... 18 6.4.2.2 Aplicação em laptops deslocados para a escola ........................................................................................ 18 6.5 Transporte dos instrumentos para os locais de codificação/correção ......................................................... 18 6.6 Elaboração de Relatório de Aplicação ....................................................................................................... 18 6.7 Digitalização de todas as provas e questionários ....................................................................................... 19 6.8 Codificação/correção eletrônica das questões abertas de prova ................................................................ 19 6.8.1 Treinamento para capacitação dos professores que irão proceder à codificação/correção das questões abertas. 19 6.8.2 Materiais para a Codificação ..................................................................................................................... 19 6.8.3 Infra-estrutura sugerida para a codificação ................................................................................................ 20 6.8.4 Codificação/correção eletrônica das questões abertas da prova ................................................................ 20 6.8.5 Codificação das questões de resposta construída do questionário sócio-econômico ................................. 20 6.8.6 Elaboração de relatório da codificação/correção das questões abertas ..................................................... 20 6.8.7 Entrada de dados relativos ao Pré-teste .................................................................................................... 21 6.9 Verificação da consistência dos dados e limpeza do banco ....................................................................... 21 6.10 Elaboração de Relatório Técnico Final ...................................................................................................... 22 6.11 Armazenamento do material utilizado até Junho de 2012 .......................................................................... 22

7. Plano de Segurança ............................................................................................................................................ 22 7.1 Segurança na fase de reprodução do material........................................................................................... 22 7.2 Segurança no manuseio, empacotamento e distribuição do material ......................................................... 22 7.3 Segurança na Aplicação das provas .......................................................................................................... 23 7.4 Segurança na codificação/correção das questões abertas de prova .......................................................... 23

8. Prazos de execução ............................................................................................................................................ 23 9. Custos ................................................................................................................................................................. 24

9.1 Previsão orçamentária ............................................................................................................................... 24 9.2 Estimativa de custos .................................................................................................................................. 24

10. Supervisão e acompanhamento dos trabalhos ............................................................................................... 24 11. Qualificação da IFES ...................................................................................................................................... 25 12. Responsabilidades gerais das partes ............................................................................................................. 25

12.1 O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep obriga-se a: ................ 25 12.2 A IFES, além da execução das atividades previstas nos itens 5, 6 e seus subitens, deverá: ..................... 26

13. Apresentação das propostas .......................................................................................................................... 26 13.1 Preparação das propostas ......................................................................................................................... 27 13.1.1 Avaliação da Proposta Técnica – Nota máxima = 100 ............................................................................... 27

14. Classificação das Propostas ........................................................................................................................... 30 15. Aprovação final pela Comissão de Seleção .................................................................................................... 30 16. RESULTADO DO JULGAMENTO .................................................................................................................. 30 17. RECURSOS ADMINISTRATIVOS .................................................................................................................. 31 18. Observações gerais........................................................................................................................................ 31 19. Disposições finais ........................................................................................................................................... 31

1. Introdução

O PISA (Programa Internacional para Avaliação de Estudantes) é um programa internacional de avaliação coordenado pela OCDE (Organização para Cooperação e Desenvolvimento Econômico), do qual participam atualmente mais de sessenta países de todos os continentes. No Brasil, a instituição responsável pela implementação do PISA é o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep, autarquia do Ministério da Educação, responsável também pela organização e manutenção do sistema de informações e estatísticas educacionais, bem como pelo desenvolvimento de programas de avaliação educacional. O PISA tem como principal objetivo produzir, em todos os países envolvidos, indicadores de desempenho estudantil voltados para as políticas educacionais, fornecendo orientações, incentivos e instrumentos para melhorar a efetividade da educação, além de possibilitar a comparação internacional.

2. Justificativa

As avaliações do PISA abrangem os domínios de Leitura, Matemática e Ciências, numa apreciação ampla dos conhecimentos, habilidades e competências inseridos em diversos contextos sociais. Os instrumentos utilizados para coleta dos dados são Cadernos de Teste; Questionários; e prova eletrônica, que visam obter dados do desempenho acadêmico e dados socioeconômicos e culturais dos alunos e das escolas que participam do Programa. Todos os instrumentos são comuns aos países participantes e fornecidos pelo Consórcio Internacional que administra o PISA. O Consórcio determina, igualmente, todas as rotinas operacionais para aplicação dos instrumentos, codificação das provas e inserção dos dados do PISA em um software criado especialmente para esse programa.

Os levantamentos são realizados a cada três anos e, em cada aplicação do PISA, um dos três domínios principais recebe especial atenção. No primeiro PISA, em 2000, a ênfase foi em Leitura. Nas aplicações subseqüentes, foram avaliados com especial ênfase os domínios de Matemática (2003); Ciências (2006) e Leitura (2009). Em 2012 a ênfase será em Matemática.

Os itens novos elaborados a cada aplicação principal do PISA são analisados por todos os países participantes do programa e pré-testados com um ano de antecedência. Como uma opção brasileira, também serão pré-testados itens: (i) de Leitura e Matemática em formato eletrônico; e (ii) de Letramento Financeiro, que poderão ser incluídos no estudo principal em 2012. Desta forma, devemos realizar em 2011 o Pré-teste dos itens do PISA 2012, com a previsão de 91 escolas e 3.151 alunos, na amostra principal. Esse Pré-teste já está agendado, junto ao Consórcio Internacional que administra o PISA, para o período de 23 a 31 de maio de 2011.

3. Objetivo O objetivo deste Projeto Básico é fornecer informações sobre aspectos técnicos, metodológicos e operacionais que permitirão as Instituições Federais de Educação Superior interessadas em participar de seleção de projeto para execução de todas as etapas de aplicação e codificação do Pré-teste do Programa Internacional de Avaliação de Estudantes – PISA 2012, conforme as determinações do Consórcio Internacional que administra o PISA.

4. Características da avaliação

A aplicação do Pré-teste do PISA, entre os dias 23 a 31 de maio de 2011, será realizada em uma amostra representativa de escolas brasileiras que possuam alunos nascidos em 1995 e matriculados nos dois últimos anos do ensino fundamental ou em qualquer série do ensino médio (denominados “alunos elegíveis”). A amostra de escolas, construída com base no Censo Escolar, terá como estratos principais as 27 unidades da federação e será definida pelo Inep e submetida à aprovação da Westat, instituição norte-americana que integra o Consórcio Internacional que administra o PISA e é responsável por suas estatísticas. Na seleção da amostra são considerados outros aspectos como: a dependência administrativa (privada, pública estadual ou federal e pública municipal), a localização da escola (urbana ou rural), o IDH do município (acima ou abaixo da média estadual) e o porte da escola. Para o Pré-teste, deverão participar 91 escolas.

As avaliações compreenderão a aplicação de até 3 tipos de provas combinadas:

a) Escritas de Matemática (8 modelos de cadernos); b) Escritas de Letramento Financeiro (2 modelos de cadernos); e c) Eletrônicas (de Leitura, Matemática ou Resolução de Problemas). Assim, deverá ocorrer até três modelos de aplicação, e cada escola deverá se

submeter a um deles. No Modelo A de aplicação serão aplicadas provas em até 43 alunos. Do total de 43 alunos, 8 responderão cadernos de letramento financeiro; outros 35 farão a prova escrita de Matemática e, destes, 20 responderão a avaliação eletrônica. No Modelo B de aplicação, até 25 alunos serão sorteados, dos quais 5 farão provas escritas de Letramento Financeiro e os demais 20 alunos responderão tanto provas escritas de Matemática, quanto eletrônicas. No Modelo C de aplicação, 40 alunos responderão somente a avaliação eletrônica.

Nos Modelos A e B de aplicação, somente os alunos que fizerem a prova escrita de Matemática previamente poderão participar da avaliação eletrônica. Haverá aplicação de questionários após o término das provas escritas. A prova escrita e a avaliação eletrônica ocorrem em sessões distintas.

A Tabela 1 ilustra o total de escolas e estudantes sorteados para cada modelo de aplicação:

Tabela 1: Escolas e estudantes segundo o Modelo de aplicação

Modelo de aplicação

Número de

Escolas

Total de estudantes sorteados

Estudantes que

responderão apenas prova

escrita de Letramento Financeiro

Estudantes que

responderão prova

escrita de Matemática

Estudantes que

responderão apenas prova

eletrônica

Modelo A 17 731 136 5951 -

Modelo B 36 900 180 7202 -

Modelo C 38 1520 - - 1520

Total 91 3151 316 1315 15203

As escolas são distribuídas por Modelo de aplicação e aprovadas pelo

consórcio internacional. O Anexo 4 apresenta relação com o nome dos municípios e o modelo de aplicação correspondente.

1 Destes, até 340 estudantes também farão a avaliação eletrônica.

2 Todos os estudantes também farão a avaliação eletrônica.

3 No total, 2.580 estudantes deverão participar da avaliação eletrônica.

Os alunos elegíveis das escolas selecionadas para participar do PISA serão listados em sua totalidade em um software específico para este fim (Key Quest). Esse software sorteará aleatoriamente os alunos elegíveis de cada escola para participarem da avaliação e de cada tipo de prova.

A avaliação é padronizada internacionalmente e todos os procedimentos nas escolas devem seguir o estabelecido no Manual do Aplicador.

5. Produtos e serviços a serem contratados

Seleção, treinamento e contratação de recursos humanos para execução das

atividades; Elaboração de plano logístico de aplicação e contato com as escolas; Diagramação, impressão, organização, embalagem e distribuição do material

de aplicação; Aplicação do Pré-teste; Transporte dos instrumentos para os locais de codificação/correção; Elaboração de Relatório de Aplicação; Digitalização de todas as provas e questionários; Codificação/correção eletrônica das questões abertas de prova; Verificação da consistência dos dados e limpeza do banco; Elaboração de Relatório Técnico Final; Armazenamento do material utilizado até Junho de 2012.

6. Atividades a serem executadas 6.1 Seleção, treinamento e contratação de recursos humanos para execução

das atividades

Os critérios utilizados pela coordenação geral do processo para seleção dos membros de cada uma das equipes levarão em consideração o padrão de qualidade praticado pela IFES, no sentido de escolher e indicar profissionais tecnicamente qualificados para as funções a serem desempenhadas. Esses profissionais são pessoas idôneas e de confiança – adquiridas ao longo de muitos anos de serviço - com larga experiência em atividades de coordenação de vestibulares, concursos, processos seletivos e aplicação de instrumentos de avaliação, em todas as capitais dos estados brasileiros.

Deste modo, a IFES deverá indicar: um coordenador geral; dois coordenadores de informática; um coordenador de logística; três coordenadores de codificação/correção de itens.

O Coordenador Geral atuará como representante da IFES nos contatos com o INEP para as tomadas de decisões que se fizerem necessárias ao longo das atividades do Pré-teste do PISA 2012; providenciará os recursos humanos qualificados e necessários à execução e será responsável pela execução das atividades inerentes à avaliação

Os Coordenadores de Informática serão responsáveis pela: (i) alimentação dos dados no software KeyQuest, o qual sorteará os alunos participantes; (ii) consolidação do cadastro de escolas e alunos participantes; (iii) produção de materiais de apoio (listas de alunos selecionados e indicação de cadernos a serem respondidos, etiquetas de identificação de alunos, etc.); (iv) personalização dos dados de cadernos; (v) preparação dos pen-drives para aplicação eletrônica; e (vi) coordenação da inserção de dados dos resultados no software KeyQuest. Do mesmo modo, os profissionais indicados responderão pela execução das avaliações eletrônicas; pelo sistema de processamento dos resultados; pelo sistema web seguro para envio dos dados das avaliações eletrônicas ao Consórcio Internacional e pela

elaboração dos relatórios, necessários para aplicação das provas, bem como do relatório final, contendo os resultados e informações estatísticas.

É desejável que os coordenadores, geral e de informática, tenham domínio da língua inglesa, haja vista a necessidade eventual de consulta ao Manual do KeyQuest, que será fornecido na versão em inglês pelo Inep.

O Coordenador de Logística será responsável pelo espaço físico, pela fiscalização e pela segurança de todo o processo. Deverá ser graduado em qualquer área de formação e ter experiência comprovada de, no mínimo, cinco anos em coordenação de logística de aplicação de avaliações; de concursos; e processos seletivos ou avaliações similares.

Os Coordenadores de Codificação/Correção de itens deverão ser graduados, com bacharelado/licenciatura em Matemática e pós-graduação stricto sensu nessa área e/ou Educação Matemática, Etnomatemática ou outra área relacionada ao ensino de Matemática; com experiência comprovada de, no mínimo, 2 (dois) anos, na coordenação de correção de provas de concurso ou de avaliação em larga escala e experiência em elaboração e/ou correção/codificação de itens de avaliações internacionais, os quais deverão ser contratados especialmente para esse trabalho. Estes serão responsáveis pelos processos relativos ao recrutamento, treinamento e contratação de professores corretores/codificadores, sob a supervisão e acompanhamento do INEP. Para tanto, deverão ser contratados 8 professores de Matemática para proceder à codificação/correção eletrônica das questões abertas dos cadernos de teste e da prova eletrônica, com o seguinte perfil:

a) Curso de graduação completo, com bacharelado/licenciatura em Matemática;

b) Experiência de magistério no Ensino Médio de pelo menos 3 (três) anos; c) Experiência em correção de provas de concurso ou de avaliação em larga

escala; d) Não ser professor das escolas selecionadas para participar do Pré-teste do

PISA 2012. A indicação dos corretores de leitura e de questionários de escolas e

estudantes será de responsabilidade do INEP. Maiores detalhes sobre os procedimentos de codificação/correção eletrônica

estão descritos no item 6.8 deste Projeto Básico. Além destes, a IFES deverá contratar profissionais de nível superior com

experiência no processo de aplicação de provas em concursos e exames para atuarem como Coordenadores Regionais de Aplicação das provas. Haverá, pelo menos, um coordenador de aplicação para cada região do país. Estes coordenadores serão responsáveis pela(o) guarda, integridade, sigilo, recolhimento e devolução do material utilizado nas provas. Particularmente, os coordenadores de aplicação das provas terão as seguintes funções:

responsabilizar-se pelo transporte e pela guarda das provas para o local de aplicação, bem como pelo transporte em segurança dos pendrives contendo as provas eletrônicas do seu local de prova até o local de transmissão dos dados;

tomar todas as providências cabíveis para que a aplicação do Pré-teste do PISA na(s) escola(s) sob sua responsabilidade ocorra de forma perfeita, de acordo com o Manual do Aplicador;

participar de todos os treinamentos realizados pela IFES; treinar a equipe local esclarecendo todas as dúvidas com relação à

aplicação do Pré-teste do PISA 2012; resolver pequenos problemas que possam ocorrer na escola; determinar o início e o término da prova na escola sob sua

responsabilidade, de acordo com o previsto neste Projeto Básico;

verificar e conferir rigorosamente o material do seu local de aplicação para nova conferência e lacre.

A IFES também deverá selecionar aplicadores com o seguinte perfil: Graduado ou graduando em qualquer área; Experiência em sala de aula e/ou experiência de trabalho com adolescentes; Nenhum vínculo com qualquer das escolas selecionadas; Preferencialmente com experiência em avaliações educacionais que não

visam à seleção, como SAEB, Prova Brasil ou avaliações regionais, a exemplo de SARESP e SIMAVE;

Facilidade em instalação de programas em ambiente Windows. A IFES deverá elaborar instrumento específico de seleção para observar se o candidato possui a habilidade requerida. Todos os aplicadores serão submetidos a uma oficina de preparação, com

duração de um dia, providenciada pela IFES e coordenada pelo Inep, de acordo com as exigências do Consórcio, visando à padronização dos procedimentos de aplicação. A IFES deverá organizar a oficina para todos os aplicadores em um mesmo dia e local, preferencialmente em Brasília, oferecendo toda a infra-estrutura necessária e submetendo o projeto à aprovação do Inep.

Todos os aplicadores selecionados deverão assinar termo de sigilo ético, de acordo com modelo fornecido pelo Inep. Todas as despesas relativas à contratação, treinamento e deslocamento dos aplicadores serão pagas pela IFES.

O treinamento é obrigatório, no caso da impossibilidade de um aplicador previamente selecionado proceder a aplicação no período determinado, este somente poderá ser substituído por outro que tenha passado pelo mesmo treinamento.

Deverá ser indicado um único aplicador para a aplicação em cada escola, o qual será responsável pelas sessões de provas escritas e eletrônicas.

São funções de todos os aplicadores: Participar de todos os treinamentos e esclarecer suas possíveis dúvidas com

relação à aplicação do Pré-teste do PISA 2012; Tomar todas as providências cabíveis para que a aplicação do Pré-teste do

PISA 2012 na(s) escola(s) sob sua responsabilidade ocorra de forma perfeita, de acordo com o Manual do Aplicador;

Proceder à aplicação do Pré-teste do PISA 2012 estritamente de acordo com as orientações do Manual do Aplicador e demais documentos orientadores;

Impedir a comunicação entre os alunos durante a avaliação; Resolver pequenos problemas que possam ocorrer na escola; Garantir os horários de início e término da avaliação; Manter contato imediato com a coordenação regional no caso de problema que

esteja impedindo a aplicação no dia programado através de número telefônico especificamente designado para isso;

Recolher todo material após a aplicação, inclusive o não-utilizado, e devolvê-lo à coordenação regional.

São funções dos aplicadores nas sessões de prova escrita: Receber o material de aplicação, mantendo o envelope de testes lacrado até o

início do teste; Distribuir os instrumentos aos alunos no horário marcado para tal; Recolher os cadernos de teste e os questionários e organizá-los de acordo

com os padrões pré-estabelecidos; Lacrar todo o material corretamente após a aplicação; Aplicar a segunda chamada, no dia seguinte ao da aplicação, se for o caso; É importante ressaltar que nenhum aluno poderá levar o caderno de provas ou

copiar alguma questão. Igualmente, não se deve permitir que algum professor ou qualquer outra pessoa da escola o faça. Garantir que ninguém mais tenha

acesso às provas será responsabilidade da IFES e dos aplicadores por ela escolhidos.

São funções dos aplicadores nas sessões de avaliação eletrônica:

Verificar os computadores da escola com antecedência caso a avaliação eletrônica seja realizada no laboratório de informática desta;

Zelar pelo material eletrônico de forma que este não seja copiado por nenhum estudante ou profissional da escola;

Portar um laptop para salvar as informações da avaliação; Realizar cópia de segurança dos resultados dos alunos para um laptop e enviá-

los por via eletrônica para o INEP após a finalização da aplicação; Apagar todos os arquivos eventualmente salvos nos computadores utilizados

para o teste, exceto a cópia de segurança no laptop do aplicador. Todos os aplicadores devem seguir o Manual do Aplicador e suas orientações,

qualquer dificuldade em cumprir as atividades descritas deve ser imediatamente comunicada à coordenação geral, que deverá providenciar para que as orientações do Manual sejam cumpridas.

Para os treinamentos das equipes, a IFES providenciará espaços adequados, com boa localização, considerando a facilidade de acesso por meio de transporte coletivo, e que disponha de recursos de infra-estrutura suficientes para suprir as necessidades dos treinamentos e o controle da aplicação das provas, tais como salas para trabalhos em grupo; telefone; computadores conectados à internet; impressora a laser; equipamento de áudio e vídeo; microfones com e sem fio; projetor de multimídia; tela para projeção; material de escritório; boa iluminação; climatização; ventilação; e infra-estrutura para oferta de café e água aos colaboradores que atuarão em todos os trabalhos. O transporte e a hospedagem de todos os participantes dos treinamentos deverão ser fornecidos pela IFES e os custos relativos a esses serviços deverão constar da proposta.

O treinamento dos aplicadores deverá ser ministrado pelo INEP com duração de oito horas e ocorrer no mesmo dia e com participação da equipe indicada pela IFES. Será passada lista de presença e aqueles que estiverem ausentes não poderão participar da aplicação.

Após o treinamento, a IFES deverá fornecer ao INEP um relatório contendo: - ficha de inscrição dos aplicadores com comprovante da escolaridade exigida

neste Projeto Básico (ser graduado ou graduando) anexado; - comprovação da proficiência básica em informática para os aplicadores da

prova eletrônica; - lista de presença do treinamento dos aplicadores; - lista com a indicação da escola em que cada um dos aplicadores irá atuar; e - nota fiscal dos gastos com infraestrutura. O Inep ministrará e acompanhará a capacitação.

Além dos já citados, a IFES deverá contratar quaisquer outros profissionais como pessoal de apoio (diagramadores, digitadores, secretários, recepcionistas para evento), com formação e experiência adequadas e em número suficiente para a perfeita execução dos serviços.

6.2 Elaboração de plano logístico de aplicação e contato com as escolas

O Coordenador Geral indicado pela IFES, em colaboração com os demais

coordenadores, deverá elaborar, para aprovação do Inep, um plano logístico de aplicação do Pré-teste do PISA 2012, prevendo a aplicação em 91 escolas de todas as unidades da federação (todas as capitais e algumas cidades do interior), no período de 23 a 31 de maio de 2011. O INEP encaminhará a lista de escolas, com o

respectivo modelo de aplicação, para a IFES assim que for ajustado o Termo de Cooperação.

É possível que os alunos selecionados estudem em turnos diferentes, portanto os aplicadores deverão estar disponíveis pela manhã, tarde e/ou noite (não necessariamente no mesmo dia). Nos casos em que uma parte significativa dos estudantes esteja ausente no dia marcado pela escola (superior a 20% dos alunos selecionados para a prova escrita e superior a 30% para a prova eletrônica nos modelos A e B de aplicação, e 20% no modelo C de aplicação), o aplicador deverá oferecer a oportunidade de uma “segunda chamada” no dia seguinte, em horário combinado com a escola. Cada uma dessas reaplicações deverá ser autorizada pelo INEP.

Como serão propostas datas diferentes para a primeira aplicação, é possível utilizar-se de um mesmo aplicador para diversas escolas, desde que a aplicação ocorra com mais de um dia de intervalo. O mesmo aplicador deverá ser responsável pela aplicação das partes escrita e eletrônica da avaliação, que não precisam ocorrer no mesmo dia. A remuneração da IFES deverá ser por aplicação escrita e eletrônica, considerando o número de turnos e deslocamento dos aplicadores, e deverá constar no plano logístico.

O Inep fará contato com as secretarias de educação, sejam elas municipais ou estaduais, para obter autorização dessas secretarias para a aplicação nas escolas. Após isso, os técnicos do INEP irão ministrar treinamento durante um período de até quatro horas para os indicados pela IFES para contatar as escolas. Durante esse contato inicial também deverá ser realizado o levantamento telefônico sobre as condições dos laboratórios de informática das escolas.

Caso a escola rejeite a participação no Pré-teste do PISA 2012, o INEP poderá indicar uma escola substituta para a aplicação no mesmo município e no mesmo modelo de aplicação. O contato com esta escola também será de responsabilidade da IFES.

As escolas participantes irão designar um responsável pela aplicação do PISA em seu estabelecimento de ensino, que terá como funções: fornecer ao INEP e à IFES as listas de alunos matriculados que preencham os requisitos da avaliação, convocar os alunos sorteados após o recebimento das Listas de Alunos Selecionados – LAS, providenciar o local para a aplicação dos instrumentos, oferecer condições para que o exame possa acontecer e responder o Questionário da escola.

Todas as LAS recebidas pela IFES devem ser digitadas em software específico (KeyQuest) pela IFES.

O plano logístico deverá informar por escola: datas de aplicação em cada escola; forma de envio e recolhimento do material de aplicação por escola; indicação do nome e CPF do aplicador; situação do laboratório de informática (computadores, softwares, etc.); forma de aplicação da prova eletrônica (utilização de recursos próprios

da escola, aluguel de laptops ou aplicação em sala externa)

6.3 Diagramação, impressão, organização, embalagem e distribuição do material de aplicação

Quadro I - Especificações Técnicas dos Instrumentos e Materiais do Pré-Teste do PISA

Ite

m

Especificação

To

tal

de

Ex

em

pla

re

s

Tip

o

Nº

de

Mo

de

los

Nº

de

Ex

em

pla

re

s/

Mo

de

lo

Pá

gin

as

Fo

lha

s

To

tal

de

pá

gin

as

imp

res

sa

s

Cad

ern

o d

e P

rovas

a) Tipo: 297 x 420 mm (A3), com tolerância de desvio de 3 mm para mais ou para menos. b) Matéria-prima: Papel offset de 90 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais; impressão 1/1 cores (Escala CMYK), opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Capa: Impressão 1 x 1 cor c) Acabamento:

I. lombada formato canoa, com 2 grampos acavalados na lombada; II. características do grampo: galvanizado com bitola nº 26 ou 25; III. a distância nominal entre a lombada e a mancha deve ser de 20 mm, com tolerância de variação de menos 2 mm, respeitada a diagramação original do material; IV. a distância nominal entre o corte trilateral e a mancha deve ser superior a 10 mm e inferior a 20 mm, respeitada a diagramação original do material; V. excepcionalmente, o material poderá ter acabamento por processo de colagem PUR ou 2 (dois) grampos na lateral esquerda desde que o processo garanta a integridade física das páginas.

d) Impressão: Off set e/ou Digital - impressão frente e verso, preservando-se a última página (fechamento) em

branco.

1.360

Ma

tem

ática

8 170 48 24 65.280

326

Le

tram

en

to

Fin

ance

iro

2 163 76 38 24.776

Fo

rmulá

rio

s d

o

Rela

tório

de

Ap

lica

ção

a) Formato: 210 X 297 mm, com tolerância de desvio de 3 mm para mais ou para menos. b) Matéria-prima: Papel offset de 90 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 1 cor. c) Acabamento: Grampo; pacote e montagem de caixa/embalagem d) Impressão: Off set e/ou Digital, impressão frente e verso com dados variáveis.

182 ___ 91 2 4 2 728

Rela

çã

o d

e

alu

nos e

se

nha

s d

e

acesso à

ava

liaçã

o

ele

trôn

ica a) Formato: 210 X 297 mm, com tolerância de desvio de 3 mm para mais ou para menos.

b) Matéria-prima: Papel offset de 90 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 1 cor. c) Acabamento: Grampo; pacote e montagem de caixa/embalagem d) Impressão: Off set e/ou Digital - impressão frente e verso, com dados variáveis.

91 ___ 91 1 2 1 182


Ite

m

Especificação

To

tal

de

Ex

em

pla

re

s

Tip

o

Nº

de

Mo

de

los

Nº

de

Ex

em

pla

re

s/

Mo

de

lo

Pá

gin

as

Fo

lha

s

To

tal

de

pá

gin

as

imp

res

sa

s

Qu

estio

ná

rio

s

a) Tipo: 297 X 420 mm (A3), com tolerância de desvio de 3 mm para mais ou para menos. b) Matéria-prima: Papel offset de 90 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 1 cor. c) Acabamento:

I. lombada formato canoa, com 2 grampos acavalados na lombada; II. características do grampo: galvanizado com bitola nº 26 ou 25; III. a distância nominal entre a lombada e a mancha deve ser de 20 mm, com tolerância de variação de menos 2 mm, respeitada a diagramação original do material; IV. a distância nominal entre o corte trilateral e a mancha deve ser superior a 10 mm e inferior a 20 mm, respeitada a diagramação original do material; V. excepcionalmente, o material poderá ter acabamento por processo de colagem PUR ou 2 (dois) grampos na lateral esquerda desde que o processo garanta a integridade física das páginas. d) Impressão: Off set, frente e verso, preservando-se a última página (fechamento) em branco.

1.652

Alu

no

4 413 33 17 54.516

96

Escola

1 96 45 23 4.320

Lis

ta d

e A

luno

s


gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 1 cor. c) Acabamento: Grampo; pacote e montagem de caixa/embalagem d) Impressão: Off set e/ou Digital, impressão frente e verso com dados variáveis.

273

Se

lecio

na

do

s

91 3 4 2 1092

182

Pre

se

n

tes

91 2 4 2 728

Cart

a

de

Ap

rese

nta

çã

o

a) Formato: 210 X 305 mm, com tolerância de desvio de 3 mm para mais ou para menos. 100 ___ 1 100 1 1 100

Rote

iro

de

Ap

lica

ção a) Formato: 210 X 297 mm, com tolerância de desvio de 3 mm para mais ou para menos.

b) Matéria-prima: Papel offset de 90 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 1 cor. c) Acabamento: Grampo; pacote e montagem de caixa/embalagem d) Impressão: Off set, frente e verso

200 ___ 1 200 10 5 2.000


Ite

m

Especificação

To

tal

de

Ex

em

pla

re

s

Tip

o

Nº

de

Mo

de

los

Nº

de

Ex

em

pla

re

s/

Mo

de

lo

Pá

gin

as

Fo

lha

s

To

tal

de

pá

gin

as

imp

res

sa

s

Ma

nua

is



100

Ap

lica

do

r

1 100 35 18 3.500

100

Coo

rde

na

do

r escola

1 100 23 12 2.300

Gu

ia d

e C

orr

eçã

o d

e I

ten

s



15

Ma

tem

ática

1 15 140 70 2.100

15

Le

tram

en

to

Fin

ance

iro

1 15 52 26 780

15 Av.

Ele

trô

nic

a

1 15 38 19 570

Fo

lhas

de

Corr

eçã

o

a) Formato: 210 X 297 mm, com tolerância de desvio de 3 mm para mais ou para menos. 3.000 ___ 1 3.000 1 1 3.000


Ite

m

Especificação

To

tal

de

Ex

em

pla

re

s

Tip

o

Nº

de

Mo

de

los

Nº

de

Ex

em

pla

re

s/

Mo

de

lo

Pá

gin

as

Fo

lha

s

To

tal

de

pá

gin

as

imp

res

sa

s

Etiq

ue

tas d

e

Ide

ntifica

çã

o

co

m d

ado

s

va

riáveis

a) Formato: 199,6 X 143,5 mm, com tolerância de desvio de 3 mm para mais ou para menos. b) Matéria-prima: Papel auto-adesivo 30 g/m2, com tolerância de variação para mais ou para menos 4% nas

gramaturas nominais, opacidade mínima de 82% (oitenta e dois por cento), e alvura mínima de 80%. Impressão 1 x 0 cor. c) Acabamento: Pacote e montagem de caixa/embalagem. d) Impressão: Flexografia

182 ___ 182 2 1 1 364

Obs.: Todos os cálculos de impressão estão sujeitos a pequenas variações devido à possível inserção de folhas brancas como capa e contracapa. Os quantitativos estimados para a embalagem dos materiais constam da planilha de custos.

O Quadro I relaciona os quantitativos estimados de todos os instrumentos e

materiais necessários à aplicação do Pré-teste do PISA 2012. Os quantitativos incluem uma reserva de 10% (dez por cento) ou 5 exemplares a mais em alguns itens, que poderá ser utilizada para treinamento, como reserva de aplicação ou para envio ao Consórcio Internacional.

A diagramação do material segue modelo apresentado pelo consórcio internacional, de forma a não prejudicar a comparabilidade internacional. O INEP irá encaminhar os arquivos das provas em formato “.pdf” para serem impressos, devendo a responsável pela impressão atribuir o nome dos alunos nos respectivos cadernos.

O software que sorteia os alunos que deverão participar do exame também define o tipo de caderno de teste e o tipo de questionário que cada aluno deverá responder. Além disso, o software indica a identificação do aluno e a senha para acessar a prova eletrônica. Assim sendo, os cadernos de teste e questionários devem ser previamente marcados com a identificação da escola e do aluno; acondicionados em envelope plástico fosco com lacre de segurança e embalados em caixas lacradas com identificação da escola, para remessa.

Na caixa a ser enviada diretamente para a escola, com os custos de transporte de obrigação da IFES, deverão constar:

Provas de matemática e letramento financeiro; Estojo do aluno contendo: caneta esferográfica azul ou preta, lápis

grafite no2, apontador, régua (tamanho máximo de 22cm); borracha branca e calculadora;

Questionário do aluno; Etiquetas de identificação da escola para devolução do material. 5 sacos fronha intactos para embalar todo o material ao final das

reaplicações. E também 20 sacos diversos para embalagem das provas e questionários utilizados e em branco, garantindo a inviolabilidade para a reaplicação e envio para a IFES.

Caixa de papelão reserva para devolução do material; Fita adesiva para lacrar a caixa de retorno.

No momento do treinamento o aplicador deverá receber: Manual do aplicador; Roteiro de aplicação; Lista de Alunos Selecionados; Lista de Alunos Presentes; Formulário de relatório de aplicação (2 por escola); Pendrives; Relação com senhas para o sistema; Carta de apresentação.

Deverão ser enviados diretamente para escola com duas semanas de antecedência antes da aplicação:

Questionário da escola; Manual do Coordenador da Escola.

O Estojo deverá ser entregue a cada aluno participante antes do início da

aplicação da prova escrita. O INEP fornecerá parte do material em sua sede, a IFES deverá retirá-lo; adicionando régua e calculadora, que deverão ser compradas. A IFES deverá providenciar para que os materiais sejam devidamente organizados, embalados e enviados aos locais de aplicação. Esse material será utilizado durante as provas pelo aluno, deverão ser distribuídos antes do início desta, e faz parte das exigências do consórcio internacional. Os estojos serão acondicionados em sacos plásticos fronha (25 estojos por saco) de forma que estejam lacrados no dia da prova para distribuição.

O material organizado para envio deverá respeitar os três diferentes modelos de aplicação e ser embalado em ambiente seguro, dentro do mais absoluto cuidado com relação à segurança e sigilo do material. No caso do material impresso, deve ser realizado na própria gráfica ou em local definido pela empresa para qual não haja custos de deslocamento.

O material de embalagem da prova escrita será composto de Caixa de papelão; Saco de plástico fosco e opaco com fita adesiva inviolável. Para acondicionar as provas e questionários dos alunos: Saco fronha de plástico fosco e opaco com lacre inviolável, com dimensões superiores ao anterior para acondicionar todo o material de aplicação.

As caixas de papelão deverão acomodar os sacos fronhas, que por sua vez deverão acondicionar os sacos plásticos (que não devem conter mais que 25 provas ou questionários) e os sacos plásticos reservas. Como material reserva, deverão conter 5 sacos fronhas, e para cada pacote de prova ou questionários, outros 20 sacos plásticos, fosco e opaco, com fita adesiva inviolável. Os sacos plásticos deverão ser de cores diferentes, de modo a permitir a identificação/discriminação de provas respondidas e em branco e de questionários.

No caso de reaplicação em outro dia, o aplicador deverá selar as provas respondidas em um dos sacos plásticos, as provas em branco em outro saco, e ambos, juntamente com os sacos plásticos restantes, dentro do saco fronha. O mesmo procedimento deve ser seguido para os questionários. O saco fronha deve ser lacrado e assim permanecer na escola até o dia posterior ou próximo período. Na aplicação seguinte deverá ser aberto apenas o saco fronha e, dentro deste, aquele em que constam as provas e questionários em branco; após a aplicação, todo o material deve ser acondicionado no terceiro saco fronha e vedado para envio ao local definido através de caixa de papelão.

No Modelo A de aplicação (43 provas por escola), as caixas conterão um saco fronha embalando tudo; internamente dois sacos plásticos onde deverão estar acondicionadas os cadernos de provas de Matemática e os de Letramento Financeiro, ambos devidamente personalizados com o nome dos alunos e outras informações requeridas, e outros dois sacos contendo os questionários dos alunos; não é necessária a separação dos diferentes modelos por tipos de cadernos de prova, mas aconselhável caso haja turnos diferentes de aplicação. Além deste material o aplicador encontrará outros cinco sacos fronhas extras, em caso de necessidade de reaplicação no dia posterior, em outro período, ou para acondicionar o material após a aplicação para envio.

No Modelo B de aplicação (25 provas por escola), as caixas conterão um saco fronha embalando tudo; internamente um saco plástico onde deverão estar acondicionadas os cadernos de provas de Matemática e os de letramento financeiro, ambos devidamente personalizados com o nome dos alunos e outras informações requeridas, e outro saco contendo os questionários dos alunos. O aplicador encontrará também outros dois sacos fronhas extras, em caso de necessidade de reaplicação no dia posterior, ou para acondicionar o material após a aplicação para envio.

No modelo C de aplicação o material de aplicação eletrônica será entregue para o aplicador no momento do treinamento.

Para cada conjunto de aplicações eletrônicas previstas, deve ser enviado para a escola um número previsto de pendrives correspondente no mínimo a metade prevista de alunos que deverão passar pela aplicação. Além disso, o aplicador deverá ter recebido uma folha contendo o código de cada aluno e a senha respectiva para acessar o sistema.

Os pendrives podem ser utilizados em várias escolas, desde que não mais do que 20 estudantes utilizem o mesmo objeto, pois há limite de capacidade de armazenamento das respostas. É responsabilidade da IFES enviar a folha com os nomes dos alunos, número de identificação e senha, para que os arquivos eletrônicos

da prova possam ser acessados. Essa relação pode ser obtida através do sistema eletrônico onde serão inseridos os nomes dos alunos.

A IFES deverá adquirir e utilizar quantitativo de pendrives suficiente para aplicação nas diversas escolas, proporcionando um esquema de transporte de uma escola a outra. Isso deve constar do plano logístico.

O material relativo à avaliação eletrônica e o método de entrega deverá constar do plano logístico entregue pela empresa mediante diretrizes constantes nesse projeto básico.

6.4 Aplicação do Pré-teste

A aplicação do PISA deverá ser realizada em 91 escolas de todo o País entre os dias 23 a 31 de maio de 2011, de acordo com os critérios estabelecidos pelo Consórcio Internacional. Em hipótese alguma, mesmo no caso de haver necessidade de uma segunda chamada, poderá ocorrer aplicação após o dia 31 de maio. Cada uma das escolas designará um responsável pela aplicação do PISA, que será chamado de “Coordenador da Escola”. Esse Coordenador da Escola será o responsável: pelo envio das listas de alunos à Coordenação Geral; pelo recebimento das LAS (Lista de Alunos Selecionados); pela convocação dos alunos sorteados para a avaliação; pela designação de uma ou duas salas (conforme a necessidade) para a aplicação; e pelo preenchimento do questionário da escola. Para o sucesso da aplicação do Pré-teste do PISA 2012, os aplicadores devem trabalhar em perfeita sintonia com o Coordenador da Escola.

Os aplicadores deverão chegar ao município de aplicação um dia antes da data agendada com a escola e imediatamente entrar em contato com o Coordenador da Escola, para combinar detalhes da aplicação e entregar o questionário da escola. No dia agendado, os aplicadores deverão aplicar o teste e o questionário aos alunos sorteados e recolher o questionário da escola preenchido junto ao Coordenador.

Caso os alunos sorteados estudem em turnos distintos, a aplicação deverá ocorrer em cada um dos turnos separadamente. Caso um número significativo de alunos sorteados não possa comparecer na data agendada (20% dos alunos ou 30% para a prova eletrônica dos modelos A e B), deverá ser oferecida a esses alunos a oportunidade de uma “segunda chamada” no dia seguinte ao da aplicação; isso dependerá de avaliação do coordenador da escola em conjunto com o aplicador. Os casos excepcionais deverão ser resolvidos somente com a autorização do Inep. O Coordenador da Escola deve devolver ao aplicador o questionário respondido até o término da aplicação aos alunos. Os Estojos dos alunos serão distribuídos aos alunos participantes momentos antes da aplicação da prova escrita. A participação dos alunos é voluntária, de maneira que caberá ao aplicador convencer os alunos eventualmente indecisos. Os estojos deverão ser entregues somente aos alunos que se dispuserem a participar do evento. Os detalhes da aplicação estão definidos no Manual do Aplicador e no Manual do Coordenador das Escolas, cujas versões em inglês serão entregues no momento da assinatura do Termo de Cooperação. As versões traduzidas serão entregues posteriormente.

6.4.1 Avaliação Escrita

A caixa contendo os materiais para aplicação da prova escrita deverá ser enviada diretamente para a escola com pelo menos um dia de antecedência. O mesmo deverá ser recebido pelo coordenador da escola e permanecer lacrado até o momento da aplicação. Preferencialmente o material deve ser enviado pelo correio, caso a IFES opte por um modelo diferente de envio do material, este deve constar do

plano logístico e ser aprovado pelo INEP. Os custos de transporte são de obrigação da IFES.

Ao abrir o material recebido o aplicador deverá verificar a presença dos materiais necessários para aplicação naquela escola, conforme o modelo de aplicação em que a escola se encaixa.

O caráter confidencial dos cadernos de teste e questionários é fator decisivo para a aplicação adequada do PISA. Para tanto, o acondicionamento dos mesmos deverá ser padronizado de forma que não infrinja as normas de segurança, e todos os profissionais envolvidos no manuseio desses documentos deverão firmar termo de sigilo ético em torno dos mesmos. Os cuidados com o sigilo do material devem obrigatoriamente constar no plano logístico de aplicação.

A aplicação ocorrerá conforme determinações expressas no Manual do Aplicador.

A IFES finalizará a tabulação dos resultados no software online que será conferida pelo INEP e os cadernos preenchidos devem ser digitalizados.

6.4.2 Avaliação Eletrônica

A avaliação eletrônica segue as normas do consórcio internacional que estipula que as máquinas disponibilizadas para as provas tenham o sistema operacional Windows instalado, sendo uma das duas possibilidades:

Windows XP, com 512MB RAM; Windows Vista ou Windows 7 com 1GB RAM.

O consórcio internacional também disponibilizará software para diagnóstico do sistema que também será criptografado através dos recursos do TrueCrypt, software livre de criptografia . Este software tem a função de ver se o sistema operacional e o computador estão adequados para a avaliação, bem como checar a existência de vírus e malwares. O software diagnóstico também disponibilizará um item de prova simulado para testar funções do mouse e do computador. Também será verificado se o computador suporta resolução de tela 1024x768 pixels.

Durante a aplicação o software desabilitará algumas funções do computador, como a cópia de tela (Print Screen) ou o acesso à internet, bem como as teclas de função. O computador também deve possuir portas USB 2.0 ou 3.0, e também possuir mouse para ser manuseado durante a aplicação.

Os pendrives utilizados serão fornecidos pela IFES e deverão ter capacidade de 4GB, e uma velocidade de escrita de pelo menos 1MB por segundo e de leitura de pelo menos 9MB por segundo. A ponta de metal que conecta o pendrive ao computador deverá ser protegida. Cada pendrive tem capacidade para armazenamento de avaliações de até 20 estudantes, com uma reserva para leitura e gravação durante o teste.

Cada estudante terá um arquivo compactado com sua identificação para ser aplicado e avaliado. Deverá ser utilizado um pendrive USB 4GB por aplicação de estudante, podendo o pendrive ser reutilizado até 20 vezes.

Para efeito de segurança dos dados, e visando evitar sua perda, é recomendável que:

Os arquivos de resposta não sejam apagados dos pendrives pelos aplicadores;

Os arquivos de resposta sejam salvos em um laptop; Os arquivos de resposta sejam enviados no mesmo dia de aplicação

para endereço eletrônico definido pela IFES. Ao final do processo os pendrives serão encaminhados para o INEP. O coordenador de logística deverá verificar se a condição dos laboratórios de

informática das escolas atende aos critérios para sua utilização e comporta o número de aplicações previsto conforme o modelo de aplicação selecionado. Durante a

elaboração do plano logístico a IFES poderá solicitar a alteração no modelo de aplicação de algumas escolas, desde que justificado para o INEP. Somente após isso será aberta a possibilidade de aplicação através de laptops levados para a própria escola.

6.4.2.1 Aplicação nos computadores da própria escola

A IFES deve realizar anterior à aplicação um diagnóstico da infraestrutura necessária para aplicação da prova eletrônica através de ferramenta disponibilizada especialmente para tal finalidade pelo consórcio internacional, que será entregue via USB. O software e as mensagens disponibilizadas por ele estão em inglês e não serão traduzidas. No caso da opção por utilizar os computadores da própria escola a IFES deverá realizar o diagnóstico de cada escola e enviar os resultados para o Inep antes de iniciar a aplicação. O diagnóstico tem a finalidade de verificar se o software instalado atende as necessidades da avaliação.

O aplicador do teste deverá ter permissão de administrador de rede para instalar o software do programa, somente assim o software funcionará.

Após a finalização da aplicação todo o material eletrônico deve ser enviado para o INEP e para a IFES para armazenamento. Após esse envio será procedida a limpeza das máquinas, e os arquivos apagados.

Um monitor de qualidade do consórcio internacional ou do INEP poderá acompanhar a aplicação.

6.4.2.2 Aplicação em laptops deslocados para a escola

No caso da aplicação por Laptops a IFES deverá optar por equipamentos que atendam as especificações do consórcio e que permitam a instalação temporária dos programas de avaliação. Os laptops deverão ter mouses conectados. Deverá ser acordada com a direção da escola, através de seu coordenador, uma sala específica para a instalação dos equipamentos e aplicação do teste.

O aluno deverá realizar o teste no período em que estuda. Um monitor de qualidade do consórcio internacional ou do INEP poderá

acompanhar a aplicação.

6.5 Transporte dos instrumentos para os locais de codificação/correção

O aplicador deverá embalar todo o material de aplicação: cadernos de prova; questionários dos alunos; questionários das escolas; formulários de relatório de aplicação; Lista de Alunos Selecionados; Lista de Alunos Presentes; relação de senhas; pendrives utilizados; e enviá-los para o local onde serão realizados os trabalhos de codificação e inserção dos dados no Key Quest. Os estojos restantes devem ser doados para o Coordenador da Escola para utilização nas atividades escolares.

O material deve ser embalado e lacrado em plástico fosco e colocado em caixa lacrada e endereçada para o local de codificação a ser definido pela IFES. A responsabilidade desta tarefa será da IFES.

A entrega do material para transporte deverá ser feita conforme previsto no plano logístico, para o endereço de destino, definidos pela IFES.

6.6 Elaboração de Relatório de Aplicação

Após a aplicação, a IFES deverá centralizar o recebimento de todo o material no local onde ocorrerá a codificação/correção das provas escritas e a entrada de dados. O material recebido será conferido segundo os relatórios de aplicação, de forma que todo e qualquer erro seja corrigido. Esse processo serve, também, para verificar os dados gerais que entrarão no Key Quest antes da digitação de dados de

resultados. Somente após essa conferência do material, as provas serão distribuídas para codificação/correção e os questionários seguirão para a digitação dos dados.

A IFES enviará ao Inep um relatório de aplicação, descrevendo as principais ocorrências durante o período de aplicação dos instrumentos e informando números tais como: total de alunos elegíveis avaliados em cada escola, em cada município, em cada UF e no geral; estatísticas de não-participação, com totais de não-participantes por UF e motivos para a não-participação; percentual de alunos participantes, em relação aos totais de alunos sorteados, por UF, por região e no geral; presentes por gênero por UF, por região e no geral; presentes por série por UF, por região e no geral; presentes por turno por UF, por região e no geral; e outros que julgar interessante informar. A IFES também deverá informar no caso de alunos selecionados erroneamente, que não atendam aos critérios estabelecidos, terem realizado a prova.

6.7 Digitalização de todas as provas e questionários

Todas as provas respondidas pelos alunos deverão ser digitalizadas, de forma que seja possível recuperar as respostas por item, por aluno, por escola, por UF.

Um técnico do Inep acompanhará o trabalho de digitalização das provas, de forma que o banco de provas digitalizadas bem como as instruções para sua utilização permita o trabalho de pesquisa nas provas, segundo as necessidades definidas pelo Inep.

A IFES entregará ao Inep, após a conclusão dos trabalhos de codificação/ correção das provas, o banco de provas digitalizadas e o índice de consulta ao banco. Os arquivos, com a extensão e formato “PDF”; devem ser entregues salvos em DVD ou em disco rígido externo.

6.8 Codificação/correção eletrônica das questões abertas de prova

6.8.1 Treinamento para capacitação dos professores que irão proceder à codificação/correção das questões abertas.

Antes de se iniciar a codificação/correção, haverá uma oficina de preparação, com duração de dois dias, exigência do Consórcio Internacional para garantir a homogeneidade nos critérios de codificação/correção. As oficinas incluirão exercícios variados com a utilização do guia de correção que será entregue aos professores.

O Inep fornecerá, em meio eletrônico, todo o material para as oficinas e indicará especialistas da área de Matemática para conduzir a preparação dos codificadores/corretores, segundo as especificações do Consórcio. Técnicos do Inep acompanharão o processo. Caberá à IFES providenciar a impressão dos guias de correção e do material das oficinas (conforme descrito abaixo) e organizar toda a infra-estrutura necessária ao treinamento dos codificadores/corretores, segundo especificado pelo Inep.

Toda e qualquer despesa referente à preparação dos codificadores/corretores (como passagens, diárias e pro labore para os professores participantes da oficina) correrá por conta da IFES.

6.8.2 Materiais para a Codificação

i. Guia de Codificação/Correção de Matemática, com cerca de 183 páginas, totalizando 15 guias; ii. Guia de Codificação/Correção de Letramento Financeiro, com cerca de 52 páginas, totalizando 4 guias.

iii. Guia de Codificação/Correção de Resolução de Problemas Eletrônicos, com cerca de 38 páginas, totalizando 15 guias. iv. Material para as oficinas dos codificadores, com cerca de 52 páginas, totalizando 12 cadernos de exercícios; v. Folhas para Codificação/Correção múltipla, aproximadamente 1.200 folhas, de 4 modelos diferentes.

6.8.3 Infra-estrutura sugerida para a codificação

a) 1 sala com doze computadores conectados para a correção b) 1 projetor multimídia e tela para projeção; c) 1 sala de apoio/secretaria com pelo menos três microcomputadores com

acesso à Internet; d) 1 impressora laser, abastecida com toner/tinta; e) 1 linha telefônica disponível para os coordenadores; f) água e café para 15 pessoas.

6.8.4 Codificação/correção eletrônica das questões abertas da prova

Segundo a metodologia definida pelo Consórcio, os cadernos de teste devem ser separados em tantos conjuntos quantos forem os corretores selecionados para o processo de codificação/correção. Todas as questões serão codificadas ao menos duas vezes, e, em caso de discordância, ocorrerá nova codificação. A metodologia de codificação/correção estabelece a necessidade de haver um coordenador entre o grupo de quatro corretores na área de Matemática. Os supervisores deverão ser escolhidos dentre os que mais se destacarem durante as oficinas de preparação. A codificação dos cadernos de prova envolve uma operação bastante complexa, definida em seus mínimos detalhes pelo Consórcio, e de cujo treinamento já participaram vários consultores do PISA, cuja colaboração é imprescindível para o sucesso dessa operação. Todas as normas de codificação/correção dos cadernos de prova contidas na metodologia definida pelo Consórcio Internacional serão repassadas à IFES pelo Inep. Estima-se que essa etapa do processo leve pelo menos duas semanas para ser adequadamente completada pelos 12 professores selecionados. Técnicos do Inep acompanharão todo o processo de codificação/correção.

6.8.5 Codificação das questões de resposta construída do questionário sócio-econômico

Para inserção das respostas das questões relativas à ocupação do pai e da mãe e às expectativas profissionais da vida adulta, deverá ser feita uma pré-codificação que obrigatoriamente utilizará um código internacional de categorias profissionais devidamente parametrizados pela ISCO88 (Classificação Internacional de Ocupações). Técnicos do Inep darão as instruções necessárias à realização desse procedimento.

6.8.6 Elaboração de relatório da codificação/correção das questões abertas

A IFES deverá apresentar, após o trabalho de codificação/correção, um relatório descritivo abordando problemas encontrados na aplicação da chave de correção; tipos de erros mais comuns em cada questão; índice aproximado de respostas em branco nas questões abertas; análise crítica dos problemas encontrados pelos alunos ao responder às questões e outras observações relevantes. Esse trabalho deverá ser desenvolvido, preferencialmente, por um coordenador-geral

do processo de codificação, com a colaboração dos codificadores, que irão destacar os problemas encontrados.

Outro dado importante do relatório de correção é o número e percentual de provas totalmente em branco, entre os alunos elegíveis; percentual de respostas em branco nas questões de múltipla escolha entre os alunos elegíveis; percentual de acertos nas questões de múltipla escolha entre os alunos elegíveis; percentual de respostas em cada opção nas questões de múltipla escolha entre os alunos elegíveis; percentual de respostas nas questões do questionário dos alunos.

6.8.7 Entrada de dados relativos ao Pré-teste

O Consórcio Internacional que administra a aplicação do PISA fornece aos países participantes um software de entrada de dados on line: o Key Quest, que pode funcionar em Windows XP, Vista ou em Windows 7 (ou versões mais atualizadas). O software contém as estruturas da base de dados para todos os cadernos e questionários utilizados e será fornecido pelo Inep à IFES. O Inep irá fornecer, também, instruções gerais para o funcionamento do Key Quest, juntamente com um Manual detalhado em inglês. O manual deverá ser devolvido após o preenchimento e não poderá ser copiado em hipótese alguma.

É importante ressaltar que, antes de iniciar a entrada dos dados, a IFES deverá proceder a uma consolidação do cadastro de escolas e alunos participantes, a partir dos relatórios fornecidos pelos aplicadores. Todas as respostas aos questionários do aluno, aos questionários da escola e aos cadernos de teste devem ser inseridas no Key Quest. Para esse trabalho de inserção de dados, a IFES deverá dispor de profissionais com formação e/ou experiência em informática: pelo menos 1 coordenador de informática e 12 digitadores com experiência em entrada de dados. Técnicos do Inep oferecerão aos digitadores a orientação necessária para a inserção dos dados no Key Quest e acompanharão os trabalhos. Estima-se que esse trabalho leve, no máximo, duas semanas. Para agilizar os trabalhos, os digitadores começarão a inserir os dados dos questionários dos alunos e das escolas, enquanto estiver sendo realizada a correção/codificação das provas. Ao término desse trabalho, os digitadores farão a entrada das respostas de múltipla escolha e, em seguida, os códigos correspondentes às respostas das questões abertas das provas. O Manual de Entrada de Dados, que apresenta em detalhes o funcionamento do Key Quest, assim como instruções para alterações de campos, será emprestado pelo Inep à IFES, em inglês, e devolvido ao término das atividades de digitação.

6.9 Verificação da consistência dos dados e limpeza do banco

Após a entrada dos dados, deverão ser rodados relatórios de verificação da consistência dos dados. A descrição desses relatórios consta do Manual de Gerência dos Dados, que será emprestado pelo Inep à IFES, em inglês.

Após o processo de verificação da consistência dos dados, faz-se uma primeira limpeza no banco, que é, então, enviado ao Consórcio para verificação e posterior processamento dos resultados internacionais. Durante esse processo o Inep e/ou o Consórcio fazem uma série de questionamentos que deverão ser respondidos pela IFES e, caso necessário, o banco deve ser corrigido para refletir os ajustes realizados. As bases corrigidas e a documentação das modificações efetuadas em até 5 (cinco) dias úteis após o pedido de verificação de inconsistências e/ou problemas.

6.10 Elaboração de Relatório Técnico Final

A IFES deverá apresentar o relatório técnico final, contendo as informações abaixo indicadas, até 30 dias após o término da codificação.

O relatório final conterá: Índice da presença de alunos por escola, ano de curso e prova

realizada; Gráficos de colunas evidenciando a distribuição percentual dos

participantes no Exame segundo escola e UF. Base de dados bruta do processo de correção/codificação, com

respostas de cada item e o parecer dos dois codificadores e, em caso de desavença, do coordenador;

Tabelas de caracterização socioeconômica; Estatísticas Gerais do pré-teste.

6.11 Armazenamento do material utilizado até Junho de 2012

A IFES deverá armazenar provas e materiais utilizados no Pré-teste do PISA 2012 por até um ano. Durante esse período o material deve ficar em local seguro e mantido sob sigilo, somente técnicos do INEP terão acesso aos materiais no local de armazenamento. No caso do INEP requerer parte ou todo o material para a sua sede em Brasília, a IFES arcará com os custos do transporte.

Findo o prazo de Junho de 2012, o material deve ser fragmentado e disponibilizado para reciclagem. Estes procedimentos deverão ser previamente autorizados pelo Inep e acompanhados por técnico(s) do Inep designado(s) para este fim.

7. Plano de Segurança

A IFES deverá comprovar experiência em segurança com o pessoal envolvido e, estrutura física organizada, de forma que qualquer material utilizado no processo seja manipulado em locais com garantia de sigilo.

Para a realização do Pré-teste do Pisa 2012, a IFES deverá garantir: Segurança na fase de reprodução do material; Segurança no manuseio, empacotamento e distribuição do material; Segurança na aplicação das provas; Segurança na codificação/correção das questões abertas das provas.

7.1 Segurança na fase de reprodução do material

As reproduções das provas deverão ser feitas, em área restrita com monitoração 24 horas para preservar o sigilo. Os computadores desse setor não estarão ligados a redes externas e o pessoal envolvido atenderá rigorosamente aos requisitos da confiabilidade e sigilo do processo. A porta do local contará com segurança 24 horas por dia e, ainda mais, o setor deverá contar com circuito interno de televisão e alarme.

Os refugos gerados no processo de reprodução das provas continuarão no recinto, em local apropriado, até a aplicação da prova, quando então serão descartados, sendo picotados e posteriormente incinerados. Estes procedimentos deverão ser previamente autorizados pelo Inep e acompanhados por técnico(s) do Inep designado(s) para este fim.

7.2 Segurança no manuseio, empacotamento e distribuição do material

O manuseio e empacotamento serão feitos por pessoal da equipe permanente da IFES, em área contígua à sala de impressão, que deverá contar com a mesma estrutura de segurança.

Os pacotes contendo os cadernos de provas, questionários de alunos e escolas, pendrives, entre outros materiais, deverão ser acondicionados em sacos plásticos fronha opaco com lacre inviolável, os quais terão etiqueta com a identificação da escola, para a qual se destinam. Esses sacos serão acondicionados em caixas de papelão.

7.3 Segurança na Aplicação das provas

Cada escola designará um coordenador que, juntamente com o aplicador, deverá zelar pela segurança e sigilo, visando o bom andamento do processo, de acordo com normas estabelecidas pelo Consórcio Internacional que administra o PISA e repassadas à IFES pelo Inep.

7.4 Segurança na codificação/correção das questões abertas de prova

Após o término da prova eletrônica será realizado o envio dos dados dos estudantes em sistema web seguro específico. Essa transmissão utilizará protocolos de comunicação seguros. O pessoal envolvido nesse processo deverá possuir vasta experiência e confiabilidade nessas funções.

8. Prazos de execução a) Até cinco dias após a assinatura do Contrato, elaborar e apresentar ao

Inep, para aprovação, Plano Logístico de Execução – conforme subitem 6.1 deste Projeto;

b) Até 10 de abril de 2011 diagramar, imprimir e acondicionar os instrumentos de avaliação a serem enviados aos locais de aplicação de prova conforme previsto no subitem 6.3 deste Projeto, bem como os instrumentos administrativos (formulários e estojo do aluno). Preparação dos pendrives para aplicação nas escolas;

c) Até 30 de abril de 2011, realizar o treinamento dos aplicadores da avaliação em conformidade com o previsto neste Projeto;

d) Até 4 dias antes da aplicação das provas efetuar o transporte de todos os instrumentos necessários para a realização do exame para os locais de aplicação, conforme previsto no este Projeto;

e) No período de 23 a 31 de maio de 2011, aplicar as provas (escritas e eletrônicas) e questionários do Pré-teste do PISA, conforme subitem 16 deste Projeto;

f) No dia seguinte à aplicação das provas (24 de maio a 1° de junho de 2011), efetuar o transporte de todos os instrumentos utilizados na aplicação do exame aos locais de codificação/correção, em conformidade com o previsto no subitem 18;

g) Até 7 dias corridos após a aplicação das provas apresentar ao Inep o Relatório de Aplicação –, conforme subitem 18 deste Projeto;

h) No período de 1° a 2 de junho de 2011, realizar o treinamento dos codificadores/corretores das provas do PISA conforme previsto no subitem 19 deste Projeto;

i) No período de 4 a 22 de junho de 2011, efetuar a correção/codificação das respostas abertas das provas aplicadas no Exame, em conformidade com o previsto o subitem 19 deste Projeto;

j) No período de 4 a 22 de junho de 2011, efetuar a codificação das respostas construídas do questionário socioeconômico e a entrada dos dados referentes aos questionários e às questões objetivas das provas, conforme previsto no subitem 21 deste Projeto;

k) Até 7 dias úteis após a codificação e correção das provas, apresentar ao Inep o Relatório de atividades de correção – em conformidade como o previsto no subitem 22 deste Projeto;

l) De 23 de junho a 1° de julho de 2011, efetuar a entrada dos dados relativos às questões abertas, já codificados pelos professores corretores/codificadores, conforme previsto no subitem 6.9 deste Projeto;

m) De 2 a 15 de julho de 2011, rodar os relatórios de verificação para confirmar a consistência dos dados e efetuar a limpeza do banco, conforme previsto no item 6.11 deste Projeto;

n) Até 20 de julho de 2011, entregar ao Inep o banco de dados da aplicação do pré-teste do PISA devidamente consolidado;

o) Até 30 de agosto de 2011, entregar ao Inep o banco de provas digitalizadas, conforme previsto no subitem 6.10 deste Projeto;

p) Até 30 de novembro de 2011, assessorar o Inep nos esclarecimentos ao Consórcio relativos ao banco de dados e, após esse processo, efetuar no banco as correções necessárias.

9. Custos

9.1 Previsão orçamentária

Os recursos para a realização dos serviços constantes deste Projeto estão consignados no Orçamento do Inep para o exercício de 2011, na Ação 6291: Avaliação Internacional de Alunos – PISA.

9.2 Estimativa de custos

O projeto está estimado em R$ 830.739,37 (oitocentos e trinta mil, setecentos e trinta e nove reais e trinta e sete centavos), conforme descrito a seguir e detalhado em planilha estimativa de custos no Anexo I.

Seleção e treinamento de recursos humanos para execução das atividades R$ 391.605,80

Elaboração de plano logístico de aplicação e contato com as escolas R$ 728,00

Diagramação, impressão, organização, embalagem e distribuição do material de aplicação R$ 30.079,91

Aplicação do Pré-teste R$ 249.109,20

Transporte dos instrumentos para os locais de codificação/correção R$ 113.131,20

Elaboração de Relatório de Aplicação R$ -

Digitalização de todas as provas e questionários R$ 27.560,26

Codificação/correção eletrônica das questões abertas de prova R$ 13.725,00

Verificação da consistência dos dados e limpeza do banco R$ -

Elaboração de Relatório Técnico Final

Armazenamento do material utilizado até Junho de 2012 R$ 4.800,00

TOTAL R$ 830.739,37

10. Supervisão e acompanhamento dos trabalhos

A execução dos serviços deverá ser acompanhada e fiscalizada por um ou mais representantes do Inep, especialmente designado(s) para tal, permitida a contratação de terceiros pelo órgão para assisti-lo(s) e subsidiá-lo(s) de informações pertinentes a essa atribuição.

A IFES deverá disponibilizar todas as condições necessárias a fim de permitir o livre acesso dos técnicos do Inep na fiscalização e acompanhamento da execução do contrato. Deverá ser disponibilizado o acesso às instalações físicas da IFES e o acesso via Internet, por meio de um canal de transmissão de dados seguro aos sistemas e bases de dados descritos neste Projeto Básico.

11. Qualificação da IFES

Poderão participar da seleção IFES que apresentem capacidade técnica compatível com avaliação de conhecimentos ou de aprendizagem, compreendendo: aplicação em formato escrito e eletrônico; correção de provas; análise e processamento de dados e resultados, bem como demonstrar possuir estrutura operacional para a realização dos serviços, objeto deste Projeto Básico. E ainda, comprovar que possui, em seu quadro permanente, na data prevista para entrega das propostas, profissional de nível superior com qualificação técnica em avaliação de conhecimentos ou de aprendizagem, designado pela IFES como responsável técnico pela coordenação dos serviços.

A capacidade técnica da IFES e a competência do profissional responsável técnico deverão ser demonstradas por meio de atestados emitidos por entidade(s) pública(s) ou privada(s).

A comprovação de ser o responsável técnico detentor de nível superior deverá ser feita por meio de certificado ou diploma que comprove tal situação ou, ainda, por cópia de Carteira de Identidade emitida pela Entidade de Fiscalização do Exercício da profissão correspondente.

A comprovação da disponibilidade de estrutura operacional (parque gráfico, informática e pessoal técnico especializado), considerada pela IFES essencial para o desempenho das atividades; deverá ser atendida mediante a apresentação de declaração formal da sua disponibilidade para o atendimento do objeto deste Projeto Básico, devendo constar ainda, dessa declaração, a qualificação técnica dos Coordenadores das equipes técnicas.

A estrutura operacional deve apresentar nível de segurança na transmissão e acesso aos dados que garanta o sigilo previsto em lei, de acordo com padrões tecnológicos do Inep que serão disponibilizados somente à IFES.

12. Responsabilidades gerais das partes

12.1 O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio

Teixeira – Inep obriga-se a:

a. Fornecer o cadastro das escolas para que seja realizado contato com as respectivas secretarias de educação e escolas;

b. Fornecer as orientações para o Questionário Socioeconômico e para a folha de respostas do questionário socioeconômico;

c. Fornecer as instruções para realização do trabalho de inserção dos dados dos alunos no Key Quest;

d. Fornecer os modelos de materiais da aplicação para diagramação e impressão;

e. Indicar um Técnico do Inep para acompanhar o processo de correção de codificação e correção dos cadernos de provas e codificação das questões dos questionários socioeconômicos dos alunos e das escolas, com ônus para o Inep;

f. Zelar pelo cumprimento dos padrões definidos entre as partes, solicitando à IFES que refaça os serviços/produtos, sem ônus para o Inep, tantas vezes quanto necessário, quando não se apresentarem dentro dos padrões e das especificações definidas pelo Inep;

g. Analisar e, se for o caso, aprovar os serviços e produtos apresentados; h. Fornecer os padrões tecnológicos do Inep; e i. Cumprir os prazos e acordos previstos neste Projeto Básico.

12.2 A IFES, além da execução das atividades previstas nos itens 5, 6 e seus subitens, deverá:

a. Prestar os serviços com pessoal adequadamente capacitado; b. Indicar coordenador geral para falar em nome da IFES; c. Manter, sob rigoroso controle e sigilo, todos os dados, as informações e os

documentos referentes ao Programa Internacional para Avaliação de Alunos — PISA, responsabilizando-se por sua adequada guarda e transporte;

d. Apresentar ao Inep em arquivo digital no padrão XML, conforme especificação a ser entregue à IFES, os seguintes dados sobre as pessoas que forem envolvidas em qualquer etapa do Projeto: nome, endereço, CPF, identidade, vínculo com a IFES, função e período de atuação no Projeto;

e. Entregar ao Inep termo de sigilo a ser providenciado pela IFES, devidamente assinado por todas as pessoas envolvidas nas etapas de execução deste Termo de Referência, mesmo na situação de subcontratação;

f. Manter, durante a vigência do Termo de Cooperação, todas as condições de habilitação, incluindo a atualização de documentos de controle e arrecadação de tributos e contribuições federais, estaduais, distritais ou municipais, e previdenciários, conforme o caso;

g. Participar, com representante credenciado e/ou técnico contratado devidamente autorizado para falar em nome da IFES, de todas as reuniões e atividades de planejamento, acompanhamento e avaliação que venham a ser convocadas pelo Inep;

h. Refazer os serviços e/ou produtos, quando não se apresentarem dentro dos padrões e das especificações definidas pelo Inep, sem ônus para o Inep;

i. Corrigir os cadastros, sempre que solicitado, até o final da vigência do Termo de Cooperação a ser firmado, sem ônus para o Inep;

j. Cumprir os prazos e acordos previstos neste Projeto; k. Emitir os documentos detalhados de execução de cada fase/etapa de

entrega dos produtos, relatórios e serviços contratados, nos prazos previstos neste Projeto;

l. É de responsabilidade da IFES responder administrativa, civil e penalmente pelas conseqüências oriundas de procedimentos inadequados no atendimento aos inscritos no, pelas orientações errôneas prestadas a eles, por seus fiscais, coordenadores e membros da(s) equipe(s) da IFES, e também pelas demandas judiciais contra o Inep decorrentes da inexecução ou execução imperfeita do objeto do Termo de Cooperação a ser firmado;

m. Caso haja quebra de sigilo das provas durante à impressão, manuseio ou aplicação, caberá à IFES arcar com todos os ônus, incluindo os de publicidade, operacional, técnico e financeiro, que venham a ser impostos pela OCDE.

13. Apresentação das propostas

13.1 Preparação das propostas

As propostas para a execução do Pré-Teste do PISA 2011 devem contemplar: Identificação da instituição:

Apresentação Justificativa Histórico de atuação em exames institucionais (vestibulares, concursos

públicos, avaliação educacional) Objeto da Parceria- IES/MEC/Inep Metodologia de aplicação e correção dos instrumentos de Avaliação

escrita e eletrônica As propostas deverão ser apresentadas segundo o modelo constante do Anexo

2 e estruturadas com, no mínimo: a) demonstrativo da capacidade técnico-operacional da instituição proponente

para desenvolver estudo de interesse comum (descrição da infra-estrutura física e logística de funcionamento - laboratórios, bibliotecas, recursos tecnológicos e outros disponíveis, mediante declaração expressa de sua disponibilidade; descrição do perfil e da quantidade de pesquisadores, equipe técnica e administrativa de apoio e outros disponíveis para a realização do Estudo, indicando o nome e a função de cada membro da equipe técnica designada que será avaliado conforme critérios de avaliação constantes no subitem 13.1.1 deste Projeto Básico);

b) demonstrativo da sustentabilidade financeira e orçamentária (apresentação da dotação orçamentária e os recursos financeiros disponíveis para manter a instituição);

c) plano de execução (modelo conforme Anexo 3) contendo: Tema e objetivos Proposta Teórica do Projeto Metodologia Resultado Esperado Cronograma de Execução (físico e financeiro) Plano de Aplicação

13.1.1 Avaliação da Proposta Técnica – Nota máxima = 100

A Proposta Técnica deve conter breve descrição da organização da IFES e um

resumo da experiência em serviços de natureza similar; especificando a abrangência, o porte de cada serviço e a forma de realização, além da descrição de experiências que a qualifiquem tecnicamente e que sejam vinculadas à execução de atividades na área de avaliação de conhecimentos ou de aprendizagem, compreendendo: aplicação, correção de provas e análises estatísticas e de resultados, em avaliação de alunos ou de sistemas de ensino, aplicação de avaliações educacionais internacionais. Deve conter, ainda, um cronograma das atividades e a indicação dos três Coordenadores, que serão responsáveis pela correção das questões abertas; processamento e análise dos resultados e pela logística de aplicação.

Fator 1 – Qualificação e experiência da instituição – Nota máxima = 25 pontos

Entende-se por capacidade da Instituição para aplicação de provas, a

realização comprovada, por meio de atestados, de:

CRITÉRIOS PONTUAÇÃO MÁXIMA

Duas (2) experiências comprovadas em trabalhos assemelhados

10

Três (3) experiências comprovadas em trabalhos assemelhados

15

Quatro (4) ou mais experiências comprovadas em trabalhos assemelhados

25

Qualificação e experiência da instituição 25

Observações:

1. É obrigatório que nos atestados emitidos esteja perfeitamente quantificado o número de municípios e de inscritos envolvidos em cada atividade atestada, além da indicação da aplicação ter sido feita simultaneamente ou não;

2. A proponente deverá, ainda, apresentar relação com a identificação dos municípios envolvidos nessa atividade atestada com suas respectivas UF’s;

3. A proponente deverá comprovar somente a experiência que melhor represente o porte, a abrangência geográfica e a forma de realização;

4. A ausência de qualquer das informações obrigatórias ou a apresentação incompleta dessas informações no(s) atestado(s) implicará no não-conhecimento do(s) documento(s) para fins de pontuação neste Fator.

Fator 2 – Qualificação técnica da proposta – Nota máxima = 35

A Proponente deverá apresentar um Plano de Execução com as metodologias a serem utilizadas para realizar todas as atividades referidas nos itens e subitens deste Projeto Básico. Será atribuída nota zero neste fator, à Proponente que deixar de apresentar quaisquer das atividades referidas nos itens 6 e 7 e seus subitens deste Projeto Básico, ou apresentá-las em desconformidade com o que foi solicitado neste Projeto Básico. O Plano de Execução que apresentar metodologia que permita realizar as atividades de forma mais eficiente e que se adapte perfeitamente às exigências deste Projeto Básico receberá nota igual a 35 (trinta e cinco pontos).

ITENS PONTOS

Compatibilidade entre metodologia, atividade e prazo de execução do plano logístico de aplicação em cada escola.

5

Diagramação, impressão, preparação, manuseio e envio dos materiais para as escolas de provas, indicando tempo de execução para cada atividade e sistema de segurança.

5

Seleção e treinamento de aplicadores 5

Aplicação do pré-teste 10

Digitalização/codificação/correção de provas 10

PONTUAÇÃO MÁXIMA 35

Observação: Os itens relacionados no quadro acima serão pontuados com

valores numéricos inteiros compreendidos entre 0 (zero) e a pontuação máxima indicada para cada item.

Para este critério, será adotada a seguinte forma de pontuação para cada subcritério:

Número total de pontos referente a cada sub-critério será concedido à proposta que atender muito bem ao requisitado;

Metade do número total de pontos referente a cada sub-critério será concedido à proposta que atender bem ao requisitado;

Fração de um quarto referente a cada sub-critério será concedido à proposta que atender superficialmente ao requisitado;

Nenhum ponto será concedido referente a cada sub-critério à proposta que atender mal ao requisitado.

Fator 3 - Qualificação técnica dos coordenadores das equipes – Nota máxima = 40

Serão avaliadas as titulações e/ou experiência dos sete Coordenadores indicados pela Proponente, responsáveis: pela coordenação geral do projeto, pela logística de aplicação, pela área de informática (dois profissionais) e pela correção/codificação das questões abertas (três profissionais).

Cada Coordenador será avaliado conforme entrega do currículo no modelo da

plataforma Lattes mantida pelo CNPq. Subfator 3.1 Coordenador Geral – deverá ser graduado em qualquer área de

formação e ter experiência comprovada de, no mínimo, 5 (cinco) anos em coordenação de aplicação de avaliações, concursos, processos seletivos ou avaliações similares. Nota máxima = 10 Titulo de Mestre – 1 ponto Título de Doutor – 4 pontos Até 5 anos de experiência – 2 pontos De 6 a 10 anos de experiência – 4 pontos Mais que dez anos de experiência – 5 pontos

Subfator 3.2 Coordenador de Logística de Aplicação – deverá ser

graduado em qualquer área de formação e ter experiência comprovada de, no mínimo, 5 (cinco) anos em coordenação de logística de aplicação de avaliações, concursos, processos seletivos ou avaliações similares. Nota máxima = 5 Até 5 anos de experiência – 2 pontos De 6 a 10 anos de experiência – 4 pontos Mais que dez anos de experiência – 5 pontos

Subfator 3.2 Coordenador de Informática – deverá ser graduado em informática ou ciências da computação, ter experiência mínima de dois anos e possuir certificado de capacitação da Microsoft. Nota Máxima = 5 pontos (por coordenador) Experiência de 2 até 5 anos – 3 pontos Experiência superior a 5 anos – 5 pontos

Subfator 3.3 Coordenadores da Correção dos Cadernos do Pré-teste – Curso de graduação completo, com bacharelado/licenciatura em Matemática e pós-graduação stricto sensu nessa área e/ou Educação Matemática, Etnomatemática ou outra área relacionada ao ensino de Matemática; com experiência comprovada de, no mínimo, 2 (dois) anos, na coordenação de correção de provas de concurso ou de avaliação em larga escala. Sendo considerada a experiência em elaboração e/ou correção/codificação de itens de avaliações internacionais. Nota máxima = 5 pontos (por coordenador) Titulo de Mestre – 1 ponto Título de Doutor – 2 pontos Experiência de até 2 anos com avaliação internacional – 0,5 ponto Experiência de 3 a 5 anos com avaliação internacional – 1 ponto Experiência superior a 6 anos com avaliação internacional – 2 pontos

Observação: Será considerado, para fins de pontuação, no que se refere à titulação do profissional indicado, Mestrado ou Doutorado em Matemática ou Educação Matemática, Etnomatemática ou outra área relacionada ao ensino de Matemática.

As Notas dos fatores 1, 2 e 3 serão obtidas pela soma das notas atribuídas aos seus respectivos subfatores.

Observação: A nota total da Proposta Técnica (NPT) será obtida pela soma das notas de seus respectivos fatores 1, 2 e 3.

14. Classificação das Propostas

O Índice Técnico (IT) será determinado mediante a divisão da pontuação da proposta em exame pela pontuação da proposta de maior pontuação técnica.

O Índice de Preço (IP) será determinado mediante a divisão do menor preço entre as propostas habilitadas pelo preço da proposta em exame.

A classificação das propostas dar-se-á de acordo com a seguinte fórmula:

A = (IT x FT) + (IP x FP)

onde:

IT = Índice Técnico

FT = Fator de Ponderação Técnica = 0,8

IP = Índice de Preço

FP = Fator de Ponderação de Preço = 0,2

As propostas serão pontuadas conforme os critérios acima e serão classificadas conforme o valor (A) obtido na pontuação técnica.

15. Aprovação final pela Comissão de Seleção

A proposta recomendada pela Comissão será submetida à apreciação do Presidente do Inep, que homologará o projeto aprovado, observados os limites orçamentários do Projeto Básico e os requisitos abordados na qualificação técnica.

A Comissão de Seleção poderá recomendar adequações no orçamento e cronograma propostos.

Ao serem concluídos os trabalhos de julgamento será elaborada uma Ata da Reunião da Comissão, contendo a indicação do projeto vencedor.

16. RESULTADO DO JULGAMENTO O resultado contendo o projeto selecionado será divulgado pelo Inep,

disponível na Internet no endereço www.inep.gov.br bem como por intermédio de publicação no Diário Oficial da União.

17. RECURSOS ADMINISTRATIVOS

Caso o proponente tenha justificativa para contestar o resultado do julgamento, o Inep aceitará recurso no prazo de 05 (cinco) dias úteis, a contar da publicação do resultado. O recurso deverá ser dirigido ao Presidente do Inep, por intermédio da Comissão de Seleção, a qual proferirá sua decisão no prazo de 05 (cinco) dias úteis.

18. Observações gerais

Ao Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira reserva-se o direito sobre todo o material produzido, por qualquer meio (papel, eletrônico ou outro), podendo utilizá-lo, com ou sem alterações, em pesquisas, publicações, treinamentos, geração de bancos de dados e informações, além de outras atividades e produtos, preservando a referência aos autores e colaboradores.

19. Disposições finais Quaisquer informações sobre as condições específicas e técnicas serão

prestadas pela Diretoria de Avaliação da Educação Básica do Inep, no endereço SRTVS Qd 701, Lote 12, Bloco M, Ed. Dario Macedo, 3º andar, CEP 70340-909, Brasília-DF; telefone (61) 2022-3373; e-mail: [email protected].

Brasília, 30 de março de 2011.

Mariana Ferreira Peixoto dos Santos Coordenadora-Geral do Sistema Nacional de Avaliação de Educação Básica

De acordo. Encaminhe-se a DGP para as providências cabíveis considerando que, que as atividades a serem realizadas tem adequação orçamentária e financeira com a Lei orçamentária Anual, compatibilidade com o Plano Plurianual e com a Lei de Diretrizes Orçamentárias.

Maria Tereza Serrano Barbosa Diretora de Avaliação da Educação Básica

mailto:[email protected]

ANEXO 1 - Planilha detalhada de custos do Projeto Básico de Aplicação do PISA 2009

6.1 Seleção e treinamento de recursos humanos para execução das atividades

ITEM Especificação

Detalhamento dos cálculos

Média custo hora trabalhada total por categoria HORAS Quant

6.1

Coordenador geral 1000 1

R$ 80,00 R$ 80.000,00

coordenador de informática 500 2

R$ 40,00 R$ 40.000,00

coordenador de logística 320 1

R$ 40,00 R$ 12.800,00 Coordenadores de correção/ codificação de itens 80 3

R$ 40,00 R$ 9.600,00

Corretores 80 8

R$ 40,00 R$ 25.600,00

Coordenadores regionais de aplicação 160 5

R$ 40,00 R$ 32.000,00

Aplicadores 32 91

R$ 20,00 R$ 58.240,00

Digitadores 80 12

R$ 17,97 R$ 17.251,20

Diagramador 160 2

R$ 26,43 R$ 8.457,60

Secretária 500 1

R$ 16,00 R$ 8.000,00

Embalador/Empacotador 16 4

R$ 16,00 R$ 1.024,00

Recepcionista 16 3

R$ 16,00 R$ 768,00

Subtotal R$ 293.740,80

Infraestrutura treinamento unidade

auditório com som e multimídia 1

R$ 2.000,00 R$ 2.000,00

refeição, água e café 91

R$ 15,00 R$ 1.365,00

passagem aérea 90

R$ 1.000,00 R$ 90.000,00

computadores 30

R$ 150,00 R$ 4.500,00


Total R$ 391.605,80

6.2 Elaboração de plano logístico de aplicação e contato com as escolas


Detalhamento dos cálculos Média custo hora

trabalhada TOTAL

Escolas Quant Valor

6.2 Ligações telefônicas 91 4

R$ 2,00

R$ 728,00

Obs.: horas de trabalho computadas no item 6.1 Total R$ 728,00

6.3 Diagramação, impressão, organização e embalagem do material de aplicação


Detalhamento dos cálculos TOTAL exem-

plares páginas

Páginas impressas

preço página

6.3

Cadernos de prova 1360 48 páginas 65280 R$ 0,12 R$ 7.833,60

Cadernos de L. Financ. 326 76 páginas 24776 R$ 0,12 R$ 2.973,12

Questionário Aluno 1652 33 páginas 54516 R$ 0,12 R$ 6.541,92

Questionário Escola 96 45 páginas 4320 R$ 0,12 R$ 518,40

Formulários Rel. Aplicação 182 4 páginas 728 R$ 0,12 R$ 87,36

Lista Alunos Selecionados 273 4 páginas 1092 R$ 0,12 R$ 131,04

Lista Alunos Presentes 182 4 páginas 728 R$ 0,12 R$ 87,36

Manual Aplicador 100 35 páginas 3500 R$ 0,12 R$ 420,00

Manual Coordenador Escola 100 23 páginas 2300 R$ 0,12 R$ 276,00

Carta de Apresentação 100 1 páginas 100 R$ 0,12 R$ 12,00

Roteiro de Aplicação 200 10 páginas 2000 R$ 0,12 R$ 240,00

Guia Correção de Matemática 15 140 páginas 2100 R$ 0,12 R$ 252,00

Guia correção deLetr. Financeiro 15 52 páginas 780 R$ 1,12 R$ 873,60

Guia correção av. eletrônica 15 38 páginas 570 R$ 2,12 R$ 1.208,40

Folhas de Correção 3000 1 páginas 3000 R$ 0,12 R$ 360,00

Etiquetas de identificação 182 2 páginas 364 R$ 0,12 R$ 43,68

Relação com senha para o sistema 91 2 páginas 182 R$ 0,12 R$ 21,84

Régua para estojo 3151 1 unidade 3151 R$ 0,10 R$ 315,10

Calculadora para estojo 3151 1 unidade 3151 R$ 2,00 R$ 6.302,00

Saco fronha com lacre 637 1 unidade 637 R$ 0,35 R$ 222,95

Saco plástico com lacre 2002 1 saco 2002 R$ 0,35 R$ 700,70

Rolo fita adesiva (45 mm espessura) 91 1 unidade 91 R$ 1,80 R$ 163,80

Caixa de papelão (ida e volta) 91 2 unidade 182 R$ 2,72 R$ 495,04

Obs.: horas de trabalho computadas no item 6.1 Total R$ 30.079,91

6.4 Aplicação do Pré-teste

ITEM Especificação Detalhamento dos cálculos

TOTAL quant

6.4

Auxílio transporte 364

R$ 6,00

R$ 2.184,00

Refeição 364

R$ 12,00

R$ 4.368,00


Equipamento quant escolas dias valor TOTAL

Pen Drives 455 todas

R$ 18,00

R$ 8.190,00

Distribuição caixas (transporte ida) 91 11,2 kg

R$ 111,00 R$ 113.131,20

Aluguel de Laptops (por 5 dias) 10 30 1 R$ 344,12

R$ 103.236,00

Deslocamento Laptops 4 75 2 R$ 30,00

R$ 18.000,00

R$ 242.557,20 R$ 242.557,20

Total R$ 249.109,20

6.5 Transporte dos instrumentos para os locais de codificação/correção


TOTAL Escolas Kg Valor

6.5 Transporte (ida e volta) - correio 91 11,2 kg

R$ 111,00 R$ 113.131,20

Total R$ 113.131,20

6.6 Elaboração de Relatório de Aplicação


Média custo hora trabalhada total por categoria

6.6 Obs.: Não há gasto específico para isso, está incluso no horário de trabalho da coordenação

6.7 Digitalização de todas as provas e questionários


TOTAL

6.7 Digitalização das provas 87136

R$ 0,19

R$ 16.555,84

Digitalização questionários 57918

R$ 0,19

R$ 11.004,42

Total R$ 27.560,26

6.8 Codificação/correção eletrônica das questões abertas de prova


custo total por categoria Quant dias

6.8

sala com doze computadores 1 15

R$ 500,00 R$ 7.500,00

refeição, água e café 15 15

R$ 15,00 R$ 3.375,00

transporte urbano 15 15

R$ 6,00 R$ 1.350,00

sistema de multimídia e som 1 15

R$ 100,00 R$ 1.500,00

Total R$ 13.725,00

6.9 Verificação da consistência dos dados e limpeza do banco



Total horas de trabalho necesssárias para realização da atividade


6.10 Elaboração de relatório técnico final



Total horas de trabalho necesssárias para realização da atividade


6.11 Armazenamento do material utilizado até Junho de 2012


valor mensal TOTAL meses folhas resmas

6.11 Guarda do Material 12 147854 296

R$ 400,00 R$ 4.800,00

Total R$ 4.800,00

TOTAL GERAL R$ 830.739,37

ANEXO 2 – Modelo de Proposta

MODELO DE PROPOSTA

MODELO DE PROPOSTA

PROPONENTE: UF:

Razão Social:

CNPJ/MF:

Endereço:

Telefone: Fax:

E-mail:

DESCRIÇÃO DO PROJETO

1 Descrição do Projeto:

3 Descrição da infra-estrutura

física e logística

4 Descrição dos recursos

humanos

5 Demonstrativo de sustentabilidade

financeira e orçamentária

7 Outros recursos

8 Outras informações relevantes

EVENTUAIS ANEXOS:

ANEXO 3 – Plano de Execução

1 - Tema e objetivos

2 - Proposta Teórica do Projeto

3 - Metodologia

4 - Resultado Esperado

5 - Cronograma de Execução

5.1 – METAS/ATIVIDADES E CRONOGRAMA DE ATIVIDADES

Meta :-----------------------------------

ATIVIDADES PERÍODO DE EXECUÇÃO

INÍCIO TÉRMINO

Meta :-----------------------------------

ATIVIDADES PERÍODO DE EXECUÇÃO

INÍCIO TÉRMINO

6 – FORMA DE EXECUÇÃO DAS ATIVIDADES

6.1 – Unidades responsáveis

6.2 – distribuição do Corpo técnico administrativo e docente envolvido

a – Coordenações e equipes

7 – ORÇAMENTO DETALHADO DO PROJETO

Meta :

Item de Despesa Quant. Valor Unit. (R$)

Valor Total (R$)

Meta :

Item de Despesa Quant. Valor Unit. (R$)

Valor Total (R$)

8 – PLANO DE APLICAÇÃO

NATUREZA DA DESPESA VALOR (R$)

CÓDIGO DESCRIÇÃO

33.90.30 Material de Consumo

33.90.36 Serviços de Terceiros – Pessoa Física

33.90.39

Serviços de Terceiros – Pessoa Jurídica

33.91.47 Obrigações Tributárias e Contributivas

33.90.14 Diárias/auxílio transp.

33.90.33 Passagens

TOTAL GERAL

ANEXO 4 – Municípios de aplicação e modelo

Modelo de aplicação A

Município Escolas

ARACAJU – SE 1

BELO HORIZONTE - MG 1

BOA VISTA – RR 1

BRASILIA – DF 1

CURITIBA – PR 1

MACAPA – AP 1

PALMAS – TO 1

PORTO ALEGRE – RS 1

PORTO VELHO – RO 1

RECIFE – PE 1

RIO BRANCO – AC 1

RIO DE JANEIRO – RJ 1

SALVADOR – BA 1

SAO PAULO – SP 3

SOBRAL – CE 1

Total geral 17

Modelo de aplicação B

Município Escolas

BELEM – PA 1

BELO HORIZONTE – MG 2

CAMPINAS – SP 2

CUIABA – MT 1

CURITIBA – PR 2

EMBU – SP 2

FLORIANOPOLIS – SC 1

GOIANIA – GO 1

JALES – SP 2

JOAO PESSOA – PB 1

MACEIO – AL 1

MANAUS – AM 1

NATAL – RN 1

PORTO ALEGRE – RS 2

RECIFE – PE 2

RIO DE JANEIRO – RJ 3

SALVADOR – BA 2

SAO LUIS – MA 1

SAO PAULO – SP 2

SOBRAL – CE 2

TEOFILO OTONI – MG 2

TERESINA – PI 1

VITORIA – ES 1

Total geral 36

Modelo de aplicação C

Rótulos de Linha Escolas

BARREIRAS – BA 3

BAURU – SP 4

BELEM – PA 1

CAMPINAS – SP 1

CAMPO GRANDE – MS 1

CAMPOS DOS GOYTACAZES – RJ 3

CUIABA – MT 1

EMBU – SP 3

FLORIANOPOLIS – SC 1

FORTALEZA – CE 2

GOIANIA – GO 1

JOAO PESSOA – PB 1

MACEIO – AL 1

MANAUS – AM 1

MARINGA – PR 2

MONTES CLAROS – MG 4

NATAL – RN 1

SALGUEIRO – PE 2

SANTA MARIA – RS 2

SAO LUIS – MA 1

TERESINA – PI 1

VITORIA – ES 1

Total geral 38

ANEXO 5 – Plano logístico de aplicação

Constar detalhamento por escola com as seguintes informações:

Escola:

Município e UF:

Datas de aplicação:

Períodos de aplicação:

Modelo de aplicação:

Laboratório de informática (S/N):

Número e Situação dos computadores:

Aplicação através de laptops: detalhar

Computadores habilitados para execução da avaliação eletrônica:

Transporte das provas e materiais (ida e volta):

Nome do coordenador da escola:

Nome do aplicador e CPF (caso já haja essa indicação):

Documents

Contratação de Serviços para Aplicação do Pré-teste do ...download.inep.gov.br/download/internacional/pisa/2011/proj_basico.pdf · 4. Características da avaliação A aplicação