38
IMPACTO DAS INTERVENÇÕES DO AGOSTO DE 2019

IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

1

IMPACTO DAS INTERVENCcedilOtildeES DO

AGOSTO DE 2019

1

INTRODUCcedilAtildeO

O presente documento apresenta resultados de vaacuterias iniciativas e accedilotildees do Instituto Alfa e Beto ao longo de seus

14 anos de existecircncia

O Instituto Alfa e Beto possui duas linhas de atuaccedilatildeo a promoccedilatildeo do debate educacional com base em evidecircncias e

o desenvolvimento de intervenccedilotildees de comprovada eficaacutecia

O conceito de educaccedilatildeo baseada em evidecircncias comeccedila a ser progressivamente absorvido por algumas instituiccedilotildees

ndash embora ainda esteja longe de se constituir em criteacuterio para decisotildees O uso de evidecircncias cientiacuteficas relacionadas agrave

alfabetizaccedilatildeo por exemplo passou a ser assimilado pelo Ministeacuterio da Educaccedilatildeo a partir do ano de 2019 embora as

implicaccedilotildees praacuteticas ainda estejam longe de ocorrer Avanccedilos natildeo satildeo lineares tudo satildeo processos sujeitos aos vais

e vens da vida poliacutetica e social Daiacute a importacircncia do debate permanente e da anaacutelise constante dos resultados e do

impacto das intervenccedilotildees ndash mesmo as que se inspiram em soacutelidas evidecircncias

Ao longo de sua trajetoacuteria os programas do Instituto Alfa e Beto jaacute foram usados por mais de 2 milhotildees de alunos

sendo pouco mais de 12 milhotildees no programa de alfabetizaccedilatildeo do 1ordm ano e os demais em programas que vatildeo da

preacute-escola ao 5ordm ano aleacutem de programas de revisatildeo e outros que abrangem as seacuteries finais Esses programas foram

implementados em mais de 8 redes estaduais de ensino e em mais de 1000 municiacutepios ndash sendo que alguns deles

permanecem usando vaacuterios de nossos programas ao longo dos anos

Neste documento encontram-se resultados referentes a vaacuterias das intervenccedilotildees levadas a efeito pelo Instituto Os

resultados se limitam a accedilotildees que podem ser avaliadas por meio dos dados da Prova Brasil testes externos elaborados

2

pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees

relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos

dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees

Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo

apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas

Chamamos atenccedilatildeo do leitor para os seguintes aspectos

Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas

rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de

Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer

laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas

sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver

o depoimento de alguns desses pesquisadores sobre o nosso trabalho

Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo

muito adversas Entre elas

1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as

suas dificuldades e limitaccedilotildees

2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo

brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo

3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com

hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem

pelo Ministeacuterio da Educaccedilatildeo

3

Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de

educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores

coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada

um deles fica registrado o nosso reconhecimento e gratidatildeo

Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos

pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover

outros estudos podem entrar em contato conosco

Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O

compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a

adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar

os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo

Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que

funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar

associados a resultados consistentes

Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra

Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto

4

01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas

Primeira Infacircncia e Educaccedilatildeo Infantil

Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais

Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina

Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina

Alfabetizaccedilatildeo

Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul

Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)

Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro

Seacuteries Iniciais

Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute

Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro

Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados

Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados

Outros

Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

Sobral um caso muito especial

SUMAacuteRIO

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 2: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

1

INTRODUCcedilAtildeO

O presente documento apresenta resultados de vaacuterias iniciativas e accedilotildees do Instituto Alfa e Beto ao longo de seus

14 anos de existecircncia

O Instituto Alfa e Beto possui duas linhas de atuaccedilatildeo a promoccedilatildeo do debate educacional com base em evidecircncias e

o desenvolvimento de intervenccedilotildees de comprovada eficaacutecia

O conceito de educaccedilatildeo baseada em evidecircncias comeccedila a ser progressivamente absorvido por algumas instituiccedilotildees

ndash embora ainda esteja longe de se constituir em criteacuterio para decisotildees O uso de evidecircncias cientiacuteficas relacionadas agrave

alfabetizaccedilatildeo por exemplo passou a ser assimilado pelo Ministeacuterio da Educaccedilatildeo a partir do ano de 2019 embora as

implicaccedilotildees praacuteticas ainda estejam longe de ocorrer Avanccedilos natildeo satildeo lineares tudo satildeo processos sujeitos aos vais

e vens da vida poliacutetica e social Daiacute a importacircncia do debate permanente e da anaacutelise constante dos resultados e do

impacto das intervenccedilotildees ndash mesmo as que se inspiram em soacutelidas evidecircncias

Ao longo de sua trajetoacuteria os programas do Instituto Alfa e Beto jaacute foram usados por mais de 2 milhotildees de alunos

sendo pouco mais de 12 milhotildees no programa de alfabetizaccedilatildeo do 1ordm ano e os demais em programas que vatildeo da

preacute-escola ao 5ordm ano aleacutem de programas de revisatildeo e outros que abrangem as seacuteries finais Esses programas foram

implementados em mais de 8 redes estaduais de ensino e em mais de 1000 municiacutepios ndash sendo que alguns deles

permanecem usando vaacuterios de nossos programas ao longo dos anos

Neste documento encontram-se resultados referentes a vaacuterias das intervenccedilotildees levadas a efeito pelo Instituto Os

resultados se limitam a accedilotildees que podem ser avaliadas por meio dos dados da Prova Brasil testes externos elaborados

2

pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees

relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos

dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees

Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo

apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas

Chamamos atenccedilatildeo do leitor para os seguintes aspectos

Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas

rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de

Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer

laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas

sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver

o depoimento de alguns desses pesquisadores sobre o nosso trabalho

Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo

muito adversas Entre elas

1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as

suas dificuldades e limitaccedilotildees

2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo

brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo

3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com

hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem

pelo Ministeacuterio da Educaccedilatildeo

3

Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de

educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores

coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada

um deles fica registrado o nosso reconhecimento e gratidatildeo

Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos

pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover

outros estudos podem entrar em contato conosco

Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O

compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a

adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar

os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo

Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que

funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar

associados a resultados consistentes

Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra

Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto

4

01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas

Primeira Infacircncia e Educaccedilatildeo Infantil

Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais

Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina

Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina

Alfabetizaccedilatildeo

Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul

Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)

Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro

Seacuteries Iniciais

Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute

Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro

Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados

Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados

Outros

Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

Sobral um caso muito especial

SUMAacuteRIO

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 3: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

2

pelas redes de ensino ou de experimentos cientiacuteficos controlados especialmente a avaliaccedilatildeo de intervenccedilotildees

relacionadas com a Primeira Infacircncia com o uso de software educativo e teste de novos programas A qualidade dos

dados o rigor dos controles experimentais e os resultados variam nas diferentes intervenccedilotildees

Os resultados estatildeo organizados por niacutevel ndash Educaccedilatildeo Infantil Alfabetizaccedilatildeo Seacuteries Iniciais e Outros Em cada niacutevel satildeo

apresentadas evidecircncias sobre o impacto de programas ou intervenccedilotildees especiacuteficas que satildeo brevemente descritas

Chamamos atenccedilatildeo do leitor para os seguintes aspectos

Todos os programas e iniciativas do Instituto Alfa e Beto satildeo desenvolvidos com base em evidecircncias cientiacuteficas

rigorosas sobre o que funciona em educaccedilatildeo Esse trabalho se tornou possiacutevel com a realizaccedilatildeo de uma seacuterie de

Seminaacuterios Internacionais promovidos desde antes a criaccedilatildeo do Instituto Alfa e Beto e que nos permitiram estabelecer

laccedilos acadecircmicos e contar com a contribuiccedilatildeo de dezenas de alguns dos mais ilustres estudiosos dos diferentes temas

sobre os quais trabalhamos Clique aqui para conhecer as publicaccedilotildees referentes a esses seminaacuterios e aqui para ver

o depoimento de alguns desses pesquisadores sobre o nosso trabalho

Na maioria dos casos a implementaccedilatildeo dos programas do Instituto Alfa e Beto se daacute em condiccedilotildees de implementaccedilatildeo

muito adversas Entre elas

1 A implementaccedilatildeo natildeo eacute realizada diretamente pelo Instituto Alfa e Beto e sim pelas redes de ensino com todas as

suas dificuldades e limitaccedilotildees

2 A maioria das propostas do Instituto esbarra com resistecircncias decorrentes das ideologias dominantes na educaccedilatildeo

brasileira e que geram inconsistecircncias e dissonacircncia cognitiva que interferem na implementaccedilatildeo

3 Em vaacuterios casos os programas do Instituto especialmente na aacuterea de alfabetizaccedilatildeo contam natildeo apenas com

hostilidade mas com accedilotildees simultacircneas e contraditoacuterias promovidas pelas proacuteprias escolas secretarias e tambeacutem

pelo Ministeacuterio da Educaccedilatildeo

3

Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de

educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores

coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada

um deles fica registrado o nosso reconhecimento e gratidatildeo

Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos

pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover

outros estudos podem entrar em contato conosco

Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O

compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a

adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar

os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo

Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que

funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar

associados a resultados consistentes

Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra

Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto

4

01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas

Primeira Infacircncia e Educaccedilatildeo Infantil

Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais

Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina

Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina

Alfabetizaccedilatildeo

Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul

Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)

Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro

Seacuteries Iniciais

Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute

Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro

Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados

Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados

Outros

Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

Sobral um caso muito especial

SUMAacuteRIO

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 4: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

3

Dito isso cabe ressaltar que esses resultados soacute foram possiacuteveis graccedilas agrave decisatildeo de prefeitos e secretaacuterios de

educaccedilatildeo ao esforccedilo de gestatildeo das equipes das secretarias e ao trabalho de implementaccedilatildeo de milhares de diretores

coordenadores e professores de escolas de todo o paiacutes ndash frequentemente trabalhando em condiccedilotildees adversas A cada

um deles fica registrado o nosso reconhecimento e gratidatildeo

Os dados aqui apresentados decorrem de bases de dados de acesso puacuteblico ou dados coletados diretamente pelos

pesquisadores responsaacuteveis pelos estudos Pesquisadores interessados em aprofundar essas anaacutelises ou promover

outros estudos podem entrar em contato conosco

Haacute diversas formas de avaliar o impacto de uma instituiccedilatildeo especialmente uma instituiccedilatildeo natildeo-governamental O

compromisso do Instituto Alfa e Beto eacute estimular o debate em torno das evidecircncias ndash no sentido de promover a

adoccedilatildeo de poliacuteticas e praacuteticas com resultados comprovados Por isso se julga na obrigaccedilatildeo de documentar e divulgar

os resultados de seu trabalho Este tambeacutem eacute um convite para que instituiccedilotildees congecircneres faccedilam o mesmo

Evidecircncias satildeo sempre sujeitas a debate ndash e natildeo seraacute diferente neste caso Ao examinar evidecircncias sobre o que

funciona em educaccedilatildeo eacute importante considerar natildeo apenas as evidecircncias isoladas mas padrotildees que costumam estar

associados a resultados consistentes

Cabe ao leitor avaliar as iniciativas individuais e o conjunto da obra

Joatildeo Batista Araujo e OliveiraFundador e Presidente do Instituto Alfa e Beto

4

01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas

Primeira Infacircncia e Educaccedilatildeo Infantil

Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais

Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina

Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina

Alfabetizaccedilatildeo

Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul

Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)

Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro

Seacuteries Iniciais

Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute

Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro

Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados

Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados

Outros

Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

Sobral um caso muito especial

SUMAacuteRIO

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 5: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

4

01 Universidade do Bebecirc ndash Boa Vista Impacto da leitura interativa nas crianccedilas

Primeira Infacircncia e Educaccedilatildeo Infantil

Universidade do Bebecirc ndash Boa Vista Impacto do niacutevel de escolaridade dos pais

Impacto de um programa de capoeira sobre o desenvolvimento de funccedilotildees executivas ndash Petrolina

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo ndash Petrolina

Impacto global do Programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto no desenvolvimento das crianccedilas do Programa Nova Semente ndash Petrolina

Alfabetizaccedilatildeo

Impacto do Programa Alfa e Beto numa comparaccedilatildeo de 3 meacutetodos de alfabetizaccedilatildeo na Rede Estadual do Rio Grande do Sul

Impacto do Programa Alfa e Beto numa comparaccedilatildeo com municiacutepios que adotaram outras metodologias no Estado do Cearaacute (Programa SpaeceAlfa)

Avaliaccedilatildeo da implementaccedilatildeo do Ilhas do Alfabeto (jogo digital) em alunos da rede municipal do Rio de Janeiro

Seacuteries Iniciais

Impacto do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) seguido do Programa de Ensino Estruturado (2ordm ano) em escolas de municiacutepios do Piauiacute

Desempenho de alunos que participaram de programas de alfabetizaccedilatildeo e 2ordm ano do Instituto Alfa e Beto em relaccedilatildeo aos alunos dos programas regulares da rede municipal do Rio de Janeiro

Desempenho comparativo de alunos que usaram programas do Instituto Alfa e Beto em uma ou mais seacuteries escolares em 31 municiacutepios de 12 estados

Desempenho comparativo de escolas que usaram programas do Instituto Alfa e Beto em pelo menos duas seacuteries escolares em 37 municiacutepios de 13 estados

Outros

Impacto da implementaccedilatildeo do jogo digital Tabuada na Fazenda em Arcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

Efeitos da implementaccedilatildeo de um programa de Fluecircncia de Leitura nas seacuteries iniciais ndash SME-RJ

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

Sobral um caso muito especial

SUMAacuteRIO

02

03

04

05

06

07

08

09

10

11

12

13

14

15

16

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 6: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

5

01 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 484 foram avaliadas e 475 responderam ao teste Cloze

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOS Diferenccedila de impacto nos pais do grupo experimental variou de 52 a 57 de um DP em variaacuteveis como estimulaccedilatildeo

cognitiva e leitura interativa

Diferenccedila no impacto sobre as crianccedilas variou de 33 a 62 de um DP em variaacuteveis como vocabulaacuterio receptivo

memoacuteria de trabalho e leitura interativa

Impacto da leitura interativa nas crianccedilas por meio do programa Universidade do Bebecirc

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 7: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

6

FONTE DOS DADOSWeisleder Adriana Denise SR Mazzuchelli Aline Saacute Lopez Walfrido Duarte Neto Carolyn Brockmeyer Cates Hosana Alves Gonccedilalves Rochele Paz Fonseca Joatildeo Oliveira and Alan L Mendelsohn ldquoReading aloud and child development a clus-ter-randomized trial in Brazilrdquo Pediatrics 141 no 1 (2018) e20170723

TABELA 1 TABELA 2

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

Receptive vocabulary

Expressivevocabulary

Workingmemory

IQ (StandartScore)

PhonologicalShort-Term Memory

Interactive reading

Socio-emotionalcompetence

Externalizingbehavior

Attention problems

Agressiveproblems

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

761 (65)

1274 (88)

346 (41)

745 (57)

432 (40)

716 (45)9076 (132)

9339 (138)

165 (19)

321 (25)

1283 (65)

1103 (52)

5679 (91)

5898 (82)

1999 (93)

1899 (99)

412 (24)

406 (27)

1588 (78)

1494 (91)

774 (67)

1476 (99)

431 (49)

869 (66)419 (39)

935 (58)9304 (139)

9889 (145)

173 (19)

342 (24)

1383 (69)

1441 (58)

5780 (93)

5903 (82)

1963 (94)

1757 (96)

402 (26)

356 (25)1561 (78)

1401 (80)

83

02

04

03

73

lt001e

09

lt001e

64

35

11

lt001e

23

95

67

11

67

04

71

21

02

22

19

20

03

42

17

39

04

09

15

61

11

01

04

15

04

19

03

12

33

15

46

33

08

62

05

18

22

13

254 (110 397)

068 (-045 182)

220 (19 341)

558 (298 817)

025 (-021 72)

298 (191 410)

-040 (-172 34)

-097 (-260 66)

-056 (-113 01)

-075 (-208 57)

001e

24

lt001e

lt001e

29

lt001e

56

24

053

27

01

04

02

0

0

0

0

0

0

0

01

04

04

0

02

01

0

0

01

0

a Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correctionf Includes only children 25 years or older for whom standard scores could be calculated

A Tabela 1 mostra o impacto no comportamento dos pais que participaram do programa Os resultados satildeo particularmente elevados e significativos nas variaacuteveis relacionadas com a estimulaccedilatildeo cognitiva dos filhos e a intensidade de leitura interativa

A Tabela 2 mostra o impacto no comportamento das crianccedilas que participaram do programa Os resultados satildeo particularmente elevados (33 a 62 de um DP) e significativos nas variaacuteveis relacionadas ao aumento do vocabulaacuterio receptivo memoacuteria de trabalho e leitura interativa

OutcomeControl

Mean (SD)ordfInterventionMean (SD)ordf

pb Cohenrsquosdb

BaselinecorrectedCohenrsquos db

Mean Difference(95 CI)d

ICC(Cluster)

ICC(Center)pd

StimQ Total

StimQ READ

StimQ PVR

StimQ PIDA

Interactivereading (ACIRI)

Physicalpunishment

Baseline

Follow-up

Baseline

Follow-up

Baseline

Follow-upBaseline

Follow-up

Baseline

Follow-up

Baseline

Follow-up

Adjusted for clustering or covariates Adjusted for clustering covariates and baseline score

2076 (74)

2304 (75)

501 (39)

610 (40)

859 (30)

889 (31)

720 (23)

806 (20)

1410 (64)

1178 (52)

430 (15)

433 (15)

2104 (77)

2576 (67)

523 (41)

812 (36)

860 (29)

955 (28)

723 (25)

822 (20)

1498 (66)

1472 (55)

437 (16)

407 (15)

70

lt001e

56

lt001e

98

01

89

38

14

lt001e

61

06

03

38

05

53

00

22

01

08

14

55

05

17

43

52

29

09

57

22

277 (021 534)

184 (076 292)

067 (-020 153)

022 (-041 083)

280 (140 419)

-033 (-065 53)

03

lt001e

13

50

lt001e

04

097

02

06

06

03

0

0097

06

06

06

03

02

Abbreviations ACIRI Adult-Child Interactive Reading Inventory CI confidence interval ICC intracluster correlation coefficientPIDA involvement in developmental advance PVR parental verbal responsivity SD standart devilationa Sample size ranges from 234 to 251 in the control arm and 214 to 232 in the intervention arm depending on the measureb Based on t-tests with no adjustmentc Based on ANCOVA adjusting for baseline score onlyd Based on multi-level models adjusting for center cluster covariates (childrsquos age gender firstborn status race indigenous parentrsquos age education level marital status financial income financial hardship food insecurity depression) and baseline scoree Significant after Bonferroni correction

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 8: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

7

02 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOUniversidade do Bebecirc (UBB)

EM QUE CONSISTEA Universidade do Bebecirc eacute um programa de treinamento de pais para ler conversar e brincar com seus filhos de maneira

interativa

LOCALBoa Vista (RR)

DATA

Ao longo de 9 meses em 2015

PARTICIPANTES566 famiacutelias das quais 279 participaram do programa As demais compuseram o grupo de controle

METODOLOGIAEstudo randomizado com clusters

PRINCIPAIS RESULTADOSO programa UBB teve impactos semelhantes para pais com alto e baixo niacutevel de escolaridade

Melhora na qualidade da interaccedilatildeo de 05 desvio-padratildeo para ambos os grupos

Melhora na memoacuteria do trabalho de 04 desvio-padratildeo para ambos os grupos

Melhora no vocabulaacuterio receptivo de 03 desvio-padratildeo para ambos os grupos

Impacto do niacutevel de escolaridade dos pais no desempenho das crianccedilas

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 9: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

8

FONTE DOS DADOSRCT of a Reading aloud intervention in Brazil Do impacts differ depending on parent literacy (submetido para publicaccedilatildeo)

TABELA 1

Outcomes

Parenting

Child

Interactive reading (ACIRI)Cognitive Home Environment (StimQ)StimQ READStimQ PVRStimQ PIDAExpressive vocabulary (TIN)Receptive vocabulary (Peabody)Nonverbal intelligence (SON)Working memory (TIMT)Phonological short-term memory

53

52

71

17

13

20

31

38

42

09

51

27

32

29

08

03

27

42

44

15

High literacyLow literacyaUniversidade do Bebecirc

t

a tNote plt01 plt001 Parent literacy dichotomized by median split tendency towards statistical significance (p= 007) All analyses were adjusted for childrenrsquos sex age race (dichotomized as indigenous or not indigenous) and birth order parentrsquos age marital status family income food insecurity financial hardship and parental depressive symptoms Multilevel modeling was used to account for clustering (12 sites and 22 child care centers)

Os modelos multiniacutevel mostram efeitos comparaacuteveis da UBB nos resultados dos pais e das crianccedilas independentemente do niacutevel de alfabetizaccedilatildeo e leitura dos pais

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 10: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

9

03 NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOCapoeira

EM QUE CONSISTEImplementaccedilatildeo de um programa de capoeira para crianccedilas de 4 a 5 anos de idade do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo do 2ordm semestre de 2016

PARTICIPANTESCerca de 1800 crianccedilas Houve dois grupos com intervenccedilatildeo aleacutem do grupo de controle um com aulas tradicionais de

capoeira outro com aulas de capoeira e atividades adicionais voltadas ao desenvolvimento de funccedilotildees executivas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOSExistem evidecircncias de melhora na funccedilatildeo executiva das crianccedilas

Aumento na ordem de 012 desvio-padratildeo em atenccedilatildeo e controle inibitoacuterio para os dois grupos com intervenccedilatildeo

Melhora de 015 desvio-padratildeo em memoacuteria do trabalho para crianccedilas do grupo com ecircnfase em controle executivo

Efeito maior para crianccedilas beneficiaacuterias do Bolsa-famiacutelia e filhos(as) de matildees menos escolarizadas

Impacto da capoeira no desenvolvimento de funccedilotildees de controle executivo

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 11: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

10

FONTE DOS DADOSHirata (2019) Impact of Capoeira on Childrenrsquos Executive Functions (em elaboraccedilatildeo)

O Graacutefico 1 mostra o efeito do programa (representado pelo ciacuterculo cheio) em atenccedilatildeocontrole inibitoacuterio e memoacuteria do trabalho para diferentes pontos (percentis) da distribuiccedilatildeo de desenvolvimento naquelas habilidades O intervalo de confianccedila de 95 eacute representado pelas hastes acima e abaixo do ciacuterculo cheio

Observa-se que o efeito (medido em desvios-padratildeo) sobre atenccedilatildeo (figura agrave esquerda) eacute maior para alunos que possuem maior niacutevel de atenccedilatildeo Jaacute o efeito para memoacuteria do trabalho eacute praticamente constante Os dois casos referem-se ao grupo exposto a aulas de capoeira com ecircnfase em controle executivo

O Graacutefico 2 mostra que o efeito do programa foi mais relevante para crianccedilas cujas matildees tinham baixa escolaridade (natildeo completaram o ensino meacutedio)

Tanto para o grupo exposto ao curso tradicional de capoeira quanto ao curso com ecircnfase em controle executivo (Capoeira + EF) o efeito sobre atenccedilatildeo e controle inibitoacuterio foi de 016 desvio-padratildeo ambos significantes a 10 Para crianccedilas cujas matildees completaram o ensino meacutedio ainda que os efeitos sejam positivos estatisticamente natildeo se pode afirmar que satildeo diferentes de zero

GRAacuteFICO 1 GRAacuteFICO 2

I I10 25 50 75 90

-4

-2

0

2

4

6

Impa

ct

Quantiles

I I I I II II I

ATTENTION

Quantiles10 25 50 75 90

-4

-2

0

2

4

6

I I II I II

WORKINGMEMORY

I I Impa

ct

Non-significant

Low schooling High Schooling

018

016

014

012

01

008

006

004

002

0

Capoeira Capoeira + EF

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 12: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

11

04NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma Nova Semente

EM QUE CONSISTEIntervenccedilatildeo usando a metodologia My Teaching Partner com educadores do Programa Nova Semente

LOCALPetrolina (PE)

DATA

Ao longo de 2014

PARTICIPANTES2000 crianccedilas das quais 800 tiveram educadoras que passaram pelo treinamento

METODOLOGIAPareamento por escore de propensatildeo apoacutes a intervenccedilatildeo e regressatildeo com descontinuidade baseada no timing de

implementaccedilatildeo da intervenccedilatildeo

PRINCIPAIS RESULTADOS Sobre as crianccedilas Desempenho superior sobre o raciociacutenio na ordem de 02 desvio-padratildeo para crianccedilas do

maternal e da preacute-escola

Sobre as educadoras Melhoria da qualidade das interaccedilotildees com aumento de mais de 1 desvio-padratildeo

na qualidade do feedback para educadoras tanto do maternal quanto da preacute-escola e de cerca de 09

desvio-padratildeo na modelagem da linguagem

Impacto da metodologia My Teaching Partner no desenvolvimento e impacto de habilidades de interaccedilatildeo em Petrolina

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 13: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

12

A) O Impacto sobre as crianccedilasPara aferir o raciociacutenio das crianccedilas foi utilizado o instrumento SON-R que captura medidas de raciociacutenio (inteligecircncia fluida) e processamento visual As crianccedilas do maternal e preacute-escola que estavam nas salas com educadoras que participaram do programa CLASS apresentaram desempenho superior ao dos demais alunos

De acordo com a Tabela 1 essa diferenccedila foi de 016 a 02 desvios-padratildeo no maternal e preacute-escola respectivamente

FONTE DOS DADOSLEPES (2015) Relatoacuterio da Avaliaccedilatildeo do Mecanismo de Coaching de Professoras do Programa Nova Semente

TABELA 1 TABELA 2

B) O Impacto sobre as educadorasO impacto do CLASS sobre os alunos ocorre via educadores O CLASS tem como um de seus objetivos melhorar a qualidade das interaccedilotildees dos adultos com as crianccedilas melhorando o ambiente dentro de sala e proporcionando maior aprendizado

A Tabela 2 abaixo indica que a qualidade das interaccedilotildees das educadoras que passaram pelo treinamento eacute melhor que a das demais no que diz respeito agrave orientaccedilatildeo comportamental e agrave modelagem da linguagem tanto no maternal quanto na preacute-escola

Maternal Preacute-escola

Coeficiente (erro-padratildeo)

016(007)

020(008)

lt 001 lt 005 lt 01

Clima Positivo

Clima Negativo

Sensibilidade do Professor

Respeito pelas Perspectivas da Crianccedila

Orientaccedilatildeo comportamental

Auxiacutelio ao Aprendizado e ao Desenvolvimento

Qualidade do Feedback

Modelagem da Linguagem

008(009)

022(006)

-010(008)

-003(008)

072(011)

018(010)

111(010)

081(010)

112(010)

-048(008)

153(008)

149(008)

103(006)

100(007)

1071(009)

069(010)

Maternal

Favoraacuteveis

Desfavoraacuteveis

Natildeo significativos

Preacute

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 14: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

13

05NIacuteVELPrimeira Infacircncia e Educaccedilatildeo Infantil

PROGRAMA AVALIADOPrograma de Educaccedilatildeo Infantil do Instituto Alfa e Beto com crianccedilas do Programa Nova Semente

EM QUE CONSISTEImpacto global do programa de Educaccedilatildeo Infantil do Instituto Alfa e Beto implementado no contexto do Programa Nova

Semente (Petrolina PE)

LOCALPetrolina (PE)

DATA

2016

PARTICIPANTES174 crianccedilas em idade preacute-escolar das quais metade frequentava creche ou preacute-escola no acircmbito do programa Nova

Semente A outra metade natildeo frequentava creche ou preacute-escola

METODOLOGIAComparaccedilatildeo dos alunos matriculados no Programa Nova Semente com alunos da lista de espera ou que residiam proacuteximo

agraves unidades do Nova Semente matching regressatildeo linear com controles para variaacuteveis natildeo observaacuteveis e regressatildeo

quantiacutelica A regressatildeo quantiacutelica aparece na tabela 1

PRINCIPAIS RESULTADOSOs alunos do Nova Semente obtiveram desempenho superior em 04 desvio padratildeo em vocabulaacuterio expressivo

em relaccedilatildeo agraves crianccedilas da lista de espera e fora da escola

Impacto do programa Nova Semente (Petrolina - PE) no desenvolvimento do vocabulaacuterio das crianccedilas

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 15: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

14

FONTE DOS DADOSHirata (2019) Early Childhood Education Effect on Childrenrsquos Vocabulary

A Tabela 1 mostra que o efeito sobre vocabulaacuterio expressivo ocorreu para praticamente todas as crianccedilas desde aquelas com niacutevel mais baixo (percentil 10) ateacute para aquelas com niacutevel mais elevado (percentil 75) Apenas no topo da distribuiccedilatildeo (percentil 90) eacute que o resultado encontrado natildeo eacute significante estatisticamente (ainda que o efeito seja alto e positivo)

TABELA 1

ECE

ObservationsPseudo R-squared

Robust standard errors in parentheses 1 significant 5 significant

(1)10

(2)25

(3)Median

(4)75

(5)90th th th th

0465(0074)

166

0229

0428(0128)

166

0253

0369(0176)

166

0222

0403(0169)

166

0247

0434(0279)

166

0285

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 16: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

15

06 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTEComparaccedilatildeo do impacto de 3 intervenccedilotildees - O Programa Alfa e Beto de Alfabetizaccedilatildeo foi uma dessas intervenccedilotildees

LOCALRede puacuteblica estadual do Rio Grande do Sul

DATA

2006 e 2007

PARTICIPANTES4 grupos de 200 escolas do 1ordm ano da rede estadual do Rio Grande do Sul

METODOLOGIACada grupo de escolas escolheu uma de 3 intervenccedilotildees o 4ordm grupo usou as intervenccedilotildees tradicionais e serviu como

controle Um quinto grupo de 200 escolas que natildeo participou das escolhas foi usado como grupo de controle adicional

PRINCIPAIS RESULTADOSO desempenho na Prova Brasil de alunos expostos ao programa melhorou 5 pontos a mais que o observado para grupo

de controle (em relaccedilatildeo a uma melhora meacutedia de 15 pontos no periacuteodo 2007 a 2011)

Programa de Alfabetizaccedilatildeo aos 6 anos ndash Secretaria Estadual de Educaccedilatildeo do Rio Grande do Sul

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 17: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

16

O Graacutefico 1 apresenta a nota meacutedia dos alunos de 5ordm ano do Ensino Fun-damental em Liacutengua Portuguesa na Prova Brasil para cada grupo de es-colas de acordo com o programa de alfabetizaccedilatildeo adotado

Observa-se no graacutefico que entre 2007 e 2009 embora as meacutedias dos grupos de escolas sejam diferentes a evoluccedilatildeo das notas eacute idecircntica Por outro lado haacute claramente uma inflexatildeo na trajetoacuteria da nota meacutedia das escolas que implementaram o Programa Alfa e Beto de Alfabetizaccedilatildeo que aparece como ldquomeacutetodo focircnicordquo no Graacutefico 1

Esta mudanccedila na trajetoacuteria poderia resultar de outras mudanccedilas que tivessem ocorrido concomitantemente agrave implementaccedilatildeo do Programa Alfa e Beto por exemplo a auto-seleccedilatildeo dos melhores professores

175

180

190

200

201120092007Ano

185

195

Not

a m

eacutedia

de

Liacuteng

ua P

ortu

gues

a

FocircnicoConstrutivistaControle II

GestatildeoControle I

GRAacuteFICO 1

Coeficiente 471 457 603 549 456 529 (erro-padratildeo) (253) (271) (268) (318) (256) (194) Controles p

InfraestruturaEquipamentos X X X X X Caracteriacutesticas do Diretor X X X X

Caracteriacutesticas do Professor X X X Caracteriacutesticas dos Alunos X X

lt 001 lt 005 lt 01

(1) (2) (3) (4) (5) (6)

A Tabela 1 apresenta resultados que descartam as possibilidades de que a mudanccedila na trajetoacuteria tenha ocorrido por outros fatores aleacutem da implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo

Na coluna (1) observa-se que as escolas que adotaram o programa experimentaram um aumento da nota meacutedia 471 pontos maior que o grupo de controle As colunas (2) a (5) mostram que esse aumento se manteacutem estatisticamente significante apoacutes a inclusatildeo de controles para mudanccedilas na infraestrutura e equipamentos das escolas nas caracteriacutesticas do diretor dos professores e dos alunos A coluna (6) reforccedila os resultados anteriores ao utilizar como grupo de controle as escolas natildeo selecionadas a participar do programa

TABELA 1

FONTE DOS DADOSHirata G and P Rocha e Oliveira ldquoLasting effects of promoting literacyndashdo when and how to learn matterrdquo Education Econo-mics 27 no 4 (2019) 339-357

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 18: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

17

07 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo

EM QUE CONSISTE

Comparaccedilatildeo dos resultados de municiacutepios que adotaram diferentes propostas de alfabetizaccedilatildeo

LOCALRedes municipais do Estado do Cearaacute

DATA

2008 a 2012

PARTICIPANTESMuniciacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo vs municiacutepios que adotaram outras metodologias

No programa do Cearaacute a intervenccedilatildeo se deu no 2ordm ano exceto em Sobral (1ordm ano)

METODOLOGIAComparaccedilatildeo dos resultados na prova do SPAECEAlfa do Estado do Cearaacute

PRINCIPAIS RESULTADOS Alunos dos municiacutepios que adotaram o Programa Alfa e Beto de Alfabetizaccedilatildeo obtiveram resultados

consistentemente superiores aos demais chegando a uma diferenccedila de 211 pontos

Esses municiacutepios tambeacutem tiveram um nuacutemero maior de alunos nos niacuteveis 4 e 5 do teste

Programa SPAECEAlfa do Estado do Cearaacute

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 19: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

18

FONTE DOS DADOSDados puacuteblicos do SPAECEALFA

2008 2009 2010 2011 2012

1278

1266

1284

-18

188

1338

1446

132

126

1679

1623

1666

1618

56

2034

1739

1803

1776

21

2148

1647

1832

1621

211

1976

Total

Alfa e Beto

Demais

Diferenccedila

Sobral

Municiacutepios Suficiente Desejaacutevel

123456789

10111213

2404

794

796

1493

154

104

1144

693

2058

1153

1149

704

2313

267

1340

190

187

81

13

143

239

218

200

291

16

248

5784

8307

8756

6555

9576

9805

7548

8766

5252

6714

6932

8568

5646

506

8230

698

621

814

972

760

565

533

615

529

961

645

2011 2012 2011 2012

O Quadro 1 mostra que o desempenho dos alunos que participaram dos programas do IAB eacute consistentemente superior aos dos demais programas chegando a uma diferenccedila de 211 pontos em 2012 Destaca-se o caso de Sobral

O Quadro 2 mostra a porcentagem de alunos com niacutevel de alfabetizaccedilatildeo suficiente e desejaacutevel nos 12 municiacutepios do Cearaacute que implementaram o programa IAB Com exceccedilatildeo de um municiacutepio todos possuem 80 ou mais de alunos nesses niacuteveis

TABELA 1 TABELA 2

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 20: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

19

08 NIacuteVELEducaccedilatildeo Infantil

PROGRAMA AVALIADOIlhas do Alfabeto

EM QUE CONSISTEAvaliaccedilatildeo de impacto do software de alfabetizaccedilatildeo Ilhas do Alfabeto

LOCALRio de Janeiro (RJ)

DATA

Ao longo do 2ordm semestre de 2018

PARTICIPANTES780 alunos do Preacute 2 e do 1ordm ano do Ensino Fundamental dos quais pouco mais da metade utilizaram o jogo digital Os

demais seguiram as atividades regulares programadas

METODOLOGIAEstudo randomizado com cluster

PRINCIPAIS RESULTADOS PRELIMINARESHouve efeito para alunos do 1ordm ano

Melhora na consciecircncia fonoloacutegica (018 desvio-padratildeo)

Aumento no niacutevel de alfabetizaccedilatildeo de 017 desvio-padratildeo

Implementaccedilatildeo do jogo digital Ilhas do Alfabeto

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 21: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

20

FONTE DOS DADOSIDados O impacto da tecnologia sobre alfabetizaccedilatildeo (artigo em elaboraccedilatildeo)

Efeito sobre consciecircncia fonoloacutegica para alunos do 1ordm ano

O Graacutefico 1 mostra o escore meacutedio dos alunos do 1ordm ano no teste de consciecircncia fonoloacutegica antes e depois da intervenccedilatildeo Antes da intervenccedilatildeo o escore meacutedio de ambos os grupos foi de 14 pontos (maacuteximo = 40) Depois da intervenccedilatildeo enquanto o grupo de controle aumentou a meacutedia para pouco mais de 16 o grupo de tratamento alcanccedilou 19 pontos

Efeito sobre teste de alfabetizaccedilatildeo

O Graacutefico 2 mostra o escore meacutedio dos alunos do 1ordm ano no teste de alfabetizaccedilatildeo composto por ditado de figuras palavras e frases Antes da intervenccedilatildeo o escore meacutedio do grupo de controle (20 pontos maacuteximo 80) era inferior ao do tratamento (25 pontos) Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento no escore meacutedio 15 vs 10 pontos

GRAacuteFICO 1 GRAacuteFICO 2

12

1

4

1

6

18

20

Antes Depois

Esco

re

Controle Tratado

10

20

30

40

Antes Depois

Esco

re

Controle Tratado

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 22: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

21

09 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo entre escolas que usaram ou natildeo os programas do Instituto Alfa e Beto

LOCALMuniciacutepios do estado do Piauiacute

DATA

2011 a 2012

PARTICIPANTES157 escolas que participaram por adesatildeo comparadas com 302 escolas que natildeo participaram

METODOLOGIAComparaccedilatildeo do impacto na Prova Brasil de 2015 usando o modelo estimado por Miacutenimos Quadrados Ordinaacuterios com

cluster para municiacutepios

PRINCIPAIS RESULTADOSAumento meacutedio de proficiecircncia de 8 pontos em Liacutengua Portuguesa e Matemaacutetica cerca de 16 de um desvio-padratildeo

equivalendo a mais de meio ano letivo de ganho

Implementaccedilatildeo do Programa Alfa e Beto de Alfabetizaccedilatildeo (1ordm ano) e do Programa de Ensino Estruturado (2ordm ano)

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 23: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

22

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

A Tabela 1 mostra a diferenccedila no crescimento em pontos na Prova Brasil 5ordm ano entre municiacutepios que implementaram o programa Alfa e Beto de Alfabetizaccedilatildeo e os que natildeo implementaram Alunos do 1ordm ano do ensino fundamental dos municiacutepios que adotaram o programa em 2011 realizaram a Prova Brasil em 2015 (quando alcanccedilaram o 5ordm ano) A tabela mostra que haacute uma diferenccedila de 8 pontos no crescimento tanto em Matemaacutetica quanto em Liacutengua Portuguesa

Os alunos do 5ordm ano que fizeram o exame em 2013 cursaram o 1ordm ano do ensino fundamental em 2009 antes portanto da implementaccedilatildeo do programa Por isso era de se esperar que natildeo houvesse diferenccedila entre municiacutepios participantes e natildeo participantes na Prova Brasil em 2013 Isso reforccedila a evidecircncia de que foi a implementaccedilatildeo do programa a partir da coorte de 2011 que gerou os resultados em 2015

2015

2013

Escolas

Observaccedilotildees

R-2

804(220)

-003(164)

832(251)

118(136)

459

1377

017

459

1377

018

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

TABELA 1

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 24: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

23

10 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOPrograma Alfa e Beto de Alfabetizaccedilatildeo e Programa de Ensino Estruturado do 2ordm ano do Instituto Alfa e Beto

EM QUE CONSISTEComparaccedilatildeo em teste de avaliaccedilatildeo externa do desempenho Compara os alunos do 3ordm ano que haviam participado de

programas do Instituto Alfa e Beto com alunos dos programas regulares da rede municipal

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Dados coletados em 2013

PARTICIPANTESGrupos auto-selecionados

METODOLOGIAComparaccedilatildeo de alunos dos programas regulares vs alunos que participaram dos programas do Instituto Alfa e Beto no 1ordm e 2ordm anos

PRINCIPAIS RESULTADOS Alunos com conceito MB 431 do grupo Alfa e Beto vs 196 dos demais

Alunos com conceito MB ou B 769 do grupo Alfa e Beto vs 448 dos demais

Implementaccedilatildeo do Programa Alfa e Beto (1ordm ano) e do Programa de Ensino Estruturado do Instituto Alfa e Beto (2ordm ano)

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 25: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

24

0 20 40 60 80 100

010

2030

40

Alunos IAB

0 20 40 60 80 100

010

2030

40

Outros Alunos

notas com conceitos B ou MB

GRAacuteFICO 1

Conceito MB Conceito MB ou B Porcentagem 431 196 769 448 Intervalo de confianccedila (95) (361 a 500) (135 a 258) (714 a 823) (346 a 550)

IAB(1)

Outros(2)

IAB(3)

Outros(4)

TABELA 1

As notas dos alunos satildeo divididas em conceitos MB para 8 a 10 B para 7 a 79 R para 5 a 69 e I para 0 a 49 Na amostra analisada sempre haacute ao menos quatro alunos que passaram pelo programa Alfa e Beto no 1ordm e no 2ordm ano A amostra final utilizada exclui as turmas de 3ordm ano que tinham menos de trecircs alunos que natildeo passaram pelo programa No total satildeo 646 alunos do grupo do Alfa e Beto e 239 alunos natildeo-Alfa e Beto matriculados em 32 turmas de 25 escolas

O Graacutefico 1 apresenta a distribuiccedilatildeo da porcentagem de alunos com conceitos B ou MB por turma para cada tipo de aluno (que passou e que natildeo passou pelo programa Alfa e Beto no 2ordm ano) Observa-se claramente que alunos Alfa e Beto apresentam maior niacutevel de proficiecircncia mantendo sempre mais de 40 dos alunos com conceitos MB ou B Entre os demais alunos a porcentagem acima referida varia substancialmente entre as turmas

Apesar das diferenccedilas observadas no graacutefico anterior testes estatiacutesticos foram realizados para observar as diferenccedilas A Tabela 1 apresenta as porcentagens estimadas (e seus respectivos intervalos de confianccedila a 95) de alunos com conceito ldquoMBrdquo e ldquoMB ou Brdquo para cada grupo de alunos de acordo com a participaccedilatildeo no Programa Alfa e Beto Assim a porcentagem meacutedia de alunos Alfa e Beto por turma com conceito MB eacute de 431 Para conceitos MB ou B a porcentagem eacute ainda maior 769

As porcentagens para alunos Alfa e Beto satildeo estatisticamente diferentes daquelas observadas para outros alunos Realizando a conferecircncia via intervalo de confianccedila pode-se afirmar com 95 de certeza que as porcentagens satildeo diferentes Esses resultados sugerem que o Programa Alfa e Beto implementado nos dois primeiros anos do Ensino Fundamental teve impacto positivo sobre a proficiecircncia dos alunos

FONTE DOS DADOSIDados Anaacutelise dos dados da Prova Brasil para o Piauiacute (projeto de pesquisa)

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 26: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

25

11 NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

LOCAL31 municiacutepios de 12 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTESMuniciacutepios que adotaram algum programa de ensino estruturado do Instituto Alfa e Beto vs demais municiacutepios

METODOLOGIAComparaccedilatildeo do ganho meacutedio em pontos na Prova Brasil entre 2013 e 2015 no niacutevel do municiacutepio e das escolas

PRINCIPAIS RESULTADOS A meacutedia de crescimento em Liacutengua Portuguesa dos 31 municiacutepios foi de 191 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 120

A meacutedia de crescimento em Matemaacutetica dos 31 municiacutepios foi de 188 pontos enquanto a meacutedia dos

demais municiacutepios brasileiros foi de 84

Em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados em aos quais perten-

cem os 31 municiacutepios o ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Implementaccedilatildeo do Programa de Ensino Estruturado do Instituto Alfa e Beto em uma ou mais seacuteries escolares

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 27: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

26

QUADRO 1

O Quadro 1 aponta que em relaccedilatildeo agrave meacutedia de ganho das escolas em Liacutengua Portuguesa em 10 dos 12 estados aos quais pertencem os 31 municiacutepios O ganho meacutedio foi maior ou igual ao observado nos demais municiacutepios

Apoacutes o iniacutecio da colaboraccedilatildeo com o IAB os municiacutepios em meacutedia tiveram um ganho adicional de 28 pontos em Matemaacutetica e 25 pontos em Liacutengua Portuguesa a cada ediccedilatildeo da Prova Brasil em comparaccedilatildeo com a evoluccedilatildeo observada no periacuteodo anterior agrave colaboraccedilatildeo

O Quadro 2 ilustra os ganhos proporcionados pela parceria Suponha que o municiacutepio tinha nota meacutedia igual a 170 em matemaacutetica em 2005 (meacutedia pouco acima da verificada para a meacutedia dos municiacutepios atendidos em 2015) Suponha ainda dois cenaacuterios um em que o Instituto Alfa e Beto passa a colaborar com o municiacutepio em 2010 e outro em que natildeo haacute colaboraccedilatildeo antes de 2015 Quando haacute colaboraccedilatildeo o municiacutepio ganharia 28 pontos a mais a partir de 2011 (coluna Com IAB) Quando natildeo haacute colaboraccedilatildeo o municiacutepio seguiria sua tendecircncia anterior (coluna Sem IAB) Como o municiacutepio cresceria 9 pontos sem o IAB e 174 com o IAB a colaboraccedilatildeo Assim dos 174 pontos que o municiacutepio cresceria com o IAB a partir de 2010 50 do crescimento seria devido agrave colaboraccedilatildeo

Ganho Meacutedio

EscolasIAB

OutrasEscolas

Em municiacutepios IAB

Em outrosMuniciacutepios

ALBACEMAMGPAPEPIPRRRRSSE

20219320511111697

158235294108155123

15115120515083

148147141948983

118

39281401343

69114

5315

37

576228015401350215515791338461

196528

1231252

(4) (5) (7) (8)

Nuacutemero de Escolas

1700

1718

1736

1782

1828

1874

1700

1718

1736

1754

1772

1790

Com IAB Sem IAB

2005

2007

2009

2011

2013

2015

QUADRO 2

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 28: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

27

A coorte que ingressou nas seacuteries iniciais em 2011 e que foi exposta a um programa IAB em ao menos dois anos durante as seacuteries iniciais apresenta maiores ganhos na Prova Brasil em 2015 relativamente agrave mesma coorte natildeo exposta aos programas IAB

O Quadro 3 mostra a diferenccedila entre escolas com IAB vs sem IAB no aumento da nota meacutedia em cada prova em relaccedilatildeo a 2011 Em 2013 escolas com IAB cresceram apenas 07 pontos a mais em Matemaacutetica (coluna 1) que escolas sem IAB sendo que essa diferenccedila natildeo eacute estatisticamente diferente de zero Jaacute em 2015 quando a coorte de 2011 participou da Prova Brasil a diferenccedila aumenta para 49 pontos Essa comparaccedilatildeo (colunas 1 e 2) eacute realizada com escolas dos respectivos estados Se a comparaccedilatildeo for feita com todas as escolas do paiacutes a diferenccedila de crescimento em 2015 eacute ainda maior como mostram as colunas 3 e 4

QUADRO 3

FONTE DOS DADOSIDados Anaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

2015

2013

Observaccedilotildees

R-quadrado

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150

0513

65150

0543

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438

0487

91438

0509

(01) (02) (03) (04)ESTADOS ATENDIDOS TODOS OS ESTADOS

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 29: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

28

12

Adoccedilatildeo do Programa Alfa e Beto por um maior periacuteodo de tempo dois dos cinco anos do Ensino Fundamental

NIacuteVELEnsino Fundamental

PROGRAMA AVALIADOProgramas de ensino estruturado do Instituto Alfa e Beto

EM QUE CONSISTEAvaliaccedilatildeo do efeito da adoccedilatildeo dos Programa Alfa e Beto nas escolas em ao menos dois dos cinco anos do Ensino

Fundamental

LOCAL37 municiacutepios em todo o paiacutes distribuidos em 13 estados

DATA

Municiacutepios adotaram o programa em anos anteriores a 2015

PARTICIPANTES850 escolas localizadas em 37 municiacutepios distribuiacutedos em 13 estados que atendem a condiccedilatildeo de ter implementado o

programa em ao menos dois anos

METODOLOGIAAnaacutelise dos dados da Prova Brasil

PRINCIPAIS RESULTADOS Escolas que implementaram algum programa durante pelo menos dois anos entre 2011 e 2015 tiveram resultados

significativamente superiores agraves demais

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 30: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

29

FONTE DOS DADOSAnaacutelise dos efeitos dos programas Alfa e Beto de ensino (projeto de pesquisa)

A Tabela 1 abaixo apresenta os resultados considerando as escolas com notas reportadas para o periacuteodo 2011-2015 Observa-se que em 2013 praticamente natildeo haacute diferenccedila de desempenho entre as escolas Isso era esperado dado que em 2013 alunos da coorte 2011 ainda cursavam o 3ordm ano e natildeo fizeram a Prova Brasil nesse ano Se houvesse diferenccedila estatiacutestica jaacute em 2013 haveria indiacutecios de que algum fator anterior ao iniacutecio do programa para a coorte 2013 estaria influenciando as escolas que viriam a adotar o programa em 2011

Por sua vez constatam-se diferenccedilas estatisticamente significantes favoraacuteveis agraves escolas que implementaram o programa para a coorte 2011 Essas escolas tiveram um aumento nas notas de 35 a 5 pontos a mais que as demais escolas considerando estados atendidos

Na Tabela 2 as colunas (1) a (3) sucessivamente incorporam as escolas e suas respectivas notas para periacuteodos anteriores ateacute 2005 Os coeficientes reportados indicam a diferenccedila de crescimento entre escolas no ano em questatildeo para o ano inicial Na coluna (1) por exemplo observa-se que a diferenccedila entre 2011 e 2009 foi de 17 pontos Jaacute na coluna (3) constata-se que a diferenccedila de crescimento entre 2009 e 2005 foi de 11 pontos

Nota-se que apenas para 2015 as diferenccedilas de crescimento entre escolas satildeo estatisticamente significantes ou seja somente quando a coorte 2011 realiza a Prova Brasil eacute que as diferenccedilas emergem Isso sugere que a coorte 2011 que passou pelo Programa Alfa e Beto ao menos duas vezes nos cinco anos foi a uacutenica com resultados diferenciados

TABELA 1 TABELA 2

2013

2015

Observaccedilotildees

0726(1476)

4882(1540)

-1890(1654)

3687(1405)

65150 65150

Matemaacutetica Liacutengua Portuguesa

significante a 1 Erros-padratildeo entre parecircnteses

Matemaacutetica Liacutengua Portuguesa

1707(1436)

6585(1562)

-0863(1629)

5244(1403)

91438 91438

(1) (2) (3) (4)ESTADOS ATENDIDOS TODOS OS ESTADOS

-

-

1763(2113)0843

(2360)6995(1837)

123634

0520

(1) (2)

2007

2009

2011

2013

2015

(3)

-

-0409(4410)1323

(2906)0362

(4139)6547(3837)

148887

0520

0508(0962)1102

(5116)3392

(4447)4966

(5171)9948(5371)

168498

0508

Observaccedilotildees

R-quadrado

significante a 1 significante a 5 significante a 10 Erros-padratildeo entre parecircnteses

Matemaacutetica

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 31: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

30

13

Implementaccedilatildeo do jogo digital Tabuada na Fazenda dentro das escolas

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOJogo digital Tabuada na Fazenda

EM QUE CONSISTEO jogo digital Tabuada na Fazenda foi utilizado para alunos aprenderem e praticarem as quatro operaccedilotildees baacutesicas da

matemaacutetica O uso ocorreu dentro de sala de aula

LOCALArcoverde (PE) Bom Jesus (PI) e Caculeacute (BA)

DATA

Ao longo do segundo semestre de 2016

PARTICIPANTES900 alunos do 1ordm ao 3ordm anos dos quais metade utilizaram o jogo digital enquanto a outra metade natildeo utilizou

METODOLOGIAEstudo randomizado por cluster

PRINCIPAIS RESULTADOS Melhora significativa em teste de tabuada tanto no curto prazo (de 032 desvio-padratildeo) quanto um ano depois (de

021 desvio-padratildeo)

No curto prazo houve uma melhora na velocidade de resoluccedilatildeo de tabuada na ordem de 031 desvio-padratildeo

Maior efeito para os alunos que tinham mais dificuldades inicialmente

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 32: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

31

A Tabela 1 mostra o efeito por tempo de uso do jogo digital no curto prazo logo apoacutes o fim da intervenccedilatildeo (follow up 1) e no meacutedio prazo um ano apoacutes a intervenccedilatildeo (follow up 2) Por exemplo jogar um dia a mais melhora o desempenho em 001 desvio-padratildeo um ano apoacutes a intervenccedilatildeo Assim jogar 20 dias aumenta o desempenho em tabuada no meacutedio prazo em 02 desvio-padratildeo (001 x 20) Da mesma forma jogar 200 minutos resulta em aumento de 016 desvio-padratildeo no meacutedio prazo A meacutedia de dias jogados foi 19 e a meacutedia de minutos jogados foi de 237

TABELA 1

FONTE DOS DADOSHirata (2019) Play to Learn Impact of Tech-nology on Studentrsquos Math Performance (arti-go em elaboraccedilatildeo)

Nuacutemero de Dias

Observaccedilotildees

R-Quadrado

Nuacutemero de Minutos

Observaccedilotildees

R-Quadrado

00163(00042)

827

02966

00013(00003)

827

02937

00100(00043)

697

02746

00008(00004)

697

02731

Follow Up 1 Follow Up 2

lt 001 lt 005 lt 01

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 33: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

32

14

Implementaccedilatildeo do programa de Fluecircncia em Leitura

NIacuteVELSeacuteries Iniciais

PROGRAMA AVALIADOFluecircncia de leitura uso da Coleccedilatildeo Leituras para o Ensino Fundamental

EM QUE CONSISTEEnsino de teacutecnicas de leitura para melhorar fluecircncia de alunos das seacuteries iniciais

LOCALRede municipal de ensino do Rio de Janeiro (RJ)

DATA

Ao longo do segundo semestre de 2018

PARTICIPANTES460 alunos do 3ordm ao 5ordm anos dos quais metade participaram do programa

METODOLOGIAEstudo randomizado

PRINCIPAIS RESULTADOS PRELIMINARES Aumento no nuacutemero de palavras lidas por minuto (015 desvio-padratildeo)

Reduccedilatildeo da proporccedilatildeo de palavras lidas incorretamente (016 desvio-padratildeo)

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 34: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

33

Efeito sobre fluecircncia em leitura

O Graacutefico 1 mostra o nuacutemero de palavras lidas por minuto para alunos do 3ordm ao 5ordm ano do ensino fundamental Antes da intervenccedilatildeo o grupo de controle leu em meacutedia 65 palavras enquanto o grupo de tratamento leu 67 Ambos melhoraram ao fim da intervenccedilatildeo mas o grupo de tratamento apresentou maior aumento na fluecircncia em leitura 106 vs 76 Dado que alunos avanccedilam em meacutedia 13 palavras por seacuterie (dados da amostra) o efeito eacute da ordem de um bimestre escolar

GRAacuteFICO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

60

65

70

7

5

80

Antes Depois

Pala

vras

por

Min

uto

Controle Tratado

Antes da intervenccedilatildeo a proporccedilatildeo de erros estava em torno de 44 pontos para os dois grupos sendo um pouco maior para o grupo de controle Apoacutes a intervenccedilatildeo a proporccedilatildeo de erros para o grupo de controle caiu para em torno de 041 enquanto a proporccedilatildeo para o grupo de tratamento caiu para 037

GRAacuteFICO 2

35

Antes Depois

Prop

orccedilatilde

o

Controle Tratado

44

55

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 35: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

INTERVENCcedilAtildeO

34

15

Municiacutepios em que os programas do Instituto Alfa e Beto tiveram maior impacto

NIacuteVELPreacute-escola e Seacuteries Finais

PROGRAMA AVALIADOTodos os programas

EM QUE CONSISTEMuniciacutepios que utilizaram e ainda utilizam um ou mais programas do Instituto durante vaacuterios anos

LOCALMuniciacutepios diversos

DATA

De 2005 a 2019

PARTICIPANTESRedes municipais de ensino

METODOLOGIAAvanccedilo na Prova Brasil

PRINCIPAIS RESULTADOS Os municiacutepios tiveram avanccedilos notaacuteveis nas notas no ranking estadual e no ranking nacional

Alguns desses municiacutepios como Bom Jesus Sobral e Teresina tambeacutem adotaram intervenccedilotildees do Instituto nas

seacuteries finais e tiveram notaacuteveis avanccedilos no 9ordm ano

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 36: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

35

O Quadro 1 apresenta resultados de um grupo de municiacutepios que possuem as seguintes caracteriacutesticas

Atualmente usam os programas do Instituto

Adotam ou adotaram um ou mais programas ao longo de 5 ou mais anos

Os programas adotados satildeo utilizados em toda a rede

Observaccedilotildees

1 Todos esses municiacutepios tiveram ganhos superiores agrave media nacional nesse periacuteodo

2 Todos os municiacutepios agrave exceccedilatildeo de Caculeacute tiveram melhoras impressionantes no ranking nacional

3 Teresina tornou-se a capital com melhor desempenho

QUADRO 1

FONTE DOS DADOSIDados Efeitos de teacutecnicas de leitura sobre a fluecircncia em leitura de alunos dos anos iniciais (artigo em elaboraccedilatildeo)

169

167

180

180

170

164

189

226

223

229

248

314

260

239

3

51

60

8

24

28

14

1

13

10

3

1

2

7

2765

2984

3626

1753

2738

3123

1107

2088

2243

1803

605

1

205

1081

2005 2017 2005 2017 2005 2017

Boa Vista

Aacutegua Branca

Bom Jesus

Teresina

Sobral

Jequiaacute da Praia

Caculeacute

Municiacutepio

Nota PB 5ordm ano - Mat Ranking na UF Ranking Nacional

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 37: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

36

16 Sobral um caso muito especial

Em mateacuteria de reforma educacional o municiacutepio de Sobral no Cearaacute eacute referecircncia seus resultados falam

por si mesmos e satildeo reconhecidos por inuacutemeras publicaccedilotildees e artigos na imprensa nacional Ao longo dos

uacuteltimos 15 anos Sobral conseguiu elevar a qualidade da educaccedilatildeo e mais importante tem conseguido fazer

com que a educaccedilatildeo chegue a todas as crianccedilas

O Instituto Alfa e Beto e seu presidente tiveram uma importante participaccedilatildeo no desenvolvimento e

consolidaccedilatildeo da experiecircncia de Sobral iniciada em fins do seacuteculo passado com programas de correccedilatildeo do

fluxo escolar e de gestatildeo seguidas da implementaccedilatildeo do programa de alfabetizaccedilatildeo dos programas de

ensino estruturado e de consultoria para o revigoramento das seacuteries finais Na Prova Brasil de 2015 95 dos

estudantes jaacute se encontravam no niacutevel mais alto de proficiecircncia em leitura e escrita

PARA SABER MAIS

Oliveira JBA (2013) O sucesso de Sobral

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17
Page 38: IMPACTO DAS INTERVENÇÕES DO · Impacto do Programa Alfa e Beto de Alfabetização (1º ano) seguido do Programa de Ensino Estruturado (2º ano) em escolas de municípios do Piauí

Conheccedila mais sobre o Instituto Alfa e Beto em

wwwalfaebetoorgbr

instituto_alfaebeto

alfaebeto

instituto-alfa-e-beto

  1. Botatildeo 8
  2. Botatildeo 6
  3. Botatildeo 7
  4. Botatildeo 17