Pesquisa e Aplicação de Método de Medição do Desenvolvimento

UNIVERSIDADE FEDERAL DE GOIÁSINSTITUTO DE INFORMÁTICA

INF

VINICIUS VIEIRA PESSONI

Pesquisa e Aplicação de Método deMedição do Desenvolvimento Cognitivode Discentes de Cursos de Computação

Goiânia2016

VINICIUS VIEIRA PESSONI

Pesquisa e Aplicação de Método deMedição do Desenvolvimento Cognitivode Discentes de Cursos de Computação

Dissertação apresentada ao Programa de Pós–Graduação doInstituto de Informática da Universidade Federal de Goiás,como requisito parcial para obtenção do título de Mestreem Programa de Pós-Graduação Stricto Sensu em Ciênciada Computação.

Área de concentração: Ciência da Computação.

Orientador: Prof. Fernando Marques Federson

Goiânia2016

Ficha catalográfica elaborada automaticamente com os dados fornecidos pelo(a) autor(a), sob orientação do Sibi/UFG.

Vieira Pessoni, Vinicius Pesquisa e Aplicação de Método de Medição do DesenvolvimentoCognitivo de Discentes de Cursos de Computação [manuscrito] /Vinicius Vieira Pessoni. - 2016. CV, 105 f.: il.

Orientador: Prof. Dr. Fernando Marques Federson.Dissertação (Mestrado) - Universidade Federal de Goiás, Instituto deInformática (INF) , Programa de Pós-Graduação em Ciência daComputação, Goiânia, 2016. Bibliografia. Anexos. Apêndice. Inclui abreviaturas, gráfico, tabelas, lista de figuras, lista de tabelas.

1. Dificuldades de aprendizado em Computação. 2. Níveis Cognitivos.3. Desenvolvimento Cognitivo. 4. Exame do Raciocínio Científico. 5. Metacognição. I. Marques Federson, Fernando , orient. II. Título.

Todos os direitos reservados. É proibida a reprodução total ou parcial dotrabalho sem autorização da universidade, do autor e do orientador(a).

Vinicius Vieira Pessoni

Bacharel em ciências da computação pela Universidade Federal de Goiás.Possui experiências em desenvolvimento, e expertise de mais de 4 anos emteste de software web. CTFL - ISTQB Certified Tester.

A Deus, pedra angular e fonte de toda sabedoria. A minha família, base de quemeu sou, e diretivas de quem serei.

Agradecimentos

Em primeiro lugar a Deus, que possibilitou minha existência privilegiando-mecom o dom da vida. Por me dar forças, saúde, sabedoria, determinação, e vários atributosprovindos Dele. Por sua misericórdia, fidelidade, promessas cumpridas e futuras.

A minha família - em especial Pai, Mãe e Irmão - por prover um ambiente deamor, carinho, e compreensão. Por estarem presentes em todos os momentos da minhavida, apesar da distância física, sendo meus fundamentos.

Ao meu orientador e grande amigo Federson, por ser guia e companheiro nestetrabalho. Pelas noites até tarde, algumas viradas, e atendimento de dúvidas em incontáveisreuniões, contribuindo de maneira grandiosa e inenarrável para minha formação. Sempreme ensinando muito mais do que qualquer ementa pode abranger.

Ao amigo e orientador temporário Auri, que se fez presente por toda minhatrajetória acadêmica desde a graduação, me instruindo de várias formas e proporcionandoas bases de teste de software as quais possibilitaram minha expertise na área.

Ao meu grande amor Geovanna, que sempre esteve ao meu lado proporcionandoamor, auxílio, e principalmente a compreensão, necessários aos momentos difíceis; cujaa presença me acrescentou inúmeros momentos felizes.

Agradeço minha “best” amiga-revisora, meus amigos, colegas de curso e equipedo CERCOMP, que muito me apoiaram.

Aos professores Anton E. Lawson e Trevor G. Bond pela cordialidade e simpatiaprofissional e pela gentileza em ter me enviado diversos materiais que muito me auxili-aram na compreensão do tema. Principalmente ao primeiro, que me autorizou traduzir eaplicar o seu método, pela primeira vez em nosso país.

A Fundação de Amparo à Pesquisa do Estado de Goiás - FAPEG, pelo auxíliofinanceiro e aos voluntários que gentilmente responderam os questionários da pesquisa.

A todos que contribuíram de forma direta ou indiretamente para mais essaformação e crescimento pessoal, meus sinceros agradecimentos.

Que Deus abençoe a todos, sempre.

Give encouragement as often as possible; advice, once in a great while;reproof, only when absolutely necessary; and judgement, never.

James B. Smith, Richard J. Foster,...........................................................

Resumo

Vieira Pessoni, Vinicius. Pesquisa e Aplicação de Método de Medição do De-senvolvimento Cognitivo de Discentes de Cursos de Computação. Goiânia,2016. 105p. Dissertação de Mestrado. INF, Instituto de Informática, Universi-dade Federal de Goiás.

Dificuldades de aprendizado nos cursos de computação são um desafio observado atravésdos anos, em diversas universidades de diferentes países, culturas e formações. Essas di-ficuldades se refletem em baixas taxas de rendimento, altas taxas de evasão e influenciamnegativamente no interesse dos discentes pelos cursos. Acredita-se que exista uma funda-mentação interna de processos cognitivos, que sem ela, mesmo o estudante mais motivadoteria dificuldades para transformar informação em conhecimento. O foco do presente tra-balho está na pesquisa de métodos candidatos para a medição dos processos cognitivosque possuam uma sólida teoria de base. Espera-se ser possível não só identificar, carac-terizar e aferir os processos cognitivos, mas também oferecer abordagens factíveis paraadquiri-los e desenvolvê-los, melhorando, consequentemente, o ensino. Uma revisão sis-temática foi conduzida, e dentre os diversos métodos identificados, o instrumento LawsonClassroom Test of Scientific Reasoning - LCTSR foi selecionado para aplicação. Autori-zado por seu autor, a primeira tradução para Português brasileiro foi realizada e o examefoi ministrado a três cursos de graduação de computação: Sistemas de Informação, Ci-ências da Computação e Engenharia de Software. O caráter inédito dessa pesquisa seapresenta em duas vias: ao trazer a primeira versão em Português Brasileiro do instru-mento; ao disponibilizar os dados da aplicação, ampliando o conhecimento sobre o nívelcognitivo dos estudantes.

Palavras–chave

Dificuldades de aprendizado, Níveis Cognitivos, Desenvolvimento Cognitivo,Exame do Raciocínio Científico, Metacognição

Abstract

Vieira Pessoni, Vinicius. Learning Difficulties in Computing Courses:Cognitive Processes Assessment Methods Research and Application. Goiâ-nia, 2016. 105p. MSc. Dissertation. INF, Instituto de Informática, UniversidadeFederal de Goiás.

Learning difficulties in computing courses is a situation perceived in diverse universitiesfrom different countries, cultures and backgrounds. These difficulties directly affect achi-evement rates and increase course evasion. We believe in the existence of a foundationof cognitive processes, that without it, even the most motivated student would have trou-ble to transform the received information into knowledge. This work has focused mainlyon the research of candidate methods for cognitive processes assessment with a strongbackground theory. With this kind of information would be possible to devise cognitiveinterventions, in order to evolve students cognitive level, and consequently, raise their suc-cess rates. A systematic review was conducted and among the many researched methodswe selected Lawson Classroom Test of Scientific Reasoning - LCTSR. Authorized byits author, we conducted the first translation of LCTSR to Brazilian Portuguese and ad-ministered to students of three undergraduate computing courses: Information Systems,Computer Science and Software Engineering. We also present results of its administrationthat we consider important to reinforce the above suggested strategy

Keywords

Learning difficulties, Cognitive Levels, Cognitive Development, Lawson Class-room Test of Scientific Reasoning, Metacognition.

Sumário

Lista de Figuras 11

Lista de Tabelas 13

1 Introdução 141.1 Organização da Pesquisa 161.2 Estrutura da Dissertação 16

2 Fundamentação Teórica 182.1 Construção do Conhecimento 182.2 Teoria do Desenvolvimento de Piaget 19

2.2.1 Nível Concreto Operacional 212.2.2 Nível Formal Operacional 22

2.3 Um Quinto Nível de Desenvolvimento 232.4 A Importância da Identificação do Nível Cognitivo dos Discentes 24

3 Revisão Sistemática 263.1 O Processo de Revisão 263.2 Planejamento (Protocolo) 27

3.2.1 Objetivos 273.2.2 Questões de Pesquisa 273.2.3 Processo de Busca 273.2.4 Critérios de Seleção 283.2.5 Procedimentos de Seleção 283.2.6 Análise de Qualidade 293.2.7 Extração de Dados 29

3.3 Condução da Revisão Sistemática 303.3.1 Construção/Definição das Strings de Busca 303.3.2 Execução das Buscas 323.3.3 Informações Numéricas 33

3.4 Resultados da Revisão (Documentação) 363.5 Arlin Test of Formal Reasoning - ATFR 383.6 Bond’s Logical Operations Test - BLOT 38

4 Lawson’s Classroom Test of Scientific Reasoning - LCTSR 404.1 Evolução do Exame 404.2 Padrões de Raciocínio Atualmente Identificados 43

4.2.1 Conservação do Peso e Volume Deslocado [Questões 1-2 e 3-4 do ERC] 434.2.2 Raciocínio Proporcional e Avançado [Questões 5-6 e 7-8 do ERC] 44

4.2.3 Identificação e Controle de Variáveis [Questões 9-10 do ERC] 454.2.4 Identificação e Controle de Variáveis e Raciocínio Probabilístico Combinados

[Questões 11-12 e 13-14 do ERC] 454.2.5 Raciocínio Probabilístico e Avançado [Questões 15-16 e 17-18 do ERC] 464.2.6 Raciocínio Correlacional (incluindo Proporções e Probabilidade) [Questões 19-

20 do ERC] 464.2.7 Raciocínio Hipotético-Dedutivo [Questões 21-22, 23-24 do ERC] 47

4.3 Tradução e Versão em Português 49

5 Aplicações do Exame e Análises dos Resultados 515.1 Grupos de Aplicação 515.2 Resultados e Análises Estatísticas dos Dados 52

5.2.1 O Grupo Excepcional 535.2.2 Primeiros Semestres X Últimos Semestres 535.2.3 Cursos de Computação 545.2.4 Grupo Excepcional X Últimos Semestres 565.2.5 Padrões Encontrados nas Respostas (Acertos/Erros) 56

5.3 Análise dos Dados com Redes Complexas 595.3.1 Modelagem 605.3.2 Execução dos Experimentos 625.3.3 Análises das Redes 63

Engenharia de Software Primeiro Semestre 65Engenharia de Software Último Semestre 66Ciências da Computação Primeiro Semestre 68Ciências da Computação Último Semestre 71Sistemas de Informação Primeiro Semestre 73Sistemas de Informação Último Semestre 74Grupo Excepcional 76Todos Primeiros Grupos 77Todos Últimos Grupos 78Todos Últimos Grupos e Grupo Especial 78

6 Conclusão e Trabalhos Futuros 80

Referências Bibliográficas 83

A Autorização para Tradução do LCTSR em Português 93

B Lawson Clasroom Test of Scientific ReasoningVersão Português Brasileiro:Exame do Raciocínio Científico 95

Lista de Figuras

3.1 Esquema das fases da realização e tratamento do resultado obtido nasbuscas. 33

3.2 Descrição numérica das produções obtidas em cada biblioteca, nas Fases1 e 2. 34

3.3 Listagem dos métodos encontrados e quantidades de utilização nos tra-balhos identificados. 35

3.4 Timeline de publicação dos métodos de identificação dos processos cog-nitivos destacando os notáveis em cada país. 38

4.1 Esquema do processo de tradução. 49

5.1 Comparação dos grupos de estudantes do primeiro semestre. 555.2 Comparação dos grupos de estudantes do último semestre. 565.3 Frequência relativa de respostas erradas de Engenharia de Software

(ESP x ESU). 585.4 Frequência relativa de respostas erradas do Grupo Excepcional. 585.5 Exemplo de mapeamento do grafo bipartido dos erros nas questões do

ERC para uma rede. A aresta do grafo à direita com os nomes dosdiscentes demonstra a aresta de peso 2, exemplificando o acréscimo depeso que as arestas sofrem a cada discente que erra o mesma dupla dequestões. 61

5.6 Rede complexa construída a partir das respostas de todos os grupos noERC. 64

5.7 Rede complexa construída a partir das respostas do grupo de estudantesdo primeiro semestre de Engenharia de Software. 65

5.8 Intermediação por questão do ERC dos discentes de Engenharia deSoftware Primeiro Semestre. 66

5.9 Rede complexa construída a partir das respostas do grupo de estudantesdo último semestre de Engenharia de Software. 66

5.10 Intermediação por questão do ERC dos discentes de Engenharia deSoftware Último Semestre. 67

5.11 Intermediações Engenharia de Software Primeiro Semestre X ÚltimoSemestre. 68

5.12 Rede complexa construída a partir das respostas do grupo de estudantesdo primeiro semestre de Ciências da Computação 2014-1. 68

5.13 Intermediações Ciências da Computação Primeiro Semestre 2014-1. 695.14 Rede complexa construída a partir das respostas do grupo de estudantes

do primeiro semestre de Ciências da Computação 2014-2. 705.15 Intermediações Ciências da Computação Primeiro Semestre 2014-2. 70

5.16 Intermediações Ciências da Computação Primeiro Semestre 2014-1 X2014-2. 71

5.17 Rede complexa construída a partir das respostas do grupo de estudantesdo último semestre de Ciências da Computação 2014-2. 71

5.18 Intermediações Ciências da Computação Último Semestre. 725.19 Intermediações Ciências da Computação Primeiro X Último Semestre. 725.20 Rede complexa construída a partir das respostas do grupo de estudantes

do primeiro semestre de Sistemas de Informação. 735.21 Intermediações Sistemas de Informação Primeiro Semestre. 735.22 Rede complexa construída a partir das respostas do grupo de estudantes

do último semestre de Sistemas de Informação. 745.23 Intermediações Sistemas de Informação Primeiro Semestre. 755.24 Intermediações Sistemas de Informação Primeiro Semestre. 755.25 Rede complexa construída a partir das respostas do grupo de Excepcional. 765.26 Intermediações Grupos Excepcional. 775.27 Intermediações Todos Primeiros Grupos. 775.28 Intermediações Todos Últimos Grupos. 785.29 Intermediações Todos Últimos Grupos. 78

Lista de Tabelas

2.1 Contraste de habilidades gerais dos níveis concreto e formal operacional.Adaptada de Lawson [62, 67]. 23

5.1 Caracterização de cada grupo. 525.2 Estatística descritiva das pontuações no ERC. 535.3 Coeficientes de correlação Spearman. 595.4 Conjunto de parâmetros utilizados no algoritmo ForceAtlas2 [47] para

todas as redes. 625.5 Intermediações Engenharia de Software Primeiro Semestre. 655.6 Intermediações Engenharia de Software Último Semestre. 675.7 Intermediações Ciências da Computação Primeiro Semestre 2014-1. 695.8 Intermediações Ciências da Computação Primeiro Semestre 2014-2. 705.9 Intermediações Ciências da Computação Último Semestre. 725.10 Intermediações Sistemas de Informação Primeiro Semestre. 735.11 Intermediações Sistemas de Informação Último Semestre. 745.12 Intermediações Grupo Excepcional. 76

CAPÍTULO 1Introdução

Dificuldades de aprendizado nos cursos de computação não são um problemalocal, isolado, nem tão pouco recente. Ao invés disso, são um desafio observado nodecorrer dos anos, em diversas universidades de diferentes países, culturas e formações[29, 52, 54, 76, 88, 92]. Essas dificuldades se refletem em baixas taxas de rendimento,altas taxas de evasão e influenciam negativamente no interesse dos discentes pelos cursos[9].

Apesar de relativamente nova, a Pesquisa em Educação de Computação (Com-

puting Education Research - CER), vai muito além da proposição de ferramentas queapoiem o aprendizado de computação, conquistando força e importância como um amploe rico campo de pesquisa [77, 87]. Concorda-se com Malmi et al. [76] quanto à afir-mação de que a Ciência da Computação, na qual as teorias são poucas e as abordagensformais e projetos construtivos dominam, não tem favorecido o uso extensivo das teoriasexistentes como uma parte normal da pesquisa, o que naturalmente ocorre nas ciênciasnaturais e humanas. Assim, compartilha-se a visão da necessidade de um entendimentoholístico da CER além das abordagens básicas, não apenas para consolidar sua identidadee independência como uma área de pesquisa, mas principalmente para se obter resultadosduradouros.

Existem diversas ferramentas disponíveis que se propõem a melhorar as experi-ências de ensino e aprendizagem: Taxonomia de Bloom [56], não só para a classificaçãodos diferentes objetivos de aprendizagem mas também como um guia sobre os processoscognitivos do aprendizado em associação ao ciclo de aprendizagem de Kolb [55]; Indica-dor de tipo Myers-Briggs - MBTI, para identificar as preferências psicológicas em comoas pessoas percebem o mundo e tomam decisões [82]; Estilos de aprendizagem de Kolb(Kolb Learning Styles) [50] e Índice dos Estilos de Aprendizagem (Index of Learning Sty-

les - ILS) [33, 34], para identificar a forma com que os indivíduos processam informaçãoe preferem aprender. Algumas metodologias também são usadas como: Aprendizado Ba-seado em Problemas (Problem-based Learning - PBL) [6, 40] e Instrução em Pares (Peer

Instruction) [28, 79], dentre outros. Existem ainda esforços em diversos grupos para lidarcom esses problemas, alguns exemplos desse tipo são os trabalhos de Digiampietri et al.

16

[29] e Manhães et al. [78].Essas ferramentas e metodologias são amplamente divulgadas e bem conhecidas

pela comunidade científica. No entanto, o profundo entendimento de suas teorias de basesão de suma importância para a compreensão de como a construção do conhecimento seestabelece nos seres humanos, especialmente naqueles que deixaram a fase da infância.Dessa forma, mesmo tendo-se a consciência de que a construção do conhecimentodepende parcialmente de fatores como a forma de transmissão da informação, motivação,personalidade e interesse do aprendiz, acredita-se que exista uma fundamentação internade processos cognitivos, que sem ela, mesmo o estudante mais motivado teria dificuldadespara transformar informação em conhecimento. Em outras palavras, mesmo uma pessoamotivada quando ensinada a partir de currículo, ferramentas e métodos adequados, emseu estilo de aprendizagem preferido, pode não alcançar muito êxito se essa pessoa nãoestiver no nível intelectual adequado (não possuir as habilidades cognitivas necessárias)para receber o que lhe é ensinado.

A análise dos fundamentos anatômicos e físicos da aprendizagem e memóriarepresenta uma das maiores conquistas da neurociência moderna. Trinta anos atrás, poucoera conhecido sobre questões como: “quais são os diferentes tipos de memória?”, “ondeno cérebro a memória é localizada?” ou “como a memória é recuperada para responderuma questão?”. Certamente, nos dias atuais, o conhecimento sobre essas questões estáavançando e novas descobertas são publicadas todos os dias [21, 80].

Mesmo os pesquisadores dessas áreas não apresentando um ponto de vistaunívoco ou uniforme, existe indicação de que as pesquisas atuais sobre aprendizageme memória podem ser agrupadas sob um framework teórico. Esse framework pode serutilizado para construir e testar modelos e estratégias metacognitivas [106]. Nesse cenário,existe menos espaço para modelos intuitivos. Simons e Chabris [100], por exemplo,demonstram que um número substancial dos entrevistados em sua pesquisa concordamcom proposições que conflitam com a opinião de experts sobre a memória. Eles tambémenfatizam que crenças incorretas sobre as propriedades da memória possuem implicaçõesseveras, incluindo a falta de entendimento pelos estudantes sobre o importante papel quea memória desempenha no processo de aprendizagem.

Acredita-se que seja necessário para a comunidade científica a revisitação dosmodelos previamente existentes apoiada pelo revigorante ponto de vista da neurociência.Especialmente em nosso país, onde os indicadores de ensino e aprendizagem se demons-tram insatisfatórios, esse tipo de pesquisa se provaria uma valiosa contribuição para quesejam desenvolvidas estratégias que visem a excelência dos processos de ensino e apren-dizagem.

O primeiro passo nessa direção seria a identificação de algum tipo de métodopara medição dos processos cognitivos com uma sólida fundamentação teórica. De posse

1.1 Organização da Pesquisa 17

desse tipo de instrumento, seu modelo e algumas experiências, seria possível desenvolvere conduzir estratégias para verificar a possibilidade de aquisição e desenvolvimento dosprocessos cognitivos em jovens e adultos.

O foco do presente trabalho está na pesquisa de métodos candidatos para apoiara missão supracitada. Espera-se ser possível não só identificar, caracterizar e aferiros processos cognitivos (padrões, estágios e níveis), mas também, no futuro próximo,oferecer abordagens factíveis para adquiri-los e desenvolvê-los.

O caráter inédito dessa pesquisa se apresenta em duas vias: primeiramente, aotrazer a primeira versão em Português Brasileiro do instrumento autorizada pelo autor,Lawson Classroom Test of Scientific Reasoning - LCTSR [68], apresentado no ApêndiceB; segundo, ao disponibilizar os dados da aplicação desse instrumento, ampliando oconhecimento sobre o nível cognitivo dos estudantes de cursos superiores de computaçãoem uma tradicional Universidade Federal de nosso país.

Nesse panorama, pretende-se não só oferecer uma nova ferramenta que apoie aampliação do conhecimento acerca da realidade cognitiva dos discentes, mas inspirar umanova gama de trabalhos científicos que objetivem a excelência dos processos de ensino eaprendizagem.

1.1 Organização da Pesquisa

A presente pesquisa foi conduzida por meio das seguintes fases:

• Pesquisa e revisão sistemática dos métodos de medição dos processos cognitivos;• Tradução e teste piloto do instrumento escolhido para aplicação;• Aplicação do instrumento traduzido aos cursos de computação;• Análise dos dados e discussão dos resultados;• Documentação dos resultados.

1.2 Estrutura da Dissertação

O texto desta dissertação detalha a organização da pesquisa da seguinte forma:

• Introdução, capítulo atual, apresenta uma visão geral do problema trabalhado e dashipóteses iniciais;

• Fundamentação Teórica, Capítulo 2, detalha o fundamental em termos de teoria naqual a pesquisa se apoia;

• Revisão Sistemática, Capítulo 3, descreve como foi conduzida a revisão dos tra-balhos pesquisados bem como foi escolhido o instrumento utilizado para medir osníveis cognitivos dos discentes;

1.2 Estrutura da Dissertação 18

• O Instrumento de Medida Escolhido, Capítulo 4, descreve o questionário escolhidopara realizar a medida dos níveis cognitivos dos discentes apresentando cada umdos padrões que esse se dispõe a medir;

• Aplicações do Exame e Análises dos Resultados, Capítulo 5, detalha as informaçõesde cada grupo em que o questionário foi aplicado, discutindo ainda os resultadosencontrados;

• Conclusão e Trabalhos Futuros, Capítulo 6, apresenta a conclusão da pesquisa,sugerindo possíveis trabalhos futuros.

Parte dos resultados deste trabalho foram publicados no “XI Simpósio Brasileirode Sistemas de Informação, 2015” sob o título Learning Difficulties in Computing

Courses: Cognitive Processes Assessment Methods Research and Application [89]. Oartigo foi premiado entre os três melhores artigos do evento.

CAPÍTULO 2Fundamentação Teórica

Este capítulo apresenta os conceitos teóricos nos quais a pesquisa se apoia.Distinguem-se as formas de conhecimento operacional e declarativo, detalhando-se ateoria de Piaget que é a mais difundida sobre o conhecimento operacional. Além disso, osníveis cognitivos segundo sua teoria são comentados, finalizando com uma argumentaçãosobre a importância desse tipo de medição para o ensino.

2.1 Construção do Conhecimento

Em vias gerais, ciência pode ser definida como o processo pelo qual os seres hu-manos tentam compreender alguma observação intrigante. Esse processo envolve diversospassos, e normalmente se inicia com a descoberta e exploração de algum fenômeno quenão pode ser explicado em termos do conhecimento atual. O senso de desafio provocano indivíduo a curiosidade e um desejo de entender e explicar. A mente humana podeentão inventar uma ou mais explicações alternativas baseadas na coleção de experiênciasprévias que são vistas pelo indivíduo como similares, de alguma forma, à situação emquestão. A esse processo de criar explicações, denominamos abdução[62].

Além de imaginar explicações alternativas, é possível que o indivíduo possua ahabilidade de pensar formas de testar essas possíveis explicações. Esse teste é feito a partirda coleta de dados do ambiente e da comparação desses dados com as consequênciasdeduzidas das explicações possíveis. Se os dados e as consequências deduzidas foremiguais, então a explicação é apoiada. Se os dados e as consequências forem diferentes,então a explicação não é apoiada, podendo ser rejeitada ou modificada, começandoum novo ciclo [62]. Esse processo de investigação é chamado de raciocínio hipotético-dedutivo [66, 67] (discutido no Capítulo 4, Seção 4.2.7). Acredita-se que seja dessa formaque a mente humana construa o conhecimento.

Um padrão de raciocínio ou pensamento é definido como uma estratégia men-tal, um plano ou uma regra usada para processar informações e derivar conclusões quevão além da experiência direta do indivíduo [66]. Esses padrões desempenham um pa-pel essencial na construção do conhecimento pois é por meio da utilização deles que o

2.2 Teoria do Desenvolvimento de Piaget 20

conhecimento é estabelecido. Assim, os padrões de raciocínio fazem parte do conheci-mento operacional ou procedimental (conhecimento de como fazer algo), diferentementedo conhecimento figurativo ou declarativo (conhecimento do ser, ou das propriedades eatributos de algo) [66].

O conhecimento operacional ou procedimental é o conhecimento de como fazeralgo, por exemplo: como dirigir um carro, falar Inglês, testar uma hipótese, construirum gráfico de frequência; ou seja, é o conhecimento das operações necessárias pararealizar algo, uma sequência de passos para obter determinado resultado, reconhecido nosprocessos da ciência. Por outro lado, o conhecimento declarativo, é o conhecimento sobreos conceitos, eventos, objetos e situações, por exemplo: os carros normalmente possuemquatro rodas, Paris fica na França, a matéria é composta por átomos. Também conhecidocomo conhecimento figurativo ou conceitual, o conhecimento declarativo são os produtosou resultados da ciência [65, 67, 68].

O conhecimento declarativo é explícito, no sentido de que é possível se lembrarquando e como ele foi adquirido. Assim, o termo aprendizado é frequentemente associadoà aquisição do conhecimento declarativo. Em contrapartida, o conhecimento operacionalnormalmente é implícito no sentido que não se tem consciência de possuí-lo, nem dequando ou como ele foi adquirido. O termo desenvolvimento cognitivo ou intelectual éfrequentemente utilizado com respeito à aquisição do conhecimento operacional [62, 66].

Um dos primeiros cientistas a investigar o desenvolvimento do conhecimentooperacional foi o pesquisador suíço Jean William Fritz Piaget [44]. Sua teoria descreveum modelo de desenvolvimento intelectual em estágios hierárquicos e também uma formade classificar os indivíduos segundo esses estágios. Maiores detalhes de sua teoria sãofornecidos na próxima seção desse capítulo.

Tendo em vista essas relações, o raciocínio científico pode ser definido como umpadrão geral de raciocínio caracterizado como hipotético-dedutivo, composto por sub-padrões de raciocínio (e.g. correlações, proporções). Inhelder e Piaget [44] se referem aesses subpadrões como os esquemas (schema) que compõem o estágio formal. Matemáti-cos e lógicos se referem a esses padrões como métodos ou formas de argumentação [66].Assim, a construção do conhecimento pode ser vista como um processo geral do tipohipotético-dedutivo, de formação e teste de hipóteses, por meio da utilização dos padrõesde raciocínio.

2.2 Teoria do Desenvolvimento de Piaget

Dentre as várias teorias que caracterizam o desenvolvimento cognitivo humano,a teoria de desenvolvimento do pesquisador suíço Jean William Fritz Piaget [44, 90] éuma das mais influentes [27]. Desde a publicação de sua teoria, na década de 50 [44, 90],


sua influência nas ciências de ensino e aprendizagem permeou inúmeras produçõescientíficas, em diversos países e em proporções imensuráveis. Dessa forma, ainda hoje,décadas depois, suas descobertas são extremamente relevantes de diversas formas [57].Sua teoria foi inspiração para diversos instrumentos de medição presentes neste trabalho.

De acordo com a teoria de Piaget, os desenvolvimentos dos conhecimentos de-clarativo e operacional são interdependentes [48]. A construção dos conceitos descritivosestá ligada não apenas aos conhecimentos teóricos anteriores, mas também às estrutu-ras operacionais (i.e. padrões de raciocínio) já adquiridas pelo indivíduo. O desenvolvi-mento das estruturas operacionais, por sua vez, ocorrem gradualmente com a idade, comas experiencias (sociais e físicas) e os conhecimentos descritivos anteriores, a partir daobservação e da construção de novos conhecimentos teóricos [68].

Conforme o indivíduo avança em idade e experiencia, motivado pela cons-tante necessidade de adaptação e conhecimento, o desenvolvimento intelectual ocorre,possibilitando-o fazer uso de formas cada vez mais complexas de raciocínio. Em rela-ção a essas habilidades, o indivíduo pode então ser identificado em um dos quatro níveisde desenvolvimento Piagetianos: sensório motor, pré operacional, concreto operacional eformal operacional [23, 48]. Segundo essa classificação, o estágio formal operacional é omais complexo, e é nele que o indivíduo desenvolve as habilidades para lidar com a gera-ção e teste de hipóteses causais, fazendo uso da abstração. Essas habilidades são tambémreferenciadas como “raciocínio científico” [39].

Com o passar dos anos, diversos pesquisadores expandiram a teoria de Piagete apesar de não apresentarem uma visão única sobre o formato de um possível quintonível de desenvolvimento intelectual posterior ao nível formal operacional, existe forteconcordância sobre a sua existência [25, 67, 68, 70, 109]. Por exemplo, Lawson et al.[68] apresentam resultados que demonstram que o desenvolvimento intelectual continuaalém do nível formal durante os estudos universitário em alguns discentes, apesar desomente uma pequena parcela dos estudantes em seu experimento alcançarem esse nível.É ressaltado ainda que, as habilidades características dos níveis formal e desse quintonível são essenciais para o aprendizado de conceitos mais complexos de uma forma geral,especialmente das áreas de ciências [71]. Esse quinto nível é chamado por Lawson depós-formal.

Os dois primeiros níveis de desenvolvimento, sensório motor e pré operacional,se desenvolvem durante a infância do indivíduo. O nível sensório motor, a partir donascimento até por volta dos 2 anos. O nível pré operacional por volta dos 2 anos, findandoaproximadamente aos 7 anos de idade. Como o objetivo da atual pesquisa é promovermelhorias no ensino em fase universitária (ou seja, para adolescentes e adultos), o focoé dado aos níveis coerentes a essas idades: concreto operacional, formal operacional epós-formal. As seções seguintes comentam esses níveis e suas habilidades específicas.


2.2.1 Nível Concreto Operacional

Com duração aproximada dos 7 ao 12 anos de idade, o nível concreto operacionalocorre após prévia aquisição da linguagem para nomear objetos, eventos e situaçõesdurante o nível pré operacional. Nesse nível, o indivíduo se torna habilitado a aplicaro raciocínio hipotético-dedutivo nas operações de ordenação e classificação. Exemplosdessa habilidade são a criação de variáveis e classes/categorias de alta ordem de objetos,eventos e situações. Os objetos outrora diretamente observáveis e nomeáveis como mesase cadeiras do nível pré operacional se tornam então classes/categorias, como mobília, nonível concreto [66].

O nível concreto operacional é também conhecido como estágio descritivo [67]ou empírico-dedutivo [62]. Nesse nível o indivíduo adquire as habilidades de ordenar,classificar e descrever entidades, possibilidades e informações diretamente observáveisde seu mundo [67]. No entanto, ainda não estão aptos a formular hipóteses (explicaçõescausais) ou entender profundamente conceitos abstratos, habilidade que só será adquiridano próximo nível [25, 44]. Assim, a principal diferença entre os níveis concreto e formalnão é a presença ou ausência do processo de raciocínio hipotético-dedutivo, mas em qualcontexto ele pode ser aplicado: pois o raciocínio concreto lida com o teste de hipótesesdescritivas, enquanto o formal lida com o teste de hipóteses causais [66].

Em resumo, os indivíduos nesse nível cognitivo são capazes de [67]:

• entender conceitos e proposições que fazem referência direta a ações familiares eobjetos observáveis que podem ser explicadas em termos de associações simples.Por exemplo: uma planta em um vaso cresceu mais que a outra pois foi utilizadofertilizante;

• seguir instruções passo a passo como em uma receita, desde que esses estejamcompletamente especificados. Por exemplo: consegue identificar organismos como uso de uma chave taxonômica ou determinar o PH de uma amostra de águautilizando um sensor;

• relacionar o seu ponto de vista ao de outra pessoa em uma situação familiar. Porexemplo: uma garota está ciente de que ela é irmã de sua irmã;

• procurar e identificar algumas variáveis que influenciam um fenômeno, mas deforma não sistemática. Exemplo: investiga os efeitos de uma variável mas nãonecessariamente mantém as outras constantes;

• realizar observações e tirar conclusões a partir delas. Porém, em contextos causaisnão iniciam o raciocínio hipotético;

• responder problemas difíceis aplicando regras relacionadas, mas nem sempre cor-retas;


• processar informação mas sem a consciência sobre seu próprio raciocínio. Exem-plo: não verifica as próprias conclusões em confronto com os dados fornecidos ououtras experiências, não é reflexivo, ou seja, não reflete sobre seu próprio raciocínio.

2.2.2 Nível Formal Operacional

Por volta dos 12 anos de idade, em alguns indivíduos e mediante situações pro-pícias, inicia-se o desenvolvimento dos padrões de raciocínio que lhes permitem pensaralém das descrições (observações concretas), sistematicamente criando e testando expli-cações (hipóteses de causa) para essas situações. Utilizando tais padrões, os indivíduossão capazes de raciocinar sistematicamente de maneira hipotético-dedutiva em busca defatores causais. Em outras palavras, dado uma situação intrigante, eles podem imaginarpossíveis fatores causais, deduzir as consequências dessas possibilidades e empiricamenteverificar quais dessas consequências de fato ocorrem [65, 67].

Com o desenvolvimento dos padrões de raciocínio do nível formal, o indivíduodesenvolve as habilidades de: isolamento e controle de variáveis, análise combinatória depossíveis fatores causais (raciocínio combinatório), confirmação ou rejeição de possibili-dades (raciocínio correlacional), reconhecimento da natureza probabilística do fenômeno(raciocínio probabilístico), e estabelecimento de relacionamento entre variáveis (raciocí-nio proporcional). Dessa forma, o nível formal pode ser visto como um processo geral deraciocínio composto por esses diversos padrões [63]. Esses mesmos padrões são tambémreferenciados como componentes do “raciocínio científico” [66].

A principal diferença entre o pensador formal e o concreto é o raciocínio querompe com o que é diretamente observável e o “salto de imaginação” que inicia umacadeia de raciocínio dedutivo a partir do que é suposto (não diretamente observável) [64].Assim, o raciocínio concreto é iniciado a partir das informações atuais e o raciocínioformal é iniciado a partir das possibilidades [64]. Em outras palavras, o raciocínioconcreto lida com o teste de hipóteses descritivas enquanto o raciocínio formal lida como teste de hipóteses sobre a causa de algum fenômeno [66]. A Tabela 2.1 apresenta umcontraste entre as habilidades gerais desses dois níveis.

O nível formal operacional também é denominado nível hipotético-dedutivo[62, 67]. Apesar das habilidades de lidar com hipóteses causais, essas são possíveis apenasem situações quando os agentes causais hipotéticos envolvem entidades diretamenteobserváveis. Portanto, a existência de situações que necessitem lidar com hipótesesenvolvendo agentes causais não diretamente observáveis (ou teóricos) levam à indicaçãode um nível mais avançado além do formal operacional [68].

2.3 Um Quinto Nível de Desenvolvimento 24

Tabela 2.1: Contraste de habilidades gerais dos níveis concreto eformal operacional. Adaptada de Lawson [62, 67].

Nível Concreto Nível Formal

Necessita de referências aações familiares, objetos ou

propriedades descritivas.

Pode raciocinar com relacionamentosde segunda ordem e testar

alegações hipotéticas. Utilizasímbolos para expressar ideias.

Raciocínio iniciado apartir de observações.

Raciocínio pode ser iniciado a partirde possibilidades imaginadas.

Utiliza os padrões de raciocínioconcreto. Os padrões de raciocínioformal não são utilizados ou apenas

parcialmente de forma não sistemáticae apenas em contextos familiares.

Utiliza adequadamente os padrõesde raciocínio formal assimcomo os padrões concretos.

Necessitam de instruções passo a passopara conduzir um procedimento longo.

Pode planejar um procedimentolongo a partir de determinados

objetivos e recursos gerais.

Não é consciente dos próprios padrões deraciocínio, inconsistências entre váriasproposições que ele faz ou contradições

com outros fatos conhecidos.

É consciente e crítico sobre seuspróprios padrões de raciocínio,

ativamente procura verificar a validadede suas conclusões contrastandocom as informações conhecidas.

2.3 Um Quinto Nível de Desenvolvimento

Como mencionado na Seção 2.2, apesar da teoria original de Piaget definir quatroníveis de desenvolvimento, expansões de sua teoria por outros pesquisadores apresentamindícios da existência de um quinto nível de desenvolvimento cognitivo posterior ao nívelformal, o nível denominado pós-formal. Iniciado aproximadamente aos 18 anos de idade,mediante condições propícias, o indivíduo seria capaz de utilizar padrões ainda maiscomplexos de raciocínio, possuindo a habilidade de desenvolver e testar hipóteses causaisenvolvendo entidades não diretamente observáveis de forma hipotético-dedutiva [67]. Asteorias que realizam essa expansão são genericamente conhecidas como neopiagetianas.

Lawson et al. [71] apresentam evidências que apoiam a existência de dois ní-veis distintos de desenvolvimento baseados nas habilidades de testar hipóteses: um queenvolve as habilidades associadas com o teste de hipóteses sobre agentes causais obser-váveis (nível formal); e outro que envolve habilidades associadas ao teste de hipótesesenvolvendo entidades não observáveis ou teóricas (nível pós-formal).

Nesse sentido, é possível distinguir os níveis formal e pós-formal em termosda habilidade de desenvolver e testar hipóteses. Primeiramente o indivíduo se tornaproficiente no teste de hipóteses envolvendo agentes causais observáveis (habilidade do

2.4 A Importância da Identificação do Nível Cognitivo dos Discentes 25

nível formal), só depois então, sob condições favoráveis para o desenvolvimento, se tornahábil no teste de hipóteses envolvendo agentes causais não observáveis (habilidade donível pós-formal). Claramente essa visão do desenvolvimento não descarta a importânciado conhecimento declarativo, mas corrobora sua importância para o desenvolvimentointelectual [71].

Nesta pesquisa, consideramos a distinção entre os níveis formal e pós-formalbaseada na habilidade de lidar com entidades diretamente observáveis e não observáveis.Uma discussão mais aprofundada sobre essa diferenciação pode ser encontrada emLawson [66] e Lawson et al. [70, 71].

2.4 A Importância da Identificação do Nível Cognitivodos Discentes

Apesar do desenvolvimento cognitivo depender em grande parte do processo decrescimento do indivíduo, somente o crescimento em idade, por si só, não representauma garantia que ele irá automaticamente migrar de um nível cognitivo inferior para umsuperior. Isso significa que é possível a existência de pessoas que, mesmo na idade adulta,não sejam identificadas nos níveis mais avançados de desenvolvimento cognitivo (formalou pós-formal) [48, 99]. Assim, essa incompatibilidade de desenvolvimento culminana dificuldade em lidar com situações em que as habilidades hipotético-dedutivas sãonecessárias, uma vez que elas são características dos níveis de desenvolvimento maisavançados [48, 58].

Segundo Piaget, durante a adolescência, os indivíduos deveriam alcançar o nívelmais avançado de habilidades cognitivas definido por ele como raciocínio formal. Noentanto, existem diversas pesquisas que verificam a existência de discentes tanto noensino médio quanto de universidades que não possuem as habilidades do nível formalou mais avançado, e.g. [63, 81]. Como eles aprendem apenas em nível concreto, osnovos conhecimentos só poderiam ser acessados no futuro na forma declarativa (direta).A ausência do raciocínio hipotético-dedutivo dos níveis cognitivos superiores torna-se,portanto, um impeditivo à aplicação dos conhecimentos adquiridos nas situações futuras.

Uma outra implicação importante diz respeito aos docentes. Além de lidarcom a preparação dos conteúdos, eles deveriam estar atentos também às habilidadesde raciocínio dos discentes, objetivando o desenvolvimento intelectual contínuo desses[68, 67].

Apesar da expertise em uma determinada área de conhecimento utilizar técnicasespecíficas na resolução de problemas dessa área, as habilidades cognitivas se revelamcomo estratégias gerais na busca de contraexemplos para testar hipóteses causais em

2.4 A Importância da Identificação do Nível Cognitivo dos Discentes 26

qualquer situação ou área de conhecimento. Sabe-se que melhorias nessas habilidadespor meio de instrução (cursos, aulas, intervenções), apesar de difíceis, são possíveis de seobter [71].

O raciocínio de alta ordem é essencial não apenas para a tomada de decisões eresolução de problemas avançados, mas também para compreender conceitos e teoriascomplexas, rejeitar conceitos errados e para o aprendizado científico.

Em suma, para que os processos de ensino e aprendizagem possam ser condu-zidos da forma mais efetiva possível, é necessário que as aulas devam não apenas seradequadas aos níveis cognitivos dos discentes, mas também provocar neles o progressopara os níveis cognitivos mais avançados [66, 68].

O próximo capítulo detalha como foi conduzida a revisão bibliográfica em buscados métodos de medição do nível cognitivo dos discentes.

CAPÍTULO 3Revisão Sistemática

Este capítulo detalha o processo definido para a revisão dos trabalhos científicosem busca de um instrumento de medida do nível cognitivo humano. Apresenta-se umaexplicação sobre revisão sistemática e os passos utilizados para a condução desse tipo derevisão. Foram identificados três instrumentos de medição do nível cognitivo como fortescandidatos para aplicação na Universidade. Os métodos de Arlin e Bond são brevementecomentados neste capítulo, enquanto o método de Lawson é detalhado no Capítulo 4.

3.1 O Processo de Revisão

Uma boa revisão bibliográfica deve detalhar o estado do conhecimento (ou es-tado da arte) de um tópico bem definido em uma determinada área de maneira objetiva,evidenciando as principais obras dessa área, de modo que a ciência possa ser expandidacom sólida fundamentação a partir desse estado. Para tanto, essa revisão deve ser desen-volvida com clareza, coesão, concisão e de forma compreensível descrevendo em detalheso processo ou método que foi utilizado para sua condução facilitando sua reprodução porqualquer membro da comunidade científica. Nesse sentido, a revisão sistemática apre-senta diversas vantagens quando comparada a uma revisão não sistemática (narrativa),especialmente quanto aos quesitos organização, capacidade de reprodução e caráter siste-mático. Assim, optou-se pela utilização desse tipo de revisão para pesquisar e selecionaros métodos mais adequados para identificar o nível cognitivo de estudantes universitários[51, 53, 108].

Tal como a produção de software, a realização de uma revisão sistemática podeser vista como um processo, composto por uma sequência de fases com atividades bemdefinidas, resultados e objetos próprios. Essas fases e atividades podem ser ajustadassegundo as preferências do pesquisador, desde que de maneira rigorosa, e de acordo comas necessidades da pesquisa. Apesar de divergências na literatura quanto às atividades decada fase do processo, há certa concordância quanto às seguintes fases gerais [51]:

3.2 Planejamento (Protocolo) 28

1. Planejamento: definição do protocolo, ou seja, dos passos e regras a serem segui-dos durante a revisão sistemática.

2. Condução da Revisão: realização das buscas, obtenção e revisão de produçõescientíficas.

3. Documentação: escrita, análise e síntese de resultados.

As seções seguintes detalham cada uma dessas fases aplicadas neste trabalho.

3.2 Planejamento (Protocolo)

3.2.1 Objetivos

Os objetivos principais da revisão sistemática são os seguintes:

• verificar a possibilidade de medição do desenvolvimento cognitivo humano;• identificar e comparar métodos de medição do desenvolvimento cognitivo adequa-

dos para discentes universitários (adolescentes e adultos).

3.2.2 Questões de Pesquisa

As seguintes indagações guiaram a condução da presente revisão sistemática:

• É possível identificar ou medir os processos cognitivos humanos (habilidades,níveis, estágios, estruturas cognitivas)?

• Se é possível medir, quais são os métodos de medição disponíveis?• Quais são os métodos/instrumentos mais atuais de medição do raciocínio formal?• Quais os métodos mais adequados para a medição de discentes universitários?• Quais os métodos mais utilizados?• Qual método mede a maior quantidade de elementos do pensamento formal?

3.2.3 Processo de Busca

O processo de busca definido para a presente revisão sistemática é compostopelos seguintes passos:

• pesquisa inicial exploratória para determinar as palavras chaves de pesquisa;• definição da string de busca com base nas palavras chaves identificadas;• execução da string de busca nas bibliotecas e compilação de listas preliminares

de estudos relevantes [com base nos passos 1 e 2 dos Procedimentos de seleçãodefinidos na Seção 3.2.5];


• importação e agregamento das listas preliminares de estudos relevantes;• identificação e remoção de referências duplicadas;• revisão detalhada dos estudos [passos de 1 a 7 dos Procedimentos de seleção de-

finidos na Seção 3.2.5] e verificação quanto à aderência aos critérios de inclu-são/exclusão definidos na Seção 3.2.4. Dessa fase origina-se a lista de seleção finaldas produções;

• extração dos dados e realização da análise (classificações).

3.2.4 Critérios de Seleção

Foram incluídos nos resultados da revisão documentos que respeitassem osseguintes critérios:

• escritos em Inglês, Português, Italiano ou Espanhol;• descrevam a criação de algum método/instrumento;• realizam a comparação entre métodos;• descrevam a aplicação de algum método;• estejam presentes na citação de algum dos trabalhos dos itens acima;• descrevam métodos que sejam aplicáveis em pessoas maiores de 15 anos;• possuam base teórica Piagetiana ou Neo-Piagetiana;• tenham abstract disponível. Caso o abstract não esteja disponível na biblioteca

corrente em que se busca, ele é procurado em outras fontes. Caso não seja possívelencontrar esse abstract em nenhuma fonte, ou o artigo completo, então a referênciaé descartada por não ser possível avaliar sua pertinência à pesquisa em questão;

• o texto completo seja acessível.

3.2.5 Procedimentos de Seleção

Para inclusão de uma produção científica no resultado da revisão, é necessárioque seja avaliada segundo os passos descritos nesta seção. Com exceção do primeiro passoque é sempre obrigatório, cada passo seguinte só será executado caso no passo correntenão seja possível avaliar com clareza a inclusão ou exclusão de cada produção. Dessaforma, a avaliação dos estudos segue o protocolo, definido pelos seguintes passos:

1. análise do título das produções: com base em seus títulos, alguns estudos podemclaramente serem identificados como não relevantes para a revisão em questão;

2. leitura de Abstract: na maioria das vezes o título de um estudo não deixa claro asua teoria, conteúdo ou mesmo aplicabilidade. Assim, não raras vezes a análise doAbstract é necessária para definir sua relevância;


3. obtenção da produção: após os dois passos anteriores, caso ainda não esteja clarose o estudo é relevante ou não, é necessário a obtenção do material para que possaser analisado mais detalhadamente;

4. leitura de referências da produção: as referências de um estudo dizem muito sobre aqualidade e o quão completo sua fundamentação teórica é. Em algumas bibliotecas,as referências estão disponíveis antes mesmo da obtenção do produto completo;

5. análise da estrutura: uma vez obtido o material, é possível que sua estrutura sejaanalisada. Assim, lê-se sua estrutura em busca de sessões que descrevam algum doscritérios de seleção da Seção 3.2.4;

6. leitura da introdução e conclusão;7. leitura completa da produção: em raras produções, mesmo após os seis passos

anteriores, ainda não é possível dizer se o estudo é relevante ou não. Assim, paraesses poucos casos, é necessário que seja lido o produto completo.

3.2.6 Análise de Qualidade

A análise de qualidade dos trabalhos encontrados durante a revisão sistemáticafoi realizada de acordo com os seguintes passos:

• verificação de base teórica, referências e veículo de publicação;• definição clara de qual método de medição do nível cognitivo humano está sendo

utilizado (descreve brevemente e referencia, justificando a escolha);• se for uma criação de um método, deve definir claramente em quantas pessoas esse

método foi validado;• se for aplicação e comparação, deve definir claramente em quantas pessoas foi

aplicado;• possui resultados claramente descritos, embasados em dados e experimentações;• descreve a idade da amostra de indivíduos utilizada no estudo.

3.2.7 Extração de Dados

Ao revisar cada produção científica, pretendeu-se extrair os seguintes dados:

• título do trabalho;• autor do trabalho;• país de origem do estudo;• ano de publicação;• teoria Base;• ação (cria, compara ou aplica);• tipo (artigo, livro, outros);

3.3 Condução da Revisão Sistemática 31

• tamanho de amostra testada (subjects);• faixa etária coberta;• método estatístico usado para tratar os dados;• linguagem;• palavras chaves.

3.3 Condução da Revisão Sistemática

3.3.1 Construção/Definição das Strings de Busca

Uma busca preliminar foi executada para identificar estudos que se enquadras-sem nos critérios desejados. As palavras chaves foram então identificadas levando emconsideração a qualidade dos estudos e a frequência do termo entre esses estudos, sãoelas:

1. formal operations;2. formal reasoning;3. formal operational reasoning;4. formal thinkers;5. formal thinking;6. formal thought;7. logical thought;8. logical thinking;9. logical operations;

10. logical reasoning;11. abstract thought;12. abstract thinking;13. piaget logical operations;14. science reasoning;15. scientific reasoning;16. cognitive development test;17. cognitive ability test;18. piagetian stages;19. piaget developmental;20. social sciences piagetian inventory.

Esses termos dizem respeito às características do desenvolvimento humano quese deseja identificar e as variações com que eles se apresentam nos estudos pesquisados.No entanto, nas buscas preliminares de teste da string composta por somente esses termos,


verificou-se que os documentos obtidos das bibliotecas ainda estavam muito amplos e emgrande parte, não tão relevantes. Frente a essa amplitude, foi necessário limitar a string

com termos que identificassem especificamente instrumentos ou métodos de medição, quesão o foco dessa revisão. Dessa forma, foram incluídos os seguintes termos limitantes:

1. test;2. group test;3. assessment;4. tasks;5. inventory;6. measure;7. measurement;8. instrument;9. scale;

10. questionnaire.

Apesar da composição dos termos do primeiro grupo (palavras chaves) comos termos do segundo grupo (limitantes) para se obter melhor precisão, em algumasbibliotecas ainda obtivemos resultados não relevantes. Por conter a palavra-chave formal

reasoning, vários estudos sobre desordens e doenças relacionadas ao pensamento formal(significando pensamento saudável, diferentemente do sentido de interesse na presentepesquisa) aparecem nos resultados.

Assim, em algumas bibliotecas, especialmente as pautadamente de estudos mé-dicos, termos limitantes adicionais foram inseridos para excluir esse tipo de resultadoobjetivando-se o retorno do mínimo possível de resultados expúreos. Os limitantes adici-onais são:

1. schizophrenia;2. disorder;3. drug;4. pharmacology;5. elderly.

Após as inclusões dos termos limitantes, a string final executada nas bibliotecasfoi dada na seguinte forma:

(“formal operations” OR “formal reasoning” OR “formal operational reasoning”OR “formal thinkers” OR “formal thinking” OR “formal thought” OR “logicalthought” OR “logical thinking” OR “logical operations” OR “logical reasoning”OR “abstract thought” OR “abstract thinking” OR “piaget logical operations” OR


“science reasoning” OR “scientific reasoning” OR “cognitive development test”OR “cognitive ability test” OR “piagetian stages” OR “piaget developmental” OR“social sciences piagetian inventory”)

AND(test OR “group test” OR “group assessment” OR tasks OR inventory OR measureOR measurement OR instrument OR assessment OR scale OR questionnaire)

AND NOT(disease OR disorder OR schizophrenia OR drug OR pharmacology OR elderly)

3.3.2 Execução das Buscas

As buscas foram realizadas no período compreendido entre dezembro de 2013 eagosto de 2014. Foram pesquisadas informações relevantes em 14 renomadas bibliotecasdigitais multidisciplinares as quais contém tanto trabalhos completos como resumosde diversos tipos de produções científicas em diversas áreas. Seguem os nomes dessasbibliotecas:

• ACM Digital Library;• IEEExplore;• ISI Web of Knowledge;• ScienceDirect;• Scopus;• APA Psychnet;• EBSCO (agregador de bibliotecas):

– Academic Search Premier;– CINAHL;– SocINDEX;– Library, Information Science and Technology Abstracts;– Information Science and Technology Abstracts (ISTA);– Academic Search Elite;– Computers and Applied Sciences Complete;– MEDLINE Complete.

A partir da obtenção dos resultados no processo de busca, foram utilizadas duasfases para tratar (“limpar”) os resultados. A Figura 3.1 representa esquematicamente essasfases.


Fase 2Fase 1

ACM Digital Library

IEEExplore

...

Remoção Duplicados

Busca Bases Listas Parciais

Lista Agregada

String de

Busca

Lista Final

Figura 3.1: Esquema das fases da realização e tratamento do re-sultado obtido nas buscas.

No primeiro passo da Fase 1, a string de pesquisa foi executada em cada umadas bases supracitadas gerando listas parciais com os artigos de interesse com base noprotocolo definido na Seção 3.2. As listas parciais foram armazenadas no site de cadabase. No segundo passo, as listas parciais foram importadas para uma ferramenta demanutenção de biblioteca de referências denominada EndNote [31], em um total de647 referências. O EndNote foi escolhido para facilitar a organização e manutenção dasreferências, auxiliando na detecção e remoção de referências duplicadas.

A Fase 2 foi executada a partir das listas preliminares agregadas no EndNote.No primeiro passo realizou-se a verificação por registros repetidos. Nesse refinamento osregistros que apareceram em mais de uma base (duplicados) foram removidos, mantendo-se somente uma instância de cada registro, restando-se 532 registros únicos. Os registrosúnicos foram então revistos com base nos critérios de inclusão da Seção 3.2.5 gerando aseleção final de 165 estudos dessa revisão.

A lista final é composta por itens de diferentes tipos de publicação, tais comoartigos publicados em eventos, periódicos e revistas; dissertações de mestrado e teses dedoutorado.

3.3.3 Informações Numéricas

A Figura 3.2 apresenta os totais de produções obtidas a partir da execução dosfiltros de seleção em cada biblioteca. Já a Figura 3.3 apresenta o nome de cada métodoidentificado que se propõe a medir o nível cognitivo humano; também são apresentadosas quantidades de utilização desses métodos nos documentos obtidos.


Figura 3.2: Descrição numérica das produções obtidas em cadabiblioteca, nas Fases 1 e 2.


Figura 3.3: Listagem dos métodos encontrados e quantidades deutilização nos trabalhos identificados.

Instrumento Uso

Lawson's Classroom Test of Scientific Reasoning – LCTSR (TOFR) 37

Tobin and Capie's Test of Logical Reasoning – TOLT 26

Roadrangka Group Assessment of Logical Thinking – GALT 17

Piaget Tarefas Piagetianas (Piagetian tasks) 17

Wylam, Shayer Science Reasoning Tasks – CSMS(PRTs) 12

Longeot's Echelle de Developpement de la Pensee Logique – LEDPL 8

Arlin Test of Formal Reasoning – ATFR 7

Roberge, Flexer Formal Operational Reasoning Test – FORT 5

Bond's Logical Operations Test – BLOT 4

Burney's Logical Reasoning Task – BLRT 4

Kramer Social Paradigm Belief Inventory – SPBI 4

Kuhn, Brannock 4

Gray How Is Your Logic – HIYL 3

Lunzer Formal Operations Test – LFOT 3

Overton Selection Task – OST 3

Tomlinson-Keasey 3

Commons 2

Karplus 2

Lawson – RA 2

Tisher, Dale – Understanding in Science Test – UST 2

Bart Formal Reasoning Instruments – BFRI 1

Furth Inventory of Piaget’s Developmental Tasks – IPDT 1

Karplus, Lawson, Adi 1

Kurtz Formal Reasoning Test – KFRT 1

Mwamwenda 1

Renner – CAP 1

Sherman 1

Sills 1

Staver, Gabel Piagetian Logical Operation Test – PLOT 1

Thurstone – PMA 1

Ulungaki – PIAGET 1

Wason Four Card Selection Task – FCST 1

Wollman 1

3.4 Resultados da Revisão (Documentação) 37

3.4 Resultados da Revisão (Documentação)

Piaget [44], inicialmente descreve o método de identificação do desenvolvimentocognitivo denominado “método clínico”. Esse método consiste em entrevistar uma pes-soa enquanto se apresenta um conjunto de experimentos envolvendo aparatos específicos.Conforme as respostas que essa pessoa fornece, é possível classificá-la em um dos se-guintes estágios de desenvolvimento cognitivo: sensório motor, pré operacional, concretooperacional, formal operacional [48].

Apesar da preferência dos pesquisadores pelo método clínico, a dificuldadede ministrá-lo em grandes grupos está listada como motivação para a existência depraticamente todos os trabalhos posteriores que se propõem a identificar os níveis dedesenvolvimentos piagetianos, e.g [3, 63]. Algumas críticas recorrentes à entrevistaclínica são a necessidade de alta expertise por parte do entrevistador, excessivos espaço etempo consumidos e a variação inevitável da influência de fatores humanos nos resultados,ou em outras palavras, baixa padronização.

A necessidade de instrumentos padronizados, confiáveis e relativamente simplesde serem aplicados para grandes grupos culminou em diversas evoluções e adaptações daentrevista clínica, cada uma com suas particularidades. Alguns desses métodos, inclusive,acrescentam expansões da teoria piagetiana, identificando até o nível pós-formal. Essasadaptações variam em diversos aspectos como: lugar de origem, método de apresentação,campo de aplicação e distinção entre os estágios cognitivos.

As pesquisas de métodos não estão restritas a uma cultura, país ou continente, ecada uma delas possui seus próprios valores e contribuições. Dentre essas contribuições,alguns exemplos notáveis pelo mundo são os trabalhos de Shayer, Adey e Wylam [98] noReino Unido, Longeot [74] na França, Lawson [63] nos Estados Unidos, Bond [13] naAustrália e Roadrangka [94] na Tailândia. A Figura 3.4 apresenta uma linha do tempo dosmétodos pesquisados.

A variação na forma de aplicação entre os métodos estudados é grande. Algunsexigem a execução de experimentos conduzidos pelos estudantes em seus próprios con-juntos de aparatos. Em outros, os experimentos são apresentados pelo administrador doteste na frente da sala [7, 63, 75, 96, 98].

Ainda sobre as variações de apresentação, os métodos que não usam aparatos ouexperimentos especiais são genericamente conhecidos como métodos puramente ou estri-tamente de papel e lápis. Esses instrumentos são apresentados no formato de questionário,no qual o indivíduo deve ler um texto curto descrevendo uma questão e algumas vezes ana-lisar alguma representação gráfica. As respostas podem ser abertas (discursivas) ou fecha-das (objetivas) e devem ser realizadas individualmente, sem intervenção do administradordo teste no processo de descoberta [3, 13, 20, 24, 74, 93, 94, 95, 97, 102, 103, 104].

3.4 Resultados da Revisão (Documentação) 38

Os instrumentos também variam de acordo com a faixa etária dos indivíduos.Alguns testes são adaptados e validados para crianças [93], outros incluem as faixasetárias de adolescentes [24, 36, 63, 102]. Em uma terceira variação, estão os que sãoadequados para aplicação desde crianças até adultos [7, 75, 94, 95, 103].

A capacidade do método de identificar em qual estágio de desenvolvimento osindivíduos se encontram também é uma forma de distinção dentre os instrumentos. Deum lado, estão os testes que se propõem a identificar a presença ou ausência do raciocínioformal, identificando somente alguns padrões desse estágio [7, 93, 103]. Do outro lado,estão aqueles que realizam uma melhor distinção dentre os níveis formal, concreto ouainda estágios anteriores, categorizando os indivíduos em um dentre os quatro estágios dedesenvolvimento cognitivo [63, 94, 102].

Para a presente pesquisa, preferiu-se instrumentos que pudessem ser ministradosa adolescentes e adultos, uma vez que espera-se aplicá-los em discentes universitárioscom uma idade mínima de 15 anos. Apesar do método proposto por Shayer, Adey,Wylam [98] exercer grande influência nas produções científicas, a preferência é porinstrumentos que não envolvam a manipulação de aparatos específicos e que possamser objetivamente contabilizados. Também é desejável a distinção entre os níveis formal,concreto ou estágios prévios, de modo a obter uma informação mais completa para futurasintervenções.

Sumarizando os critérios utilizados para a avaliação dos métodos de identificaçãodos níveis de desenvolvimento, espera-se que o método:

• possua uma sólida fundamentação teórica;• não envolva a manipulação de qualquer aparato especial;• possibilite a clara distinção do nível formal operacional (ou nível mais avançado);• seja adequado para adolescentes e adultos (acima de 15 anos);• seja pontuado objetivamente (questões objetivas, sem questões abertas).

De acordo com esses critérios, três métodos resultantes da revisão sistemáticaforam selecionados como fortes candidatos para aplicação na Universidade Federal deGoiás: Arlin Test of Formal Reasoning - ATFR [3], Bond’s Logical Operations Test -

BLOT [13] e Lawson Classroom Test of Scientific Reasoning - LCTSR [60, 63].Apesar dos testes ATFR e BLOT serem fortes candidatos, o instrumento LCTSR

possui vantagens em comparação a esses. Algumas dessas vantagens são ampla aplicaçãoem diversas culturas e, principalmente, a inclusão das evoluções e atualizações da teoriacognitiva desde a sua criação. Dessa forma, esse exame foi selecionado para ser o primeiroa ser traduzido e utilizado para a identificação dos níveis de desenvolvimento cognitivodos discentes na Universidade. Os instrumentos ATFR e BLOT são comentados nasseções a seguir. Por se tratar do instrumento escolhido, um maior detalhamento sobreo LCTSR está disponível no Capítulo 4, inteiramente dedicado a ele.

3.5 Arlin Test of Formal Reasoning - ATFR 39

Figura 3.4: Timeline de publicação dos métodos de identificaçãodos processos cognitivos destacando os notáveis emcada país.

3.5 Arlin Test of Formal Reasoning - ATFR

O “Arlin Test of Formal Reasoning - ATFR” é um questionário composto por 48questões, publicado em 1982 [3]. O teste se propõe a medir o desempenho em sete dosoito padrões (schema) do raciocínio formal. Para tanto, é organizado em nove subtestes:classificação, volume, combinações, isolamento de variáveis, proporções, probabilidades,correlações, equilíbio mecânico e dois planos de referência. Os subtestes classificação evolume, apesar de não medirem características do raciocínio formal, auxiliam a identificara transição do nível concreto para formal.

O teste requer do indivíduo a seleção, a partir de múltiplas alternativas e múl-tiplas justificativas, a resposta correta e também a justificativa para tal resposta em cadaum dos itens. Um item é pontuado como correto, se e somente se a pessoa selecionar aresposta correta juntamente com a explicação correta.

Dos métodos analisados para identificar o raciocínio formal, o ATFR é o quemede a maior quantidade de características desse nível. Ele também identifica mais doque a maioria dos outros métodos para a mesma finalidade, que normalmente identificamcinco padrões do raciocínio formal. O teste foi normatizado em adolescentes e adultos.Dentre os três selecionados, é o único que possui uma versão comercial padronizada.Existem diversos exemplos de seu uso em universidades [72, 73, 75].

3.6 Bond’s Logical Operations Test - BLOT

O “Bond’s Logical Operations Test - BLOT” é um questionário com 35 itens, demúltipla escolha, publicado em 1976 [13]. Diferentemente dos outros dois selecionados,

3.6 Bond’s Logical Operations Test - BLOT 40

é o único desenvolvido para medir cada uma das dezesseis operações lógicas do estágioformal. Esse instrumento é baseado nas quatro operações do modelo lógico de Piagetdenominadas INRC (Identidade, Negação, Recíproca e Correlativa). As principais críticasque o método recebe provêm justamente do embasamento nesse modelo lógico, quealguns pesquisadores consideram incorreto [14, 15, 16].

Os itens do teste requerem que o indivíduo selecione a resposta correta em cadaquestão. Um item é pontuado como correto se uma pessoa seleciona a resposta corretapara ele. Da mesma forma que o ATFR e LCTSR, quanto maior a pontuação, maior seriamas habilidades do indivíduo quanto ao raciocínio formal.

De acordo o autor, o BLOT apresenta melhores resultados quando utilizado paraverificar a transição do nível concreto para o nível formal. Para resultados mais precisos,em sua atualização, é sugerido que seja calibrado com a análise RASCH [17].

CAPÍTULO 4Lawson’s Classroom Test of ScientificReasoning - LCTSR

Este capítulo descreve o instrumento de identificação do nível cognitivo esco-lhido para aplicação na pesquisa. Apresenta-se sua evolução histórica, os padrões de ra-ciocínio que ele se propõe a medir, forma de pontuação e classificação dos discentes nosníveis de desenvolvimento. Além disso, detalha-se o processo de tradução pelo qual oexame foi adaptado para o Português.

4.1 Evolução do Exame

O instrumento de medida escolhido é denominado “Lawson’s Classroom Test

of Scientific Reasoning - LCTSR” [60, 63, 68], ou em Português “Exame do RaciocínioCientífico - ERC” e trata-se de um questionário publicado em 1978. Há mais de trêsdécadas, diversos pesquisadores como Lawson já estavam atentos à necessidade deconhecimento do nível de desenvolvimento cognitivo dos discentes. A intenção erapromover a melhoria do ensino por meio da adaptação dos conteúdos, objetivos, métodosde ensino e avaliação, adequando-os aos níveis de desenvolvimento dos discentes.

Para que essas adaptações fossem possíveis, um método/instrumento de mediçãodesses níveis era necessário. O instrumento deveria possibilitar de alguma forma a verifi-cação dos processos de raciocínio do indivíduo, identificando quais padrões de raciocíniosão utilizados para responder cada questão proposta. Consequentemente, identifica-se onível de desenvolvimento cognitivo dos discentes. O exame foi criado objetivando seuuso em estudantes de ensino médio e universidades, podendo ser aplicado em um curtoperíodo de tempo [63].

Em sua versão original, nomeado “Lawson Classroom Test of Formal Reasoning

- LCTFR”, possui 15 questões aliadas a demonstrações com aparatos específicos. Nesseformato, o administrador do exame realiza demonstrações na frente da sala e realizaentão perguntas. Os estudantes devem escrever individualmente suas respostas na folha

4.1 Evolução do Exame 42

de respostas, sem compartilhamento com os colegas de sala. Nessa versão, os itens podemser divididos em dois grupos de raciocínio [63]:

1. Raciocínio Concreto Tardio e Pré-Formal:

• percepção de conservação de peso;• percepção de deslocamento de volume.

2. Raciocínio Formal Operacional:

• isolamento e controle de variáveis;• raciocínio combinatório;• raciocínio probabilístico;• raciocínio proporcional;

Nessa versão inicial, nenhum item foi incluído para a medição do raciocíniocorrelacional (correlação).

Os padrões de raciocínio foram distribuídos entre as questões como se segue:

1. conservação de peso;2. deslocamento de volume;3. raciocínio proporcional 1;4. raciocínio proporcional 2;5. raciocínio proporcional 3;6. raciocínio proporcional 4;7. controle de variáveis 1;8. controle de variáveis 2;9. controle de variáveis 3;

10. controle de variáveis 4;11. raciocínio combinatório 1;12. raciocínio combinatório 2;13. probabilidade 1;14. probabilidade 2;15. probabilidade 3.

De acordo com a quantidade de acertos no teste, a pessoa pode ser classificadaem um dos níveis de desenvolvimento cognitivo:

• 0-5 nível concreto;• 6-11 nível transitório;• 12-15 formal operacional.

4.1 Evolução do Exame 43

Uma das principais vantagens do instrumento criado por Lawson se deve aconstante atualização e refinamento, desde sua criação, englobando evoluções e expansõesda teoria original de Piaget. Em sucessivas evoluções, ao longo dos anos, o exame aboliua necessidade de demonstrações com aparatos específicos e ganhou maior capacidade emtermos dos padrões de raciocínio medidos.

Sua versão mais recente é datada de agosto de 2000, configurando um questioná-rio com 24 questões de múltipla escolha [60]. Em cada questão do exame é solicitado queo indivíduo realize duas seleções: uma alternativa de resposta correta e uma alternativaque indique o raciocínio utilizado para essa resposta dentre as múltiplas alternativas. Emoutras palavras, o indivíduo deve selecionar a resposta e a justificativa em cada questão.A pontuação pode ser feita item por item (na qual a resposta e o raciocínio da respostarecebem pontuações independentes) ou em duplas (avaliando-se cada resposta e o racio-cínio para se chegar à resposta, pontuando apenas quando ambos estão corretos). Essa éa versão a qual foi concedida autorização por Lawson para tradução e aplicação na atualpesquisa, conforme Anexo A.

Apesar de algumas críticas existirem [14, 39, 73], o LCTSR é amplamentevalidado e muito popular entre educadores das áreas de ciência, engenharia e matemática,não apenas nos Estados Unidos [30, 42, 85]. Ele tem sido amplamente ministrado emdiversas universidades e países, para estudantes de múltiplos cursos [4, 45, 72], incluindocursos de computação [86]. Além disso, devido à sua sólida validade e consistência setornou inspiração para muitos outros testes [22, 59, 94, 103].

A finalidade de seu uso é múltipla, sendo relacionado não somente à prediçãodo desempenho acadêmico, mas para desenvolver materiais e aulas para intervençõescognitivas, auxiliando assim os estudantes a desenvolverem suas habilidades cognitivas.

A versão atual foi desenvolvida para identificar cinco padrões do raciocínioformal:

• controle de variáveis;• raciocínio proporcional;• raciocínio combinatório;• raciocínio probabilístico;• raciocínio correlacional;

Além dos padrões de raciocínio contidos na versão anterior, a versão mais atualfoi estendida com mais duas questões que se propõem a medir o padrão denominado“raciocínio para uma contradição” ou raciocínio “hipotético-dedutivo” [64], envolvendoentidades teóricas (não diretamente observáveis), que caracterizam o nível pós-formal[67, 70].

Nessa versão, a classificação dos indivíduos é então realizada de acordo com asseguintes faixas de acerto:

4.2 Padrões de Raciocínio Atualmente Identificados 44

• 0-8 nível concreto;• 9-14 nível transitório;• 15-20 nível formal;• 21-24 nível pós-formal.

4.2 Padrões de Raciocínio Atualmente Identificados

De acordo com as informações da revisão, o formato de cada questão e com oarquivo recebido do próprio autor [43], os padrões de raciocínio aferidos na versão maisatual do LCTSR estão distribuídos entre as questões da seguinte forma (questões: padrãode raciocínio):

1, 2: conservação do peso;3, 4: conservação do volume deslocado;5, 6: raciocínio proporcional;7, 8: raciocínio proporcional avançado;9, 10: identificação e controle de variáveis;11, 12: identificação e controle de variáveis e pensamento probabilístico;13, 14: identificação e controle de variáveis e pensamento probabilístico;15, 16: raciocínio probabilístico;17, 18: raciocínio probabilístico avançado;19, 20: raciocínio correlacional (incluindo proporções e probabilidade);21, 22: raciocínio hipotético-dedutivo;23, 24: raciocínio hipotético-dedutivo.

A distribuição dos padrões nas questões é feita de modo que o nível de dificul-dade delas aumenta de acordo com o número da questão. Assim, as questões de menornúmero se propõem a medir os padrões mais “simples” de raciocínio enquanto as de maiornúmero aferem os padrões mais complexos. Esses padrões são explicados nas subseçõesseguintes. As questões correspondentes no ERC podem ser encontrados no Apêndice B.

4.2.1 Conservação do Peso e Volume Deslocado [Questões 1-2 e 3-4do ERC]

De uma maneira simplificada, o padrão de raciocínio de conservação diz respeitoà habilidade que o indivíduo apresenta de compreender: que algumas propriedades de umobjeto permanecem as mesmas, apesar de ocorrerem mudanças em outras propriedadesdesse objeto; ou que uma certa quantidade permanece a mesma, apesar da realização deajustes no recipiente que a contém, formato ou tamanho que aparenta; ou que o peso de


um objeto permanece o mesmo, apesar de como sua forma é modificada; ou ainda que onúmero de objetos em uma fila permanece o mesmo, apesar de como eles são enfileiradosou do espaçamento entre eles [26].

Esse padrão habilita o indivíduo a aplicar o raciocínio de conservação paraobjetos e propriedades perceptíveis (diretamente observáveis). Se nada é adicionado ouretirado, a quantidade, o número, o tamanho, e o peso permanecem os mesmos (ou seja,são conservados) [35, 67].

4.2.2 Raciocínio Proporcional e Avançado [Questões 5-6 e 7-8 doERC]

As noções de razão e proporcionalidade são amplamente utilizadas em mate-mática e em ciências, assim como em diversas situações do cotidiano. Conceitos comovelocidade, densidade, volume, peso, quilometragem e unidades de preço são expressospor valores que praticamente todas as pessoas lidam frequentemente e que podem sercomparados sobre a noção geral de razão ou proporcionalidade [18, 49].

Alguns exemplos de utilização no cotidiano são: ao cozinhar, se faz necessáriopensar proporcionalmente nas medidas de cada ingrediente. Ao dobrar ou diminuir pelametade uma receita que contenha 2 e 1/2 copos de farinha, 1/3 copo de açúcar e 1 colherde manteiga, as proporções entre os ingredientes devem ser mantidas; em química, aproporcionalidade é fundamental para o balanceamento de equações; o entendimentode proporcionalidade é também central para a matemática compondo as bases para asoperações com os números naturais, particionamento de unidades e solução de problemasde álgebra e geometria[18].

A proporcionalidade pode ser definida como um relacionamento (relação mate-mática) entre duas quantidades. Esse relacionamento pode ser descrito de duas formasdistintas [46, 49]:

• como uma igualdade de razões. Em diversas fontes, a proporcionalidade é expressacomo uma igualdade de razões do tipo a/b = c/d. Dados quaisquer três valoresdessa igualdade, é sempre possível encontrar o quarto valor por meio do algoritmode solução denominado multiplicação cruzada. Problemas que investigam uma dasquatro variáveis são popularmente conhecidos como “problemas de regra de três”.

• baseada em funções. Como exemplo, considere a equação que descreve a forçagravitacional F = G∗M∗m

d2 . Dado que G é uma constante, essa equação indica quea força gravitacional entre duas massas (M e m) é diretamente proporcional aoproduto dessas duas massas e inversamente proporcional ao quadrado da distânciaentre elas. Dessa perspectiva, a proporcionalidade é um relacionamento descrito poruma função entre variáveis em uma equação matemática.


O raciocínio proporcional pode então ser definido como o padrão de raciocínioutilizado para identificar e resolver problemas que envolvem relações quantitativas pro-porcionais [66].

Uma maior discussão sobre as variações do padrão proporcional pode ser encon-trada em Karplus, Pulos e Stage [49].

4.2.3 Identificação e Controle de Variáveis [Questões 9-10 do ERC]

Em contextos experimentais, ao testar hipóteses (possíveis explicações para umfenômeno ou acontecimento), o indivíduo deve estar ciente da necessidade de considerartodas as variáveis conhecidas (identificação) e desenvolver um teste que mantenha cons-tante (em controle) todas as variáveis, com exceção da variável sendo investigada [67].Em outras palavras, para verificar algo que acredita ser verdade, o indivíduo deve ter aconsciência de executar um teste em que somente a variável (propriedade) sob estudo sejaalterada, enquanto todas as demais permaneçam inalteradas. Para tanto, é necessário queele consiga identificar a variável de interesse [67].

A habilidade de construir um experimento controlado é denominada “Identifica-ção e Controle de Variáveis” ou também conhecida como “todas as outras coisas perma-necem iguais” [66].

Uma discussão mais aprofundada sobre o presente padrão de raciocínio pode serencontrada em Lawson et al. [66, 71].

4.2.4 Identificação e Controle de Variáveis e Raciocínio Probabilís-tico Combinados [Questões 11-12 e 13-14 do ERC]

As duplas de questões 11-12 e 13-14 exigem que o indivíduo faça uso dos pa-drões de raciocínio “Identificação e Controle de Variáveis” e “Raciocínio Probabilístico”de forma colaborativa. O padrão “Identificação e Controle de Variáveis” já foi apresentadoe o “Raciocínio Probabilístico” será discutido na próxima seção.

Nessas questões é necessário que a pessoa saiba identificar e verificar a influên-cia que as variáveis gravidade e luz exercem nas moscas de fruta, assim como obter con-clusões por meio de observações quantitativas probabilísticas em relação à posição dedeterminadas quantidades dessas moscas.

Além de identificar as variáveis de interesse e entender como realizar um expe-rimento controlado sobre essas variáveis, o indivíduo deve reconhecer que as conclusõese explicações devem envolver considerações probabilísticas, o que torna as questões par-ticularmente mais desafiadoras [67].


4.2.5 Raciocínio Probabilístico e Avançado [Questões 15-16 e 17-18do ERC]

É o padrão de raciocínio utilizado para identificar e solucionar problemas queenvolvem relações quantitativas probabilísticas [66]. O indivíduo reconhece que o fenô-meno possui caráter probabilístico e que suas conclusões e explicações devem envolverconsiderações probabilísticas [67].

Ao lidar com as possibilidades de algo ocorrer (entidades não diretamenteobserváveis) e não apenas com o que é real (diretamente observável) a probabilidadedesempenha um importante papel. A possibilidade de que um evento irá ocorrer nada maisé do que o relacionamento entre as instâncias possíveis de um evento e aqueles que defato ocorrem. Além disso a probabilidade estimada de relacionamentos ou leis pressupõea existência de certos padrões do raciocínio formal como o cálculo de correlações ouassociações e também proporcionalidade [44] .

Uma das principais tarefas do raciocínio experimental ou indutivo é a separa-ção do que é dedutível do que é aleatório. Praticamente todos os fenômenos envolvempossibilidades de variação, uma vez que dificilmente eles serão constantes mesmo sobdeterminados conjuntos de condições. O indivíduo reage a essas possibilidades de vari-ação assimilando-as indiretamente em deduções por meio da probabilidade. Assim, parasolucionar esses tipos de problemas, a primeira tarefa do indivíduo é notar a lei da pro-babilidade que diz respeito às variações. A segunda tarefa é isolar as causas do fenômenoestudado relacionados a essas variações. Assim, a primeira tarefa é precisamente o pro-blema da probabilidade das variações e a segunda das correlações [44].

4.2.6 Raciocínio Correlacional (incluindo Proporções e Probabili-dade) [Questões 19-20 do ERC]

No cotidiano, a ideia de correlação está bastante presente, como por exemplo nacorrelação entre fumar e o aumento das chances de câncer de pulmão, má alimentação eobesidade, altura dos pais e seus filhos, oferta e procura de um produto com seu preço,dentre outros acontecimentos que aparentemente estão relacionados.

No processo de solução de um problema com diversas variáveis, a correlaçãodescreve qual o grau de dependência entre duas ou mais variáveis [46]. As variáveis desseproblema podem ser dependentes ou independentes, podendo ou não existir relaciona-mentos entre elas. Uma variável pode ter uma dependência forte, fraca ou nenhuma de-pendência de outra variável. Assim, o padrão de raciocínio correlacional pode ser definidocomo o padrão utilizado para identificar e determinar até que ponto duas variáveis dentrode uma amostra estão relacionadas (co-variam) [66].


Em outras palavras, o raciocínio correlacional pode ser definido como o padrãode raciocínio que o indivíduo utiliza para determinar a força de relacionamentos mútuosou recíprocos entre variáveis (em acontecimentos, observações ou fenômenos). A per-cepção de tais relacionamentos permite a realização de predições durante a exploraçãocientífica (buscas por causas ou explicações de determinada situação) [1, 35].

Apesar de poderem estar presentes variações aleatórias no fenômeno, ao seutilizar desse padrão de raciocínio, o indivíduo demonstra habilidade em reconhecer ascausas ou relações no fenômeno estudado por meio do confronto do número de casos queconfirmem ou neguem determinada hipótese com o número total de casos [62, 67].

Ao analisar duas variáveis em uma situação, existem pelo menos duas formasdiferentes de verificar seus relacionamentos: uma é verificar se existe alguma ligaçãoentre elas; a outra é observar de que forma essas duas variáveis são relacionadas, ou seja,explorar de que forma esse relacionamento se comporta.

O raciocínio correlacional desempenha um importante papel tanto no cotidianoquanto na pesquisa científica, pois existem duas habilidades principais associadas a essepadrão: julgar se existe ou não uma ligação entre duas variáveis; e utilizar correlaçõesexistentes para realizar predições que guiam as decisões da vida ou em pesquisas.

Um exemplo desse padrão aplicado no cotidiano é o consumo de frutasbaseando-se em sua cor para predizer se está madura ou não. Se uma banana está verde,por exemplo, quer dizer que ainda não está no momento de ser consumida. Quando essase torna amarela, quer dizer que está madura, portanto, com melhor sabor para o consumo.

Outro exemplo desse padrão de raciocínio é sua aplicação em pesquisas cientí-ficas. O primeiro passo da análise dos dados é a verificação da existência de correlaçõesentre as múltiplas variáveis trabalhadas. Os cientistas comparam duas variáveis que pare-cem possuir correlação uma com a outra e fazem julgamentos sobre seus relacionamentos.Isso pode incluir encontrar possíveis fatores causais ou mecanismos de relacionamento,apesar de o raciocínio de correlação não significar necessariamente a busca por causas[46].

4.2.7 Raciocínio Hipotético-Dedutivo [Questões 21-22, 23-24 doERC]

O raciocínio hipotético-dedutivo pode ser definido como a habilidade que oindivíduo apresenta, ao avaliar uma questão, de imaginar as possíveis relações entre osfatores, deduzir as consequências dessas relações e empiricamente verificar quais dessasconsequências de fato ocorrem. Essa forma de raciocínio pode ser aplicada tanto paraentidades diretamente observáveis quanto para não diretamente observáveis [67].


O método hipotético-dedutivo é um método de investigação comum a todas asdisciplinas científicas como por exemplo biologia, física, química. Sua importância se dápela sistematização da geração e teste de hipóteses e também para a exploração de teorias.De uma forma simplificada, sua aplicação pode ser dividida em cinco fases [46]:

1. Formação de diversas hipóteses e avaliação de cada um delas.2. Seleção de uma hipótese para ser testada.3. Geração de predições a partir das hipóteses.4. Desenvolvimento de experimentos para verificação das predições.5. Conclusão a partir do experimento. Se as predições estão corretas, então a hipótese

é confirmada; senão, a hipótese é refutada.

O raciocínio hipotético-dedutivo se utiliza do método dedutivo e é muito utili-zado, inclusive em situações cotidianas. Um exemplo dessa utilização em uma situaçãofamiliar é a seguinte: suponha que um rádio que funciona com pilhas não esteja ligando. Épossível levantar diversas hipóteses sobre esse problema (o rádio está quebrado, as pilhasacabaram, dentre outras). Considere a hipótese de que talvez as pilhas dele tenham aca-bado; decide-se então verificar se essa hipótese é verdadeira; dada essa hipótese, prediz-seque o rádio deve funcionar corretamente ao substituir as pilhas velhas por pilhas novas; aspilhas então são substituídas (experimento controlado); se após substituir as pilhas o rádiovoltar a funcionar, então a hipótese das pilhas é confirmada; se mesmo após substituiçãodas pilhas o rádio não funcionar, a predição é falsa e a hipótese é refutada [46].

A argumentação para esse problema pode ser esquematizada segundo o formato(SE-E-ENTÃO-E-PORTANTO) da seguinte maneira [71]:

SE: o motivo do rádio não funcionar é porque as pilhas estão velhas e sem energia(hipótese);E: as pilhas velhas são substituídas por pilhas novas (experimento controlado);ENTÃO: o rádio deve voltar a funcionar (predição deduzida);E: o rádio volta a funcionar (comparação do resultado obtido com a predição);PORTANTO: a hipótese é apoiada e conclui-se que o problema do rádio era defato as pilhas velhas (conclusão).

Quanto mais uma pessoa é exposta a argumentos do tipo hipotético-dedutivo,maior a probabilidade dela internalizar essa forma de argumentação e se tornar hábilem utilizá-la no seu próprio pensamento. Claramente, a familiaridade com o conteúdotrabalhado influencia na utilização efetiva desse padrão, no entanto, essa familiaridadenão é garantia da utilização eficaz dessa forma de raciocínio [64].

Os padrões de raciocínio e habilidades do pensador hipotético-dedutivo são, emessência, ferramentas de aprendizado primordiais para o sucesso e para a sobrevivência


das pessoas. De fato, se o docente auxilia os discentes a melhorar o uso dessas habilidadesde raciocínio, então ele os ajudou a “aprender como aprender” [62].

Maiores discussões sobre esse padrão podem ser encontradas em Lawson et al.[66, 71].

4.3 Tradução e Versão em Português

Figura 4.1: Esquema do processo de tradução.

De acordo com a revisão e aprofundamento das pesquisas, foi verificado que ne-nhum dos métodos pesquisados possuía versão em Português. Após selecionar o Lawson’s

Classroom Test of Scientific Reasoning - LCTSR e confirmar com o autor (Professor Law-son) a inexistência da versão em Português, solicitamos permissões para tradução e apli-cação desse instrumento. Uma vez obtidas as permissões, foram pesquisadas as melhorespráticas e métodos de tradução para tal, dando origem à versão em Português denominada“Exame do Raciocínio Científico - ERC” [89].

Ao se conduzir uma tradução, é necessário seguir um rigoroso protocolo paragarantir que o método traduzido será equivalente e medirá as mesmas característicasque o original. A tradução simples, em uma direção somente e por um único tradutor,não é suficiente, nem recomendada, devido aos riscos de viés do tradutor e de outrasinconsistências que podem ser inseridas durante o processo de tradução [8, 91, 101].

Objetivando manter o instrumento traduzido o mais equivalente possível aooriginal, o processo de tradução foi conduzido de acordo com sólidas metodologiasinternacionais de tradução composto pelos cinco passos demonstrados na Figura 4.1 edescritos a seguir [8, 101]:

1. Tradução Independente do Inglês para o Português: a versão original emInglês do instrumento (OI) foi traduzida por dois tradutores bilíngues (T1) e (T2) deforma independente. O tradutor T1 era um tradutor informado, isso significa que elepossuía familiaridade com as teorias fundamentais do instrumento bem como com oseu objetivo. O tradutor T2 era um tradutor não informado, significando que ele nãopossuía familiaridade com o instrumento, seu objetivo nem suas teorias fundamentais.


Os resultados desse passo são duas versões distintas traduzidas para o Português (V1) e(V2).

2. Revisão por Terceiro: as versões V1 e V2 foram então revisadas por umaterceira pessoa bilingue (T3), graduada e mestranda em Letras Inglês. As versões V1 eV2 foram comparadas entre si e com a versão original OI. As inconsistências e dúvidasencontradas foram anotadas em cada tradução para posterior discussão no passo seguinte.Os resultados desse passo são duas versões distintas do questionário revisadas e anotadas(VRA1) e (VRA2).

3. Revisão por Grupo e Alinhamento: as versões anteriores anotadas VRA1e VRA2 foram revisadas por um grupo contendo as seguintes pessoas: os tradutoresindependentes T1 e T2, a revisora especialista T3, e o orientador dessa pesquisa. Asdivergências de tradução foram discutidas e resolvidas em consenso do grupo, gerandoa versão candidata alinhada (C).

4. Experimentação Piloto da Tradução: a versão candidata C foi entãoministrada a um pequeno grupo de voluntários, de forma anônima, com o objetivo deverificar inconsistências de tradução e aplicação. Tratava-se de um grupo heterogêneo,composto por 25 indivíduos, com idades variando de 22-57 anos, de diferentes níveisde escolaridade (não graduados, graduados, pós-graduandos e pós-graduados). O tempopara responder o questionário não foi limitado, no entanto, foi solicitado aos voluntáriosque anotassem a hora que iniciaram e terminaram de responder no exame para que otempo gasto fosse medido. A informação de quanto tempo cada pessoa gastou no testepiloto foi utilizada para calibrar a quantidade de tempo disponibilizada para os indivíduosresponderem nas aplicações subsequentes.

Os indivíduos foram questionados sobre a terminologia utilizada no exame,se houve alguma dificuldade com os termos ou com o entendimento sobre o que eraperguntado em cada questão. As dúvidas nesses quesitos foram levantadas e anotadaspara serem sanadas no passo final do processo de produção da tradução.

5. Revisão Final e Versionamento: as opiniões do grupo piloto foram avaliadase a partir delas a versão final (F) foi gerada. Essa versão final do ERC é a que foiaplicada aos discentes dos cursos de computação (Sistemas de Informação, Ciências daComputação e Engenharia de Software).

A versão final do questionário em Português encontra-se no Apêndice B. A pe-dido do professor Lawson, não disponibilizamos neste trabalho as respostas do LCTSR.

CAPÍTULO 5Aplicações do Exame e Análises dos Resultados

Este capítulo descreve os grupos em que o Exame do Raciocínio Científico - ERCfoi aplicado. Os atributos qualitativos e quantitativos de cada grupo são apresentados,assim como as técnicas utilizadas sobre os dados para se obter os resultados.

5.1 Grupos de Aplicação

Após concluído o processo de tradução, a versão final do ERC foi ministrada a210 indivíduos pertencentes a 7 grupos distintos. Desses indivíduos, 187 são estudantesdos cursos de computação da Universidade Federal de Goiás no ano de 2014 e os outros23 pertencem a um grupo especial cujo a finalidade é discutida a posteriori. Os estudantesdos cursos de computação foram agrupados da seguinte forma:

1. Engenharia de Software Primeiro Semestre (ESP);2. Engenharia de Software Último Semestre (ESU);3. Ciências da Computação Primeiro Semestre (CCP);4. Ciências da Computação Último Semestre (CCU);5. Sistemas de Informação Primeiro Semestre (SIP);6. Sistemas de Informação Último Semestre (SIU);

O sétimo grupo foi denominado “Grupo Excepcional (GE)” e trata-se de umgrupo heterogêneo, formado por indivíduos não graduados, graduados e pós-graduados.Os participantes desse grupo não faziam parte dos outros grupos dos cursos de compu-tação. Pertencentes a esse grupo estão pessoas que são popularmente conhecidas por sedestacarem quando comparadas aos seus colegas. Exemplos desse destaque são pessoasque possuem as maiores notas dentre os seus colegas de classe, ocupam uma posição detrabalho altamente disputada ou são conhecidas pelos seus colegas como a “mais inteli-gente”. A Tabela 5.1 apresenta algumas informações de cada um desses grupos.

Os exames foram ministrados durante os períodos regulares de aulas. O admi-nistrador do teste apresentou-se na frente da sala e explicou os objetivos da pesquisa.

5.2 Resultados e Análises Estatísticas dos Dados 53

Tabela 5.1: Caracterização de cada grupo.

Grupo Indivíduos Idade (anos) Idade Média (anos) Homens MulheresESP 38 17-34 18,8 37 1ESU 35 20-33 22,3 34 1CCP 42 17-25 19,0 38 4CCU 26 20-25 21,7 23 3SIP 34 17-36 22,4 28 6SIU 12 21-28 22,7 11 1GE 23 22-32 25,5 23 0

Após isso, foram distribuídos os questionários do ERC aos estudantes, os quais tiveram50 minutos para respondê-lo.

Durante a aplicação, se algum dos estudantes apresentasse dúvidas sobre o queera perguntado em uma determinada questão, o administrador do exame respondia essadúvida de modo que todos os examinados pudessem ouvir a resposta, de acordo comrecomendações do manual do exame. Demais dúvidas sobre detalhes das questões doexame não eram discutidas. Os estudantes responderam os exames individualmente, semconsulta, discussão ou compartilhamento das respostas com os colegas de sala. Poucosestudantes não responderam o exame dentro do tempo determinado.

Os acertos foram pontuados no formato single score seguindo as recomendaçõesdo Professor Lawson, autor do exame. Isso significa que para cada resposta ou justificativacorreta um ponto foi atribuído, variando de um mínimo de 0 a um máximo de 24 pontos.De acordo com as características do exame e do sistema de pontuação, quanto mais alta apontuação, maiores seriam as habilidades dos indivíduos quanto ao raciocínio científico.Consequentemente, maior o seu nível cognitivo segundo essa escala.

5.2 Resultados e Análises Estatísticas dos Dados

A aplicação de um questionário em sete grupos diferentes permite a utilizaçãode diversas abordagens e técnicas de análise. Por exemplo, os resultados podem ser obti-dos analisando-se todas as respostas, as respostas de algum grupo (como um conjunto),observando-se as diferenças entre grupos, ou ainda considerando-se as respostas indivi-dualmente.

Nas próximas subseções são apresentados resultados considerados importantespara os objetivos desse trabalho. A preferência por métodos estatísticos não paramétricosse justifica devido, dentre outras razões, ao seu apoio em poucas suposições, o que ostornam mais robustos e relativamente insensíveis aos outliers [41]. A Tabela 5.2 apresentaa estatística descritiva para cada um dos grupos.


Tabela 5.2: Estatística descritiva das pontuações no ERC.

Grupo Mínimo 1◦ Quartil Média Mediana 3◦ Quartil MáximoESP 6,0 14,3 17,5 16,9 19,8 23,0ESU 9,0 15,0 18,0 17,1 19,0 23,0CCP 7,0 13,0 17,5 16,2 19,0 23,0CCU 9,0 14,0 17,0 16,3 19,0 21,0SIP 6,0 10,0 17,0 13,7 17,0 22,0SIU 7,0 14,5 17,5 16,8 19,3 23,0GE 15,5 19,0 20,0 20,3 22,5 24,0

5.2.1 O Grupo Excepcional

Como mencionado anteriormente, o grupo excepcional é formado por pessoasconhecidas pelos seus colegas como as “mais inteligentes” de alguma forma. A necessi-dade de um grupo como esse na pesquisa possui dois objetivos. O primeiro é verificar seos membros desse grupo obteriam mais facilmente a pontuação máxima no ERC. Se issotivesse ocorrido, apesar de o questionário ter sua validade já verificada tanto pelo autorcomo em outros trabalhos, o uso desse exame deveria ser descartado para o nosso caso.

Os resultados demonstram que apesar de 47,8% desse grupo ser identificadocomo pós-formal e 52,2% como formal operacional, apenas 2 dos 23 participantes alcan-çaram a pontuação máxima de 24 pontos. Além disso, todos os participantes reportaramque apesar de as questões serem claramente definidas e fáceis de se entender, elas nãoforam fáceis de serem resolvidas.

O segundo objetivo do grupo excepcional é funcionar como uma referência paraverificar se o teste é capaz de diferenciar grupos de estudantes. Em outras palavras, essegrupo é utilizado para verificar se o exame é sensível o suficiente para distinguir os gruposem relação aos seus níveis cognitivos.

5.2.2 Primeiros Semestres X Últimos Semestres

A comparação entre grupos de discentes do primeiro e último semestre deum mesmo curso possibilita verificar se, em média (como um grupo), é possível notarmudanças nas habilidades cognitivas dos estudantes durante o curso. A hipótese básicaé que, mesmo como um grupo, os estudantes deveriam desenvolver (adquirir, melhorar)suas habilidades cognitivas conforme cursam uma graduação.

Comparando as respostas dos grupos de primeiro e último semestre do cursode Engenharia de Software, utilizando a técnica “Wilcoxon-Mann-Whitney Test (WMW)”,foi obtido um valor p = 0,5748 (W=679), bem acima do valor tradicional de p < 0,05[41]. Dessa forma, pode-se considerar que os dois grupos pertencem à mesma população.Portanto, quando comparados esses dois grupos, não foi possível obter indícios de que


houve mudança nas habilidades cognitivas dos estudantes durante o curso de Engenhariade Software. A porcentagem de indivíduos em cada nível cognitivo proposto por Lawsonna respectiva ordem (ESP, ESU) está a seguir: (22%, 20%) pós-formal, (56%, 57%) formaloperacional e (22%, 23%) transicional.

A mesma conclusão pode ser obtida a partir dos resultados do curso de Ciênciasda Computação. Ao comparar as respostas dos grupos de primeiro e último semestredesse curso, foi obtido um valor p = 0,6442 (W = 679) e uma distribuição, de acordo coma ordem (CCP, CCU): (20%, 15%) pós-formal, (48%, 55%) formal operacional e (33%,30%) transicional.

Para o curso de Sistemas de Informação, o grupo de discentes do primeirosemestre demonstrou uma porcentagem menor de indivíduos no nível pós-formal, apenas4%. Mas ainda assim foi alcançado um valor p > 0,05, com p = 0.0856 (W = 91)quando comparado aos resultados dos discentes do último semestre do mesmo curso.Esses resultados podem ser parcialmente explicados pelo horário em que o exame foiministrado aos discentes do primeiro semestre, imediatamente após uma aula que teveuma hora de duração. De forma diferente, para os outros grupos, o ERC foi aplicado comoa primeira atividade da jornada acadêmica diária, no início da primeira aula. Portanto,é importante estar atento à forma com que o exame é ministrado (voluntariamente, emum ambiente confortável e tranquilo), o momento (preferencialmente como a primeiraatividade acadêmica da aula) e a duração (limitada, mas suficiente para evitar estresse). Adistribuição desses dois grupos na respectiva ordem (SIP, SIU), está a seguir: (4%, 18%)pós-formal, (62%, 64%) formal operacional e (35%, 18%) transicional.

Surpreendentemente, ao contrário do senso comum, os resultados da aplicaçãodo ERC não permitem afirmar que os grupos de discentes do primeiro e último semestrede qualquer um dos cursos avaliados demonstram diferenças significativas em relação àssuas habilidades cognitivas.

5.2.3 Cursos de Computação

Nesta seção são apresentadas as comparações entre os três cursos de graduação:Engenharia de Software, Ciências da Computação e Sistemas de Informação. Ao secomparar os grupos de discentes do primeiro semestre, a intenção é verificar se discentesque escolhem diferentes cursos possuem diferentes níveis cognitivos. Ao se comparar osgrupos de discentes do último semestre, procura-se investigar em quais níveis cognitivos,em média, cada curso entrega para a sociedade seus novos profissionais.

Para realizar essas comparações, foi utilizado o “Kruskal-Wallis Test (KW)” [41].Por meio dessa técnica é possível avaliar se as distribuições das populações estudadassão idênticas, sem assumir que elas seguem a distribuição normal. Se o valor de p é


menor que 0,05 pode-se afirmar que as amostras são independentes, originando-se entãode populações não relacionadas.

Comparando os resultados do ERC dos grupos de estudantes de primeiro semes-tre (ESP, CCP e SIP) foi obtido o valor p = 0,0957 (KW chi-squared = 4,6937; df = 2).A Figura 5.1 mostra o boxplot desses três grupos. Claramente, o grupo de estudantes doprimeiro semestre de sistemas de informação é responsável pelo baixo valor de p. Apesardisso, não é possível afirmar que diferenças significativas foram encontradas nas popula-ções em relação às suas habilidades cognitivas.

Para os estudantes do último semestre dos três cursos (ESU, CCU e SIU) foiobtido o valor p = 0,5360 (KW chi-squared = 1,2473; df = 2). Portanto, não é possívelafirmar que os estudantes de último semestre, como um grupo, estão concluindo suasgraduações com diferenças em suas habilidades cognitivas em função de seus cursos. AFigura 5.2 apresenta o boxplot dos três grupos.

Figura 5.1: Comparação dos grupos de estudantes do primeirosemestre.


Figura 5.2: Comparação dos grupos de estudantes do último se-mestre.

5.2.4 Grupo Excepcional X Últimos Semestres

Até aqui, não foi possível afirmar que os estudantes de primeiros e últimossemestres pertencem a populações não relacionadas (distintas). Além disso, os resultadosnão revelaram diferenças cognitivas entre os estudantes de diferentes cursos. Com basenesses resultados, é razoável questionar se a abordagem de tratar os estudantes como umgrupo não é inadequada.

No entanto, a comparação dos indivíduos do grupo excepcional com os estudan-tes do último semestre dos três cursos (ESU, CCU e SIU) demonstra que, como um grupo,os indivíduos do GE pertencem a uma população diferente, com um valor p = 0,0007 (KWchi-squared = 16,9068; df = 3). Em uma entrevista com os membros do grupo excepcional,foi possível evidenciar que a maioria deles possui uma história de vida com um interesseparticular por jogos de raciocínio lógico e se sentem desafiados por novos conhecimentos.

5.2.5 Padrões Encontrados nas Respostas (Acertos/Erros)

A partir da análise dos erros de cada grupo pesquisado, é possível verificar aexistência de um padrão comum a todos os grupos. A Figura 5.3 apresenta a frequênciarelativa de respostas erradas (fr) fornecidas por dois grupos (ESP e ESU) em cada questão.A fr é calculada pela relação entre a quantidade de erros total da questão pelo númerode participantes no questionário (em porcentagem). Como detalhado no Capítulo 4, oERC consiste em uma sequência de questões em qual cada questão ou grupo de questões


examina algum tipo de habilidade cognitiva, assim, baseado no perfil da fr é possívelverificar em quais habilidades cognitivas o grupo pesquisado possui maiores deficiências.

Os resultados evidenciam um padrão entre os erros nos pares de questão 11-12e 13-14. Surpreendentemente, o mesmo padrão é também encontrado nos resultados detodos os grupos pesquisados, incluindo o grupo excepcional. Esse padrão é destacado naFigura 5.4 para o grupo excepcional.

Objetivando confirmar o relacionamento inesperado dos perfis das frs entre osgrupos pesquisados, foram computados os “Spearman Rank Correlation Coefficient (src)”entre todos os grupos de resultados [41]. A Tabela 5.3 apresenta os valores do src paracada par. É importante notar que todos os valores da tabela são maiores que o valor dereferência do src = 0,642, para um alpha < 0,0005 (ou 99.9995% de confiança) e n = 24.Em outras palavras, esses resultados revelam uma sequência de erro comum dos grupos.

Baseado na complexidade das habilidades cognitivas medidas em cada questão,era esperado que a fr aumentaria de acordo com o número da questão [43, 68]. Issoporque o exame é organizado de forma que quanto maior o número da questão, maiorseria sua complexidade para ser resolvida, exigindo do indivíduo padrões mais complexosde raciocínio. Em outras palavras, a fr dos últimos itens deveria seria maior que a fr dosprimeiros itens.

Analisando as habilidades cognitivas identificadas pelos pares de questão 11-12 e13-14, de acordo com Lawson [43, 68], é possível verificar que ambos os pares de questãose propõem a medir o padrão “Identificação e Controle de Variáveis com RaciocínioProbabilístico”, detalhado no Capítulo 4. Apesar de cada uma dessas habilidades teremsido medidas separadamente pelos pares de questão 9-10, 15-16 e 17-18, aparentementenão se mostraram tão desafiadoras para a maioria dos grupos (isso é confirmado pela baixafr). As dificuldades com esse tipo de padrão de raciocínio não são somente locais, Han[39], em sua revisão sobre esse padrão, explica que existem indícios dessa dificuldadeem discentes e professores universitários em outros países. Assim, os resultados sugeremque a necessidade de uso dessas duas habilidades ao mesmo tempo se mostrou de algumaforma um grande desafio para os estudantes dos cursos pesquisados.

A partir desses resultados, pretende-se desenvolver materiais educacionais deforma a realizar uma “intervenção cognitiva”. Com essa intervenção, objetiva-se auxi-liar os estudantes a desenvolver suas habilidades cognitivas, especialmente as relativas aopadrão identificado. Os autores estão cientes da não trivialidade desse objetivo, mas Law-son et al. [68] apresentam resultados encorajadores nos quais as intervenções alcançaramdesenvolvimentos estatisticamente significativos em um curto período de tempo.


Figura 5.3: Frequência relativa de respostas erradas de Engenha-ria de Software (ESP x ESU).

Figura 5.4: Frequência relativa de respostas erradas do GrupoExcepcional.

5.3 Análise dos Dados com Redes Complexas 60

Tabela 5.3: Coeficientes de correlação Spearman.

CCP CCU ESP ESU SIP SIUGE 0,797 0,879 0,848 0,933 0,789 0,775

CCP - 0,882 0,815 0,768 0,698 0,686CCU - - 0,861 0,862 0,866 0,794ESP - - - 0,873 0,925 0,891ESU - - - - 0,819 0,854SIP - - - - - 0,857

5.3 Análise dos Dados com Redes Complexas

Uma vez que um dos trabalhos futuros da atual pesquisa é a proposta deintervenções objetivando o desenvolvimento dos padrões de raciocínio nos estudantes, eranecessário a escolha, aplicação e avaliação de um instrumento de medida desses padrões.Os resultados discutidos nas seções anteriores apoiam a adequação do ERC para esse fim.Acreditamos que é possível o desenvolvimento de estratégias para alcançar o objetivode desenvolver ou aprimorar os padrões de raciocínio segundo o modelo difundido porLawson et al. [64, 66, 68, 71].

Apesar de reconhecer que os padrões de raciocínio são apenas abstrações (mode-lagem) de um sistema (raciocínio) e portanto, constituído de partes interagentes e interde-pendentes de difícil separação ou discernimento, a escala de classificação dos resultadosde Lawson pressupõe um crescimento dos erros com o número da questão do questioná-rio. Entretanto, a obtenção de um “padrão” nos erros presentes em todos os grupos e ofato do crescimento dos erros ser diferente do naturalmente esperado em relação a classi-ficação de Lawson reforçam a hipótese de falha ou ausência de determinados padrões deraciocínio que podem significar severos limitantes no aprendizado de novos conteúdos,em especial, os necessários para a computação.

Ao se desenvolver uma intervenção, a estratégia mais simples para priorizar ospadrões de raciocínio seria escolher as questões que ofereceram maior dificuldade (maiornúmero de erros) e propor conteúdos para trabalhar os padrões correspondentes dessasquestões. Porém, ao lidar com os erros mais cometidos, os discentes classificados nosmaiores níveis seriam os mais favorecidos em uma intervenção, uma vez que eles tam-bém teriam cometido esses erros. Assim, uma outra estratégia mais efetiva para atingir osdiscentes que possuem maiores dificuldades seria a intervenção baseada em questões quenão possuem uma alta frequência de erros, mas que exercem alta influência no desem-penho do grupo. Ao intervir primeiramente nesses padrões de raciocínio, seria possívelelevar o nível cognitivo do grupo como um todo, proporcionando maior embasamento econfiança para intervenções nos padrões com maior frequência de erros.


Nesta seção são discutidos os resultados obtidos com a intenção de verificar seos erros cometidos pelos estudantes possuem relacionamentos entre si. Nesse sentido,acredita-se que a aplicação do ERC e sua análise podem não apenas classificar osestudantes e revelar os erros mais frequentes, mas principalmente guiar a definição deestratégias mais efetivas para intervenções.

A modelagem do dados com redes complexas é amplamente utilizada em di-versos contextos, principalmente para se investigar relacionamentos. Por meio das ca-racterísticas topológicas da rede e de suas técnicas, é possível evidenciar informaçõese, principalmente, relacionamentos que dificilmente seriam identificados de outra forma[2, 12, 83, 107].

Assim, essa modelagem foi utilizada não apenas para verificar se as indicaçõespreviamente observadas são, de alguma forma, corroboradas, mas também para exploraras diversas relações entre as questões do ERC.

A análise de redes complexas foi realizada por meio dos seguintes passos:

1. Modelagem dos dados em uma rede;2. Execução dos experimentos;3. Análise dos resultados.

5.3.1 Modelagem

As questões e as respostas dos discentes do ERC podem ser modeladas em umgrafo bipartido com arestas ponderadas [12, 105]. Da mesma forma que para a análiseestatística, é possível se trabalhar com diversos níveis de granularidade dos dados. Assim,as respostas foram analisadas em diversas formas de agrupamento.

De uma forma simplificada, uma rede ou grafo é um modelo (representação domundo real) formado por dois conjuntos V e A, onde V é o conjunto de vértices ou nós, eA é conjunto formado pelas arestas, que representam as ligações (relacionamentos) entreos vértices [12, 83, 105]. Para criar a rede, cada uma das 24 questões do questionáriofoi modelada como um vértice e os erros dos discentes como arestas. O processo deconstrução é exemplificado na Figura 5.5.

Um vértice foi relacionado a outro por meio dos erros de uma pessoa em ambasas questões. Por exemplo, se o discente João errou as questões 2, 3, 5 e 6, isso significaque existirá um relacionamento (aresta) por causa do João para cada par de questões(2,3), (2,5), (2,6); (3,5), (3,6); (5,6). Como o grafo é não direcionado, as arestas (2,3) e(3,2) possuem o mesmo significado. Supondo que João foi o primeiro discente a errar asquestões 2 e 3, então o peso da aresta entre 2 e 3 recebe o valor 1. Ao contabilizar oserros do próximo discente, Maria, e identificar que ela também errou as questões 2 e 3, opeso da aresta de 2 para 3 é incrementado em uma unidade, assumindo agora o valor 2, e


assim sucessivamente. Dessa forma, o peso de cada aresta desse grafo significa o númerode discentes que errou simultaneamente as duas questões ligadas por essa aresta.

O Gephi [38] foi a ferramenta escolhida para lidar com as redes. Optou-se porele devido a sua flexibilidade e robustez, pois além de permitir as visualizações da rede eo passo a passo da execução dos algoritmos, é um dos raros programas que possibilita ainteração com os parâmetros do grafo em tempo de execução.

Um programa na linguagem Java foi criado para mapear as respostas de todos osgrupos do ERC em um arquivo no formato compatível com o Gephi. O resultado desseprocesso foi uma lista de arestas em um arquivo no formato que o Gephi utiliza, uma paracada grupo de discentes (ESP, ESU, CCP, CCU, SIP e SIU). Por meio dessa modelagem,de técnicas específicas e propriedades intrínsecas do modelo, foi possível observar novoscomportamentos dos dados obtidos pelo ERC.

Figura 5.5: Exemplo de mapeamento do grafo bipartido dos errosnas questões do ERC para uma rede. A aresta dografo à direita com os nomes dos discentes demonstraa aresta de peso 2, exemplificando o acréscimo depeso que as arestas sofrem a cada discente que errao mesma dupla de questões.

1

2

3

Questões ERC

Indivíduos

4

5

.

.

.

6

João

Maria

2

3

João, Maria

4 5

6

Erros de João nas questões: 2, 3, 5 e 6Se tornam arestas: (2,3), (2,5), (2,6); (3,5), (3,6); (5,6)

Erros de Maria nas questões 2, 3Incrementam a aresta: (2,3)

.

.

.

1

Rede Mapeada


5.3.2 Execução dos Experimentos

Após importar no Gephi o arquivo resultante do passo anterior, foram executa-dos algoritmos sobre a rede de forma a explorar novas informações. Procurou-se explorarcomo as questões poderiam ser agrupadas, se o padrão evidenciado pelos métodos estatís-ticos (11-12, 13,14) seria confirmado e também se haveria quaisquer outras propriedadesque não foram detectadas anteriormente. Optou-se pela seguinte abordagem, iterativa-mente:

1. Distribuição Inicial Aleatória: um grafo pode ser representado graficamentepor diversas topologias. Aleatorizar a distribuição inicial da rede é uma forma de evitarviés e testar as influências que diferentes distribuições iniciais podem exercer sobre osalgoritmos. Assim, o primeiro passo realizado foi realizar uma distribuição aleatória paracriar um layout inicial.

2. Execução do ForceAtlas2: “ForceAtlas2” é um algoritmo direcionado porforças que simula um sistema físico para criar a representação visual da rede. Os vérticesrepelem uns aos outros como partículas carregadas enquanto as arestas atraem seus nóscomo molas [11, 47]. Ele foi executado no grafo anteriormente aleatorizado. Por setratar de um algoritmo contínuo, o ForceAtlas2 não finaliza sua execução a não ser queo usuário o interrompa. Assim, a rede pode não convergir a um estado de equilíbrio.Portanto, é necessário a identificação da combinação adequada de ajustes dos parâmetrosdo algoritmo para que essa convergência ocorra de modo a encontrar uma distribuiçãorelativamente estável.

Ao testar possíveis combinações de ajustes desses parâmetros, baseando-se naspropriedades do ForceAtlas2 [47], optou-se pelos valores apresentados na Tabela 5.4.

Tabela 5.4: Conjunto de parâmetros utilizados no algoritmoForceAtlas2 [47] para todas as redes.

Parâmetros ForceAtlas2Tolerância (velocidade) 0.1

Aproximar repulsão false

Aproximação 1.2

Número de threads 2

Dissuadir hubs true

Evitar sobreposição true

Influência peso das arestas 1.0

Dimensionamento 10.0

Gravidade mais forte false

Gravidade 1.0


Após identificar esses ajustes, o ForceAtlas2 foi executado diversas vezes a partirde uma nova distribuição inicial aleatória para verificar a repetibilidade da distribuiçãofinal.

3. Detecção de Comunidade: para a detecção de comunidades utilizou-se umalgoritmo de otimização da modularidade [11, 47].

A “modularidade” é um valor escalar entre -1 e 1 que mede a densidade dosvértices dentro de uma comunidade em relação aos vértices entre comunidades. Essevalor pode ser usado como uma medida de qualidade de partições (comunidades) obtidaspor diferentes métodos de partição. O algoritmo utilizado possui como função objetivo aotimização da modularidade [11].

A modularidade obtida oscilou entre os valores 0.012, 0.016, 0.014 e 0.018,identificando 2 ou 3 comunidades. Essa oscilação ocorre por se tratar de um algoritmode aproximação (não determinístico). Esses valores revelam uma baixa modularidade emtodas as redes analisadas.

4. Cálculo de Centralidade: centralidade é uma medida de importância quedetermina o quanto um vértice é central em uma determinada rede. Existem diversasformas de calcular esse valor, dentre essas maneiras se destacam: a intermediação (oubetweenness, que significa com que frequência esse vértice desempenha um papel deintermediário quando mensagens são transmitidas através da rede); grau de entrada/saída(habilidade do vértice de se comunicar com outros vértices); proximidade (o quanto essevértice está próximo de outros vértices) [32, 107].

Utilizou-se da intermediação para medir a centralidade nesse estudo por se tratarde uma das medidas mais utilizadas para investigar o papel de atores em redes sociais.Ela pode ser definida como a quantidade de vezes que um vértice i precisa de um vérticek (o qual a intermediação está sendo medida) para alcançar j por meio do menor caminhoentre eles [84].

O vértice intermediário é visto como um controlador de informações que fluementre outros vértices na rede. Assim, quanto mais o vértice analisado está no menorcaminho de dois outros vértices, maior o controle que ele exerce sobre a interação dessesdois vértices não adjacentes. Essa medida assume que toda informação que transitana rede passa sempre pelos menores caminhos [19, 32]. Além da análise para umvértice, a intermediação pode também ser estendida para um grupo, obtendo-se assima intermediação de um determinado grupo de vértices [84].

5.3.3 Análises das Redes

Ao desenhar a rede a partir de todas as respostas do ERC de todos os cursos umainteressante constatação fica evidente: o grafo resultante é completo. Isso significa que


existe pelo menos um indivíduo em algum dos grupos analisados que tenha errado cadaum dos pares de questões. Assim, existe uma ligação entre cada par de vértices para todosos vértices da rede, ou seja, todas as questões estão ligadas umas às outras.

Essa completude faz com que a medida de centralidade (intermediação) sejaigual a zero pois é possível chegar de qualquer vértice da rede até qualquer outro vérticecom apenas um salto, não agregando muita informação em relação à importância (emtermos de intermediação) de cada um desses vértices (questões, padrões) no panorama narede. Assim, optou-se por aprofundar as análises observando-se os grupos por curso. AFigura 5.6 apresenta o desenho dessa rede; os pesos das arestas são omitidos por questãode legibilidade.

Figura 5.6: Rede complexa construída a partir das respostas detodos os grupos no ERC.

A seguir, encontram-se os grafos das redes para cada grupo dos diferentescursos de computação juntamente as tabelas com os valores das intermediações para cadaquestão do ERC nesses grupos. Os vértices com o mesmo valor de intermediação sãorepresentados com cores e tamanhos iguais no desenho da rede. Os pesos das arestas sãoomitidos por questão de legibilidade. São exibidos também gráficos das intermediaçõesem cada um dos grupos e comparações entre os cursos.


Engenharia de Software Primeiro Semestre

Figura 5.7: Rede complexa construída a partir das respostas dogrupo de estudantes do primeiro semestre de Engenha-ria de Software.

Tabela 5.5: Intermediações Engenharia de Software Primeiro Se-mestre.

Intermediação Questões ERC1,2374 7,8; 11,12; 13,14; 19; 20,21; 22,23;

0,9668 3;

0,8399 1;

0,5421 5; 15;

0,4365 6;

0,2697 4;

0,1581 9,10; 16; 17,18;

0 2; 24;


Figura 5.8: Intermediação por questão do ERC dos discentes deEngenharia de Software Primeiro Semestre.

Engenharia de Software Último Semestre

Figura 5.9: Rede complexa construída a partir das respostas dogrupo de estudantes do último semestre de Engenhariade Software.


Tabela 5.6: Intermediações Engenharia de SoftwareÚltimo Semestre.

Intermediação Questões ERC4,2596 5; 13; 19,20; 21,22;

3,8112 23;

2,9691 10;

1,6388 2;

1,1048 7; 11,12; 14; 15;

0,6667 6; 24;

0,4650 16;

0,3302 1;

0,2555 9;

0,1143 8;

0 3,4; 17,18;

Figura 5.10: Intermediação por questão do ERC dos discentes deEngenharia de Software Último Semestre.


Figura 5.11: Intermediações Engenharia de Software Primeiro Se-mestre X Último Semestre.

Ciências da Computação Primeiro Semestre

Figura 5.12: Rede complexa construída a partir das respostas dogrupo de estudantes do primeiro semestre de Ciên-cias da Computação 2014-1.


Tabela 5.7: Intermediações Ciências da Computação Primeiro Se-mestre 2014-1.

Intermediação Questões ERC0,75 3,4; 6; 8; 11,12; 13,14; 15; 17,18; 20; 21,22; 23,24;

0 1,2; 5; 7; 9,10; 16; 19;

Figura 5.13: Intermediações Ciências da Computação PrimeiroSemestre 2014-1.

Metade dos vértices possuem intermediações iguais. Existem apenas dois valoresde intermediação nessa rede. Parece inusitado, mas todos os nós do grupo azul (maioresvértices) possuem o mesmo grau (23). Apesar de os integrantes do outro grupo possuírema mesma intermediação (0), seus graus se diferem em 2 grupos (17 e 21).


Figura 5.14: Rede complexa construída a partir das respostas dogrupo de estudantes do primeiro semestre de Ciên-cias da Computação 2014-2.

Tabela 5.8: Intermediações Ciências da Computação Primeiro Se-mestre 2014-2.

Intermediação Questões ERC0,4042 2; 5,6; 7; 11,12; 13,14; 15; 17,18; 19,20; 21,22; 23;

0,2941 24

0,0476 3,4; 8; 9,10;

0 1; 16;

Figura 5.15: Intermediações Ciências da Computação PrimeiroSemestre 2014-2.


Figura 5.16: Intermediações Ciências da Computação PrimeiroSemestre 2014-1 X 2014-2.

Ciências da Computação Último Semestre

Figura 5.17: Rede complexa construída a partir das respostas dogrupo de estudantes do último semestre de Ciênciasda Computação 2014-2.


Tabela 5.9: Intermediações Ciências da Computação Último Se-mestre.

Intermediação Questões ERC4,5773 4; 12; 14; 15; 20; 23,24;

0,2916 3; 8; 11; 13; 16; 17; 18; 19; 21;

0,1764 9;

0,0526 5,6; 7;

0 1,2; 10; 22;

Figura 5.18: Intermediações Ciências da Computação Último Se-mestre.

Figura 5.19: Intermediações Ciências da Computação Primeiro XÚltimo Semestre.


Sistemas de Informação Primeiro Semestre

Figura 5.20: Rede complexa construída a partir das respostas dogrupo de estudantes do primeiro semestre de Siste-mas de Informação.

Tabela 5.10: Intermediações Sistemas de Informação Primeiro Se-mestre.

Intermediação Questões ERC0,0952 3,4; 5,6; 7,8; 9,10; 11,12; 13,14; 15,16; 17,18; 20; 21,22; 23,24;

0 1,2; 9;

Figura 5.21: Intermediações Sistemas de Informação Primeiro Se-mestre.


Sistemas de Informação Último Semestre

Figura 5.22: Rede complexa construída a partir das respostas dogrupo de estudantes do último semestre de Sistemasde Informação.

Tabela 5.11: Intermediações Sistemas de Informação Último Se-mestre.

Intermediação Questões ERC5,2033 5; 12; 21;

3,7755 11; 22;

3,1250 14;

2,6699 8;

1,5755 20;

1,1521 6; 7; 10; 15; 24;

0,400 23;

0,3076 13;

0 1,2; 3,4; 9; 16; 17,18; 19

Observe, que os vértices 1, 2 e 4 estão desconectados. Isso é explicado pois nessegrupo, nenhum dos discentes errou essas três questões.





Grupo Excepcional

Figura 5.25: Rede complexa construída a partir das respostas dogrupo de Excepcional.

Tabela 5.12: Intermediações Grupo Excepcional.

Intermediação Questões ERC12,6710 19,20;

8,4966 12;

6,3861 8; 22;

5,8735 11;

5,6984 14; 21;

3,5388 18;

2,9361 7; 23;

2,6688 24;

2,0385 6;

0 1,2; 3,4; 5; 9,10; 13; 15,16; 17;


Figura 5.26: Intermediações Grupos Excepcional.

Todos Primeiros Grupos

Figura 5.27: Intermediações Todos Primeiros Grupos.


Todos Últimos Grupos

Figura 5.28: Intermediações Todos Últimos Grupos.

Todos Últimos Grupos e Grupo Especial

Figura 5.29: Intermediações Todos Últimos Grupos.

A intermediação pode ser vista como a medida de importância de um vérticecomo o controlador das informações que fluem entre dois outros vértices na rede. Ela serigual a zero para um determinado vértice significa que esse vértice não ocupa um lugar dedestaque em muitos caminhos da rede. Em outras palavras, dados dois quaisquer vérticesnão adjacentes que estejam ligados a essas questões, há sempre um menor caminho entre


eles que não passa por essas questões. Observe que a implementação da intermediação doGephi não leva em consideração o peso das arestas [37].

É possível observar que as redes resultantes de cada grupo são diferentes. Essasdiferenças indicam a necessidade de focar-se em diferentes padrões de raciocínio nomomento da intervenção para cada um desses grupos. Assim, além do padrão 11, 12,13 e 14 comum a todos os grupos, que se trata das questões mais erradas, uma estratégiade intervenção mais efetiva seria trabalhar os padrões das questões que possuem maioresintermediações.

Segundo a organização hierárquica do ERC, as duplas de questões 21-22 e 23-24devem possuir maior complexidade de resolução, exigindo do discente o uso do padrãode raciocínio hipotético dedutivo para lidar com a geração e teste de hipóteses envolvendoentidades não diretamente observáveis. Nesse sentido, além de ser esperado que a maiorquantidade de erros dos grupos fossem nessas questões, nos modelos das redes de cadagrupo esperava-se que essas questões figurassem como as mais importantes em termos deintermediação. Porém, tanto a análise estatística quanto a modelagem em redes demonstraum perfil diferente da curva ascendente esperada, no qual as questões que não são as finaisfiguram como as de maior destaque.

Para o desenvolvimento de intervenções cognitivas sugere-se que sejam consi-deradas duas indicações de importância para se decidir em quais padrões de raciocínio aintervenção deve ser focada: a frequência relativa dos erros em cada questão; e a inter-mediação de cada questão. Assim, uma intervenção cognitiva pode ser desenvolvida paratrabalhar os padrões indicados por essas duas formas análise.

CAPÍTULO 6Conclusão e Trabalhos Futuros

Lawson [65, 66] elucida as diferenças entre conhecimento declarativo e conhe-cimento procedimental:

“A palavra aprendizado é comumente utilizada aliada a aquisição de conheci-mento declarativo ... o raciocínio científico consiste em um padrão geral de raciocínio,o qual pode ser caracterizado como hipotético-dedutivo, assim como composto por di-versos subpadrões. O próprio processo de geração e teste de ideias resulta não apenasna construção de ideias que funcionam (i.e. o aprendizado de conhecimento declarativoútil) mas também em habilidade melhoradas do aprendizado (i.e. o desenvolvimento doconhecimento procedimental). Assim, para ensinar de forma mais efetiva, os professoresdeveriam permitir aos seus discentes a participar no processo de geração e teste de ideias,porque assim, permitiriam aos discentes não apenas a construção de conhecimento útildeclarativo mas também o desenvolvimento das habilidades de como aprender”.

O primeiro passo na direção de desenvolver estratégias para melhorar os proces-sos de ensino e aprendizagem é a identificação de instrumentos para medida dos processoscognitivos com uma sólida teoria de base. Espera-se ser possível não só identificar, carac-terizar e aferir os processos cognitivos (padrões, estágios e níveis), mas também oferecerabordagens factíveis para adquiri-los e desenvolvê-los. Com isso, espera-se reduzir a dis-tância entre o nível cognitivo real dos discentes e o demandado pelos cursos, aumentandoconsequentemente o sucesso dos estudantes neles.

No decorrer desse trabalho, foram identificados inúmeros métodos, criadosatravés dos anos em diversos países e línguas. Como cada um deles se declara comoa melhor alternativa para esse tipo de medição, houve a necessidade de analisá-lossistematicamente, e aplicar critérios para auxiliar na decisão de qual a melhor opçãosegundo os objetivos da pesquisa.

Entre os diversos métodos revistos, os instrumentos “Arlin Test of Formal

Reasoning - ATFR”, “Bond’s Logical Operations Test - BLOT” e “Lawson Classroom

Test of Scientific Reasoning - LCTSR” demonstraram ser fortes candidatos. Apesar dostestes ATFR e BLOT serem fortes candidatos, o instrumento LCTSR possui vantagens emcomparação a esses. Algumas dessas vantagens são ampla aplicação em diversas culturas

82

e, principalmente, a inclusão das evoluções e atualizações da teoria cognitiva desde a suacriação. Dessa forma, esse exame foi selecionado para ser o primeiro a ser traduzido eutilizado para a identificação dos níveis de desenvolvimento cognitivo dos discentes.

Após autorizado pelo autor, a versão traduzida desenvolvida foi denominada“Exame do Raciocínio Científico - ERC”. A versão traduzida do LCTSR foi entãoministrada para os discentes dos cursos de computação da Universidade Federal de Goiás:Engenharia de Software, Ciências da Computação e Sistemas de Informação.

O ERC também foi aplicado a um grupo especial (o Grupo Excepcional 5.2.1)para se verificar a qualidade de sua escala e se ele seria sensível o suficiente para distinguiros grupos de estudantes. O questionário e sua tradução demonstraram ser válidos paraos objetivos da pesquisa, oferecendo uma excelente opção para a comunidade científicaque pretende desenvolver formas de melhoria dos processos de ensino e aprendizagempautadas na observação dos níveis cognitivos dos discentes.

Os resultados foram extremamente encorajadores, proporcionando muito maisdo que apenas classificação dos estudantes em níveis segundo suas habilidades cognitivos.Eles permitiram que as hipóteses de trabalho fossem testadas, como a variação dashabilidades cognitivas entre os cursos, a existência de diferenças entre os calouros eveteranos de um mesmo curso e entre cursos.

Baseando-se nos resultados encontrados, não se pode afirmar que existem dife-renças cognitivas entre os estudantes de primeiro e último semestre de um mesmo curso,nem entre cursos. No entanto, diferenças foram encontradas entre esses discentes e ogrupo de referência, sinalizando que o instrumento é capaz de identificar diferenças entregrupos. Os resultados também indicaram quais as habilidades cognitivas necessitam maioratenção ao se realizar uma intervenção, de modo a aumentar a eficiência nos processos deensino e aprendizagem.

Apesar de reconhecer que os padrões de raciocínio são apenas abstrações (mo-delagem) de um sistema (raciocínio) e portanto, constituído de partes interagentes e in-terdependentes de difícil separação ou discernimento, a obtenção de um “padrão” noserros presentes em todos os grupos e o fato do crescimento dos erros ser diferente donaturalmente esperado em relação a classificação de Lawson, reforçam a hipótese de au-sência de determinados padrões de raciocínio que podem significar severos limitantes noaprendizado de novos conteúdos.

O desenvolvimento dos padrões de raciocínio é de suma importância para pos-sibilitar que os estudantes lidem com questões abertas do mundo real em suas carreirasfuturas. Essas habilidades podem ser desenvolvidas através de treinamento e podem sertransferidas. O treinamento nesses padrões pode ainda causar impacto de longa duraçãono desempenho acadêmico dos estudantes [5].

Para o desenvolvimento de intervenções cognitivas sugere-se que sejam consi-

83

deradas duas indicações de importância para se decidir em quais padrões de raciocínioa intervenção deve ser focada: 1. a frequência relativa dos erros em cada questão; 2. aintermediação de cada questão. Assim, uma intervenção cognitiva pode ser desenvolvidapara trabalhar os padrões indicados por essas duas formas análise.

O caráter único da presente pesquisa se apresenta em duas vias: 1. a primeiraversão em Português Brasileiro autorizada pelo autor do LCTSR; 2. os primeiros dados eresultados provindos da aplicação desse teste em nosso país.

Os passos futuros sugeridos em relação à melhoria dos processos de ensinoe aprendizagem nos cursos descritos nessa pesquisa são a expansão da aplicação doERC, monitoria dos estudantes examinados pelo decorrer de cada curso e proposiçõesde intervenções cognitivas baseadas nas formas de análise comentadas.

Além desses, outras possibilidades são a tradução e aplicação dos outros doismétodos identificados como fortes candidatos para aplicação na Universidade (ATFR eBLOT). Com base na aplicação desses outros exames seria possível realizar a comparaçãodos resultados obtidos por meio desses métodos com os resultados obtidos por meio doERC.

Referências Bibliográficas

[1] ADI, H.; KARPLUS, R.; LAWSON, A.; PULOS, S. Intellectual development beyond

elementary school vi: Correlational reasoning. School Science and Mathema-

tics, 78(8):675–683, 1978.

[2] ANTIQUEIRA, L.; NUNES, M.; OLIVEIRA JR, O.; COSTA, L. D. F. Modelando textos

como redes complexas. In: Anais do III Workshop em Tecnologia da Informação

e da Linguagem Humana, p. 22–26, 2005.

[3] ARLIN, P. K. A multitrait-multimethod validity study of a test of formal reaso-

ning. Educational and Psychological Measurement, 42(4):1077–1088, 1982.

[4] ATES, S.; CATALOGLU, E. The effects of students’ reasoning abilities on con-

ceptual understandings and problem-solving skills in introductory mechanics.

European Journal of Physics, 28(6):1161, 2007.

[5] BAO, L.; CAI, T.; KOENIG, K.; FANG, K.; HAN, J.; WANG, J.; LIU, Q.; DING, L.;

CUI, L.; LUO, Y.; WANG, Y.; LI, L.; WU, N. Learning and scientific reasoning.

Science, 323(5914):586–587, 2009.

[6] BARROWS, H. S. Problem-based learning in medicine and beyond: A brief

overview. New Directions for Teaching and Learning, 1996(68):3–12, 1996.

[7] BART, W. M. Construction and validation of formal reasoning instruments.

Psychological Reports, 30(2):663–670, 1972.

[8] BEATON, D. E.; BOMBARDIER, C.; GUILLEMIN, F.; FERRAZ, M. B. Guidelines for

the process of cross-cultural adaptation of self-report measures. Spine, 25(24),

2000.

[9] BERGIN, S.; REILLY, R. Programming: Factors that influence success. In:

Proceedings of the 36th SIGCSE Technical Symposium on Computer Science

Education, SIGCSE ’05, p. 411–415, New York, NY, USA, 2005. ACM.

[10] BJORKLUND, D. F. Children’s Thinking Cognitive Development and Individual

Differences. Wadsworth: Cengage Learning, Belmont, CA, USA, 5 edition, 2012.


[11] BLONDEL, V. D.; GUILLAUME, J.-L.; LAMBIOTTE, R.; LEFEBVRE, E. Fast unfolding

of communities in large networks. Journal of Statistical Mechanics: Theory and

Experiment, 2008(10):P10008, 2008.

[12] BOCCALETTI, S.; LATORA, V.; MORENO, Y.; CHAVEZ, M.; HWANG, D.-U. Complex

networks: Structure and dynamics. physrep, 424:175–308, Feb. 2006.

[13] BOND, T. G. BLOT: Bond’s logical operations test. Technical report, James Cook

University, Queensland, AustrÃ¡lia, Townsville, Australia., 1976.

[14] BOND, T. G. Piaget and measurement i: The twain really do meet. Archives de

Psychologie, 63(245):71–87, 1995.

[15] BOND, T. G. Piaget and measurement ii: Empirical validation of the piagetian

model. Archives de Psychologie, 63:155–185, 1995.

[16] BOND, T. G.; BUNTING, E. Piaget and measurement iii: Reassessing the

méthode clinique. Archives de Psychologie, 63(247):231–255, 1995.

[17] BOND, T. G.; FOX, C. M. Applying the Rasch model: Fundamental measure-

ment in the human sciences. Psychology Press, 2013.

[18] BOYER, T. W.; LEVINE, S. C.; HUTTENLOCHER, J. Development of proportional

reasoning: Where young children go wrong. Dev Psychol, 44(5):1478–1490, Sep

2008. 18793078[pmid].

[19] BRANDES, U. A faster algorithm for betweenness centrality*. Journal of

Mathematical Sociology, 25(2):163–177, 2001.

[20] BURNEY, G. M.; POPEJOY, W. D. The construction and validation of an objective

formal reasoning instrument. PhD thesis, Division of Arts and Science, University

of Northern Colorado, Division of Arts and Science, University of Northern Colorado,

Greeley, CO., 1974.

[21] BYRNE, J. H. Neuroscience online.

[22] CARLSON, G. R.; STREITBERGER, E. The construction and comparison of three

related tests of formal reasoning. Science Education, 67(1):133–140, 1983.

[23] CARR, A. The Handbook of Child and Adolescent Clinical Psychology: A

Contextual Approach. Taylor & Francis, 2013.

[24] CARTER, K. R. ORMROD, J. E. The social sciences piagetian inventory. Techni-

cal report, Dep. Ed. Psychology, Uni. of Northem Colorado, Greeley, CO, 1983.


[25] COLETTA, V. P.; PHILLIPS, J. A. Interpreting fci scores: Normalized gain,

preinstruction scores, and scientific reasoning ability. American Journal of

Physics, 73(12):1172–1182, 2005.

[26] COLLEGE, O. Conservation of number, mass and weight - ohlone college.

http://www2.ohlone.edu/people/mmcdowell/ecs300/piagetiantasks.

pdf,Último acesso em Novembro de 2015.

[27] COOK, J. L.; COOK, G. Child Development Principles and Perspectives.

Pearson, Boston, USA, 2005.

[28] CROUCH, C.; MAZUR, E. Peer instruction: Ten years of experience and results.

Am. J. Phys., 69(9):970–977, September 2001.

[29] DIGIAMPIETRI, L. A.; PERES, S. M.; NAKANO, F.; ROMAN, N. T.; SILVA, B.;

TEODORO, B.; SILVA-JUNIOR, D. F. P.; PEREIRA, G. V. A.; BORGES, G. O.;

PEREIRA, G. R.; SANTOS, M. V.; BAKLISKY, M.; WAGNER, P. K.; BARROS, V. A.

Complementando o aprendizado em programação: Experiências no curso de

sistemas de informação da usp. In: VIII Simposio Brasileiro de Sistemas de

Informação, SBSI, p. 468–479, São Paulo, Brazil, 2012. Sociedade Brasileira de

Computação, SBC.

[30] ECKSTEIN, S. G.; SHEMESH, M. The rate of acquisition of formal operational

schemata in adolescence: A secondary analysis. Journal of Research in Science

Teaching, 29(5):441–451, 1992.

[31] Endnote x7 desktop software, thomson reuters. software gerenciador de

refêÂrencias.

[32] ESTRADA, E.; HIGHAM, D.; HATANO, N. Communicability betweenness in com-

plex networks. Physica A: Statistical Mechanics and its Applications, 388(5):764–

774, 2009.

[33] FELDER, R. M.; SPURLIN, J. Applications, reliability and validity of the Index of

Learning Styles. International Journal of Engineering Education, 21(1):103–112,

2005.

[34] FELDER, R. M. Index of learning styles (ils).

http://www4.ncsu.edu/unity/lockers/users/f/felder/public/ILSpage.html.

[35] FULLER, R. A Love of Discovery: Science Education - The Second Career

of Robert Karplus. Innovations in Science Education and Technology. Springer

Netherlands, 2002.

http://www2.ohlone.edu/people/mmcdowell/ecs300/piagetiantasks.pdf

http://www2.ohlone.edu/people/mmcdowell/ecs300/piagetiantasks.pdf

http://www4.ncsu.edu/unity/lockers/users/f/felder/public/ILSpage.html


[36] FURTH, H. An Inventory of Piaget’s Developmental Tasks. PhD thesis, Centre for

Research in Thinking and Language. Washington: Dept of Psych Catholic University

of America, Washington, DC, 1974.

[37] Gephi - Forum. (http://forum.gephi.org/viewtopic.php?t=1785, Último

acesso em Setembro de 2015.

[38] Gephi - The Open Graph Viz Platform. http://gephi.github.io/, Último

acesso em Setembro de 2015.

[39] HAN, J. SCIENTIFIC REASONING: RESEARCH, DEVELOPMENT, AND ASSES-

SMENT. PhD thesis, The Ohio State University, 2013.

[40] HMELO-SILVER, C. Problem-based learning: What and how do students learn?

Educational Psychology Review, 16(3):235–266, 2004.

[41] HOLLANDER, M.; WOLFE, D. A.; CHICKEN, E. Nonparametric statistical

methods. John Wiley and Sons, 2013.

[42] HONZEL, B. The Effects of an Inquiry Based Data to Concept Curriculum.

Dissertation, Montana State University, 2012.

[43] LAWSON, A. E. Personal comunication. Arquivo recebido do autor por email com

as respostas das questões do exame e os padrões aferidos por ele. Na mesma

comunicaã̧o o autor sugere faixas de classificaã̧o dos resultados adequados a

pesquisa., 2014.

[44] INHELDER, B.; PIAGET, J. The growth of logical thinking from childhood to

adolescence. Basic Books (digital World Public Library Association), New York, 1

edition, 1958. VersÃ£o em francÃas “De La Logique de Tenfant a la logique de T

adolescent”, 1955.

[45] IPPOLITO, K. O. Cognitive development and the attainment of critical thinking

skills in associate degree nursing students. PhD thesis, University of the Pacific,

2011.

[46] iSTAR Assessment - Inquiry for Scientific Thinking and Reasoning. http:

//www.istarassessment.org/category/srdims/,Último acesso em Novembro

de 2015.

[47] JACOMY, M.; VENTURINI, T.; HEYMANN, S.; BASTIAN, M. Forceatlas2, a continu-

ous graph layout algorithm for handy network visualization designed for the

gephi software. PLoS ONE, 9(6):12, 06 2014.

(http://forum.gephi.org/viewtopic.php?t=1785

http://gephi.github.io/

http://www.public.asu.edu/~anton1/

http://www.istarassessment.org/category/srdims/

http://www.istarassessment.org/category/srdims/


[48] KALAT, J. W. Introduction to Psychology. Wadsworth Publishing, 8 edition edition,

2007.

[49] KARPLUS, R.; PULOS, S.; STAGE, E. K. Early adolescents proportional reaso-

ning on rate problems. Educational Studies in Mathematics, 14(3):219–233, 1983.

[50] KAYES, D. Internal validity and reliability of kolb’s learning style inventory

version 3 (1999). Journal of Business and Psychology, 20(2):249–257, 2005.

[51] KHAN, K. S.; KUNZ, R.; KLEIJNEN, J.; ANTES, G. Five steps to conducting a

systematic review. J R Soc Med, 96(3):118–121, Mar 2003.

[52] KINNUNEN, P.; MEISALO, V.; MALMI, L. Have we missed something?: Identifying

missing types of research in computing education. In: Proceedings of the Sixth

International Workshop on Computing Education Research, ICER ’10, p. 13–22,

New York, NY, USA, 2010. ACM.

[53] KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic litera-

ture reviews in software engineering. Technical Report EBSE 2007-001, Keele

University and Durham University Joint Report, 2007.

[54] KOENIG, K.; SCHEN, M.; EDWARDS, M.; LEI, B. Addressing stem retention

through a scientific thought and methods course. Journal of College Science

Teaching, 41(4):23, 2012.

[55] KOLB, D. A. Experiential learning: experience as the source of learning and

development. Prentice Hall, Englewood Cliffs, NJ, 1984.

[56] KRATHWOHL, D. R. A revision of bloom’s taxonomy: An overview. Theory Into

Practice, 41(4):212–218, 2002.

[57] KUHN, D. Formal operations from a twenty-first century perspective. Human

Development, 51(1):48–55, 2008.

[58] KUHN, D.; LANGER, J.; KOHLBERG, L.; HAAN, N. S. The development of formal

operations in logical and moral judgment. Genetic Psychology Monographs,

95(1):97–188, 1977.

[59] KURTZ, B. L. Investigating the relationship between the development of

abstract reasoning and performance in an introductory programming class. In:

Proceedings of the Eleventh SIGCSE Technical Symposium on Computer Science

Education, SIGCSE ’80, p. 110–117, New York, NY, USA, 1980. ACM.

[60] LAWSON, A. E. Lawson classroom test of scientific reasoning.


[61] LAWSON, A. E.; KARPLUS, R.; ADI, H. The acquisition of propositional logic

and formal operational schemata during the secondary school years. Journal

of Research in Science Teaching, 15(6):465–478, 1978.

[62] LAWSON, A. Science Teaching and the Development of Thinking. Wadsworth

Pub., 1995.

[63] LAWSON, A. E. The development and validation of a classroom test of formal

reasoning. Journal of Research in Science Teaching, 15(1):11–24, 1978.

[64] LAWSON, A. E. The four-card problem resolved? formal operational reasoning

and reasoning to a contradiction. Journal of Research in Science Teaching,

24(7):611–627, 1987.

[65] LAWSON, A. E. The Neurological Basis of Learning, Development and Disco-

very Implications for Science and Mathematics Instruction. Kluwer Academic

Publishers., Dordrecht, 1 edition, 2003.

[66] LAWSON, A. E. The nature and development of scientific reasoning: A synthe-

tic view. International Journal of Science and Mathematics Education, 2(3):307–

338, 2004.

[67] LAWSON, A. E. Teaching Inquiry Science in Middle and Secondary Schools,

volume 1 de 1. Sage, Publications, Inc., Thousand Oaks, CA., 1 edition, 1 2010.

[68] LAWSON, A. E.; ALKHOURY, S.; BENFORD, B.; CLARK, B. R.; FALCONER, K. A.

What kinds of scientific concepts exist? concept construction and intellectual

development in college biology. Journal of Research in Science Teaching,

37(9):996–1018, 2000.

[69] LAWSON, A. E.; BAKER, W. P.; DIDONATO, L.; VERDI, M. P. The role of

hypothetico-deductive reasoning and physical analogues of molecular in-

teractions in conceptual change. Journal of Research in Science Teaching,

24(7):611–627, 1993.

[70] LAWSON, A. E.; BANKS, D. L.; LOGVIN, M. Self-efficacy, reasoning ability,

and achievement in college biology. Journal of Research in Science Teaching,

44(5):706–724, 2007.

[71] LAWSON, A. E.; CLARK, B.; CRAMER-MELDRUM, E.; FALCONER, K. A.; SEQUIST,

J. M.; KWON, Y.-J. Development of scientific reasoning in college biology: Do

two levels of general hypothesis-testing skills exist? Journal of Research in

Science Teaching, 37(1):81–101, 2000.


[72] LIPPMAN, J. Improving and Predicting Novice Reasoning about the Evidentiary

Connection between Studies and Theories. PhD thesis, University of Illinois at

Chicago, 2011.

[73] LOGAN, R. A. Relationships between the Arlin Test of Formal Reasoning and

Classroom Multiple Choice. PhD thesis, Emporia State University, 1991.

[74] LONGEOT, F. Lechelle de Developpement de la Pensee Logique. BINOP, Paris,

Paris, 1966.

[75] LUNZER, E. A. Problems of formal reasoning in test situations. Monographs of

the Society for Research in Child Development, 30(2):pp. 19–46, 1965.

[76] MALMI, L.; SHEARD, J.; SIMON.; BEDNARIK, R.; HELMINEN, J.; KINNUNEN, P.;

KORHONEN, A.; MYLLER, N.; SORVA, J.; TAHERKHANI, A. Theoretical underpin-

nings of computing education research: What is the evidence? In: Proceedings

of the Tenth Annual Conference on International Computing Education Research,

ICER ’14, p. 27–34, New York, NY, USA, 2014. ACM.

[77] MALMI, L.; SHEARD, J.; SIMON.; BEDNARIK, R.; HELMINEN, J.; KORHONEN, A.;

MYLLER, N.; SORVA, J.; TAHERKHANI, A. Characterizing research in computing

education: A preliminary analysis of the literature. In: Proceedings of the Sixth

International Workshop on Computing Education Research, ICER ’10, p. 3–12, New

York, NY, USA, 2010. ACM.

[78] MANHÃES, M. B. L.; CRUZ, S. M. S.; COSTA, J. M. R.; ZAVALETA, J.; ZIMBRÃO, G.

Identificação dos fatores que influenciam a evasão em cursos de graduação

através de sistemas baseados em mineração de dados: Uma abordagem

quantitativa. In: Proceedings of VIII Simpósio Brasileiro de Sistemas de Informação

SBSI, SBSI 2012, p. 468–479. SBC, 2012.

[79] MAZUR, E. Peer Instruction: A User’s Manual. Series in Educational Innovation.

Prentice Hall, 1997.

[80] MOZZACHIODI, R.; BYRNE, J. H. More than synaptic plasticity: Role of nonsy-

naptic plasticity in learning and memory. Trends Neurosci, 33(1):17, Jan 2010.

19889466[pmid].

[81] MWAMWENDA, T. S. Undergraduate and graduate students combinatorial rea-

soning and formal operations. The Journal of Genetic Psychology, 160(4):503–

506, 1999.


[82] MYERS, B. I.; MCCAULLEY, H. M.; QUENK L N. HAMMER, L. A. MBTI Manual:

A Guide to the Development and Use of the Myers-Briggs Type Indicator.

Consulting Psychologists Press, 3 edition, 1998.

[83] NEWMAN, M. Networks: An Introduction. Oxford University Press, Inc., New York,

NY, USA, 2010.

[84] NI, C.; SUGIMOTO, C.; JIANG, J. Degree, closeness, and betweenness: Applica-

tion of group centrality measurements to explore macro-disciplinary evolution

diachronically. In: Proceedings of ISSI, p. 1–13, 2011.

[85] ODONNELL, J. R. Creation of national norms for scientific thinking skills

using the classroom test of scientific reasoning. PhD thesis, Winona State

University, 2011.

[86] PARHAM, J. R. An assessment and evaluation of computer science education.

J. Comput. Sci. Coll., 19(2):115–127, Dec. 2003.

[87] PEARS, A.; MALMI, L. Values and objectives in computing education research.

Trans. Comput. Educ., 9(3):15:1–15:6, Sept. 2009.

[88] PEARS, A.; SEIDMAN, S.; MALMI, L.; MANNILA, L.; ADAMS, E.; BENNEDSEN, J.;

DEVLIN, M.; PATERSON, J. A survey of literature on the teaching of introductory

programming. In: Working Group Reports on ITiCSE on Innovation and Technology

in Computer Science Education, ITiCSE-WGR ’07, p. 204–223, New York, NY, USA,

2007. ACM.

[89] PESSONI, V. V.; FEDERSON, F. M.; VINCENZI, A. M. R. Learning difficulties

in computing courses: Cognitive processes assessment methods research

and application. In: Proceedings of the XI Brazilian Symposium on Information

Systems: Information Systems: A Computer Socio-Technical Perspective-Volume 1,

p. 5. Brazilian Computer Society, 2015.

[90] PIAGET, J. Logic and Psychology. Basic Books (digital World Public Library

Association), New York, 1 edition, 1957.

[91] PRIETO, A. J. A method for translation of instruments to other languages. Adult

Education Quarterly, 43(1):1–14, 1992.

[92] RANDOLPH, J. J. Computer Science Education Research at the Crossroads: A

Methodological Review of Computer Science Education Research: 2000-2005.

PhD thesis, Utah State University, 2007.


[93] RAVEN, R. J. The development of a test of piaget’s logical operations. Science

Education, 57(3):377–385, 1973.

[94] ROADRANGKA, V. The construction and validation of the group assessment of

logical thinking (GALT). PhD thesis, University of Georgia, Athens, GA, 1985.

[95] ROBERGE, J. J.; FLEXER, B. K. The formal formal operational reasoning test.

Journal of General Psychology, 106(1):61, 1982.

[96] ROWELL, J. A.; HOFFMANN, P. J. Group tests for distinguishing formal from

concrete thinkers. Journal of Research in Science Teaching, 12(2):157–164, 1975.

[97] RUSSEL, H. The measurement of reasoning ability in adolescents. Ontario

Journal of Educational Research,, 5(1):33–40, 1962.

[98] SHAYER, M.; ADEY, P.; WYLAM, H. Group tests of cognitive development ideals

and a realization. Journal of Research in Science Teaching, 18(2):157–168, 1981.

[99] SIEGLER, R.; DELOACHE, J.; EISENBERG, N. How Children Develop. Worth

Publishers, 2010.

[100] SIMONS, D. J.; CHABRIS, C. F. What people believe about how memory works:

A representative survey of the u.s. population. PLoS ONE, 6(8):e22757, 08

2011.

[101] SOUSA, V. D.; ROJJANASRIRAT, W. Translation, adaptation and validation of

instruments or scales for use in cross-cultural health care research: a clear

and user-friendly guideline. Journal of Evaluation in Clinical Practice, 17(2):268–

274, 2011.

[102] TISHER, R. P. A piagetian questionnaire applied to pupils in a secondary

school. Child Development, 42(5):1633–1636, 1971.

[103] TOBIN, K. G.; CAPIE, W. The development and validation of a group test of

logical thinking. Educational and Psychological Measurement, 41:413–423, 1981.

[104] TOMLINSON-KEASEY, C. Can we develop abstract thought in college freshmen?

In: 84th Annual American Psychological Association Convention., Washington., DC,

1976.

[105] VAN STEEN, M. Graph Theory and Complex Networks. Van Steen, Maarten,

2010.


[106] VEENMAN, M. V. J.; VAN HOUT-WOLTERS, B. H. A. M.; AFFLERBACH, P. Metacog-

nition and learning: conceptual and methodological considerations. Metacog-

nition and Learning, 1(1):3–14, 2006.

[107] WARD, M. D.; STOVEL, K.; SACKS, A. Network analysis and political science.

Annual Review of Political Science, 14(1):245–264, 2011.

[108] WRIGHT, R. W.; BRAND, R. A.; DUNN, W.; SPINDLER, K. P. How to write a

systematic review. Clinical Orthopaedics and Related Research, 455, 2007.

[109] YAN, B.; ARLIN, P. K. Nonabsolute/relativistic thinking: A common factor

underlying models of postformal reasoning? Journal of Adult Development,

2(4):223–240, 1995.

APÊNDICE AAutorização para Tradução do LCTSR emPortuguês

11/02/2016 Gmail - Lawson's Classroom Test of Scientific Reasoning Manual Request

https://mail.google.com/mail/u/0/?ui=2&ik=e7191a7d08&view=pt&q=Anton.Lawson%40asu.edu&qs=true&search=query&msg… 1/1

Vinicius Pessoni <[email protected]>

Lawson's Classroom Test of Scientific Reasoning Manual Request Anton Lawson <[email protected]> 19 de fevereiro de 2014 00:46Para: Vinicius Pessoni <[email protected]>

Dear Vinicius,

Please feel free to translate the test into Portuguese. And when you do please sendme a copy for my files. The scoring has varied some over the years as I havecontinually tried to improve the test. My guess is that you would be best off if youuse the 24 point scoring method (see attached key), which is close to the one used inthe “What kinds of scientific concepts exist?” paper. Categories would then beseparated as follows: 0-8, 9-14, 15-20, 21-24.

Best,

Anton E. Lawson

Professor Emeritus

Organismal, Integrative, and Systems Biology

School of Life Sciences

Arizona State University

Tempe, AZ 85287

[email protected]

480-280-4880

From: Vinicius Pessoni [mailto:[email protected]] Sent: Tuesday, February 18, 2014 11:39 AM To: Anton Lawson Subject: Re: Lawson's Classroom Test of Scientific Reasoning Manual Request

[Texto das mensagens anteriores oculto]

Keys.doc 27K

APÊNDICE BLawson Clasroom Test of Scientific ReasoningVersão Português Brasileiro:Exame do Raciocínio Científico

Perguntas para identificação do perfil do entrevistado

Você já terminou uma graduação (nível superior)?

□ Sim □ Não Se Sim, qual?____________________________________________

Você já terminou uma pós-graduação (especialização, mestrado ou doutorado)?


Você pretende dar ou já está dando continuidade à sua formação (especialização, mestrado, doutorado ou pós-doutorado)?


Você exerce a sua profissão, na sua área de conhecimento, a quanto tempo? __________________

Você nasceu no Estado de Goiás?

□ Sim □ Não Se Não, em qual Estado (País)? _____________________________

Qual a sua idade?________________________________________________________________

A quanto tempo você mora em Goiás? _______________________________________________

Qual o seu sexo (gênero)? _________________________________________________________

Cite apenas UMA disciplina que você realmente gostava quando cursava o Ensino Médio (também conhecido como “colegial”) – por exemplo: Física, Português, Química, Inglês, Matemática, Biologia, História, Geografia, Artes e etc:

________________________________________________________

[Página intencionalmente em branco]

EXAME DO RACIOCÍNIO CIENTÍFICO

Instruções para os alunos:

Este é um exame da sua habilidade de aplicar aspectos do raciocínio científico e matemático paraanalisar situações com o objetivo de fazer predições ou solucionar um problema. Marque um X comcaneta a melhor resposta de cada questão. Caso haja alguma dúvida sobre o que é perguntado emum item, por favor solicite esclarecimentos ao administrador do exame.

NÃO ABRA O EXAME ATÉ QUE O ADMINISTRADOR PERMITA

Este exame é de cunho científico, não servindo para fins clínicos psicológicos, ou qualquer outra atividade nessa área. Sua reprodução, utilização,distribuição e divulgação sem a expressa autorização dos autores é proibida por direitos autorais. Adaptação para Português Brasileiro: Fernando Marques Federson, Vinicius Vieira Pessoni, Nayara Cristina R. de Andrade, Fabrício Vieira Pessoni.Contatos: [email protected] / [email protected] / [email protected] / pessoni.fabricio@ gmail.comInstituto de Informática, Universidade Federal de Goiás, Brasil, Março 2014. Baseada na versão revisada de Agosto de 2000 por Anton E. Lawson, Arizona State University. Versão Original: Lawson, A.E. 1978. Developmentand validation of the classroom test of formal reasoning. Journal of Research in Science Teaching, 15(1): 11-24.

1

1. Suponha que lhe seja dado duas bolas de argila com tamanho e forma iguais. As duas bolastambém possuem o mesmo peso. Uma das bolas é amassada até ficar em forma depanqueca. Com base nisso, qual das afirmações a seguir está correta?

a) A peça em forma de panqueca pesa mais que a bola que não foi amassada.b) As duas peças ainda possuem o mesmo peso.c) A bola pesa mais que a peça em forma de panqueca.

2. porque:a) a peça que foi amassada cobrirá uma área maior.b) a bola que não foi amassada tem o peso concentrado em um só ponto.c) quando alguma coisa é amassada perde peso.d) argila não foi adicionada ou retirada. e) quando alguma coisa é amassada ganha peso.

3. Na figura ao lado temos os desenhos de dois cilindrospreenchidos com água no mesmo nível. Os cilindros sãoiguais em tamanho e forma.

Também encontram-se desenhadas duas esferas: uma devidro e outra de aço. As esferas são do mesmo tamanho,mas a de aço é muito mais pesada que a de vidro.

Quando a esfera de vidro é colocada no Cilindro 1, eladesce até o fundo e o nível da água eleva-se até a 6°marca do cilindro. Se colocarmos a esfera de aço noCilindro 2, a água se elevará:

a) ao mesmo nível, como foi no Cilindro 1.b) a um nível maior do que foi no Cilindro 1.c) a um nível menor do que foi no Cilindro 1.

4. porque:a) a esfera de aço irá afundar mais rápido.b) as esferas são feitas de materiais diferentes.c) a esfera de aço é mais pesada que a de vidro.d) a esfera de vidro cria menor pressão.e) as esferas são do mesmo tamanho.

5. Na figura ao lado temos os desenhos de um cilindrolargo e um estreito. Os cilindros possuem marcas deespaçamento igual. Coloca-se água no cilindro largo atéa 4° marca (desenho A). Essa água atinge a 6° marcaquando despejada no cilindro estreito (desenho B).

Os dois cilindros são esvaziados (não mostrado nafigura) e água é despejada no cilindro largo atingindo a6° marca. Até que altura essa água subiria se fossedespejada no cilindro estreito que está vazio?a) Até a marca 8.b) Até a marca 9.

2

c) Até a marca 10.d) Até a marca 12.e) Nenhuma das respostas está correta.

6. porque:a) a resposta não pode ser determinada com as informações dadas.b) subiram 2 marcas a mais antes, então subirão 2 marcas a mais de novo.c) sobem 3 marcas no cilindro estreito para cada 2 marcas no cilindro largo.d) o segundo cilindro é mais estreito.e) para cada 2 marcas no cilindro largo sobe 1 a mais no cilindro estreito.

7. Água é agora despejada no cilindro estreito (descrito na questão 5 acima) até a marca 11.Até que altura essa água subiria se fosse despejada no cilindro largo que está vazio? a) Até a marca 9.b) Até a marca 8.c) Até a marca 7e 1/2.d) Até a marca 7 e 1/3.e) Nenhuma das respostas está correta.

8. porque:a) as proporções devem permanecer as mesmas.b) é necessário, na verdade, despejar a água e observar para descobrir.c) a resposta não pode ser determinada com as informações dadas.d) foram 2 marcas a menos antes, então serão 2 marcas a menos de novo.e) você subtrai 2 do largo para cada 3 do estreito.

9. Na figura ao lado estão os desenhos de três cordaspresas em uma barra. As três cordas têm pesos demetal presos em suas pontas. As cordas 1 e 3possuem o mesmo comprimento. A corda 2 é maiscurta. Um peso de 10 unidades é preso no final dacorda 1. Um peso de 10 unidades também é preso nofinal da corda 2. Um peso de 5 unidades é preso aofinal da corda 3. As cordas ( e os pesos presos nela )podem ser balançados pra frente e para trás e otempo de cada balançada pode ser cronometrado.

Suponha que você queira descobrir se o tamanho dacorda tem influência no tempo que ela leva parabalançar para frente e para trás. Quais cordas vocêusaria para descobrir?a) Apenas uma corda.b) Todas as três cordas.c) 2 e 3.d) 1 e 3.e) 1 e 2.

10. porque:a) você deve usar as cordas mais longas.b) você deve comparar as cordas com os pesos leve e pesado.

3

c) apenas os comprimentos diferem.d) para fazer todas as comparações possíveis.e) os pesos diferem.

11. Vinte moscas de fruta são colocadas em cada um dos quatro tubos de vidro. Os tubos sãofechados. Os Tubos I e II são parcialmente cobertos com papel preto; os Tubos III e IV nãosão cobertos. Os tubos são colocados como demonstrado abaixo. Depois disso, eles sãoexpostos a luz vermelha por cinco minutos. O número de moscas na parte descoberta decada tubo é demonstrado no desenho.

Esse experimento demonstra que moscas respondem a (responder significa mover-se emdireção ou se afastar): a) luz vermelha mas não a gravidade.b) gravidade mas não a luz vermelha.c) ambos, luz vermelha e gravidade.d) nem a luz vermelha nem a gravidade.

12. porque:a) a maior parte das moscas estão na parte de cima do Tubo III mas espalhadas quase

igualmente no Tubo II.b) a maioria das moscas não foi para a parte de baixo dos tubos I e III.c) as moscas precisam de luz para ver e devem voar contra a gravidade.d) a maioria das moscas está na parte de cima e na parte iluminada dos tubos.e) as moscas estão nas duas pontas de cada tubo.

13. Em um segundo experimento, um tipo diferente de mosca e luz azul foram usados. Osresultados são mostrados no desenho:

4

Esses dados mostram que essas moscas respondem a (responder significa mover-se emdireção ou se afastar):a) luz azul mas não a gravidade.b) gravidade mas não a luz azul.c) ambos, luz azul e gravidade.d) nem a luz azul nem a gravidade.

14. porque:a) as moscas estão nas duas pontas de cada tubo.b) as moscas precisam de luz para ver e devem voar contra a gravidade.c) as moscas estão espalhadas quase igualmente no Tubo IV e na parte de cima do Tubo III.d) a maioria das moscas está na parte iluminada do Tubo II mas não foram para a parte de

baixo nos tubos I e III.e) a maioria das moscas está na parte de cima do tubo I e na parte iluminada do tubo II.

15. Seis peças quadradas de madeira são colocadas dentro deuma sacola de tecido e misturadas. As seis peças sãoidênticas em tamanho e forma, no entanto, três peças sãovermelhas e três são amarelas. Suponha que alguémcoloque a mão dentro da sacola (sem olhar) e pegue umadas peças. Quais as chances dessa peça ser vermelha?a) 1 chance dentre 6.b) 1 chance dentre 3.c) 1 chance dentre 2.d) 1 chance dentre 1.e) não pode ser determinado.

16. porque:a) 3 das 6 peças são vermelhas.b) não há como dizer qual peça será pega.c) apenas 1 peça das 6 na sacola é pega.d) todas as 6 peças são idênticas em tamanho e forma.e) apenas 1 peça vermelha pode ser pega entre as 3 peças vermelhas.

17. Três peças quadradas vermelhas de madeira, quatro peças quadradas amarelas e cinco peçasquadradas brancas são colocadas em uma sacola de tecido. Quatro peças redondasvermelhas, duas peças redondas amarelas e três peças redondas brancas são colocadastambém na mesma sacola. Todas as peças são então misturadas. Suponha que alguém pegueuma peça da sacola (sem olhar e sentir o formato da peça).

5

Quais são as chances dessa peça ser redonda vermelha ou redonda branca?a) não pode ser determinado.b) 1 chance entre 3.c) 1 chance entre 21.d) 15 chances entre 21.e) 1 chance entre 2.

18. porque:a) 1 das 2 formas é redonda.b) 15 das 21 peças são vermelhas ou brancas.c) não há forma de dizer qual peça será pega.d) apenas 1 das 21 peças é pega da sacola.e) 1 a cada 3 peças é redonda vermelha ou redonda branca.

19. O fazendeiro João estava observando os ratos que viviam na sua fazenda. Ele descobriu quetodos os ratos eram gordos ou magros. Ele também descobriu que todos os ratos tinham orabo preto ou branco. Isso o fez pensar se havia alguma ligação entre o tamanho dos ratos ea cor de seu rabo. Assim, ele capturou todos os ratos de uma parte da sua fazenda e osobservou. Abaixo estão os ratos que ele capturou:

Você acha que há ligação entre o tamanho dos ratos e a cor de seus rabos?a) parece haver uma ligação.b) não parece haver uma ligação.c) não é possível dar um palpite razoável.

20. porque:a) há alguns de cada tipo de rato.b) pode haver uma ligação genética entre o tamanho do rato e a cor de seu rabo.c) não foram capturados ratos suficientes.d) a maioria dos ratos gordos tem rabos pretos enquanto a maioria dos ratos magros tem

rabos brancos.e) conforme os ratos engordam seus rabos se tornam mais escuros.

6

21. Na figura abaixo, à esquerda, mostra um copo e uma vela de aniversário acesa presa a umpequeno pedaço de argila dentro de uma panela de água. Quando o copo é virado para baixo,colocado sobre a vela até chegar na água, a vela rapidamente apaga e a água sobe dentro docopo (à direita na figura).

Essa observação levanta uma questão interessante: por que a água sobe dentro do copo?

Aqui está uma possível explicação: a chama converte oxigênio em dióxido de carbono.Como o oxigênio não se dissolve rapidamente na água, mas o dióxido de carbono sedissolve, o dióxido de carbono recentemente formado se dissolve rapidamente na água,diminuindo a pressão do ar dentro do copo.

Suponha que você tenha os materiais mencionados acima, além de fósforos e gelo seco (geloseco é dióxido de carbono congelado). Usando alguns ou todos esses materiais, como vocêtestaria essa possível explicação?a) Saturaria a água com o dióxido de carbono e repetiria o experimento observando a

quantidade de água que sobe.b) A água sobe porque o oxigênio é consumido, então refaria o experimento exatamente da

mesma forma para mostrar que a água sobe devido a perda do oxigênio.c) Conduziria um experimento controlado variando apenas o número de velas para verificar

se isso faria diferença.d) Sucção é responsável por fazer a água subir, então coloco um balão no topo de um

cilindro aberto e coloco o cilindro sobre a vela acesa.e) Refaria o experimento, cerificando-se que ele está controlado por meio da manutenção

de todas as variáveis independentes constantes; depois mediria a quantidade de água quesobe.

22. Qual resultado do seu teste (mencionado na questão 21 acima) mostraria que sua explicaçãoestá provavelmente errada?a) A água sobe até o mesmo nível que subiu anteriormente.b) A água sobe menos do que subiu anteriormente.c) O balão se expande.d) O balão é sugado para dentro do cilindro.

7

23. Um estudante colocou uma gota de sangue na lâmina de um microscópio e então olhou essesangue pelo microscópio. Como você pode ver no diagrama abaixo, as células vermelhasampliadas parecem pequenas bolas arredondadas. Depois de adicionar algumas gotas deágua salgada na gota de sangue, o estudante notou que as células pareciam se tornarmenores.

Essa observação levanta uma questão interessante: por que as células vermelhas parecemmenores? Aqui estão duas possíveis explicações:

I. Íons de sal (Na+ e Cl-) empurram as membranas das células e fazem as célulasparecerem menores.II. Moléculas de água são atraídas pelos íons de sal, então as moléculas de água semovem para fora da célula e deixam a célula menor.

Para testar essas explicações, o estudante usou água salgada, uma balança de alta precisão ealgumas sacolas plásticas cheias de água, supondo que o plástico se comporta como amembrana das células vermelhas. O experimento envolveu pesar cuidadosamente a sacolacheia de água, colocá-la em uma solução salina por dez minutos e então pesá-la novamente.

Qual resultado do experimento melhor mostraria que a explicação I está provavelmenteerrada?a) a sacola perde peso.b) o peso da sacola permanece o mesmo.c) a sacola parece menor.

24. Qual o resultado do experimento melhor mostraria que a explicação II está provavelmenteerrada?a) a sacola perde peso.b) o peso da sacola permanece o mesmo.c) a sacola parece menor.

FIM EXAME DO RACIOCÍNIO CIENTÍFICO

8

Documents

Pesquisa e Aplicação de Método de Medição do Desenvolvimento