2005 - Coeficiente alfa de Cronbach.pdf

XII SIMPEP - Bauru, SP, Brasil, 7 a 9 de Novembro de 2005.

A avaliao da confiabilidade de questionrios: uma anlise utilizando o coeficiente alfa de Cronbach

Andr Lus Policani Freitas (UENF) [email protected]

Sidilene Gonalves Rodrigues (UENF) [email protected] Resumo Em pesquisas de opinio, o questionrio um dos instrumentos de captao de informaes mais utilizados por sua praticidade e pelo baixo custo de aplicao. Entretanto, para assegurar que um determinado questionrio eficaz e preciso, duas caractersticas de medio devem ser consideradas no seu desenvolvimento: a validade e a confiabilidade. Com o intuito de contribuir para o tratamento deste problema, este artigo concentra-se na investigao da confiabilidade de questionrios atravs do emprego de um dos procedimentos estatsticos mais utilizados para este fim o coeficiente alfa de Cronbach. Atravs da realizao de um experimento, busca-se avaliar a confiabilidade de um questionrio destinado ao processo de auto-avaliao de Instituies de Ensino Superior. Palavras-chave: Confiabilidade; Cronbach; Questionrios. 1. Introduo Em toda pesquisa de opinio, a captao de informaes dos avaliadores consiste em uma das etapas de maior importncia no processo de avaliao. Esta etapa deve ser realizada atravs do emprego de um instrumento de medio eficaz e preciso, pois caso contrrio, as informaes obtidas podem no ser representativas da percepo dos avaliadores. Dentre os instrumentos de pesquisa tradicionalmente utilizados, destaca-se o formulrio de pesquisa (tradicionalmente denominado questionrio) por sua praticidade de aplicao (pode ser entregue pessoalmente ao avaliador, deixado ao alcance dos mesmos, enviados pelo correioe por e-mail, etc.) e pelo baixo custo. Entretanto, eventualmente pode ocorrer um baixo ndice de retorno de questionrios respondidos e um alto ndice de itens no repsondidos.

Existem duas caractersticas de medio que devem ser consideradas no desenvolvimento de questionrios: a validade e a confiabilidade. De acordo com Hayes (1995), a validade refere-se ao grau com que a escala utilizada no questionrio (e conseqentemente este prprio) realmente mede o objeto para o qual ela foi criada para medir, e a confiabilidade definida como o grau com que as medies esto isentas de erros aleatrios.

Segundo Trochim (2003), a consistncia interna refere-se ao grau com que os itens do questionrio esto correlacionados entre si e com o resultado geral da pesquisa, o que representa uma mensurao da confiabilidade do mesmo. Particularmente, este artigo concentra-se na investigao da confiabilidade de questionrios atravs do emprego de um dos procedimentos estatsticos mais utilizados para mensurao da consistncia interna o coeficiente alfa de Cronbach.

Sucintamente, este artigo est estruturado da seguinte forma: a seo 2 apresenta uma breve descrio da Teoria Clssica da Medio e a sua relao com a mensurao da confiabilidade; a seo 3 descreve o procedimento para o clculo do coeficiente alfa de Cronbach; a seo 4 apresenta um experimento destinado a avaliar a confiabilidade de um questionrio utilizado no processo de auto-avaliao institucional; e finalmente a seo 5 apresenta as concluses.


2. A Teoria Clssica da Medio Esta teoria considera que em toda medio o valor observado X composto aditivamente por duas variveis: o valor verdadeiro (T) e erro aleatrio de medio (E). Segundo Hayes (1995), a varincia de cada conjunto de variveis est associada de forma semelhante s prprias variveis, ou seja:

Var(X) = Var(T) + Var(E) (1)

Assim, medida que a varincia associada a erros aleatrios diminui, a varincia dos valores observados se aproxima da varincia dos valores verdadeiros, o que representa maior confiabilidade nas medies (e conseqentemente maior confiabilidade atribuda ao instrumento de coleta de dados utilizado). Conceitualmente, a confiabilidade reflete o quanto os valores observados esto correlacionados aos valores verdadeiros.

Entretanto, como em muitos problemas reais os valores verdadeiros das variveis no so conhecidos, impossvel determinar a confiabilidade diretamente, atravs do clculo da correlao entre os valores observados e verdadeiros. Segundo Trochim (2003) existem quatro procedimentos para estimar a confiabilidade de medies:

a) confiabilidade entre avaliadores, que utilizada para obter o grau com que diferentes avaliadores fornecem estimativas consistentes sobre o mesmo fenmeno;

b) confiabilidade de teste/reteste, utilizada para estimar a consistncia de uma medida em dois momentos distintos;

c) confiabilidade paralela, utilizada para determinar a consistncia dos resultados de duas pesquisas distintas construdos com o mesmo objetivo; e

d) confiabilidade de consistncia interna, utilizada para determinar a consistncia dos resultados da avaliao de itens de uma pesquisa.

Neste artigo, dedica-se estimativa da confiabilidade de consistncia interna de questionrios e tambm estimativa da confiabilidade entre avaliadores, a partir da anlise do coeficiente Alfa de Cronbach, que ser brevemente descrito a seguir. 3. O coeficiente Alfa de Cronbach

Apresentado por Lee J. Cronbach em 1951, o coeficiente de Cronbach (assim como cientificamente conhecido) uma das estimativas da confiabilidade de um questionrio que tenha sido aplicado em uma pesquisa. Dado que todos os itens de um questionrio utilizam a mesma escala de medio, o coeficiente , com [0,1], calculado a partir da varincia dos itens individuais e das covarincias entre os itens atravs da seguinte equao:

==

21

2

11 t

k

ii

S

S

kk (2)

onde: k o nmero de itens do questionrio, a varincia do item i e a varincia total do questionrio.

2iS

2tS


Assim, o coeficiente pode ser calculado em duas etapas: primeiramente necessrio calcular a varincia de cada coluna i, denotada por e, em seguida somar todas estas varincias. Na segunda etapa deve-se obter a soma total dos julgamentos de cada avaliador (elementos da ltima coluna da tabela 1) e, em seguida calcular a varincia destas somas.

2iS

Itens

Avaliadores 1 2 K i K k Soma ou Total 1 X11 X12 K X1i K X1k X12 X21 X22 K X2i K X2k X2M M M M M M M M p Xp1 Xp2 K Xpi K Xpk XpM M M M M M M M n Xn1 Xn2 K Xni K Xnk Xn

Fonte: Cronbach, L J. (2004).

Tabela 1 - Matriz de julgamentos dos n avaliadores luz dos k itens do questionrio

Considerando que a varincia total pode ser reestruturada como sendo a soma da varincia dos itens adicionada a duas vezes a covarincia destes itens, a equao 2 pode ser reescrita em uma forma alternativa que, segundo Peter (1979), facilita os clculos computacionais:

+

=

>=

=

43421321B

k

i

k

jij

A

k

ii

k

ii

kk

21

11

2

1

2

, (3)

Na equao 3, o termo A representa a soma das varincias dos itens (a soma dos elementos da diagonal principal da matriz de covarincia). O termo B representa duas vezes a soma da covarincia dos elementos, ou seja, duas vezes a soma dos elementos no pertencentes diagonal principal da matriz de covarincia. Para uma melhor compreenso, a tabela 2 ilustra os elementos da matriz de covarincia.

Matriz de Covarincia Itens

Itens 1 2 3 4 5 6 1 Cov11 Cov12 Cov13 Cov14 Cov15 Cov162 Cov22 Cov23 Cov24 Cov25 Cov263 Cov33 Cov34 Cov35 Cov364 Cov44 Cov45 Cov465 Cov55 Cov566 Cov66

Tabela 2 - Matriz de Covarincia para um questionrio hipottico de seis itens

O coeficiente obtido atravs da anlise da covarincia dos itens denominado alfa padronizado (P). Entretanto, caso todos os avaliadores avaliem determinado item com o mesmo valor, a varincia ser nula e este coeficiente no poder ser obtido. Alternativamente, o alfa pode ser obtido atravs da anlise da correlao () dos itens, sendo denominado alfa bruto (B). Este ltimo coeficiente pode ser calculado atravs da utilizao dos elementos da Matriz de Correlao (tabela 3), similarmente ao uso da Matriz de Covarincia.


Matriz de Correlao () Itens Itens 1 2 3 4 5 6

1 11 12 13 14 15 162 22 23 24 25 263 33 34 35 364 44 45 465 55 566 66

Tabela 3 - Matriz de Correlao para um questionrio hipottico de seis itens

importante ressaltar que em pesquisas muitas vezes os avaliadores no desejam, no sabem ou simplesmente esquecem de responder a alguns itens do questionrio. Nestas ocasies alguns procedimentos so usualmente utilizados:

a) substituir os julgamentos em branco pelo valor zero: particularmente, em julgamentos subjetivos, o valor zero no aparenta expressar o real significado do valor de um item no avaliado;

b) ignorar todos os demais julgamentos do avaliador, eliminando-os da anlise: neste caso possvel que se esteja eliminando julgamentos importantes e conscientes de tal avaliador em relao aos demais itens. Adicionalmente importante ressaltar que o nmero de avaliadores ser reduzido, o que pode comprometer ainda mais os resultados da anlise;

c) substituir os julgamentos em branco por um valor aleatrio da escala de julgamento: este um dos procedimentos mais utilizados, sendo incluisive incorporado em pacotes estatticos profissionais, tais como SAS, Statistica e Minitab.

d) substituir os julgamentos em branco pela mdia dos valores dos julgamentos do item: este possivelmente seja o procedimento mais utilizado, sendo tambm incorporado pelos pacotes estatticos profissionais. Particularmente, consideramos que este seja o procedimento mais adequado para o tratamento de situaes em que existe a ausncia de valores sendo, portanto, utilizado no experimento descrito neste artigo.

Finalmente relevante ressaltar que, apesar da literatura cientfica a respeito das aplicaes do coeficente nas diversas reas do conhecimento ser ampla e abrangente, ainda no existe um consenso entre os pesquisadores acerca da interpretao da confiabilidade de um questionrio obtida a partir do valor deste coeficente (Em geral, considera-se satisfatrio um instrumento de pesquisa que obtenha 0,70). Com o intuito de contribuir para o tratamento desta questo, sugere-se a classificao da confiabilidade a partir do clculo do coeficiente de Cronbach de acordo com os limites apresentados na tabela 4:

Confiabilidade Muito Baixa Baixa Moderada Alta Muito Alta

Valor de 0,30 0,30 < 0,60 0,60 < 0,75 0,75 < 0,90 > 0,90 Tabela 4 - Classificao da confiabilidade a partir do coeficiente de Cronbach

De acordo com a tabela acima, possvel considerar como satisfatrios os questionrios que apresentem valor de > 0,60. Entretanto, valores superiores de alfa podero indicar Graus de Confiabilidade ainda melhores e a deciso a respeito do valor mnimo de confiabilidade de um questionrio fica a critrio do pesquisador.


4. Fatores que podem influenciar a confiabilidade de questionrios Segundo a literatura cientfica existente, diversos fatores que podem influenciar na confiabilidade de questionrios(tanto positivamente quanto negativamente), dentre os quais citam-se:

a) o nmero de itens: a confiabilidade do questionrio pode ser aumentada quando mais itens so includos, o que seria equivalente ao conceito de diminuir o erro de amostragem atravs do aumento do tamanho da amostra (Hayes,1995). Entretanto, os itens adicionais devem ser representativos do mesmo conceito que est sendo medido e o resultado da avaliao de um item deve no interferir na avaliao do item subsequente. Alm disso, o nmero de itens no deve ser excessivo, pois este fato pode ocasionar respostas impulsivas e relapsas, alm de poder aumentar a incidncia de itens sem resposta, devido fadiga/desinteresse do avaliador.

b) o tempo de aplicao do questionrio: a aplicao do questionrio segundo um perodo pr-determinado tambm pode contribuir para a ocorrncia de respostas impulsivas e relapsas, alm de aumentar a incidncia de itens sem avaliao. Segundo Cronbach (2004), quando o questionrio muito grande, o coeficiente alfa no deve ser utilizado. Por exemplo, em um teste aplicado por um tempo limitado, um aprecivel nmero de estudantes parou de responder antes de chegar aos ltimos itens.

c) a amostra de avaliadores: uma amostra de pessoas semelhantes pode resultar em um questionrio de baixa confiabilidade. Por exemplo, se na avaliao de um item todas as pessoas da amostra assinalam um valor verdadeiro 5 (considerando uma escala de valores absolutos que varia de 1 a 5), no h varincia neste item e, por conseguinte, a confiabilidade calculada ter valor zero. Assim, segundo Hayes (1995), se desejamos obter medidas com alta confiabilidade, precisamos basear essas medidas em uma amostra de pessoas que sejam heterogneas no que diz respeito ao conceito que est sendo medido.

Entretanto, importante destacar que as pessoas geralmente possuem percepes e interpretaes distintas sobre os itens em avaliao. Desta forma, considerando uma amostra significativa de avaliadores, muito improvvel que haja uma concordncia absoluta a respeito do valor de determinado item. Porm, quando os avaliadores so semelhantes em sua natureza e formao profissional (experts), possivelmente haver menor variabilidade nos julgamentos, o que pode conduzir a menores valores de confiabilidade do questionrio.

5 Experimento: anlise da confiabilidade do questionrio usado na auto-avaliao de IES Desde o incio dos anos 90 o sistema brasileiro de educao superior encontra-se em um processo de expanso acelerada, caracterizado pelo crescimento do nmero de Instituies de Ensino Superior (IES) e de cursos e, consequentemente, na ampliao do nmero de vagas oferecidas e do nmero de professores e funcionrios destas instituies. Neste cenrio, fundamental que exista um sistema de avaliao das Instituies de Ensino Superior (IES), capaz de monitorar as informaes relativas a estas instituies e assegurar que a qualidade do ensino fornecido por estas instituies atenda aos padres recomendados.

No Brasil, o Instituto Nacional de Pesquisas Educacionais (INEP) gerencia o Sistema Integrado de Informaes da Educao Superior (SIEdSup), que responsvel pela disseminao dos resultados do censo escolar, censo do ensino superior, censo do professor, avaliao da educao bsica, exame nacional de cursos, alm de informaes sobre o gasto e financiamento da educao, perfil dos egressos do ensino mdio e caractersticas socioeconmicas e culturais dos graduandos de nvel superior (CASTRO, 1998).


No mbito da avaliao educao superior, o sistema de informaes educacionais gerenciado pelo INEP atualmente possui dois componentes: a Avaliao Institucional (INEP, 2002) e o SINAES (Sistema Nacional de Avaliao da Educao Superior, criado pela Lei n 10.861, de 14 de abril de 2004). Vale destacar que tais componentes possuem uma proposta em comum: a formalizao do processo de auto-avaliao institucional.

Neste contexto, Freitas e Rodrigues (2003) e Freitas (2004) propuseram um procedimento para estruturao do processo de auto-avaliao institucional (sob o ponto de vista do corpo docente e do corpo discente) com o intuito de contribuir para a realizao de um processo de avaliao mais preciso, confivel e que permita, dentre outros aspectos: a identificao de itens luz dos quais a IES apresenta desempenho no satisfatrio (e que se caracterizam como oportunidades de melhorias para a qualidade do ensino), assim como a interpretao e intercomparao dos desempenhos obtidos pelos diversos cursos de Graduao da IES.

Fundamentado no procedimento supracitado e considerando as Dimenses e Aspectos sugeridos pelo modelo de Avaliao Institucional elaborado pelo INEP (2002), foi desenvolvido um modelo de questionrio composto de 53 itens a serem avaliados pelo corpo docente das Instituies de Ensino Superior. O anexo A.1 deste artigo sumariza os itens que compem o questionrio.

5.1 Objetivo e amostra Em termos gerais, o experimento realizado neste trabalho objetiva empregar o coeficiente alfa de Cronbach para analisar a confiabilidade do questionrio enviado a uma amostra do corpo docente da Universidade Estadual do Norte Fluminense (UENF), amostra esta composta por docentes atuantes nas seguintes reas do conhecimento: Engenharia de Produo (P1 a P10), Engenharia Civil (P11 a P22), Engenharia de Materiais (P23 a P28) e Matemtica (P29 a P36).

Neste questionrio, cada docente deveria avaliar ao Grau de Importncia (GI) de cada item, assim como avaliar o Grau de Desempenho (GD) da Universidade luz dos itens. Dos 50 formulrios enviados, 36 foram espontaneamente respondidos e devolvidos. Os anexos A.2 e A.3 deste trabalho apresentam, respectivamente, os valores de GI e GD emitidos pelos professores. Ainda nestes anexos, o smbolo * significa que determinado item no foi avaliado pelo docente. Conforme reportado anteriormente, em tais casos, a estes itens foram atribudos os valores mdios dos julgamentos obtidos nos referidos itens.

5.2 Escalas de avaliao Na etapa de avaliao do Grau de Importncia dos itens do questionrio e tambm na avaliao do Grau de Desempenho da IES luz destes itens, foi empregada uma escala tipo Likert. Segundo Mattar (1996) este tipo de escala se destaca por sua simplicidade de emprego em medies ordinais e tambm por associar valores nominais (conceitos) a valores numricos. Neste experimento, apesar do questionrio utilizado no disponibilizar os valores numricos, os conceitos relativos aos Graus de Importncia e aos Graus de Desempenho foram associados decrescentemente a valores inteiros de 5 a 1 (as tabelas 5 e 6 ilustram as escalas empregadas).

Muito Importante Importante Mais ou menos Importante Pouco Importante Nada Importante

MI I M PI NI Tabela 5 - Escala para avaliao do Grau de Importncia dos itens do questionrio

Muito Bom Bom Regular Fraco Muito Fraco

MB B R F MF Tabela 6 - Escala para avaliao do Grau de Desempenho da Instituio de Ensino Superior luz de cada item


5.3 Anlise da confiabilidade do questionrio utilizado no experimento Os valores dos Graus de Importncia de cada item do questionrio e tambm dos Graus de Desempenho da instituio luz de cada um dos referidos itens, atribudos por cada docente, foram utilizados para calcular os coeficientes B e P. Estes coeficientes foram empregados para analisar a confiabilidade de consistncia interna e a confiabilidade entre avaliadores, anlises estas que sero pormenorizadas nas subsees seguintes.

5.3.1 Anlise da confiabilidade de consistncia interna Nesta seo apresentam-se os resultados da anlise da consistncia interna dos itens pertencentes a cada uma das dimenses empregadas no processo de auto-avaliao institucional, conforme apresentado na tabela 7. Como o questionrio completo composto por 53 itens, cada dimenso foi analisada em particular.

Considerando os julgamentos dos Graus de Desempenho da IES, os valores de alfa revelam que a confiabilidade do questionrio foi Alta, Moderada e Muito Alta, respectivamente em termos das dimenses Organizao Institucional, Corpo Discente e Instalaes. Por outro lado, segundo os julgamentos dos Graus de Importncia dos itens, o questionrio apresentou confiabilidade Moderada, Alta e Muito Alta luz das respectivas dimenses.

Nesta anlise importante ressaltar que no possvel afirmar que a dimenso Instalaes tem maior confiabilidade do que a dimenso Organizao Institucional. Ou seja: no possvel comparar o valor de alfa entre as dimenses analisadas, visto que cada dimenso possui uma quantidade de itens distinta (conforme reportado anteriormente, este um dos fatores que influenciam a confiabilidade do questionrio).

Coef. Alfa de Cronbach

(Importncia dos itens) Coef. Alfa de Cronbach (Desempenho da IES)

Dimenses B P B POrganizao Institucional (I1 a I14) 0,6315 0,6705 0,8516 0,8556 Corpo Discente (I15 a I 23) 0,7936 0,7983 0,7433 0,7495 Instalaes (I24 a I53) 0,9543 0,9543 0,9232 0,9242

Tabela 7 - Anlise da confiabilidade de consistncia interna dos itens do questionrio

Ainda segundo a tabela 7, os valores de alfa para a dimenso Organizao Institucional motivaram a realizao de uma anlise pormenorizada, considerando os julgamentos dos docentes de cada rea do conhecimento luz de cada dimenso.

5.3.2 Anlise da confiabilidade entre avaliadores Nesta seo os resultados da avaliao de todos os itens do questionrio foram agrupados segundo a rea de atuao dos docentes. Sucintamente, esta anlise se prope a verificar a confiabilidade de cada dimenso do questionrio a partir dos julgamentos de cada grupo de docentes. Nas tabelas 8 e 9 as lacunas com o smbolo (xxx) denotam que no foi possvel calcular a confiabilidade a partir dos julgamentos de certos grupos de professores (Este fato ocorre quando um ou mais itens apresentam varincia nula e/ou pode ter sido influenciado pela pequeno nmero de avaliadores nas respectivas reas do conhecimento).

Os resultados apresentados na tabela 8 mostram que os julgamentos dos docentes de Engenharia de Produo e de Engenharia de Materiais so os que influenciam no valor de alfa segundo os Graus de Importncia dos itens, respectivamente, nas dimenses Organizao Institucional e Corpo Discente. Tal resultado revela que, apesar da confiabilidade ser Moderada/Alta ao considerar o julgamento dos avaliadores em conjunto, podem existir comportamentos distintos entre os subgrupos que compem a amostra de avaliadores.


Alm disso, os resultados da tabela 8 reforam a afirmativa de que um maior nmero de itens de uma dimenso contribui para valores de alfa maiores. Observando os resultados dos subgrupos de docentes e considerando que estes so relativamente pequenos, neste experimento constata-se que o valor de alfa mais influenciado pelo nmero de itens de cada dimenso do que pelo tamanho de cada subgrupo de docentes.

Dimenso Org. Institucional Dimenso Corpo Discente Dimenso Instalaes (GI) (GD) (GI) (GD) (GI) (GD)

reas B P B P B P B P B P B PEng. de Produo 0,5279 0,5534 0,6719 0,7344 0,5409 0,5699 0,6514 0,6015 0,9711 0,9706 0,9496 0,9557Eng. Civil 0,7702 0,8284 0,8492 0,8279 0,9045 0,9105 0,6492 0,6673 0,9414 0,9481 0,8996 0,9024Eng. de Materiais 0,0684 0,4068 0,8679 0,8776 0,5498 0,6173 0,8392 0,8107 0,9532 xxxx 0,9066 0,9110Matemtica 0,8559 xxxx 0,8633 0,8447 0,7666 0,7742 0,8743 0,9004 0,9218 0,9369 0,8754 0,8635Todos 0,6315 0,6705 0,8516 0,8556 0,7936 0,7983 0,7596 0,7763 0,9543 0,9543 0,9056 0,9052

Tabela 8 - Anlise de confiabilidade entre os avaliadores

Todas as Dimenses

(GI) (GD) reas do conhecimento B P B P

Eng. de Produo (P1 a P10) 0,9452 0,9386 0,9293 0,9209 Eng. Civil (P11 a P22) 0,9330 0,9449 0,8753 0,8662 Eng. de Materiais (P23 a P28) 0,9013 xxxx 0,9090 0,9029 Matemtica (P29 a P36) 0,9449 xxxx 0,8851 0,8627

Tabela 9 - Anlise de confiabilidade entre os avaliadores (Todas as Dimenses)

Finalmente, a tabela 9 ilustra como os valores de alfa podem ser influenciados quando todos os itens do questionrio so considerados em conjunto. Devido ao elevado nmero de itens (53 no total), a confiabilidade do questionrio foi considerada Alta/Muito Alta segundo os subgrupos de docentes. Mais precisamente, esta anlise revela que a maior quantidade de itens da dimenso Instalaes influenciou muito no valor de alfa, aumentando-o consideravelmente. 6. Consideraes finais As pesquisas de opinio desempenham um importante papel no gerenciamento de diversas reas do conhecimento. A captao de informaes de clientes, funcionrios, consumidores de empresas concorrentes, etc. pode contribuir significativamente para o planejamento de aes e estratgias que visam a vantagem competitiva.

Dentre os instrumentos de pesquisa mais utilizados, o questionrio merece inegvel destaque por diversos motivos, dentre os quais citam-se: a praticidade de aplicao, influncia restrita da opinio da pessoa que o aplica, baixo custo, etc. Entretanto, ateno especial deve ser tomada com a quantidade de itens que so introduzidos e tambm em relao ao tamanho e a composio dos elementos da amostra. A incidncia de itens no respondidos, quando seno o baixo retorno de questionrios preenchidos (principalmente quando o preenchimento voluntrio e a entrega opcional), so aspectos que tambm devem ser observados.

Entretanto, este artigo buscou enfocar outro importante aspecto relacionado ao desenvolvimento e ao uso de questionrios: a confiabilidade que estes oferecem na avaliao do objeto para o qual este foi elaborado. Com intuito de inserir um carter cientfico ao tratamento deste problema, este artigo props a utilizao do coeficiente de Cronbach um dos procedimentos estatsticos mais utilizados cientificamente para este fim.


Atravs de um experimento, este artigo buscou avaliar a confiabilidade de um questionrio empregado no processo de auto-avaliao de Instituies de Ensino Superior. Fundamentado em uma amostra de avaliadores constituda por docentes de uma Universidade pblica, foi possvel verificar que:

a) considerando a amostra completa de avaliadores, o questionrio apresenta confiabilidade distinta, segundo cada uma das trs dimenses. Neste caso, o clculo de uma confiabilidade global do questionrio (envolvendo todos os itens) no se justifica, visto que o valor de tal confiabilidade seria maior do que a confiabilidade de uma ou mais dimenses. Alm disso, vale ressaltar que no possvel afirmar que uma dimenso tem maior/menor confiabilidade que outra, pois estas possuem nmero de itens diferentes;

b) a dimenso Organizao Institucional apresentou uma confiabilidade Moderada em relao importncia dos itens. Este fato motivou a anlise da confiabilidade entre os subgrupos de avaliadores, a partir da qual constatou-se que existem subgrupos com comportamentos diferenciados;

c) a dimenso Instalaes, possivelmente por ser constituda por muitos itens, teve confiabilidade Muito Alta, influenciando inclusive o valor de alfa calculado a partir de dos julgamentos de todos os itens;

Finalmente, vale a pena ressaltar que o procedimento estatstico utilizado apenas um dentre os procedimentos existentes para anlise de confiabilidade de questionrios. Neste contexto, espera-se que este artigo contribua para a continuidade das pesquisas, realizao de novos experimentos, assim como fomentar questionamentos e discusses no mbito da verificao da confiabilidade de questionrios.

7. Referncias CASTRO, M. H. G., Avaliao do sistema educacional brasileiro: tendncias e perspectivas. Braslia: Instituto Nacional de Estudos e Pesquisas Educacionais. 61p. 1998.

CRONBACH, L J., My current thoughts on coefficient alpha and sucessors procedures, Educational and Psychologycal Measurement, vol. 64, n.o 3, 391-418. 2004.

FREITAS, A. L. P., A auto-avaliao de instituies de ensino superior: uma importante contribuio para a gesto educacional,Revista Ibero-americana de Educacin, 15p. 2004.

FREITAS, A. L. P., RODRIGUES, S. G. A Estruturao do Processo de Auto-avaliao de IES: Uma Contribuio Para a Gesto Educacional, Anais do XXIII ENEGEP Encontro Nacional de Engenharia de Produo, Ouro Preto/MG/Brasil. 2003.

HAYES, B. E., Medindo a satisfao do cliente, Rio de Janeiro: Editora Qualitymark, 228p. 1995.

INEP, Manual de Avaliao Institucional Centros Universitrios. Verso preliminar. 2002.

MATTAR, F. N. Pesquisa de Marketing. So Paulo: Editora Atlas. 1996.

PETER, J. P., Reliability: a review of psychometric basics and recent marketing practices, Journal of Marketing Research, vol. 16, 6-17. 1999.

TROCHIM, W. M. The Research Methods Knowledge Base, 2nd Edition. Internet WWW page, at URL: (version current as of August, 2003).


Anexo A.1: Descrio dos itens que compem o questionrio I Itens 1 Existncia de boa integrao entre a gesto administrativa, rgos colegiados e comunidade acadmica nos processos decisrios ou outras atividades. 2 Existncia de estrutura organizada que atenda ao interesse de alunos e docentes

3 Participao das coordenaes na elaborao/implementao/reviso e atualizao dos projetos pedaggicos dos cursos. 4 Participao dos docentes na elaborao, implementao, reviso e atualizao dos projetos pedaggicos dos cursos. 5 Existncia de acompanhamento pedaggico para os alunos. 6 Existncia de avaliao do desempenho dos professores 7 Realizao de atividades de pesquisa articuladas com o ensino. 8 Realizao de atividades de extenso (projetos) articuladas com o ensino. 9 Existncia de parcerias com instituies, empresas ou outras universidades.

10 Existncia de atividades de ensino de ps-graduao.

11 Participao da comunidade acadmica no processo de auto-avaliao atravs de elaborao, implementao e discusso dos resultados. 12 Realizao de aes acadmico-administrativas em funo da auto-avaliao. 13 Divulgao dos resultados da auto-avaliao universitria. 14 Existncia de rgo ou comisso permanente de auto-avaliao institucional 15 Participao dos alunos nas aulas 16 Assimilao total do contedo das disciplinas 17 Desempenho dos alunos nas avaliaes e trabalhos em grupos 18 Resultados de trabalhos e conceitos 19 Relacionamento do entre alunos 20 Relacionamento entre aluno professor 21 Freqncia dos alunos nas aulas 22 Freqncia dos alunos em palestras, seminrios e congressos. 23 Freqncia em aulas prticas e estgios 24 Existncia de salas de aulas adequadas ao n.o de usurios, acstica, iluminao, ventilao, mobilirio e limpeza. 25 Existncia de auditrio / sala de conferncia adequados ao uso. 26 Existncia de instalaes sanitrias adequadas ao uso e limpas. 27 Existncia de condies de acesso para portadores de necessidades especiais 28 Existncia de infra-estrutura de segurana pessoal, patrimonial e de acidentes 29 Existncia de acesso a equipamentos de informtica pelos docentes. 30 Existncia de acesso de equipamentos de informtica pelos alunos. 31 Existncia de recurso audiovisual e multimdia. 32 Existncia de plano de expanso e de atualizao de equipamentos. 33 Existncia de rede de comunicao (Internet). 34 Existncia de manuteno permanente (preventiva e corretiva) das instalaes fsicas e equipamentos. 35 Existncia de instalaes, espao e moblia adequados ao estudo em grupo. 36 Existncia de instalaes, espao e moblia adequados ao estudo individual. 37 Existncia de livros suficientes e adequados proposta dos cursos. 38 Existncia de peridicos variados e adequados proposta dos cursos. 39 Existncia de informatizao (do acervo, consulta, e controle dos servios). 40 Existncia de base de dados atualizados, informaes digitalizadas e teses catalogadas. 41 Existncia de jornais e revistas e adequados a proposta pedaggica do curso 42 Horrio de funcionamento condizente com os turnos do curso. 43 Existncia de qualidade no servio de consulta e emprstimo do acervo. 44 Existncia de tcnicos-administrativos qualificados e na quantidade certa. 45 Existncia de apoio na elaborao de trabalhos acadmicos (ficha catalogrfica e normalizao bibliogrfica) 46 Existncia de salas de laboratrios e instalaes especiais. 47 Existncia de iluminao, ventilao e limpeza adequadas. 48 Realizao de poltica de aquisio e atualizao dos equipamentos 49 Existncia de equipamentos e mobilirio adequados atendem aos cursos 50 Existncia de laboratrios e instalaes que atendam s necessidades de atividades prticas de ensino e pesquisa. 51 Existncia de normas e equipamentos de segurana. 52 Existncia de pessoal tcnico qualificado no laboratrio. 53 Existncia de servio de xerox com qualidade em servio e atendimento.


Anexo 2: Graus de Importncia dos itens do questionrio.

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 P26 P27 P28 P29 P30 P31 P32 P33 P34 P35 P36

I1 4 4 4 5 4 4 4 5 4 5 5 5 5 4 4 5 5 5 5 5 4 4 4 4 4 5 5 5 4 5 2 5 5 5 5 4I2 5 5 4 4 4 4 4 4 4 5 5 5 4 4 4 5 5 4 4 5 5 3 4 3 4 4 5 5 5 5 5 5 5 5 5 4I3 5 4 4 5 5 5 5 5 5 5 5 5 5 4 5 5 5 5 5 5 4 4 5 4 5 5 5 5 5 4 5 4 4 5 4 3I4 4 5 4 5 5 5 4 5 5 5 5 5 5 4 5 5 5 5 5 5 4 4 5 4 5 5 5 5 4 4 4 4 4 5 4 3I5 5 4 3 5 5 5 5 5 4 3 4 5 4 3 3 5 4 4 5 5 4 4 4 4 4 4 5 4 4 4 1 2 5 4 4 4I6 5 4 4 4 5 3 3 4 4 4 4 5 4 4 5 5 4 5 4 5 4 4 3 4 3 4 5 4 4 4 4 5 4 4 5 4I7 4 4 5 5 5 5 4 4 4 5 4 5 4 4 4 5 5 5 4 5 5 4 4 4 4 3 5 4 5 5 5 5 5 4 4 4I8 4 5 4 4 5 5 4 4 4 3 4 1 4 4 4 5 4 5 5 5 4 4 2 3 4 3 4 4 4 3 4 5 * 4 4 4I9 4 5 5 5 5 5 3 5 5 5 4 4 5 4 3 5 4 5 5 4 5 5 5 4 5 5 5 5 5 3 5 5 4 5 5 5I10 4 4 5 5 5 5 3 5 3 4 4 5 5 4 4 4 4 5 4 5 * 5 5 4 * 4 5 5 5 4 5 5 5 4 4 4I11 4 4 4 4 5 4 4 4 4 5 4 5 5 4 4 5 5 4 4 5 * 4 4 4 4 4 5 4 4 4 4 5 4 4 4 5I12 5 4 4 4 5 4 4 5 2 5 4 5 4 4 4 * 5 4 4 5 * 3 4 4 4 4 4 4 4 5 4 5 3 4 4 5I13 5 4 4 4 5 4 5 4 4 5 4 5 5 4 4 * 4 4 4 3 * 3 4 4 4 4 4 4 4 4 3 5 4 4 4 5I14 5 4 5 4 3 5 3 4 5 4 4 5 4 4 2 * 4 4 3 4 * 1 4 4 4 3 4 4 4 4 5 5 * 4 4 * I15 5 5 4 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 5 4 4 5 3 4 4 5 5 5 4 5 4 4 5 4 4 5I16 5 4 4 4 5 5 3 5 4 5 4 5 5 4 4 5 5 5 4 3 4 5 4 4 4 4 5 5 4 5 5 5 4 4 4 5I17 5 4 4 5 4 4 4 4 4 5 4 5 5 4 5 5 4 4 4 4 4 5 3 4 5 3 4 5 4 4 4 4 5 3 4 4I18 5 5 3 5 4 4 3 4 4 5 4 5 4 4 5 * 4 5 4 3 4 4 4 4 4 3 4 4 4 4 4 4 4 3 4 4I19 5 4 4 4 4 4 5 4 3 4 4 5 5 4 3 5 4 4 5 4 4 5 4 4 4 4 4 5 3 4 3 4 4 4 3 4I20 5 4 5 4 4 5 5 5 4 4 4 5 5 4 4 5 4 5 5 4 4 5 4 4 4 4 4 5 4 4 2 4 4 4 3 4I21 5 4 4 4 4 5 3 5 5 5 4 5 5 4 5 5 5 5 5 4 5 5 3 4 5 5 4 4 4 5 5 4 3 4 5 5I22 4 4 4 4 4 5 4 4 4 5 4 5 5 4 4 4 4 4 5 3 4 5 3 4 4 4 5 4 4 4 4 4 4 4 5 5I23 4 4 5 4 4 5 4 4 5 5 4 5 5 4 5 * 4 5 5 4 4 5 4 4 4 4 5 4 4 5 5 4 4 4 5 5I24 5 5 4 5 3 5 4 5 5 5 4 5 5 4 4 5 5 5 4 2 5 5 5 4 4 5 5 5 5 5 4 5 4 4 5 4I25 4 4 4 5 3 4 3 4 4 5 4 4 5 4 4 4 4 5 5 3 4 5 5 4 4 4 5 4 5 4 4 5 5 4 4 4I26 5 5 4 5 3 3 4 4 4 5 5 5 5 4 4 4 5 4 4 4 4 5 5 4 4 4 5 5 5 4 4 5 3 3 4 4I27 5 5 5 4 3 5 4 4 4 5 5 5 5 4 4 1 5 5 5 4 5 5 4 4 * 4 5 5 5 4 3 5 4 3 4 4I28 5 4 4 5 3 5 4 4 4 5 5 5 5 4 4 4 5 5 5 4 5 5 5 4 4 3 5 5 5 4 4 5 4 4 5 5I29 5 5 5 5 3 5 5 4 4 5 5 5 5 4 5 3 4 5 4 5 4 5 5 4 5 4 5 5 4 4 4 5 5 4 5 4I30 5 5 5 5 2 5 5 4 4 4 5 5 5 4 4 3 5 5 5 4 4 5 2 4 4 4 5 5 5 5 4 5 4 4 5 4I31 5 5 4 5 2 5 3 4 4 5 5 5 4 4 4 3 4 5 5 4 4 5 5 4 2 4 5 5 5 4 3 5 4 4 5 4I32 5 5 4 5 2 5 3 5 4 5 4 5 5 4 4 3 4 5 5 4 * 5 5 4 4 4 5 5 4 4 4 5 4 4 5 * I33 5 5 5 5 2 5 5 5 5 5 5 5 5 5 4 4 5 5 5 5 4 5 4 4 5 4 5 5 5 5 5 5 5 5 5 5I34 5 5 4 5 4 5 4 5 4 5 5 5 5 5 4 4 4 5 4 4 5 5 * 4 4 4 4 5 4 4 5 5 5 * 5 4I35 5 4 4 5 4 4 4 5 4 5 4 5 5 4 4 * 5 5 5 4 4 5 4 4 4 3 5 5 5 4 4 5 5 4 5 4I36 5 5 4 5 3 4 4 5 4 5 4 5 5 4 4 * 5 5 4 4 4 4 4 4 5 3 5 5 5 4 5 5 4 4 5 4I37 5 5 5 5 2 5 5 5 5 4 4 5 5 5 4 * 5 5 5 5 5 5 5 4 5 5 5 5 5 5 5 5 5 4 5 4I38 5 5 4 5 2 5 4 5 5 5 5 5 5 4 3 * 4 5 5 4 5 5 4 4 4 5 5 5 5 4 5 5 5 4 5 4I39 4 5 4 5 2 5 4 4 4 5 4 5 4 4 4 * 5 5 5 4 4 * 5 4 4 5 5 5 5 5 4 5 * 4 5 4I40 5 5 4 5 2 4 3 4 4 4 4 5 5 3 4 * 5 * 5 4 4 5 4 4 4 4 5 5 5 5 3 5 5 4 5 4I41 4 5 4 5 4 5 3 4 4 5 4 5 5 4 3 * 5 5 4 3 4 5 * 4 * 5 5 5 5 4 3 5 4 4 5 4I42 5 * 4 5 2 5 5 4 3 5 4 5 4 4 4 * 5 4 3 4 4 4 5 4 5 4 4 5 4 4 4 5 4 4 5 * I43 5 * 4 5 3 4 4 4 4 5 4 5 4 4 4 * 5 5 5 4 4 4 4 4 5 4 4 5 4 4 4 5 * 4 5 * I44 4 * 4 5 1 5 4 4 4 4 4 5 * 4 4 * 5 4 4 4 * 4 5 4 4 4 4 5 4 4 4 5 4 4 4 * I45 4 * 5 4 2 3 3 5 2 5 4 5 4 4 3 * 5 4 5 3 * 5 5 4 4 4 4 4 4 4 3 5 5 4 5 * I46 4 4 5 5 2 5 5 5 4 5 5 5 5 4 4 5 5 5 5 4 4 5 5 4 5 5 5 5 4 5 5 5 4 4 5 4I47 5 5 4 5 3 4 4 5 4 5 5 5 5 4 4 5 5 5 5 4 4 5 5 4 5 5 4 5 4 4 5 5 4 4 4 4I48 4 4 4 5 3 5 4 4 4 5 5 5 5 3 4 5 5 5 5 3 * 5 5 4 5 4 4 5 4 4 4 5 5 * 5 4I49 4 5 4 5 3 4 4 5 4 5 4 5 5 4 4 5 5 5 5 3 4 4 4 4 5 4 4 5 4 5 4 5 4 4 5 4I50 5 5 5 5 5 5 4 5 5 5 5 5 5 * 4 5 5 5 5 5 5 5 5 4 5 5 4 5 5 5 5 5 5 5 5 4I51 5 5 4 5 5 4 3 4 4 5 5 5 5 4 4 5 5 5 5 5 5 4 4 4 5 4 4 5 5 5 5 5 5 4 5 5


Anexo 3: Graus de Desempenho da IES luz de cada item do questionrio.

P1 P2 P3 P4 P5 P6 P7 P8 P9 P10 P11 P12 P13 P14 P15 P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 P26 P27 P28 P29 P30 P31 P32 P33 P34 P35 P36I1 3 3 4 2 3 3 2 2 2 3 3 3 1 4 3 5 3 4 3 3 3 4 3 4 3 4 3 1 4 4 3 2 3 2 4 4I2 4 3 3 2 2 2 3 2 3 3 3 3 2 4 3 4 3 3 4 3 3 4 2 4 4 3 3 1 4 4 3 2 3 3 3 4I3 3 3 3 4 0 3 2 4 2 4 3 4 2 4 5 4 4 5 1 3 4 4 3 4 4 4 2 2 4 4 4 3 2 4 2 4I4 2 3 3 3 0 3 2 4 1 3 3 3 1 3 3 4 4 5 2 3 2 3 3 4 3 2 4 2 3 3 4 3 2 4 2 4I5 2 3 2 3 0 4 1 3 5 3 3 2 2 2 3 4 3 3 1 2 3 3 1 4 4 3 2 2 3 4 3 4 3 4 3 4I6 3 2 2 1 3 2 2 1 2 2 3 1 2 4 4 4 4 5 1 2 4 5 2 3 4 1 1 2 2 4 2 1 2 2 3 3I7 4 4 3 4 4 4 4 1 5 0 4 3 5 4 4 2 3 1 3 4 3 3 3 3 4 3 3 1 4 4 5 1 3 4 2 3I8 2 3 2 2 3 2 2 1 4 0 3 1 3 4 3 2 3 5 2 3 3 5 2 3 5 3 2 2 3 3 4 1 0 2 3 3I9 2 3 3 1 3 1 2 1 1 0 2 2 3 3 2 3 3 3 1 4 2 2 4 3 2 4 2 1 3 3 4 1 2 2 4 1I10 4 4 4 1 4 2 4 4 3 4 4 4 5 4 4 4 4 4 3 4 0 4 3 3 0 2 1 1 4 4 5 3 4 4 4 4I11 2 4 2 2 0 3 3 1 2 3 2 1 2 4 1 4 4 4 1 2 0 4 1 2 0 2 1 2 3 4 3 2 2 2 3 3I12 2 3 2 1 0 4 2 1 2 3 2 1 3 4 2 0 4 4 3 2 0 3 1 2 0 2 2 2 3 3 3 2 3 2 3 4I13 2 2 2 1 0 2 2 1 1 3 2 1 1 5 1 0 4 4 2 3 0 3 2 2 0 2 1 2 3 3 0 2 4 3 3 4I14 2 2 2 1 0 2 1 1 1 2 1 1 2 2 1 0 4 4 1 2 0 1 1 2 0 2 1 2 3 3 3 2 0 2 2 0I15 3 3 4 4 3 4 3 4 3 2 3 1 3 3 3 2 3 5 1 3 3 3 3 2 4 3 4 3 4 3 3 4 2 4 3 3I16 4 2 3 4 4 3 4 3 2 3 3 3 3 4 3 2 2 4 3 3 4 4 3 2 0 3 4 3 3 3 3 3 3 4 4 3I17 4 3 4 4 3 4 3 3 4 4 3 3 3 3 3 0 2 4 4 3 4 4 3 2 4 4 4 3 4 3 3 4 2 3 3 4I18 4 4 4 4 3 3 3 2 4 4 3 3 3 3 3 0 3 4 2 3 4 4 4 2 3 3 4 3 4 4 4 4 3 4 4 4I19 4 3 4 4 4 3 4 5 5 4 4 4 5 4 3 0 4 3 4 4 5 4 4 3 4 4 4 1 4 3 4 4 4 4 4 4I20 4 4 3 4 4 4 4 5 5 4 4 3 5 4 4 4 4 5 4 4 5 4 4 3 4 4 4 2 4 4 4 5 4 4 4 4I21 4 2 3 5 4 3 2 4 4 4 3 4 3 4 3 4 1 4 4 3 3 4 4 2 4 3 4 4 4 4 3 4 2 4 3 3I22 4 3 3 5 0 3 2 4 3 4 3 1 2 3 3 2 2 4 1 4 2 1 2 2 0 2 4 4 4 3 3 4 3 4 2 3I23 4 3 4 4 4 1 3 4 4 0 3 4 3 4 4 5 3 4 2 4 3 4 4 2 0 4 4 4 4 4 2 4 2 4 2 3I24 4 2 3 2 4 3 2 2 2 0 3 3 4 4 4 4 3 3 3 3 2 2 1 3 3 2 3 3 2 3 2 2 1 4 3 3I25 4 3 3 3 4 4 3 2 2 0 3 3 3 3 4 5 2 3 2 4 4 2 1 3 3 3 2 2 2 3 2 4 1 5 3 2I26 4 3 2 3 4 4 3 1 3 0 3 5 3 3 4 5 4 3 4 4 3 3 2 3 3 4 2 3 5 2 1 2 3 3 2 4I27 4 1 4 2 4 1 3 1 2 0 2 4 1 2 3 5 3 1 4 4 1 1 2 4 0 2 1 1 3 3 2 2 4 4 4 3I28 4 1 4 1 4 2 3 1 5 5 2 2 3 3 3 5 3 2 3 3 1 1 1 4 2 1 1 1 4 2 1 2 3 3 3 4I29 4 4 4 5 5 3 4 1 5 3 3 5 5 4 5 5 4 4 5 4 3 4 3 3 3 4 3 2 2 3 1 4 2 4 3 4I30 4 3 3 3 5 2 2 3 5 3 3 2 3 2 4 5 4 3 1 3 3 2 3 3 3 3 3 1 2 3 1 2 2 4 3 3I31 4 4 3 3 5 2 4 2 3 3 4 2 3 3 4 5 4 4 1 3 1 2 2 3 3 3 3 1 2 2 2 1 2 4 4 2I32 3 1 4 1 5 1 4 1 2 5 2 3 2 3 2 5 2 4 1 3 0 2 1 2 2 2 2 1 2 3 3 1 2 4 3 0I33 4 4 4 5 5 4 3 1 5 2 4 3 5 4 4 5 5 4 2 5 4 4 4 3 2 3 3 1 4 3 2 4 3 5 4 5I34 1 1 3 1 5 2 3 1 1 3 3 2 1 4 2 0 3 3 1 2 3 2 0 2 1 3 3 1 4 2 3 3 1 0 1 2I35 4 2 3 2 5 4 2 1 4 3 3 2 2 2 3 0 4 4 2 2 4 1 3 3 3 3 2 3 3 3 2 3 2 4 2 4I36 4 2 3 2 4 3 3 1 1 2 3 4 4 2 2 0 4 3 1 2 4 2 4 3 3 2 2 3 3 3 1 3 3 4 2 4I37 3 2 2 2 5 3 1 1 1 2 3 4 3 2 3 0 3 2 1 2 3 1 3 3 3 3 2 1 2 3 3 2 1 4 2 4I38 3 3 2 5 5 3 1 1 1 2 1 2 3 2 2 0 4 2 1 2 4 1 1 3 2 2 1 1 2 3 4 2 1 4 3 3I39 3 3 4 5 4 2 1 3 3 2 3 3 2 2 2 0 3 5 2 2 3 0 1 2 2 2 2 2 2 3 3 3 0 4 4 4I40 2 2 3 3 5 1 1 2 1 2 3 4 4 2 2 0 3 0 1 2 3 1 2 2 2 2 1 1 3 3 3 4 2 4 2 3I41 2 2 3 5 5 3 2 2 1 4 3 3 2 2 1 0 3 2 3 3 2 1 0 2 0 2 1 1 2 2 3 2 2 4 2 3I42 4 0 4 5 5 4 5 1 4 2 4 4 4 3 3 0 4 4 4 3 4 2 4 2 2 3 3 4 4 3 4 5 3 4 4 0I43 4 0 3 3 4 4 4 2 4 3 3 4 4 3 3 0 4 4 4 4 3 2 3 3 4 4 4 4 4 3 3 4 0 4 2 0I44 3 0 3 5 5 3 3 2 2 1 3 4 0 3 3 0 4 3 4 4 0 1 4 3 3 3 4 3 4 3 3 4 3 4 4 0I45 3 0 3 4 5 3 4 2 3 2 4 4 2 2 3 0 4 3 2 3 0 2 2 3 2 2 3 3 4 3 4 4 1 3 2 0I46 3 2 3 3 5 3 3 1 2 3 3 3 5 4 3 3 4 1 3 3 4 1 2 3 2 3 3 3 4 3 2 1 3 4 3 4I47 4 2 4 3 5 2 3 1 4 2 3 3 4 4 4 4 4 1 2 3 4 4 1 3 3 4 2 3 4 2 2 1 1 4 3 2I48 3 1 3 2 5 2 2 1 1 2 2 3 3 3 3 3 3 2 1 4 0 2 1 3 2 3 2 1 4 3 3 1 2 0 4 3

4 2 4 3 3 3 3 1 3 3 3 3 3 3 3 3 3 2 1 4 3 1 1 3 2 3 2 1 4 3 3 1 3 4 2 3I49 4 2 3 4 2 2 2 1 4 2 3 4 4 0 4 3 2 1 1 3 3 2 1 3 3 3 3 1 3 3 3 1 3 4 2 3I50

I51 3 1 3 2 2 2 2 1 1 1 2 2 2 2 2 0 2 2 1 2 4 1 1 3 2 3 2 2 2 3 1 1 1 2 2 3

Documents

2005 - Coeficiente alfa de Cronbach.pdf