12
1 Desenvolvimento e Implementação de uma Estratégia de Coleta de Dados via Mobile Fundação Escola de Comércio Álvares Penteado (FECAP) Eixo II – Indicadores e instrumentos de autoavaliação Marcelo Krokoscz (Fundação Escola de Comércio Álvares Penteado) Ronaldo Araújo (Fundação Escola de Comércio Álvares Penteado) Graziani Arciprete (Fundação Escola de Comércio Álvares Penteado) Rogério Gustavo (Fundação Escola de Comércio Álvares Penteado) Fernando Reis (Fundação Escola de Comércio Álvares Penteado) Resumo O uso de instrumentos convencionais (formulários impressos ou via internet) nos processos de coleta de dados nas pesquisas de avaliação institucional além de demandarem tempo e custo elevado, nem sempre obtém uma taxa de resposta representativa. Em ambos os casos, os resultados obtidos por vezes são insuficientes e a implicação disto é a fragilidade das constatações inferidas. O principal objetivo deste trabalho é apresentar o processo de desenvolvimento e implementação de uma modalidade inovadora modalidade inovadora de coleta de dados que ao mesmo tempo em que fosse barata e rápida, permitisse a obtenção de melhores taxas de participação dos respondentes nas pesquisas institucionais. Sabe-se que as atividades de avaliação institucional adquirem significância em termos educativos na medida em que envolvem um grande número de participantes e que tal escopo nem sempre é uma tarefa simples e fácil de ser realizada, a busca de estratégias alternativas de coleta de dados além de ser necessária é uma tarefa que cabe à própria instituição visando seu aprimoramento e desenvolvimento. Sendo assim, foi desenvolvida uma plataforma mobile para a coleta de dados visando à otimização do processo de coleta de dados. Desta maneira, o formulário de pesquisa que constava de 17 questões de múltipla escolha e uma questão aberta pode ser acessado via smartphones e tablets por meio da rede wireless da instituição bem como por redes wireless fora da instituição ou em conexões 3G. Verificou-se um aumento considerável da participação dos respondentes de um Curso de Pós-graduação na pesquisa de avaliação de desempenho docente, alcançando as taxas convencionais de resposta obtida por meio de formulários eletrônicos. Além disto, tal estratégia possibilitou a agilização do processo de coleta de dados, a redução dos custos de aplicação dos questionários e os resultados da pesquisa por terem sido tabulados automaticamente puderam ser acessados de forma mais eficiente. Ainda é necessário fazer melhorias nesta modalidade de coleta de dados, contudo desde já se recomenda que esta técnica inovadora de coleta de dados seja utilizada por outras comissões e eventuais aprimoramentos possam ser compartilhados entre todos os interessados na excelência dos processos de avaliação institucional. Palavras-chave: pesquisa institucional; coleta de dados; plataforma mobile. Introdução A Fundação Escola de Comércio Álvares Penteado é uma instituição sem fins lucrativos fundada em 1902, época na qual era denominada Escola Prática de Comércio

(Desenvolvimento e implementação do processo de coleta de dados …download.inep.gov.br/educacao_superior/avaliacao_insti... · 2013-09-20 · 1 Desenvolvimento e Implementação

Embed Size (px)

Citation preview

1

Desenvolvimento e Implementação de uma Estratégia de Coleta de Dados via Mobile

Fundação Escola de Comércio Álvares Penteado (FECAP)

Eixo II – Indicadores e instrumentos de autoavaliação

Marcelo Krokoscz (Fundação Escola de Comércio Álvares Penteado)

Ronaldo Araújo (Fundação Escola de Comércio Álvares Penteado)

Graziani Arciprete (Fundação Escola de Comércio Álvares Penteado)

Rogério Gustavo (Fundação Escola de Comércio Álvares Penteado)

Fernando Reis (Fundação Escola de Comércio Álvares Penteado)

Resumo O uso de instrumentos convencionais (formulários impressos ou via internet) nos processos de coleta de dados nas pesquisas de avaliação institucional além de demandarem tempo e custo elevado, nem sempre obtém uma taxa de resposta representativa. Em ambos os casos, os resultados obtidos por vezes são insuficientes e a implicação disto é a fragilidade das constatações inferidas. O principal objetivo deste trabalho é apresentar o processo de desenvolvimento e implementação de uma modalidade inovadora modalidade inovadora de coleta de dados que ao mesmo tempo em que fosse barata e rápida, permitisse a obtenção de melhores taxas de participação dos respondentes nas pesquisas institucionais. Sabe-se que as atividades de avaliação institucional adquirem significância em termos educativos na medida em que envolvem um grande número de participantes e que tal escopo nem sempre é uma tarefa simples e fácil de ser realizada, a busca de estratégias alternativas de coleta de dados além de ser necessária é uma tarefa que cabe à própria instituição visando seu aprimoramento e desenvolvimento. Sendo assim, foi desenvolvida uma plataforma mobile para a coleta de dados visando à otimização do processo de coleta de dados. Desta maneira, o formulário de pesquisa que constava de 17 questões de múltipla escolha e uma questão aberta pode ser acessado via smartphones e tablets por meio da rede wireless da instituição bem como por redes wireless fora da instituição ou em conexões 3G. Verificou-se um aumento considerável da participação dos respondentes de um Curso de Pós-graduação na pesquisa de avaliação de desempenho docente, alcançando as taxas convencionais de resposta obtida por meio de formulários eletrônicos. Além disto, tal estratégia possibilitou a agilização do processo de coleta de dados, a redução dos custos de aplicação dos questionários e os resultados da pesquisa por terem sido tabulados automaticamente puderam ser acessados de forma mais eficiente. Ainda é necessário fazer melhorias nesta modalidade de coleta de dados, contudo desde já se recomenda que esta técnica inovadora de coleta de dados seja utilizada por outras comissões e eventuais aprimoramentos possam ser compartilhados entre todos os interessados na excelência dos processos de avaliação institucional. Palavras-chave: pesquisa institucional; coleta de dados; plataforma mobile. Introdução

A Fundação Escola de Comércio Álvares Penteado é uma instituição sem fins lucrativos fundada em 1902, época na qual era denominada Escola Prática de Comércio

2

e tinha a finalidade de formar profissionais para a área de negócios. Em 1905 a instituição foi declarada de utilidade pública e desde a sua origem desenvolveu-se paulatinamente, sempre procurando atender a sociedade quanto à necessidade de capacitação de novos técnicos tendo implantado o primeiro curso superior em Ciências Econômicas em 1931. Atualmente a instituição é a mantenedora do Centro Universitário FECAP, presente em três Campi e possui um portfólio diversificado de cursos de graduação e pós-graduação (Lato sensu e Stricto-sensu) na área de negócios os quais são reconhecidos publicamente pela sua qualidade e distinção acadêmica como pode ser verificado pelos resultados obtidos nas avaliações oficiais.

IGC 2008

(baseado nos nossos

resultados no ENADE

2006)

IGC 2009

(baseado nos nossos

resultados no ENADE

2009)

IGC 2010

(baseado nos nossos

resultados no ENADE

2009)

IGC 2011

(baseado nos nossos

resultados no ENADE

2009)

Pontuação (0 a 500)

347 378 379* 378*

Conceito (1 a 5)

4 4 4 4

Colocação entre todas as instituições (públicas e privadas)

54o lugar de 2.128 instituições listadas pelo MEC na divulgação dos resultados, o que a colocava entre as 2,5% mais bem classificadas do país

33o lugar de 2.137 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 1,5% mais bem classificadas do país

36o lugar de 2.176 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 1,7% mais bem classificadas do país

34o lugar de 2.136 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 1,6% mais bem classificadas do país

Colocação entre as privadas

25o lugar de 1.916 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 1,3% mais bem classificadas do país

14o lugar de 1.917 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 0,7% mais bem classificadas do país

14o lugar de 1.947 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 0,7% mais bem classificadas do país

15o lugar de 1.906 instituições listadas pelo MEC na divulgação dos resultados, o que a coloca entre as 0,7% mais bem classificadas do país

Fonte: Ministério da Educação.

Tais resultados refletem a Missão Institucional da FECAP na constante busca

da “excelência na formação de profissionais eficazes, com elevado senso de cidadania e visão sócio empresarial”. Com vistas à manutenção do êxito institucional em relação a esta missão, desde 1996 a FECAP vem implementando e aprimorando os processos de avaliação em conformidade com os princípios preconizados pela literatura e pelo governo (AZEVEDO et. al., 1996; BRASIL, 2009; DIAS SOBRINHO 1996; 1997a; NUNES, 1998; RISTOFF 1996; 2003; TRINDADE, 1996). Além disto, de acordo com o atual Plano de Desenvolvimento Institucional (PDI 2010-2014), considera-se como objetivos precípuos da Avaliação institucional do Centro Universitário FECAP:

a) favorecer o cumprimento da missão institucional: “Excelência na Formação de Profissionais Eficazes, com elevado Senso de Cidadania e Visão Sócio-Empresarial”. b) diagnosticar os pontos fracos e fortes da Instituição, para assegurar a qualidade dos serviços educacionais prestados à comunidade, garantindo que haja um inter-relacionamento entre as dimensões de ensino, pesquisa, extensão e gestão administrativa. c) incentivar a criação de um processo de autocrítica que tanto garanta a qualidade, em consonância com as demandas científicas, culturais e sociais

3

dos nossos dias, quanto aprimore e consolide uma cultura institucional na qual a avaliação seja parte da rotina da Instituição. d) subsidiar o Plano de Desenvolvimento Institucional (PDI), no tocante à elaboração dos projetos pedagógicos e institucionais relevantes para as metas de qualidade traçadas. e) constituir-se num processo sistemático de prestação de contas à coletividade, como garantia da qualidade dos serviços educacionais prestados. (CENTRO UNIVERSITÁRIO FECAP, 2010).

Portanto, conforme destacado pelo Relatório de Avaliação Institucional (CENTRO UNIVERSITÁRIO FECAP, 2013, p.20) em suma, os processos de avaliação institucional na FECAP tem como foco “a missão institucional; a melhoria contínua da qualidade do ensino oferecido; a atualização constante do corpo docente da Instituição; os currículos dos cursos de graduação e pós-graduação; a redução da evasão e da repetência de seus discentes; o amplo desenvolvimento de pesquisa e das atividades de extensão; a melhoria da infraestrutura; as relações com a comunidade interna e externa; a capacidade gerencial da Instituição; e a utilização racional dos recursos humanos e financeiros da Instituição (BARBISAN, 2002; SCHWARTZMAN, 1996)”

Na FECAP entende-se que tais tarefas estão correlacionadas à eficácia dos processos avaliativos, os quais são planejados como atividades que requerem o emprego de técnicas qualificadas de pesquisa as quais favoreçam o máximo envolvimento possível da comunidade educativa de forma a se obter dados suficientemente representativos da realidade institucional, precavendo-se assim da endogenia e da hegemonia de grupos nas respostas que são dadas aos questionários de avaliação (GATTI, 2006).

Atualmente na FECAP são realizados os seguintes processos avaliativos em todos os níveis de ensino: avaliações institucionais com docentes, discentes, colaboradores; avaliação com egressos; avaliação de desempenho dos docentes feita pelos discentes; avaliação dos programas institucionais feita pelos discentes; avaliação qualitativa com alunos de destacado desempenho acadêmico.

Considerando tais pressupostos e processos, é preocupação constante da Comissão Própria de Avaliação a meta-avaliação dos processos de pesquisa institucional, de modo que “cada novo ciclo avaliativo leve em conta os acertos e eventuais equívocos do processo anterior” (ROSSIT, 2010, p.94). Um dos aspectos que recentemente demandou reflexão foi a mensuração de uma redução nos índices amostrais em algumas pesquisas de autoavaliação, embora do ponto de vista estatístico não tenham perdido sua confiabilidade. Contudo, monitorando tais resultados, a CPA em parceria com o Departamento de Tecnologia Institucional (DTI) iniciou um processo de análise e discussão com vistas ao aprimoramento dos processos de coleta de dados o que resultou no desenvolvimento de um novo recurso para tais procedimentos, caso da utilização da tecnologia mobile como smartphones e tablets uma iniciativa considerada inovadora (BRANDAU, 2011; QY, 2013), que utiliza de forma ótima as possibilidades suscitadas pelas novas tecnologias que ao mesmo tempo em que funcionam como alternativas de facilitação nos processos e tarefas humanas são dispositivos que tem se popularizado bastante e são amplamente utilizáveis pela população, principalmente os adolescentes e jovens que nasceram “conectados” à estes recursos e são o público majoritário nas instituições de ensino. Além disto, a utilização de tais recursos, contribuem na redução de gastos financeiros com a produção de impressos ao mesmo tempo em que diminuem consideravelmente a demanda de tempo no acompanhamento e implementação dos processos de pesquisa convencionais. Em suma, esta nova modalidade contribui para o aprimoramento dos processos de pesquisa institucional. Objetivos

4

O principal objetivo deste trabalho é apresentar o processo de desenvolvimento e implementação de uma modalidade inovadora de coleta de dados que ao mesmo tempo em que fosse barata e rápida, permitisse a otimização da participação dos respondentes nas pesquisas institucionais. Especificamente, o trabalho visa justificar a necessidade de aprimoramento das estratégias de coleta de dados; demonstrar a aplicabilidade e eficácia do uso de equipamentos mobiles nestes procedimentos. Referencial teórico

Conforme previsto na legislação (Lei 9394/96 e Lei 10.861/2004, a avaliação institucional deve visar fundamentalmente o desenvolvimento da qualidade institucional por meio da identificação dos pontos fracos e fortes, bem como das oportunidades e possibilidades de aprimoramento institucional mediante a utilização de mecanismos que permitam a participação da comunidade educativa. (BRASIL, 1996; 2004).

Nesta tarefa, a garantia e facilidade da participação coletiva nos processos avaliativos é um desafio permanente das comissões de avaliação que precisam estar atentos às características e condições dos processos avaliativos, como é o caso da constante análise das estratégias adotadas para a coleta de dados, pois se considera que as atividades de avaliação institucional adquirem significância em termos educativos na medida em que envolvem um grande número de participantes (ABREU JUNIOR, 2007; BRASIL, 2009).

Neste sentido, embora se admita que os processos avaliativos não sejam meramente técnicos (ABREU JUNIOR, 2007) e que devem contar com a sensibilização e envolvimento de toda a comunidade educativa, é preciso reconhecer que “o levantamento de dados e a sua organização são aspectos importantes no processo de avaliação [...]” (LEHFELD et al. 2010, p. 734). Entretanto, nos processos de pesquisa geralmente são utilizados como instrumentos de coleta de dados formulários impressos ou eletrônicos disponibilizados em páginas nas internet. Contudo, sabe-se que apesar destas estratégias proporcionarem uma “avaliação profunda e permitirem planejamento para um melhor desempenho futuro, [consistem num] processo demorado e caro” (CHIAVENATO, 2004 apud REIFSCHNEIDER, 2008, p.51). Neste contexto, a busca de estratégias alternativas de coleta de dados além de ser necessária é uma tarefa que cabe à própria instituição visando seu aprimoramento e desenvolvimento (BRASIL, 2009). Considerando-se esta necessidade, acredita-se que não se pode ignorar nestes processos a importância e influência das mudanças e dos avanços como os que caracterizam a Sociedade em Rede os quais requerem modificações nos modos de pensar, nos processos de interação social e até mesmo nos valores humanos. (CASTELLS, 1999).

Especial atenção neste novo cenário refere-se à importância e ao uso das novas tecnologias de informação e comunicação (TIC’s) nos processos humanos em geral e no caso específico deste estudo, com as ações de avaliação institucional. Entretanto, não obstante ser reconhecido que o uso de TIC’s como ferramentas de avaliação institucional ser ainda bastante incipiente, já é reconhecido que o uso de tais recursos, caso da disponibilização de formulários em portais da internet, “melhoram a organização dos dados coletados nas pesquisas, possibilitando, além da sua organização, a agilidade na coleta de informações e a economia de tempo, como também de recursos financeiros” (SOUZA,M; SOUZA, C., 2011, p. 34; STORANI; SENO, 2010).

Ou seja, as TIC’s têm gerado profundo impacto no mundo moderno, alterando a forma como as pessoas se comunicam e se relacionam, modificando dinâmicas estabelecidas há séculos no mundo empresarial e criando novas relações de trabalho. Dessa forma, há a necessidade de se adaptar a essas mudanças. As escolas e instituições de ensino precisam lidar com um novo perfil de aluno e prepará-lo para atuar em um mercado que está

5

em constante modificação. (LOSINA, 2010, p. 149 apud SOUZA,M; SOUZA, C., 2011, p. 31).

Experiências com o uso das novas tecnologias no âmbito da avaliação institucional vêm sendo reconhecidas principalmente devido a sua importância no processo de “consolidação da democratização da informação [como] resultado mais inovador que se pode esperar em termos de avaliação institucional” (LEITE, 2010, p.90). Além disto, admite-se que o uso das tecnologias da informação nos processos avaliativos intensificam o envolvimento e conhecimento da comunidade educativa em tais ações ao mesmo tempo em que subsidiam a elaboração do projeto institucional e auxiliam de forma mais consistente a tomada de decisão institucional. (LEITE, 2010; MARTINS, 2010).

Quanto à utilização de formulários adaptados a plataformas mobile, já é possível constatar alguns trabalhos publicados na literatura considerando-os um método em expansão especialmente na área de pesquisas de marketing devido à facilidade de acesso e rapidez na obtenção de retorno dos clientes quanto a (In)satisfação em relação a um produto ou serviço. (BRANDAU, 2011).

Imediatez realmente é um dos benefícios chave dos mobile-survey por possibilitar aos participantes dar feedback por meio dos seus próprios celulares ou por meio daqueles fornecidos pelo restaurante enquanto eles ainda estão no local e suas experiências estão vivas. (BRANDAU, 2011, p.38, tradução nossa).

Também são consideradas como vantagens na adoção de estratégias mobile para a coleta de dados a popularização e aumento do uso de smartphones, a facilidade e rapidez na aquisição e tratamento dos dados bem como a simplicidade na sua obtenção. (QI, 2013). Apesar disto, também já foram constatadas desvantagens como o fato de que nem todos os celulares suportam questionários online, em alguns casos as pesquisas via mobile causam baixa velocidade de download e ainda podem ter baixas taxas de participação. (QI, 2013).

Em suma, a adoção de estratégias inovadoras nos processos de coleta de dados das avaliações institucionais além de corresponder a uma demanda permanente com vistas à manutenção e incremento da participação da comunidade educativa, adequa-se inteiramente a concepção consolidada de que os processos avaliativos institucionais estão em constante processo de transformação e por isso não tem a ver exclusivamente com o passado, mas, sobretudo com o futuro (SOBRINHO, 1997b). Metodologia

Nas pesquisas de avaliação do desempenho docente feita pelos discentes no Centro Universitário FECAP, a CPA em parceria com o departamento de Desenvolvimento de Tecnologia da Informação (DTI) da FECAP já tinha elaborado um sistema para que o questionário fosse disponibilizado na internet de modo que os alunos pudessem acessá-lo por meio de um computador pessoal (PC) quanto dos computadores disponíveis nos laboratórios de informática institucionais.

A estrutura do sistema para a pesquisa consiste em, para cada questão, exibir os professores que são avaliados e então, o aluno responde a mesma questão para cada professor. As informações ficam então disponíveis para os relatórios esperados e divulgações necessárias.

Na pós-graduação Lato Sensu, havia um esforço em garantir que os alunos respondessem ao questionário e muitas vezes, essa garantia era obtida solicitando-se que turmas inteiras fossem dirigidas aos laboratórios de informática para responderem ao questionário eletrônico. Isso trazia alguns problemas quando, por motivos diversos, o acesso ao questionário ficava indisponível, além de tirar o aluno da sala de aula para

6

essa ação. Além disto, os resultados se tornaram preocupantes quando o número de alunos respondentes começou a cair, mesmo após todos os trabalhos tecnológicos para garantir o acesso ao questionário.

Revendo o histórico da disponibilização desta pesquisa em 2008, foi observado que naquele momento houve um número desejável de respondentes para a pesquisa, que tinha sido realizada em questionário impresso. O aluno recebia uma folha com o questionário e outra folha de respostas onde constava o nome do professor e da disciplina distribuídos em colunas. Essa folha de respostas era no padrão de preenchimento de bolhas. Após a realização da pesquisa, as folhas de respostas eram enviadas para a Secretaria que montava uma logística para tabulação das respostas. A tabulação era feita em Excel e então, inseridas em nosso sistema acadêmico para as devidas divulgações. Esse processo tomava bastante tempo, mais de uma semana, o que trazia atrasos na continuidade do processo da CPA, além dos problemas para redirecionamento das funções internas da Secretaria para a realização desses trabalhos.

Ao analisar o sistema de aplicação da pesquisa via papel impresso, o DTI identificou, além dos problemas já mencionados, outros envolvendo custos por conta da confecção de novos formulários. Foi apresentada então uma solução baseada em dispositivos mobile, por meio da qual o aluno poderia responder ao questionário em um aparelho smartphone ou tablet. Com isso, esperava-se que o número de respondentes melhorasse com a possibilidade de o aluno poder acessar o questionário de qualquer lugar, desde que tivesse em mãos o seu dispositivo mobile acessando a internet. O aluno poderia responder de dentro das instalações da FECAP, utilizando a rede wi-fi interna, mas também poderia responder de dentro do metrô, ou de um ônibus e até, de sua casa sem a necessidade de ter que ligar o seu PC para isso. Poderia iniciar as respostas, por exemplo, dentro do metrô e terminar em sua casa.

Com a ideia aprovada pela CPA, o DTI da FECAP começou a pesquisar as possíveis formas de exibição do aplicativo nos dispositivos mobile. A maior pergunta era se deveria ser investido esforços em desenvolver um aplicativo nativo para cada plataforma ou se tentaria algo para ser acessado via browser. Em relação à primeira dúvida, foi identificada uma complexidade preocupante na elaboração de um aplicativo nativo que pudesse ser acessado em um celular baseado em plataforma andróide e também, em um celular como o iPhone, que trabalha com a plataforma IOS, por exemplo. A ideia só agradaria se não houvesse a preocupação com que tipo de dispositivo mobile seria utilizado pelo usuário/respondente.

Nesse sentido, foi definido que o aplicativo seria então, um serviço em uma página web, configurado para ter uma apresentação adequada naqueles dispositivos. Essa apresentação adequada foi o maior desafio, pois era preciso colocar de uma forma confortável para o aluno, o mesmo questionário que ele tinha disponível no PC.

Sabia-se que, apesar de ter o mesmo objetivo, não se podia simplesmente colocar o que era exibido na tela do PC, na tela de um celular, considerando inclusive a forma de desenvolvimento dos serviços, que são diferentes. A outra grande preocupação estava da versatilidade do sistema. Esperava-se que o aluno pudesse começar a responder a pesquisa e não tivesse a obrigatoriedade de terminá-la naquele momento, podendo fechar o aplicativo, reabri-lo depois e continuar de onde parou. Para tanto, além de valer-se da experiência em desenvolvimento da equipe de tecnologia da FECAP, pode-se contar com a infraestrtura tecnológica do DTI da FECAP que garantia o desempenho tanto de servidores quanto da rede, essenciais para o acesso remoto dos alunos.

Assim, foi desenvolvida uma plataforma mobile para a coleta de dados em linguagem de programação PHP com HTML5 e CSS, acessando uma base de dados

7

Oracle. Esta plataforma pode ser acessada via smartphones e tablets por meio da rede wireless da instituição, além de permitir também o acesso em redes wireless fora da instituição ou em conexões 3G. Resultados e Discussões

A FECAP disponibiliza uma rede interna wi-fi para que seus alunos tenham acesso à internet. Os aparelhos que acessam essa rede são configurados um a um pela equipe de infraestrutura tecnológica, prezando pela segurança que a instituição tem como uma de suas prioridades.

Devido a esta característica de configuração, sabia-se que existia a possibilidade de alguns alunos não terem, por exemplo, os seus celulares devidamente configurados para acessar a rede e com isso, estariam impossibilitados de responder ao questionário de dentro da FECAP. Essa preocupação resultou na determinação de que haveria um esforço para que os alunos respondessem ao questionário ainda em sala de aula. Sendo assim, a equipe de desenvolvimento de sistemas, em conjunto com a equipe de infraestrtura tecnológica, a Comissão Própria de Avaliação e a diretoria da Pós Graduação, elaboraram alguns procedimentos de apoio ao aluno para garantir que todos tivessem os seus dispositivos mobile configurados e prontos para acessar a pesquisa dentro da rede wifi dos Campi da Pós-Graduação.

Foi montado um quiosque no hall de entrada dos prédios situados nos Campi Largo São Francisco e em Pinheiros, onde funcionam a Pós-graduação, simultaneamente foi realizada uma campanha com cartazes e panfletos informativos visando a sensibilização dos estudantes que ainda não tinham solicitado a configuração dos seus aparelhos. Os alunos foram abordados e informados sobre a importância da realização das configurações para o bom andamento da pesquisa via mobile. Também, foi realizada uma campanha de sensibilização nas salas de aula com o apoio da coordenação de cursos e dos professores, no mesmo sentido. A aceitação e receptividade dos procedimentos pelos alunos foram satisfatórias e o resultado foi classificado como um processo de sucesso.

Figura 1 – Página inicial e primeira tela da plataforma mobile em smartphone

8

Fonte: elaborado pelos autores.

O site onde o sistema de pesquisas foi disponibilizado obteve 635 acessos no total sendo que 541 respondentes acessaram a pesquisa e 365 completaram os questionários. A população de respondentes esperados era de 1377 respondentes. Portanto, a taxa de resposta obtida foi de 26,5%.

Sobre este índice de obtenção de respostas cabem as seguintes observações. Primeiro que estudos sobre a utilização de formulários eletrônicos têm mostrado que os índices de retorno de respostas via internet geralmente ficam em torno de 30% número aproximado do obtido neste caso. (VASCONCELLOS; GUEDES, 2007; VIEIRA; CASTRO; SCHUCH JUNIOR, 2010). Segundo, do ponto de vista amostral, considerando-se um índice de confiança de 95,5% de grau de confiança e 50% de proporção de sucesso, tais resultados possuem uma margem de erro de 4,53% conforme expressão abaixo, o que consideramos um índice aceitável.

9

Além disto, outra consideração importante é que a utilização de formulários

eletrônicos disponibilizados na internet para acesso por meio de computador pessoal vinha obtendo taxas de participação bem mais baixas do que as obtidas atualmente O número de participantes nas pesquisas de avaliação do desempenho docente na Pós-graduação no primeiro semestre de 2012 foram 87 e no segundo semestre do mesmo ano foram 58 sendo que a população em ambos os semestres estava acima de mil respondentes. Portanto, ainda que os resultados de participação esperados não sejam satisfatórios, representam uma evolução importante do ponto de vista amostral.

Além do mais, frente aos resultados obtidos por meio desta iniciativa inovadora, a CPA continua a reflexão sobre a necessidade e aprimoramentos nos processos de coleta de dados, inclusive considerando a necessidade de reforçar a cultura de avaliação institucional entre os estudantes de Pós-graduação, uma população acadêmica que tem um perfil diferenciado do ponto de vista do vínculo institucional seja por constituir turmas pequenas, que frequentam a instituição eventualmente e estão em campus frequentados exclusivamente por alunos de pós-graduação.

Outra observação que tem sido analisada é a possibilidade de aquisição institucional de tablets para serem utilizados nos processos de avaliação via mobile. Neste caso, os equipamentos seriam levados às salas de aula de acordo com um planejamento e escalonamento prévio de forma que todos os estudantes presentes tivessem a possibilidade de responder a pesquisa presencialmente, porém por meio de um formulário eletrônico. Esta solução apresenta-se como a síntese entre o processo de coleta de dados presencial via formulários impressos (que possuem taxas altas de participação) com a utilização de recursos eletrônicos. Esta é uma possibilidade que ainda está em análise e estudo de viabilidade.

Cabe destacar ainda o fato de que como as respostas dos alunos foram inseridas diretamente numa base de dados, e o próprio sistema já estava configurado para gerar os relatórios de pesquisa com os índices de resposta obtidos pelo corpo docente em geral e cada professor em particular em cada quesito avaliado, imediatamente após o encerramento da pesquisa professores e gestores já podiam visualizar graficamente os resultados obtidos conforme imagem a seguir:

10

Figura 2 – Tela de apresentação do resultado automático da pesquisa de avaliação de desempenho docente feita via mobile.

Fonte: elaborado pelos autores.

Considerações finais Constatou-se que a adoção de uma plataforma mobile para a coleta de dados

possibilitou a agilização do processo de coleta de dados, a redução dos custos de aplicação dos questionários e aumentou consideravelmente os índices de participação nas pesquisas institucionais.

Além disto, os resultados da pesquisa são tabulados automaticamente permitindo que sejam acessados mais rapidamente. Desta forma, é possível a realização de tal processo de avaliação com mais frequência e eficiência.

Sendo assim, está sendo desenvolvida atualmente o uso desta plataforma mobile para a realização de pesquisas institucionais com os alunos da Graduação. Espera-se que com os resultados a serem obtidos possam ser reunidos mais elementos de análise que possibilitem a reflexão sobre o incremento da eficácia desta nova modalidade de coleta de dados. Contudo, desde já, recomenda-se que esta técnica inovadora de coleta de dados seja utilizada por outras comissões e eventuais aprimoramentos possam ser compartilhados entre todos os interessados na excelência dos processos de avaliação institucional. Referências ABREU JÚNIOR, Nelson De. Sistema(s) de avaliação da educação superior brasileira. Cad. Cedes, Campinas vol. 29, n. 78, p. 257-269, maio/ago. 2009. AZEVEDO, Neroaldo Pontes de et. al.. Avaliação Institucional da UFPB: construindo o autoconhecimento. Revista de Avaliação Institucional, Campinas, v.1, n.2, dez. 1996.

11

BRASIL. Ministério da Educação. SINAES - Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5 ed. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais, 2009. ______. Lei 9394 de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília. Presidência da República, 1996. ______. Lei 10.861 de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Brasília. Presidência da República, 2004. BRANDAU, Mark. Survey Says. Nation’s restaurant News, v.45, n. 5, p.38, mar. 2011. CASTELLS, Manuel. A Sociedade em Rede. São Paulo: Paz e Terra: 1999. CENTRO UNIVERSITÁRIO FECAP. Plano de Desenvolvimento Institucional 2010-2014. São Paulo: FECAP, 2010. ______. Relatório de Avaliação Institucional 2012. São Paulo: FECAP, 2013. DIAS SOBRINHO, José. Avaliação Institucional: marcos Teóricos e políticos. Revista Avaliação, Campinas, v. 1, n.1, jul. 1996. ______. Avaliação Institucional: integração e ação integrativa. Revista Avaliação, Campinas, v.2, n.2, jun. 1997a. ______. Editorial. Revista Avaliacao, Campinas, v. 2, n.3. 1997b. GATTI, Bernardete A. Avaliação Institucional: processo descritivo, analítico ou reflexivo? Estudos em Avaliação Institucional, São Paulo, v.17, n. 34, p.7 a 14, maio/ago. 2006. LEHFELD, Neide Aparecida de Souza et al.. Reflexões sobre o processo de autoavaliação institucional: o olhar de uma comissão própria de avaliação. Avaliação, Campinas, v. 15, n. 1, p. 177-194, mar. 2010 NUNES, Rogério da S. Administração Universitária: concepções, modelos e estratégias gerenciais. Tese de Doutorado em Administração do Programa de Pós-Graduação em Administração da Universidade de São Paulo (PPGA-FEA-USP). São Paulo: USP, 1998. QI, Yanping. The analysis of mobile survey and suggestions for future. 2013. Disponível em: <http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2257600>. Acesso em: 09 set. 2013. LEITE, Denise (Org). Inovação, Avaliação e Tecnologias da Informação. Porto Alegre:Ed. Pacartes, 2010. 157 p. Disponível em: http://paginas.ufrgs.br/inov/pesquisas/Livro%20TI%20Denise%20Final%2015%2021%20palotti%20alteracoes%20final2.pdf. Acesso em: 09 set. 2013. MARTINS, José do Prado. Considerações sobre avaliação no Ensino Superior. In: ROSSIT, Rosana Ap. Salvador; STORANI, Karin (Orgs.). Avaliação nos processos educacionais. São Paulo: Editora Unifesp, 2010. p. 19-42. REIFSCHNEIDER, Marina Becker. Considerações sobre avaliação de desempenho. Ensaio: aval. pol. públ. Educ., Rio de Janeiro, v. 16, n. 58, p. 47-58, jan./mar. 2008 RISTOFF, Dilvo I.. Avaliação da Educação Superior: flexibilização e regulação. IN: DOURADO, Luiz F.; CATANI, Afrânio M.; OLIVEIRA, João F. de (orgs.). Políticas e gestão da educação superior: transformações recentes e debates atuais. São Paulo: Xamã, 2003, p. 137-157. ROSSIT, Rosana Ap. Salvador. Avaliação da educação superior: a realidade brasileira. In: ROSSIT, Rosana Ap. Salvador; STORANI, Karin (Orgs.). Avaliação nos processos educacionais. São Paulo: Editora Unifesp, 2010. p. 69-98. SOUZA, Marcos; SOUZA, Carlos Henrique Medeiros de.. A utilização das ferramentas tecnológicas como instrumento facilitador de processos nas avaliações internas das

12

instituições de ensino superior. Revista Científica Internacional. v.1, n.3, out/dez 2011. Disponível em: <http://www.interscienceplace.org/interscienceplace/article/viewFile/370/245>. Acesso em: 09 set. 2013. STORANI, Karin; SENO, Wesley Peron. Planejamento, avaliação e o papel da informática em relação aos processos, resultados e eficácia da autoavaliação institucional. In: ROSSIT, Rosana Ap. Salvador; STORANI, Karin (Orgs.). Avaliação nos processos educacionais. São Paulo: Editora Unifesp, 2010. p. 245-261. TRINDADE, Hélgio. A Avaliação institucional das Universidades Federais: Resistência e Construção. Revista de Avaliação Institucional, Campinas, v.1, n.1, julho de 1996. VASCONCELLOS, Liliana; GUEDES, Luis Fernando Ascenção. E-surveys: vantagens e limitações dos questionários eletrônicos via internet no contexto da pesquisa científica. 2007. Disponível em: <

http://www.ead.fea.usp.br/Semead/10semead/sistema/resultado/trabalhosPDF/420.pdf>. Acesso em: 9 set. 2013. VIEIRA, Henrique Corrêa; CASTRO, Aline Eggres de; SCHUCH JUNIOR, Vitor Francisco. O uso de questionários via e-mail em pesquisas acadêmicas sob a ótica dos respondentes. In: Seminários em Administração, 13. 2010. Disponível em: < http://www.josenorberto.com.br/O%20uso%20de%20question%C3%A1rios%20via%20e-mail%20em%20pesquisas%20acad%C3%AAmicas%20sob%20a%20%C3%B3tica%20dos.pdf>. Acesso em: 9 set. 2013.