108
CONSTRUÇÃO E ANÁLISE DE INDICADORES

La Cartilha 05 Versao Final-WEB

Embed Size (px)

Citation preview

  • CONSTRUOE ANLISE DE INDICADORES

  • Realizao

    Sistema Federao das Indstrias do Estado do Paran: Sistema FIEP

    Servio Social da Indstria do Estado do Paran: SESI PR

    Elaborao

    Observatrio Regional Base de Indicadores de Sustentabilidade: ORBIS

    Avenida Comendador Franco, 1341, Jardim Botnico, CEP 80215-090, Curitiba PR

    Tel.: (41) 3271-7817 Fax: (41) 3271-7515

    e-mail: [email protected]

    site: www.orbis.org.br

    Equipe Orbis

    Coordenador

    Alby Duarte Rocha

    Equipe Tcnica

    ngelo Benjamin Costa Tadini Jnior

    Diva Irene da Paz Vieira

    Isabela Drago

    Kleber Eduardo Cioccari

    Lus Alberto Miguez

    Paulo Cezar Galvo Pinto

    Sheila Lange

    Yara Prates

    Willian Teodoro

    Apoio Administrativo

    Amanda do Nascimento Oliveira

    Jos Lus Sotomaior Karam

    Erica Raiza Bravo de Miranda

    Reviso

    Paulo Afonso Bracarense Costa

    Reviso Grfica

    Diretoria de Comunicao e Promoo

    Ficha Catalogrfica

    Servio Social da Indstria. Departamento Regional do Estado do Paran. Observatrio Regional Base de Indicadores de Sustentabilidade. Construo e Anlise de Indicadores. / Servio Social da Indstria. Departamento Regional do Estado do Paran. Observatrio Regional Base de Indicadores de Sustentabilidade. Curitiba: [s.n.], 2010. 108 p. : il. ; 21 cm. Indicadores. 2. Indicadores de desenvolvimento. 3. Indicadores de projetos. 4. Sistemas de indicadores. 5. DevInfo.

    I. Servio Social da Indstria. Departamento Regional do Estado do Paran. Observatrio Regional Base de Indicadores de Sustentabilidade. II. Ttulo.

  • 5Os indicadores so fundamentais para

    subsidiar a formulao de polticas sociais;

    possibilitam o monitoramento das condi-

    es de vida e bem-estar da populao por

    parte de todos os interessados e permitem

    o aprofundamento da investigao aca-

    dmica sobre mudana social e sobre os

    determinantes dos diferentes fenmenos

    sociais. Alm disso, apontam resultados e

    avanos obtidos com aes de qualquer

    natureza, propiciando ajustes de metas,

    redirecionamentos de estratgias e aes

    e, em consequncia, racionalizao no uso

    dos recursos.

    Por outro lado, tornam-se ainda mais re-

    levantes medida que, ao possibilitarem

    maior conhecimento sobre a realidade,

    fortalecem os processos de transparncia

    e de participao efetiva em prol do desen-

    volvimento, assim como as parcerias para

    a ao.

    Assim, esta publicao pretende ser um instru-

    mento capaz de auxiliar a construir, interpretar e

    analisar indicadores. Detalha, ainda, a estrutura

    dos Objetivos de Desenvolvimento do Milnio e

    orienta sobre o uso do Sistema DevInfo, uma tec-

    nologia de informao til para subsidiar a elabo-

    rao de planos e tomadas de decises.

    Trata-se de iniciativa do Observatrio Regio-

    nal Base de Indicadores de Sustentabilidade

    (ORBIS), do Servio Social da Indstria do Estado

    do Paran (SESI PR) e do Instituto de Promoo

    do Desenvolvimento (IPD), tendo contado com o

    apoio do Fundo das Naes Unidas para a Infn-

    cia (UNICEF) e do Programa das Naes Unidas

    para o Desenvolvimento (PNUD).

    APRESENTAO

  • SUMRIOCAPTULO 1 INDICADORES ....................................................................................................................091.1 O que so indicadores e porque utiliz-los ...........................................................................................................091.2 Propriedades desejveis dos indicadores ............................................................................................................131.3 Tipos de fontes e dados .....................................................................................................................................141.4 Desmistificando o clculo dos indicadores: nomenclatura, frmulas e operaes ...................................................17

    1.5 Metadados: o DNA das informaes: Ficha Tcnica do Indicador ........................................................................22

    CAPTULO 2 CONSTRUO DE INDICADORES ...................................................................................252.1 Como estabelecer indicadores teis para seu propsito ........................................................................................252.2 Etapas para definir indicadores ...........................................................................................................................262.3 Exercitando o uso de indicadores .......................................................................................................................30

    CAPTULO 3 PESQUISAS E LEVANTAMENTOS DE CAMPO ...............................................................373.1 Definio do escopo da pesquisa .......................................................................................................................373.2 Instrumentos e mtodos de medio ...................................................................................................................393.3 Planejamento e seleo do pblico .....................................................................................................................453.4 Seleo e treinamento dos pesquisadores ............................................................................................................503.5 Aplicao da pesquisa de campo ........................................................................................................................523.6 Anlise dos resultados .......................................................................................................................................53

    CAPTULO 4 REPRESENTAO DA INFORMAO............................................................................. 554.1 Representao da informao para anlise e disseminao ..................................................................................56 Tabelas e quadros ..............................................................................................................................................56 Grficos e infogrficos .........................................................................................................................................59 Mapas ...............................................................................................................................................................654.2 Monitoramento, interpretao e anlise ...............................................................................................................68

    CAPTULO 5 INDICADORES PARA MONITORAR PROGRAMAS E PROJETOS .................................715.1 Exemplo de conjunto de indicadores - Objetivos de Desenvolvimento do Milnio (ODM) .........................................71

    5.2 Diretrizes bsicas para conjuntos de indicadores de sustentabilidade .....................................................................745.3 Interaes e hierarquias .....................................................................................................................................755.4 Sistemas de indicadores e tecnologias de informao ...........................................................................................77

    CAPTULO 6 SISTEMA DEVINFO ............................................................................................................816.1 Sistema DevInfo - Portal ODM Como consultar ...................................................................................................816.2 Construo de grficos e tabelas ........................................................................................................................856.3 Construo de mapas .......................................................................................................................................89

    CAPTULO 7 OBSERVATRIO, DEPARTAMENTO OU NCLEO DE INFORMAES ...........................95

    ANEXO EXERCCIOS .................................................................................................................................98

    REFERNCIAS .............................................................................................................................................106

  • 9CAPTULO 1:

    Para que esta publicao possa cumprir seu pro-

    psito, preciso comear perguntando-se Por

    que usar indicadores?. Os significativos avanos

    obtidos nos processos de coleta, organizao e

    disseminao de dados e informaes, viabiliza-

    dos, entre outros aspectos, pela tecnologia da in-

    formao, permitem seu uso de forma muito mais

    estratgica e precisa e por muito mais organiza-

    es e pessoas do que era possvel h poucos

    anos atrs. Assim, o uso de indicadores pode po-

    tencializar significativamente as atividades realiza-

    das pelo analista, dentre as quais destacam-se:

    Monitoramento do desenvolvimento, a in-

    cluindo o respeito aos direitos humanos:

    Avaliando a evoluo da sociedade e os

    nveis de qualidade de vida das pessoas.

    Implementao e gesto de polticas, planos,

    programas e projetos sintonizados com as

    reais necessidades: Planejando, medindo

    e comunicando os resultados e os impac-

    tos alcanados.

    Monitoramento dos processos de trabalho,

    para garantir eficincia e eficcia s ativida-

    des realizadas: Mantendo o foco, fazendo

    certo a coisa certa no tempo certo.

    Responsabilidade fiscal, conscientizao

    pblica e controle social: Cuidando das

    prioridades, alertando sobre riscos, exer-

    cendo a cidadania.

    1.1 O QUE SO INDICADORES E PORQUE UTILIZ-LOS

  • 10

    Os indicadores precisam estar presentes em to-

    das as etapas de trabalho que se quer realizar, ou

    seja, desde a formulao e planejamento, at a

    implementao e gesto de polticas pblicas, em-

    presariais e de programas e projetos de qualquer

    natureza. As informaes contidas nos indicadores

    orientam tomadas de decises, viabilizando ativi-

    dades mais eficientes, eficazes e efetivas.

    Os indicadores possibilitam conhecer verdadeira-

    mente a situao que se deseja modificar, esta-

    belecer as prioridades, escolher os beneficiados,

    identificar os objetivos e traduzi-los em metas e,

    assim, melhor acompanhar o andamento dos

    trabalhos, avaliar os processos, adotar os redire-

    cionamentos necessrios e verificar os resultados

    e os impactos obtidos. Com isso, aumentam as

    chances de serem tomadas decises corretas

    e de se potencializar o uso dos recursos.

    Por outro lado, os indicadores favorecem a parti-

    cipao e o empoderamento das partes interessa-

    das, as quais, embasadas em informaes, podem

    contribuir de fato com suas vises e prioridades. Ao

    mesmo tempo, exigem e promovem a melhoria da

    capacidade organizacional e da habilidade de ar-

    ticulao e argumentao, favorecendo a descen-

    tralizao e potencializando as chances de ocorrer

    o desenvolvimento sustentvel.

    Por que utilizar indicadores em um projeto?

    Demonstrar a relevncia e o impacto de

    polticas, planos, programas e projetos;

    Estabelecer o marco zero, os dados da

    situao atual;

    Localizar oportunidades e problemas;

    Estudar comportamentos e inter-relaes;

    Monitorar processos para garantir:

    A eficcia no alcance das metas;

    A eficincia na utilizao dos recursos;

    A efetividade das aes;

    Avaliar os resultados alcanados;

    Alertar para necessidades de

    redirecionamentos;

    Comunicar os resultados.

    Sem indicador Com indicador

    Eficcia no atingimento das metas

    Efetividade dasaes

    Eficincia no uso dos recursos

    Trip: efetividade, eficcia e eficincia.

  • 11

    Entendendo os indicadores

    Indicadores so variveis definidas para medir um

    conceito abstrato, relacionado a um significado

    social, econmico ou ambiental, com a inteno de

    orientar decises sobre determinado fenmeno

    de interesse.

    Indicadores funcionam como um termmetro,

    permitindo balizar o entendimento e o andamento

    das aes e so fundamentais para avaliar os ob-

    jetivos, metas e resultados propostos, quantitativa

    e qualitativamente.

    Monitoramento

    Monitoramento o processo de acompanhamento

    da dinmica ou progresso de um indicador, rea-

    lizado atravs da comparao dos valores de um

    mesmo indicador ao longo do tempo1. Por isso,

    monitorar em tempo hbil e interpretar corretamen-

    te a variao ocorrida so determinantes para a re-

    levncia prtica do indicador (bssola).

    ndice

    ndice (ou indicador sinttico) a combinao de

    diversas variveis que sintetizam um conceito abs-

    trato complexo, em um nico valor, para facilitar a

    comparao entre localidades e grupos distintos,

    possibilitando a criao de rankings e pontos de

    corte para apoiar a definio de, por exemplo, pol-

    ticas, investimentos e aes comuns.

    Pode-se citar o desenvolvimento humano como um

    exemplo de conceito abstrato complexo, pois para

    se fazer a avaliao do desenvolvimento humano

    de um pas, um assunto amplo, que envolve vrios

    aspectos, so necessrios vrios indicadores. O n-

    dice de Desenvolvimento Humano (IDH) combina

    indicadores de sade, renda e educao, gerando

    assim, um nico valor entre 0 e 1, que permite com-

    parar os pases.

    Um ndice pode ser criado para uso num nico pe-

    rodo de tempo, sem necessidade de um primeiro

    monitoramento e da interpretao de sua variao.

    Porm, corriqueiramente, ndices, assim como

    indicadores, so utilizados para permitir o enten-

    dimento e a comparao de um dado fenmeno

    social ao longo do tempo e em diferentes espaos

    geogrficos.

    Exemplos

    IDH ndice de Desenvolvimento Humano;

    ndice Theil e ndice de GINI Medidas de

    desigualdade de distribuio de renda;

    IDEB ndice de Desenvolvimento da

    Educao Bsica;

    IBOVESPA ndice do volume de negcios reali-

    zado pela Bolsa de Valores, Mercadorias & Futuros

    de So Paulo.

    Indicadores ou ndices?

    Medir conceitos abstratos atravs de medidas

    cientficas e parmetros estatsticos, normalmen-

    te, ser motivo de polmica; por isso, a escolha

    entre ndices ou indicadores requer um propsi-

    to claro e possibilidade de aplicao adequada

    realidade de interesse.

    O desafio do analista na construo do indicador en-contrar uma medida que mais se aproxime do conceito desejado. Muitas vezes, existe dificuldade na definio e operacionalizao de indicadores com conceito cen-tral multidimensional, que envolvem mais de uma vari-vel, como, por exemplo, melhoria da qualidade de vida e melhoria das condies de vulnerabilidade social da populao. Nesses casos, sugere-se o uso de ndices ou conjunto de indicadores, conforme cada caso.

    1 Pelo acompanhamento do indicador podem ser estimados parmetros que indicam seu comportamento ao longo do tempo enquanto varivel estatstica, o que permite fazer previses a partir do conhecimento de sua tendncia e sazonalidade.

  • 12

    Exemplos de fenmenos multidimensionais:

    Qualidade de Vida

    Conceito: Condies de vida envolvendo

    aspectos fsicos, mentais, emocionais e psi-

    colgicos, alm de outros aspectos, como

    sade, educao, renda, meio ambiente, etc.

    Indicador: Nmero de anos que um indiv-

    duo pode esperar viver, conforme as taxas de

    mortalidade observadas em dado momento

    e espao geogrfico (expectativa de vida)

    ndice: FIB (Felicidade Interna Bruta) Combi-

    nao de nove dimenses distintas: bem-estar

    psicolgico, meio ambiente, sade, educa-

    o, cultura, padro de vida, uso do tempo,

    vitalidade comunitria e boa governana.

    Vulnerabilidade Social

    Conceito: Pessoas em situao de excluso.

    Indicador: Nmero de pessoas que ganham

    menos de meio salrio mnimo (renda familiar

    per capita).

    ndice: IDH - Combinao entre trs dimen-

    ses distintas: sade, renda e educao. Tais

    dimenses so medidas por uma cesta de

    indicadores, com diferentes pesos, que me-

    dem a expectativa de vida ao nascer, as taxas

    de alfabetizao e de escolarizao, e o PIB

    per capita, calculado pela paridade do poder

    de compra.

    Pirmide - Quantidade de informao e nvel de agregao

    Quanto maior o nvel de agregao dos dados, mais sintticas e direcionadas so as informaes, permitindo a interpretao e a tomada de deciso mais rpida.

    Quanto menor o nivel de agregrao dos dados, maior a possibilidade de se realizar cruzamentos e aplicar mtodos estatsticos para aprofundar o conhecimento sobre o fenmenos estudados.

  • 13

    1.2 PROPRIEDADES DESEJVEIS AOS INDICADORES

    Indicadores bem elaborados e confiveis fortalecero a articulao e a mobilizao das partes interessadas

    em torno das propostas que se pretende implementar.

    PROPRIEDADES DESEJVEIS AOS INDICADORES

    Confiabilidade da informao - utilizar dados de fontes confiveis (secundrios) ou

    coletados com metodologia adequada (primrios). desejvel que os dados sejam

    rastreveis, permitindo a identificao de sua origem.

    Comunicabilidade focar em aspectos prticos e claros, fceis de comunicar e que

    contribuam para envolver os interessados nos processos de monitoramento e avalia-

    o. O ideal que o conceito do indicador seja facilmente compreendido e sua cons-

    truo e clculo sejam simples. desejvel, tambm, haver um bom entendimento do

    valor ideal para o indicador, oferecendo parmetros de comparao.

    Disponibilidade e Periodicidade - para que os indicadores estejam disponveis nas

    tomadas de decises, escolher dados que sejam de fcil coleta e atualizao, com baixo

    custo, atualizados com a mesma metodologia ao longo do tempo, permitindo a forma-

    o de bases histricas, em frequncia compatvel s necessidades de sua utilizao.

    Desagregao - os indicadores devem ser capazes de atender necessidade de

    avaliar diferentes estratos sociais ou localidades, possibilitando aes especficas a

    cada grupo, segundo seus padres de comportamento. Isto ajudar a entender a

    diversidade, estabelecer foco de ao e garantir a representatividade e abrangncia

    das informaes. Ex: urbano e rural; masculino e feminino; por municpio.

    Especificidade com Sensibilidade - os indicadores no devem ser nem to amplos,

    que no orientem a deciso a ser tomada, nem to especficos, que s os entendam

    quem os formulou; devem, tambm, ser capazes de captar a maioria das variaes

    sobre o fenmeno de interesse, inclusive mudanas de comportamento durante a

    execuo das atividades. Por exemplo, se o projeto visa melhoria da sade da po-

    pulao, o indicador de esperana de vida ao nascer avaliaria especificamente as

    melhorias de sade alcanadas; no entanto, essas melhorias s podem ser captadas

    no longo prazo (baixa sensibilidade), inviabilizando o estabelecimento de metas e o

    monitoramento dos avanos num projeto de curto e mdio prazo.

  • 14

    1.3 TIPOS DE FONTES E DE DADOS

    Dados so registros ou valores coletados e sero utilizados no clculo do indicador; pode-se atribuir sig-

    nificado a determinado dado, transformando-o, ento, num indicador. o caso, por exemplo, do registro

    do nmero de bitos de uma localidade, num determinado perodo. Isoladamente, apenas um dado;

    compe um indicador quando utilizado no clculo da expectativa de vida ou da taxa de mortalidade geral;

    passa a ser um indicador num projeto voltado reduo da mortalidade.

    Tipos de dados

    Primrios: so dados administrativos ou de pesqui-

    sa coletados diretamente do informante. Deve-se ter

    o cuidado de utilizar metodologia que permita obter

    informaes confiveis e atualizveis.

    Secundrios: so dados coletados e disponibiliza-

    dos por outras instituies. importante considerar

    a credibilidade da instituio fornecedora e conhecer

    a metodologia de coleta, para compreender suas

    limitaes e as restries de uso.

    Dados AdministrativosPesquisa

    Dados Primrios x Dados Secundrios: o que se ganha e o que se perde?

    Com dados primrios, pode-se definir a desagregao e a periodicidade da informao de acordo com o in-teresse, reduzindo a defasagem, caracterstica mais presente nas informaes secundrias.

    Os dados secundrios, normalmente, permitem o aces-so a bases histricas, com tempo e custo de obteno consideravelmente menores.

    Em caso de projetos, dados primrios podem aumen-tar, internamente, a confiana nos dados coletados, reduzindo, por outro lado, a credibilidade externa, pois so os mesmos atores que implementam o processo de interveno e produzem os dados sobre os resul-tados obtidos.

    Veja mais sobre coleta de dados primrios no Captulo 3.

  • 15

    Tipos de fontes

    Administrativas: contm dados registrados sistematicamente por meio de processos administrativos

    e depois sistematizados para se tornarem pblicos.

    Exemplos: registro de nascimentos e bitos (Sistema de Informaes de Nascidos Vivos SINASC e Sis-

    tema de Informaes sobre Mortalidade SIM, do Ministrio da Sade DATASUS, hospitais e cartrios);

    registro de admitidos e desligados no mercado formal de trabalho (Cadastro Geral de Empregados e De-

    sempregados CAGED, do Ministrio do Trabalho e Emprego).

    De Pesquisa: coletados por pesquisa amostral ou censo, em um perodo de referncia especfico,

    normalmente na forma de questionrios.

    Censo: o conjunto de todos os dados (todo o universo de pessoas, objetos, situaes) que des-

    crevem algum fenmeno de interesse. A maioria dos pases do mundo elabora, por exemplo, censos

    populacionais a cada dez anos.

    Pesquisa Amostral: um subconjunto de dados extrado de determinada populao. a forma mais

    prtica e usual de obter informaes precisas, uma vez que geralmente invivel fazer censos, pelo

    alto custo e tempo de coleta. Um bom exemplo, no caso brasileiro, a Pesquisa Nacional por Amostra

    de Domiclios (PNAD), realizada anualmente pelo Instituto Brasileiro de Geografia e Estatstica (IBGE).

    Independentemente de serem administrativos ou de pesquisa, secundrios ou primrios, os dados devem

    permitir a criao de indicadores que respeitem as propriedades desejveis aos indicadores.

    Algumas das principais fontes oficiais de dados no Brasil

    Existem, no pas, diversas organizaes pblicas de mbito federal, estadual e municipal que produzem

    dados oficiais e analisam informaes ligadas ao desenvolvimento.

    Entre elas, destaca-se o Instituto Brasileiro de Geografia e Estatstica IBGE, que responsvel pela reali-

    zao do censo demogrfico brasileiro e pela Pesquisa Nacional por Amostra de Domiclios PNAD, entre

    outras pesquisas, alm de ser responsvel pela consolidao dos dados de bitos, nascimentos e casa-

    mentos, obtidos a partir dos registros civis realizados nos cartrios.

    Outra importante fonte de dados so os Ministrios, principalmente os da Sade, Educao e Trabalho.

    No mbito estadual, existem as Secretarias e os Institutos de Pesquisa e Planejamento, que constituem a

    ANIPES Associao Nacional das Instituies de Planejamento, Pesquisa e Estatstica.

  • 16

    QUADRO - FONTES DE BASES DE DADOS COM INFORMAES MUNICIPAIS

    rea Setor Sistemas e bases de dados rgo Responsvel

    Social Sade Sistema de Informaes sobre Nascidos Vivos SINASC DATASUSMinistrio da SadeSistema de Informaes Hospitalares do SUS - SIH/SUS

    Sistema de Informaes sobre Mortalidade - SIM

    Sistema de Informaes de Agravos de Notificaes - SINAN

    Sistema de Informaes de Assistncia Bsica - SIAB

    Educao EdudataBrasil INEP - MEC

    DataEscolaBrasil - Censo Escolar

    IDEB

    Demografia Censo Demogrfico IBGE

    Estimativas da Populao

    Transporte Sistema Nacional de Registro de Veculos/RENAVAM Departamento Nacional de Trnsito - DENATRAN

    Sistema Nacional de Estatsticas de Trnsito/SINET

    Assistncia Social MDS em Nmeros - Assistncia Social, Programas de Transferncia de Renda e Segurana Alimentar e Nutricional

    Ministrio do Desenvolvimento Social - MDS

    Habitao Sistema Dficit Habitacional no Brasil Fundao Joo Pinheiro e Ministrio das Cidades

    Ambiental Unidades de Conservao

    CNUC - Cadastro Nacional de Unidades de Conservao Ministrio do Meio Ambiente

    Remanescentes de Mata Atlntica

    Mapas SOS Mata Atlntica (www.mapas.sosma.org.br) SOS Mata Atlntica - INPE

    Reserva Particular do Patrimnio Natural - RPPN

    Cadastro de RPPN (reservasparticulares.org.br) Cadastro Nacional de RPPN

    Saneamento SNIS Sistema Nacional de Informaes sobre Saneamento

    Ministrio das Cidades

    Econmica Emprego, Estabelecimentos Formais e Renda

    Relao Anual de Informaes Sociais RAIS e Cadastro Geral de Empregados e Desempregados - CAGED

    Ministrio do Trabalho e Emprego

    Empresas Cadastro Central de Empresas - CEMPRE IBGE

    Balana Comercial Balana Comercial Brasileira por Municpio Ministrio do Desenvolvimento, Indstria e Comrcio Exterior

    PIB Produto Interno Bruto dos Municpios - PIB IBGE

    Cesta Bsica Banco de Dados da Cesta Bsica Nacional (Capitais) DIEESE

    Governana Finanas Finanas do Brasil Dados Contbeis dos Municpios - Finbra

    Secretaria do Tesouro Nacional

    Endividamento de Estados e Municpios Banco Central do Brasil

    Previdncia Social Estatsticas Municipais 2000 a 2009arrecadao e benefcios emitidos pelo INSS

    Instituto Nacional de Previdncia Social INSS

    Poltica Estatsticas dos Candidatos, Eleitores e Resultados de Eleies

    Tribunal Superior Eleitoral

    Gesto Perfil dos Municpios Brasileiros IBGE

    Multidimensional Geral Ipeadata IPEA

    Sistema do IBGE de Recuperao Automtica - Sidra IBGE

    ODM Relatrios Dinmicos e Sistema de Informaes DevInfo de cada municpio brasileiro

    Portal ODM - Orbis

    FONTE: Elaborao Orbis

  • 17

    1.4 DESMISTIFICANDO O CLCULO DOS INDICADORES: NOMENCLATURA, FRMULAS E OPERAES

    Em sua maioria, os indicadores possuem baixa complexidade de clculo, utilizando princpios bsicos

    da diviso e multiplicao, de modo que pessoas, mesmo sem familiaridade com o linguajar matemtico,

    podem compreender facilmente sua construo.

    Os indicadores podem ser descritos com dados contnuos e dados discretos.

    Dados contnuos: dados extrados, normalmente, a partir de um instrumento de medio, como a balana

    (kg) e a rgua (cm); so expressos em unidades de medida e podem assumir qualquer valor dentro de uma

    faixa especificada. A expresso que define o indicador de dados contnuos inicia quase sempre com o tipo

    de medida e sua unidade.

    Exemplos:

    rea do municpio em hectares;

    Extenso da malha rodoviria do Estado em quilmetros;

    Volume de CO2 despejado na atmosfera em toneladas.

    Dados discretos: so nmeros resultantes de contagens ou de classificao.

    Exemplos:

    Populao residente;

    Domiclios com acesso rede de abastecimento de gua;

    A descrio de indicadores ser iniciada, normalmente, por expresses como nmero, percentual, razo,

    taxa, proporo, incidncia, prevalncia, mdia. Cada um tem uma lgica de construo:

    Nmero: indicadores cuja definio iniciada por um nmero ou populao so o resultado de uma con-

    tagem ou estimativa em valor absoluto. So dados comuns que, por terem sido dotados de um significado

    ou conceito, passam a ser considerados indicadores.

    Exemplos:

    Nmero de casos de dengue no Estado em 2008;

    Populao residente no municpio em julho de 2009.

  • 18

    Mdia: o valor que representa um conjunto de valores da populao. Definida como a soma de todos os

    valores da populao, dividida pelo nmero de observaes.

    Exemplos:

    Esperana mdia de vida ao nascer - 2007.

    Renda mdia do trabalhador formal com nvel superior no Pas em 2008.

    Se o resultado for 2.489, significa que, em mdia, trabalhadores formais com nvel superior ganham por

    volta de R$ 2.500,00 reais. A mdia d a posio do centro de gravidade de um conjunto de valores; por

    isso, quando a distribuio no for simtrica, a mdia ser influenciada pelos valores mais discrepantes

    (outliers). o caso, por exemplo, da utilizao de municpios com grande populao no clculo de uma

    mdia geral da populao de todo pas. Assim, caso So Paulo entre no clculo acima citado, a mdia final

    tende a se aproximar mais do valor mdio da renda de trabalhadores formais com nvel superior de So

    Paulo em detrimento da mesma mdia quando medida para um municpio com populao de vinte mil

    habitantes, por exemplo.2

    Razo: a razo entre dois nmeros (quantidades) nada mais do que a diviso entre duas medidas, sendo

    que o denominador no inclui o numerador, ou seja, so duas medidas separadas e excludentes.

    Exemplo:

    Razo entre homens e mulheres alfabetizadas no pas em 2008.

    Se o resultado for 95, significa que existem 95 homens alfabetizados para cada 100 mulheres

    alfabetizadas no pas.

    2 O uso de pesos estatsticos pode corrigir essa distoro.

    MDIA=

    Soma da renda de todos trabalhadores formais com nvel superior

    Nmero de trabalhadores formais com nvel superior

    RAZO=

    Nmero de homensalfabetizados

    Nmero de mulheresalfabetizadas

    x 100

  • 19

    Proporo: o coeficiente entre duas medidas, sendo o numerador o nmero de casos especficos

    e o denominador o nmero de casos possveis na populao multiplicado por 100, estando sempre o

    numerador includo no denominador. Pode ser usada para estimar a probabilidade de um evento.

    Exemplo:

    Proporo de pessoas abaixo da linha da pobreza na populao do Estado em 2008.

    Se o resultado for 20%, significa que a cada 100 pessoas do Estado, existem 20 pessoas em situao de

    pobreza. Ou seja, uma a cada 5 pessoas considerada pobre na data.

    Taxa: utilizada especialmente para acompanhar a variao de determinado fenmeno, em determi-

    nado tempo, estando associada com a velocidade e a direo (padres) da mudana em processos

    dinmicos. um coeficiente assim como a proporo, mas o resultado multiplicado por qualquer

    potncia de 10 (100, 1 mil, 10 mil...), a fim de tornar o resultado de mais fcil compreenso.

    Exemplos:

    Taxa de mortalidade infantil (a cada mil nascidos vivos) no Estado em 2007

    Se o resultado for 22, significa que morrem, antes de completar um ano de idade, 22 crianas a cada

    mil que nascem vivas no perodo.

    O porqu do uso de taxas e propores

    Ao analisar indicadores, s vezes preciso comparar municpios de tamanhos muito diferentes. Um exem-

    plo o municpio de So Paulo, que, com mais de 11 milhes de habitantes, tem o maior nmero de homi-

    cdios registrados: 6.355 casos em 2008. Isso d impresso de que So Paulo a cidade mais violenta do

    pas.

    Entretanto, dividindo esse nmero de homicdios pela populao, verifica-se que ele representa 5,8 casos

    para cada grupo de 10.000 habitantes, colocando So Paulo na 2.054a posio no pas.

    TAXA=

    Nmero de bitos de crianas menoresde um ano de idade em 2007

    Nmero de crianas nascidasvidas em 2007

    PROPORO=

    Nmero de pessoas com renda familiarper capita inferior a 1/2 salrio mnimo

    Populao Total

    x 100

    x 1.000

  • 20

    Incidncia: nmero de novos casos ou ocorrncias surgidos em relao a uma numa determinada popula-

    o e num determinado intervalo de tempo. Pode avaliar, por exemplo, o ritmo de avano de determinadas

    doenas ou epidemias

    Exemplo:

    Nmero de novos casos de Aids registrados em relao populao do Pas em 2008.

    Se o resultado for 16, significa que, em 2008, surgiram 16 novos casos de AIDS a cada 100 mil habitantes.

    Prevalncia: nmero de casos existentes em relao a uma determinada populao e num determinado

    momento temporal. Na rea da sade, a prevalncia ajuda o profissional a conhecer a probabilidade ou

    risco de um indivduo sofrer de determinada doena.

    Exemplo:

    Nmero de portadores do HIV/Aids em relao populao do Pas em 2008.

    Se o resultado for 21, significa que, em 2008, existiam 21 pessoas com a doena para cada

    100 mil habitantes.

    Exemplo da relao entre incidncia e prevalncia

    Apesar de a incidncia de fumantes no pas estar diminuindo (ou seja, a cada ano que passa, menos pes-

    soas iniciam o vcio), a prevalncia continua alta (ainda h muitos fumantes no pas).

    Como exemplificado, as duas expresses - prevalncia e incidncia - so muito usadas para avaliar o

    avano de doenas e epidemias em geral (analisando variaes da incidncia ao longo do tempo) e,

    simultaneamente, para determinar os fatores de risco e o custo social com o tratamento necessrio (cal-

    culados com base na prevalncia).

    PREVALNCIA=

    Nmero de pessoas portadoras do vrus HIV / AIDSno ano de 2008

    Populao total em 2008

    INCIDNCIA=

    Nmero de casos de HIV / AIDSregistrados no ano de 2008

    Populao em 2008

    x 100.000

    x 100.000

  • 21

    Uso da porcentagem para expressar

    resultados

    Quando se calcula propores, taxas, incidncias

    e prevalncias, o resultado dessas operaes de

    diviso so valores relativos que, dependendo do

    uso e grandeza, podem ser expressos em diferen-

    tes potncias de 10 para facilitar sua leitura.

    Exemplo:

    Em uma cidade, foram eleitas vereadoras 4 mu-

    lheres das 20 vagas disponveis para a Cma-

    ra Municipal. Pode-se expressar o resultado

    por meio de uma razo de 1 mulher para cada

    4 homens ou uma proporo de 1 eleita para

    cada 5 vagas, o que, neste caso, poderia ser

    representado por:

    frao (1/5)

    valor relativo ou decimal (0,2) ou

    percentual: (20%)

    Porcentagem ou Percentual (%): a forma mais

    utilizada de se apresentar um valor relativo, multi-

    plicando simplesmente o resultado por 100, por

    isso, porcentagem. Essa operao utilizada para

    facilitar a leitura e a interpretao.

    Exemplo:

    Em uma empresa com 800 funcionrios, 58 apre-

    sentavam ndices de obesidade elevados. Ou

    seja, uma proporo relativa de 0,073. Transfor-

    mando essa proporo em percentual, verifica-se

    que aproximadamente 7% dessa populao tem

    problemas com obesidade, ou seja, 7 a cada 100

    pessoas.

    Quando os valores resultantes de taxas, razes ou

    propores forem muito pequenos, para facilitar

    o acompanhamento do indicador com nmeros

    prximos de inteiros, pode-se multiplicar por di-

    versas potncias de 10, como: 1 mil (%o), 10 mil

    (%oo), ..., 1 milho. Quanto mais rara a ocorrncia,

    maior ser o fator de multiplicao.

    Exemplos:

    Taxa de mortalidade materna (a cada

    100 mil nascidos vivos)

    Incidncia de tuberculose (a cada

    10 mil habitantes)

    Taxa de mortalidade infantil (a cada

    1 mil nascidos vivos)

  • 22

    1.5 METADADOS: FICHA TCNICA DO INDICADOR (O DNA DAS INFORMAES)

    Os metadados so informaes que descrevem os dados, facilitando o entendimento e sua recuperao.

    Informaes como definio, interpretao, restries de uso, frmulas de clculo, unidades de medida,

    fonte, periodicidade, desagregao, subgrupo, entre outras informaes relevantes, devem ser includas em

    uma ficha tcnica disponibilizada para os usurios do indicador.

    O processo de elaborao da ficha tcnica gera conhecimento sobre a viabilidade e uso do indicador, poden-

    do at ocorrer - no momento de sua construo - de se concluir que existe outra forma mais precisa ou prtica

    e medir o conceito desejado.

  • 23

    QUADRO - FICHA TCNICA DO INDICADOR: TAXA DE MORTALIDADE INFANTIL

    (POR 1 MIL NASCIDOS VIVOS)

    Definio Nmero de bitos de menores de 1 ano de idade, a cada mil nascidos vivos, por local de residncia da me.

    Interpretao e U so Estima o risco de morte dos nascidos vivos durante o seu primeiro ano de vida.Altas taxas de mortalidade infantil refletem, de maneira geral, baixos nveis de sade e de desenvolvimento socioeconmico. As taxas reduzidas podem ser resultado de subnotificaes nos registros de bitos. Por outro lado, taxas exageradas podem indicar a incidncia de um surto epidemiolgico.

    Limitaes O clculo direto da taxa, a partir de dados obtidos de sistemas de registro contnuo, pode exigir correes da subenumerao de bitos infantis e de nascidos vivos, especialmente nas regies menos desenvolvidas e reas rurais. Existe tambm a possibilidade de nascidos vivos que morrem logo aps o nascimento serem declarados como natimortos, subenumerando o total de nascidos vivos. Neste caso, h uma srie de ferramentas demogrficas e estatsticas que podem promover a apurao do indicador.

    Metodologia de Clculo Simplificada

    Nmero de bitos de menores de 1 ano de idade por local de residncia duranteum certo perodo de tempo, geralmente um ano

    x1.000Nmero de nascidos vivos de mes por local de residncia durante um certo perodo de tempo, geralmente um ano Unidade de Medida: bitos a cada milEscala: 0 a 1 mil

    Desagregao Geogrfica

    Municpios, Estados e Regies

    Periodicidade Anual Perodo disponvel: 1979-2009 (com restries)

    Fonte Dados:Ministrio da Sade - Sistema de Informaes sobre Mortalidade (SIM) Sistema de Informaes sobre Nascidos Vivos (Sinasc).

    Categorias Disponveis (subgrupos)

    Neonatal precoce (0 a 6 dias), neonatal (7 a 28 dias) ou ps-neonatal (de 1 ms a menor de 1 ano)

    Parmetros e Recomendaes

    OMSAltas = 50 por mil ou maisMdias = 20-49 Baixas = menos de 20 por mil

    Informaes Complementares

    Quando a taxa de mortalidade infantil alta, avaliar qual a categoria que mais impacta os bitos (neonatal precoce, neonatal ou ps-neonatal) pode indicar as principais causas dos bitos, como por exemplo doenas diarricas, cuja incidncia sugere baixos ndices de desenvolvimento humano. Nesse caso, pode-se avaliar tambm e em conjunto o impacto de indicadores de saneamento, escolaridade, renda e desnutrio.

    FONTE: elaborao Orbis

  • 25

    Indicadores devem ser mensurveis e definidos a

    partir de objetivos claros e factveis. Isto ir favo-

    recer sua utilizao para tomada de decises na

    implementao de programas, projetos e aes,

    mostrando as prioridades para a resoluo de

    problemas, em tempo hbil, por eles apontados.

    Podero ser utilizados indicadores para cada eta-

    pa de trabalho, a saber:

    Indicadores anteriores definio do que se

    ir fazer, e que serviro justamente para orien-

    tar as escolhas.

    Indicadores estabelecidos para monitorar o

    andamento dos trabalhos, com as respecti-

    vas entregas de produtos e servios espera-

    dos;

    e, por fim, indicadores a serem utilizados para

    a avaliao das transformaes obtidas com

    os trabalhos.

    QUADRO CRONOLOGIA DE INDICADORES

    Antes Durante Depois

    Sondagem, Marco Zero e Definio de Prioridades

    Atividades / Processos

    Produtos / Resultados

    Avaliao de Impacto

    Estabelecer o marco zero da situao que se quer modificar, do qual sairo objetivos, metas e indicadores que permitiro avaliar o sucesso da poltica, programa ou projeto.

    A periodicidade de atualizao dos indicadores estabelecidos dever condizer com os prazos previstos para o alcance das transformaes propostas. Caso isso no seja possvel a partir de fonte oficial, considerar a implicao de custos e prazos para a obteno da informao a partir de pesquisas diretas.

    Medir a eficincia e a eficcia das aes e dos processos para alcanar as metas estabelecidas

    Verificar o cumprimento de cada uma das atividades programadas, avaliando os produtos e servios apresentados.

    Avaliar a efetividade das aes, as mudanas significativas em relao ao marco zero, incluindo a anlise de fatores externos que contriburam para o resultado final.

    FONTE: elaborao Orbis

    2.1 COMO ESTABELECER INDICADORES TEIS AO SEU PROPSITO

    CAPTULO 2:

  • 26

    2.2 ETAPAS PARA DEFINIR INDICADORES

    Ao definir um conjunto de indicadores para analisar

    um fenmeno, preciso cuidar para que ele no

    seja excessivamente grande a ponto de atrapa-

    lhar as atividades do dia a dia ou confundir o acom-

    panhamento, nem to reduzido, que no possibili-

    te uma viso sistmica e a tomada de decises. As

    etapas para definir indicadores so:

    Etapa 1) Sondagem e pr-diagnstico - Demons-

    trar a relevncia do projeto

    Comear um trabalho visando colocar em prtica

    um anseio, um sonho, um desejo de mudana ba-

    seado apenas numa opinio, sem informaes que

    comprovem sua pertinncia, pode comprometer

    irremediavelmente uma boa ideia, alm de tempo,

    recursos, motivao, trabalho e, sobretudo, a me-

    lhoria pretendida.

    Para um desejo de mudana ter possibilidade de

    se transformar em realidade, antes de tudo, deve-

    -se levantar informaes e indicadores gerais sobre

    a situao que se pretende modificar, de forma a

    evidenciar a relevncia de se atuar sobre ela. tam-

    bm o momento de identificar oportunidades e po-

    tencialidades, com base na percepo dos benefi-

    cirios e das outras partes interessadas, as quais

    sero fundamentais para alavancar os trabalhos.

    Etapa 2) Marco zero - Conhecer a situao atual

    Ter os principais indicadores, apresentados de for-

    ma simples e compreensvel aos interessados,

    uma estratgia essencial para orientar decises,

    direcionando os recursos com inteligncia para as

    melhorias pretendidas, e tambm para sensibili-

    zar as pessoas a trabalharem em prol do que for

    definido.

    Dica tratando-se de ao relacionada a um municpio, verifique a situao dos indicadores municipais a partir de informaes disponveis, comparando com o Pas, o Estado, Municpios de mesmo porte e outros julgados pertinentes. Considere os programas, projetos, ativida-des e aes que j vm sendo implementados, assim como o conhecimento existente nas equipes tcnicas das diversas reas e que podero ser utilizados nas aes futuras.

  • 27

    Por isto, nesta etapa, com a relevncia do projeto

    comprovada, necessrio estabelecer o marco

    zero, ou seja, qual ser o ponto de partida, qual

    ser a base de comparao para estabelecer as

    metas, e, ao final do projeto, verificar se de fato

    elas foram alcanadas.

    Etapa 3) Definio de prioridades - Localizar e

    focar no problema ou oportunidade central

    Analisando a situao atual e conhecendo as ex-

    pectativas das partes envolvidas, pode-se estabe-

    lecer os objetivos do programa ou do projeto, suas

    metas e quais indicadores iro medir seu alcance.

    Ao se fazer isso em conjunto com os envolvidos,

    o foco dos trabalhos ser mantido ao longo de

    sua implementao, tendo um marco para balizar

    todo o andamento.

    Etapa 4) Seleo dos indicadores Conjunto

    de medidas capazes de avaliar o andamento dos

    trabalhos

    Tendo definido os objetivos e suas respectivas me-

    tas, preciso escolher os indicadores que serviro

    para avaliar seu alcance. tambm o momento

    de elaborar os metadados (ver cap. 1), garantindo

    que sejam considerados todos os elementos im-

    portantes na construo dos indicadores, como

    apontado no captulo anterior.

    Pode ocorrer de os indicadores selecionados no

    serem capazes de orientar todas as decises.

    Uma forma de resolver essa situao estabele-

    cer relaes entre esses indicadores e possveis

    indicadores de causa, o que ir auxiliar a compre-

    ender os fenmenos geradores dos resultados

    verificados.

    Medir a eficincia, a efetividade e a eficcia das

    aes e verificar o cumprimento das atividades

    programadas, avaliando os produtos e servios,

    tambm tarefa dos indicadores

    OBJETIVO: a transformao desejada em relao situao ideal: um conceito para ex-pressar o desejo de mudana.

    METAS: o estabelecimento de quantidades, valores, etapas e prazos que levem ao alcance do objetivo pretendido.

    INDICADORES: so as medidas que iro ava-liar se os resultados foram alcanados. Identifi-car as respectivas fontes da informao.

  • 28

    Para dar suporte a esse processo, fundamental estruturar um banco de dados destinado ao armazena-

    mento das informaes e seu resgate, sempre que necessrio.

    Plano para definio de indicadores

    Concluda a etapa de definio dos objetivos e metas pretendidos com a poltica, plano, programa, projeto ou

    aes a serem implementados, pode-se, ento, partir para o estabelecimento dos indicadores. Essas primeiras

    definies que sero a referncia para o conjunto de indicadores; estes iro transformar os conceitos

    utilizados em parmetros concretos e mensurveis, servindo de critrio para medir, para avaliar se as atividades

    realizadas esto conseguindo as transformaes desejadas, no tempo certo, com o uso adequado dos

    recursos. Ou seja, alm de os indicadores permitirem conhecer a situao de interesse por ocasio do incio dos

    trabalhos (marco zero), assim como os impactos obtidos ao final, tambm podero monitorar o andamento das

    atividades, os processos e os produtos.

    Para construir um bom conjunto de indicadores necessrio ter respostas claras para as seguintes questes:

    O que medir?

    O indicador busca concretizar o conceito inserido nas finalidades do trabalho; assim, ele no exatamente a

    transformao que se espera com as aes, mas permite verificar se ocorreram variaes significativas. Por isso

    to importante ter bastante claro o que se pretende alcanar. o primeiro passo; no s para poder captar os

    avanos, como, especialmente, para definir as atividades que devem ser feitas.

    Por que medir?

    Esta pergunta possibilita verificar a consistncia da resposta pergunta anterior, apontando se haver alguma

    utilidade prtica naquilo que se est pretendendo fazer. Ou seja, no basta ter uma ideia interessante, ela

    precisa ser relevante e vivel.

    Como medir?

    Com as respostas anteriores, ser perfeitamente vivel escolher um indicador capaz de expressar variaes

    qualitativas e quantitativas e, portanto, medir se as aes realizadas provocaram as mudanas desejadas.

    Podero ser utilizadas unidades de medida como nmero de pessoas, percentuais, volume de recursos,

    pesquisa de opinio, entre outras.

    Onde e quando coletar?

    Mesmo tendo escolhido um bom indicador, necessrio saber se existem fontes disponveis contendo dados e

    informaes para aliment-lo. Em caso negativo, verificar as possibilidades e viabilidade de realizar pesquisa de

    campo diretamente, em tempo e regularidade suficientes para permitir as avaliaes desejadas. No havendo,

    deve-se escolher outro indicador.

    Como interpretar?

    Depois dos passos anteriores, ser possvel alcanar a principal razo de se estabelecer indicadores: analisar

    e interpretar as informaes obtidas, comparando-as com os objetivos e metas estabelecidos, alm de outros

    parmetros julgados relevantes, de forma a verificar o sucesso do trabalho e identificar as necessidades de

    redirecionamentos.

  • 29

    Etapa 5) Implementao de solues Agir

    Apesar da existncia de problemas comuns, as

    solues e intervenes sempre iro depender

    das particularidades de cada realidade. O plane-

    jamento identificar as grandes linhas de atuao,

    alm de detalhar plano de ao com as atividades,

    prazos e responsveis para coordenar a execuo

    e avaliar o andamento de todas as atividades. Ter

    foco para garantir a eficcia no alcance das me-

    tas e a eficincia na utilizao dos recursos o

    principal desafio.

    Etapa 6) Monitoramento e verificao dos

    resultados - Monitorar para garantir a efetividade

    do trabalho

    O monitoramento dos indicadores deve ser reali-

    zado continuamente, respeitando a periodicidade

    de coleta e contemplando tanto a fase anterior ao

    incio dos trabalhos, como durante e depois da im-

    plementao das solues.

    Ao comparar a situao existente no marco zero

    ao longo do tempo, principalmente os indicadores

    ligados s metas relativas ao desdobramento dos

    objetivos, o gestor ter controle do andamento

    dos trabalhos e uma avaliao do ritmo de trans-

    formao em comparao com o desejado.

    Etapa 7) Relatrio de avaliao Melhorar e

    comunicar os resultados

    O relatrio de avaliao, quando bem elaborado,

    constitui-se em um instrumento de cidadania, de

    educao, e em fonte de informao para poss-

    veis intervenes futuras, assim como de divul-

    gao; divulgao aos colaboradores, aos bene-

    ficirios, comunidade nacional e internacional,

    a outras partes interessadas, aumentando o con-

    trole social e a prestao de contas das aes

    de governo. Sua elaborao deve ser contnua e

    comea com os dados das sondagens realizadas

    para as primeiras definies - que permitiro veri-

    ficar as transformaes obtidas com as atividades

    realizadas - e vai at a concluso dos trabalhos.

    Para a comunidade e todos os envolvidos com-

    preenderem melhor a contribuio e o impacto

    das aes, os resultados alcanados devem ser

    divulgados de forma clara e objetiva, com o uso

    de grficos, tabelas, snteses, como mostrado no

    captulo 3.

  • 30

    2.3 EXERCITANDO O USO DE INDICADORES

    Os indicadores que se pretende avaliar, dependendo da facilidade para sua obteno, podero ser consi-

    derados de baixa, mdia ou alta complexidade. Tendo em vista o nvel de complexidade, so diferentes os

    passos a serem dados at se chegar escolha do conjunto adequado de indicadores. Para facilitar esse

    trabalho, no quadro abaixo so apresentadas algumas sugestes, que, dependendo de cada situao,

    devero ser adaptadas, levando-se em conta tambm o tempo e o custo da aplicao.

    QUADRO COMPLEXIDADE DOS INDICADORES

    Baixa complexidade Mdia complexidade Alta complexidade

    Algumas aplicaes

    monitoramento de processos j conhecidos;

    definio de indicadores para projetos, aes e atividades com misses bem claras e delimitadas;

    inscrio de projetos em editais.

    monitoramento de resultados de empresas, rgos, departamentos ou setores;

    avaliao de programas e projetos em que no necessrio o envolvimento direto da comunidade.

    gesto de processos de execuo, incluindo fatores sobre os quais se tem pouca governabilidade;

    monitoramento de polticas, programas e projetos multisetoriais, com ou sem o envolvimento da comunidade;

    avaliao de impactos de mdio e longo prazo.

    Etapasrecomendadas

    Definio de prioridades;Definio de objetivos e metas;Seleo de indicadores;Realizao de aes;Monitoramento e verificao dos resultados.

    Sondagem e pr-diagnstico;Definio de prioridades;Definio de objetivos e metas;Seleo de indicadores;Realizao de aes;Monitoramento e verificao dos resultados.

    Sondagem e pr-diagnstico;Marco zero;Definio de prioridades;Definio de objetivos e metas;Seleo de indicadores;Implementao de solues;Monitoramento e verificao dos resultados;Relatrio de avaliao.

    FONTE: elaborao Orbis

    Independentemente da complexidade do projeto, responder a determinadas perguntas estratgicas pode-

    r garantir maior preciso e objetividade aos trabalhos. Algumas delas so:

    Que resultados so pretendidos?

    Como medir se os trabalhos esto convergindo para os resultados desejados?

    Como construir e manter um sistema de informaes que oriente as decises e monitore os avanos?

    Como criar a cultura de utilizao da informao e gesto por resultados?

    Quais as formas de disseminar e dar transparncia aos resultados interna e externamente?

  • 31

    Exemplo de aplicao de baixa complexidade

    O governo municipal da cidade de Alfa, tendo em

    vista as prioridades apontadas pela populao

    por ocasio das audincias pblicas realizadas,

    decidiu implementar projeto visando garantir ao

    maior nmero de habitantes o acesso moradia.

    Ainda que a proposta seja significativamente

    til, relevante e desafiadora, os indicadores para

    seu monitoramento so de baixa complexidade,

    pelo pleno conhecimento da situao e razo-

    vel governabilidade sobre as aes que devem

    ser feitas. Assim, pode-se iniciar o projeto com a

    definio dos objetivos e metas pretendidos, a

    partir dos quais sero escolhidos os indicadores

    para medir o atingimento da metas propostas e

    avaliar se o objetivo foi alcanado.

    Seguindo essas etapas, aps ter definido os indi-

    cadores que avaliaro os objetivos e metas, devem

    ser providenciados os metadados (Ver Captulo 1),

    garantindo que todos os elementos importantes

    para a construo dos indicadores sejam realmen-

    te pensados. Depois, s comear a coletar as in-

    formaes e organizar o banco de dados.

    Objetivo Meta Indicador

    Criar um conceito que expresse o desejo de mudana.

    Quantificar valores, etapas e prazos para que o objetivo seja alcanado.

    Definir medidas que permitam avaliar o alcance do objetivo e metas estabelecidos e escolher a fonte da informao.

    Pretende-se melhorar a qualidade de vida dos habitantes da cidade de Alfa, priorizando suas necessidades habitacionais.

    A forma de quantificar o desejo do exemplo foi direcionada construo de moradias para a populao de baixa renda da cidade.

    Algumas formas de medir a melhoria das condies de vida so o acesso gua, ao saneamento bsico e posse legal da propriedade. Neste exemplo, como se trata de moradia, foram definidos os indicadores abaixo, cujas fontes de informao so disponveis:

    Promover o acesso moradia para os habitantes da cidade de Alfa.

    Construir 3 mil moradias, nos prximos 3 anos, beneficiando 10 mil habitantes de bairros degradados da cidade.

    Nmero de famlias atendidas;Nmero de moradias construdas;Percentual de comprometimento da renda familiar com o financiamento da moradia.

  • 32

    Exemplo de aplicao de mdia complexidade

    A Secretaria de Sade do Municpio pretende

    monitorar a melhoria da gesto e dos programas

    desenvolvidos, e assim avaliar o cumprimento de

    sua misso, seu plano estratgico, as determina-

    es do Ministrio da Sade e os compromissos

    com a populao.

    Se o que se quer avaliar ainda no est definido, ou

    no est bem claro, ou no est documentado,

    preciso reunir as partes interessadas para homoge-

    neizar o entendimento entre todos e, em conjunto,

    estabelecer o que se pretende alcanar.

    Etapas

    1- Resgatar documentos que descrevem a vi-

    so, misso, compromissos, plano estratgico,

    informaes sobre a situao atual do assunto

    em pauta, projetos, etc...

    2- Reunir pessoas de reas e conhecimentos

    distintos para:

    compartilhar esses documentos;

    identificar temas que expressem desejos de

    mudana ou de melhoria para facilitar os tra-

    balhos, registrar cada tema em um carto;

    analisar as propostas (afixar todos os cartes

    em uma parede ou flipchart, agrupando-os

    em colunas, de acordo com a afinidade dos

    temas);

    estabelecer eixos ou dimenses, a partir des-

    ses agrupamentos (nomes que englobem a

    coluna);

    eleger os eixos prioritrios;

    definir objetivos para os eixos escolhidos,

    considerando as sugestes apresentadas;

    detalhar os objetivos em metas;

    estabelecer os indicadores que iro medir os

    avanos dos objetivos e metas.

  • 33

    Reunir equipe1

    3

    4

    6

    2

    5

    Educao

    Avaliao e gestoDados Sistema de Indicadores

    Meio Ambiente Sade Infraestrutura

    Organizar os participantes em grupo por eixo, segundo a rea de conhecimento ou interesse.

    Organizar as informaes que apoiem processos de gesto competentes e transparentes.

    Identicar temas prioritrios. Registrarcada tema em um carto.

    Cada grupo deve: estabelecer objetivos,metas e indicadores; denir o responsvelpara criar as chas e validar os indicadores.

    Agrupar temas por anidades, criando eixos

    Processos para definir indicadores

  • 34

    Exemplo de aplicao de alta complexidade

    O Municpio decidiu elaborar plano para o desenvolvimento sustentvel da cidade, tendo a educao

    como ncora.

    A realizao de aes em comunidades implica, primeiramente, conhecer a realidade local onde se

    pretende atuar, identificando seu contexto socioeconmico e histrico, compreendendo as relaes

    institucionais e comunitrias nela existentes, identificando seus recursos e potencialidades, envolven-

    do as partes interessadas, para, depois, planejar a ao, considerando as oportunidades e os limites

    transformao social pretendida.

    Quando no houver fontes de dados secundrios para avaliar os trabalhos, seja devido necessidade

    de desagregao espacial, periodicidade ou mesmo inexistncia, preciso considerar a viabilidade da

    execuo de uma pesquisa ou levantamento de campo.

    No captulo 3, sero detalhados os pontos principais para a realizao de uma pesquisa.

    Etapas

    Neste exemplo, pode ser verificada a cronologia dos indicadores para cada uma das etapas do

    processo a ser implementado.

    Sondagem, Marco Zero, Situao Atual: Numa anlise geral dos vrios aspectos da localidade, a edu-

    cao ficou em destaque, sobre a qual ficou evidenciado: em dezembro do ano passado, 15% das crian-

    as de 7 a 14 anos do municpio no estavam cursando o ensino fundamental (aproximadamente 1.500

    crianas), sendo que, no Estado, esse percentual menor que 5%. Apenas 37% dos jovens entre 15 e

    17 anos concluram o ensino fundamental; no Estado, o percentual de 68%. As notas obtidas no IDEB

    foram de 3,7 e 4,0, na 4 e 8 sries, respectivamente, ficando na 3.122 e 2.216 posio entre os 5.565

    municpios do Brasil. Considerando que a educao essencial para qualquer processo de desenvolvi-

    mento no longo prazo, ela foi escolhida como a prioridade.

  • 35

    Antes Durante Depois

    Definio de prioridades Atividades / Processos Produtos / Resultados Avaliao de Impacto

    Objetivo 1: 1) Ter todas as crianas de 7 a 14 anos cursando o ensino fundamental.

    Metas: 1.1) Reduzir em 5% a cada ano, nos prximos trs anos, o percentual de crianas de 7 a 14 anos fora da escola.1.2) Realizar programa continuado de reflexo sobre o tema com os pais e professores, para garantir ao conjunta na busca desse objetivo.

    % de crianas de 7 a 14 anos fora da escola

    % de crianas e de familiares mobilizados

    % de profissionais da ao social e educao qualificados

    Taxa de frequncia escola por idade e nvel de ensino

    Nmero de salas abertas

    % de participao regular dos pais na vida escolar

    Passados trs anos, verifica-se que o Municpio j no tem mais crianas de 7 a 14 anos fora da escola, alm de ter aumentado significativamente o percentual de concluso do ensino fundamental: 50%. Apesar de a meta no ter sido alcanada, observa-se uma tendncia clara de avano, dependendo, naturalmente, da continuidade das aes.

    As notas do IDEB alcanaram os valores de 4,0 e 4,2, na 4 e 8 sries, respectivamente.

    O comprometimento dos professores, com mudanas nos mtodos de ensino, somado maior participao dos pais e voluntrios, foram essenciais.

    A parceria da comunidade empresarial local viabilizou um contraturno diferenciado, outro aspecto estratgico do processo.

    Objetivo 2:2) Obter no Municpio pelo menos os mesmos percentuais de concluso do ensino fundamental entre jovens de 15 a 17 anos do Estado, ou seja, 68%.

    Metas: 2.1) Identificar as principais causas de evaso escolar at dezembro deste ano. 2.2) Elaborar programa orientado a superar as causas identificadas, iniciando sua implementao no prximo ano.

    Nmero de campanhas para estimular os alunos a frequentar a escola e a aprender

    Nmero de encontros com pais Frequncia de pais aos

    encontros % de escolas com o novo

    mtodo pedaggico Quantidade de recursos

    aplicados para premiao dos profissionais

    Nmero de empresas contatadas

    Programa para acabar com a evaso escolar

    Taxa de evaso escolar

    Taxa de abandono escolar

    Objetivo 3:Aumentar as notas dos alunos no IDEB.

    Metas: 3.1) Implantar o contraturno escolar, visando a melhoria da qualidade do ensino no Municpio, em parceria com os pais e a comunidade local. 3.2) Realizar programa de desenvolvimento e valorizao dos profissionais da educao, incluindo aspectos pessoais e didtico-pedaggicos.

    % de escolas com o novo mtodo pedaggico

    Quantidade de recursos aplicados para premiao dos profissionais

    Nmero de empresas contatadas

    Frequncia de alunos no contraturno

    Avaliao do IDEB Nmero de empresas com parceria formalizada

    Nvel de satisfao dos profissionais

    Nvel de qualificao dos profissionais

    Ateno!

    Antes de comear a buscar os dados, e a medir, preciso fazer outra importante reflexo:Que decises podem ser tomadas com este indicador?Respondendo sim aos itens abaixo, o indicador escolhido poder contribuir para a tomada de deciso:

    O comportamento (histrico) deste indicador conhecido? Existem parmetros de comparao com outras localidades e aes (benchmark) ou recomendaes de organismos

    internacionais (especificaes ou best practices)? Foi estabelecida meta para este indicador? Foi possvel preencher todos os campos do metadados? Sabe-se como proceder se os valores apresentarem uma mudana significativa no indicador? Existe um plano de ao para investigar e corrigir o impacto dessas mudanas no indicador?

    (quando negativas) So conhecidas as inter-relaes com outros indicadores para uma melhor interpretao e identificao das causas da

    situao em anlise? Foi definida estratgia simples e prtica para divulgar o indicador proposto s partes interessadas?

  • 37

    Quando no houver fontes de dados secundrios

    para avaliar os trabalhos, seja devido necessida-

    de de desagregao espacial, periodicidade ou

    mesmo inexistncia, preciso considerar a viabi-

    lidade da execuo de uma pesquisa ou levanta-

    mento de campo.

    Neste captulo, sero detalhados os pontos princi-

    pais para a realizao de uma pesquisa quantitativa,

    desde a definio de seu escopo, at os instrumen-

    tos de medio, o pblico, o mtodo e o clculo

    de amostragem.

    3.1 DEFINIO DO ESCOPO DA PESQUISA

    Para que o planejamento da pesquisa esteja foca-

    do na finalidade principal do projeto preciso ter

    informaes relevantes sobre o histrico do pro-

    blema ou a dimenso da oportunidade existente,

    analisando qual o conhecimento necessrio para a

    tomada de decises assertivas na implementao

    do projeto e na mensurao dos resultados pro-

    postos. Essas definies podem ser feitas com o

    auxlio de anlises de dados secundrios, informa-

    es de pesquisa qualitativa, de entrevistas de pro-

    fundidade com especialistas e responsveis pelas

    diretrizes do projeto.

    CAPTULO 3:

  • 38

    Tendo como base o pblico que se deseja conhecer definida a unidade amostral, que representa o ele-

    mento de sorteio em que ser aplicado o instrumento de coleta. A unidade amostral dita as possveis for-

    mas do levantamento. Por exemplo, em pesquisas de mercado, quando a unidade o domiclio, ela pode

    ser presencial ou por telefone; no caso de pesquisa social, a execuo por via telefnica provavelmente

    excluiria parte do pblico da pesquisa, criando uma distoro. Em alguns casos, a unidade amostral o

    prprio pblico-alvo; em outros, o local onde so encontrados e a pesquisa realizada. A caracterizao

    do pblico ser importante para determinar o tamanho da amostra, o critrio de seleo e a linguagem a ser

    utilizada na elaborao do questionrio.

    Algumas perguntas orientadoras para bem definir o escopo da pesquisa:

    Que tipo de deciso a pesquisa vai nortear?

    Quais as questes principais que a pesquisa deve responder?

    Quais hipteses devem ser testadas atravs da pesquisa?

    A pesquisa trar as informaes necessrias para avaliar os objetivos e metas do projeto?

    Com esta pesquisa, ser possvel estabelecer um marco zero

    para medir os resultados diretos e indiretos esperados pelo projeto?

  • 39

    3.2 INSTRUMENTOS E MTODOS DE MEDIO

    A fim de se obter as informaes necessrias realizao dos trabalhos e avaliao dos resultados,

    preciso ter instrumentos capazes de gerenciar a coleta e o registro dos dados, de maneira confivel e fi-

    dedigna. Para isto, devem ser criados questionrios, formulrios, check-list, entre outros instrumentos de

    coleta, que padronizem e organizem o levantamento das informaes, indiquem a melhor forma de abor-

    dagem, identifiquem a linguagem e o tipo de questo ideal para extrair o mximo de informao possvel

    com a qualidade necessria.

    Questionrio

    A forma de se obter a informao e padronizar a coleta ser definida a partir do mtodo de entrevista. O

    mtodo pode utilizar entrevistador (via telefone ou entrevista presencial) ou ser de preenchimento pelo

    entrevistado, com questionrios em papel ou eletrnicos.

  • 40

    Outra preocupao relacionada ao mtodo de en-

    trevista o enunciado da questo, que deve ser

    clara e autoexplicativa no prprio formulrio a ser

    preenchido pelo respondente, j que no haver o

    entrevistador para contextualizar. Quando o ques-

    tionrio possui diversos saltos e filtros, e no rea-

    -lizado por formulrios eletrnicos, o respondente

    pode ter dificuldades para preencher sozinho.

    Questes

    a) Espontneas ou Estimuladas

    Em pesquisas que utilizam entrevistas presen-

    ciais, pode-se enriquecer a anlise ao mesclar

    perguntas espontneas e estimuladas.

    Questes espontneas so aquelas em que o en-

    trevistador l a pergunta, mas no exemplifica e

    nem apresenta opes de resposta, deixando a

    critrio do entrevistado resgatar na memria aqui-

    lo que surgir naturalmente. Para facilitar o trabalho

    de preenchimento do entrevistador, o questionrio

    conter as opes de respostas mais provveis;

    no caso de o entrevistado dar uma resposta que

    no se encaixe em nenhuma categoria, deve-se

    registrar na opo outros e descrever o relato.

    Nas questes estimuladas, o entrevistador, aps

    realizar a pergunta, apresenta um conjunto de

    categorias como opo de resposta. As opes

    podem ser mostradas em um carto, que deve ter

    suas categorias apresentadas de maneira aleat-

    ria, ou num formato redondo, para evitar que a or-

    denao traga vis pesquisa.

    Figura carto redondo

    Caractersticas Presencial Telefnica Correio Internet Evento

    Flexibilidade Alta Moderada Baixa Relativamente baixa

    Moderada

    Tempo de Coleta Relativamento baixo

    Relativamente baixo

    Alto Baixo Baixo

    Custo Alto Relativamente alto

    Baixo Relativamente baixo

    Baixo

    ndice de Resposta Alto Relativamente alto

    Baixo Baixo Relativamente alto

    Confiabilidade da Resposta

    Potencialmente alto

    Moderada Moderada Moderada Relativamente alta

    Tamanho do Questionrio

    Relativamente grande

    Moderado Pequeno Moderado Relativamente pequeno

    Possibilidade de Vis

    Entrevistador Entrevistador e pblico-alvo

    Perfil do correspondente

    Pblico-alvo e perfil do respondente

    Pblico-alvo e perfil do respondente

    Tipos de entrevista e respectivos nveis de complexidade

  • 41

    Em alguns casos, a utilizao da mesma pergunta

    nas duas formas de abordagem pode demonstrar

    a fidelidade e a consistncia da opinio do entre-

    vistado, j que a questo espontnea geralmente

    mostra a primeira lembrana que o entrevistado

    tem sobre o tema e a estimulada traz as respostas

    com que ele mais se identifica de acordo com um

    grupo de opes.

    b) Abertas (no estruturadas) ou

    Fechadas (estruturadas)

    Nas pesquisas em que o entrevistado preenche

    o prprio questionrio, a nica forma de buscar

    uma resposta espontnea deixando a questo

    em aberto. As perguntas abertas devem ser utili-

    zadas nos casos em que o uso de opes (esti-

    mulada) possa influenciar a resposta ou quando

    a inteno da pergunta for justamente captar a

    primeira coisa que vem cabea do entrevistado

    (recall lembrana).

    Nos demais casos, a categorizao prvia indi-

    cada, porque facilita o entendimento do tipo de

    resposta desejada, estimula o preenchimento,

    evita questes em branco e agiliza o processo de

    tabulao. Ao colocar a categoria outros, deve-

    -se solicitar seja especificado; desse modo, evita-

    -se forar uma resposta, deixando ao respondente

    a opo para expressar opinies no previstas.

    As perguntas fechadas podem ter sua resposta

    atravs de atributos com classe nominal ou ordi-

    nal e intervalos numricos com escalas discretas

    ou contnuas.

    Nominais

    So dados que especificam uma qualidade ou

    nomeiam uma caracterstica. Os dados com re-

    presentao nominal no possuem ordem ou hie-

    rarquia. Ex: Estado Civil: solteiro, casado, vivo,

    separado, divorciado.

    No caso de estas categorias serem comparativas

    e no excludentes, considerando principalmente

    a percepo do entrevistado, existe a necessida-

    de de ordenar as variveis aleatoriamente.

    Exemplo:

    Em que rea social esta comunidade mais pre-

    cisa de investimento: Sade, Educao, Segu-

    rana, Capacitao Profissional, Infraestrutura,

    Saneamento.

    Como j foi constatado que a ordenao das ca-

    tegorias pode influir na resposta, os postos devem

    ter diferentes combinaes de ordem. No caso do

    exemplo anterior do estado civil, no h esta neces-

    sidade, j que s existe uma opo correta no pre-

    enchimento e a ordem no influenciaria na escolha.

    :: Existe alguma habilidade que poderia ser incentivada para aumentar a renda familiar? Qual?

    :: O que seria o mais urgente a melhorar na comu-nidade para aumentar sua satisfao? (3 itens em ordem de importncia)

    Segurana

    Sade

    Transporte

    Saneamento

    Educao

    Emprego

    Pavimentao

    Lazer

  • 42

    Questes com categorias nominais podem ser

    definidas para utilizar resposta nica, ou seja, o

    entrevistador s ir assinalar uma opo dentre

    todas as categorias. No caso de opo de ml-

    tiplas respostas, o pesquisador poder registrar

    as vrias categorias mencionadas pelo entrevis-

    tado. Principalmente em perguntas estimuladas,

    h uma tendncia de se assinalar um maior n-

    mero de categorias, dificultando a diferenciao e

    a anlise da questo; por isso, pode-se incluir no

    enunciado da questo um nmero limitador.

    Exemplo:

    Quais os trs aspectos mais importantes na hora

    de escolher a escola do seu filho.

    Tambm possvel fazer a ordenao segundo a

    importncia de cada item. O exemplo anterior fica-

    ria assim: Numere em ordem crescente, segundo

    a importncia, os aspectos fundamentais na hora

    de escolher a escola de seu filho. Desse modo,

    possvel atribuir pesos de acordo com a ordem de

    importncia e, no momento da anlise, determinar

    quais os aspectos mais significativos na opinio

    dos entrevistados.

    Ordinais

    Quando as categorias possuem uma ordem lgi-

    ca (cronolgica, frequncia, ranking, gradual ou

    escalar), a posio da categoria deve obedecer a

    uma ordem crescente ou decrescente de acordo

    com essa lgica.

    Essa ordem pode obedecer a uma escala se-

    mntica (timo, bom, regular, ruim, pssimo),

    construda de acordo com o enunciado da ques-

    to, ou ser preparada a pergunta para seguir um

    padro estabelecido, como o grau de concor-

    dncia da escala Likert (Discordo totalmente

    Discordo No concordo nem discordo Concor-

    do Concordo totalmente). Sempre que possvel,

    deve-se utilizar escalas balanceadas; quando a

    escala tiver nmero impar de categorias, normal-

    mente existir uma opo neutra, como no caso

    da escala Likert.

    Dados ordinais podem representar a categori-

    zao de uma varivel numrica. Exemplo: Com

    qual frequncia no ano o senhor(a) participa de

    atividades na escola de seu filho? Nenhuma; 1 ou

    2 vezes; 3 a 5 vezes; 6 ou mais vezes.

    Variveis ordinais podem ser transformadas em es-

    calas visuais ou infogrficos, em aluso a farol ou

    em escala de sorriso e termomtrica, dependendo

    do tipo de pblico e do mtodo da entrevista.

    Em determinados casos, as variveis ordinais exi-

    gem questes estimuladas; quando isto ocorrer, o

    nmero de categorias no deve ser superior a nove.

    No caso da obteno de informaes de renda, por

    exemplo, a categorizao em faixas torna maior a

    disposio do entrevistado em responder.

    Exemplo:

    Em qual das faixas de rendimento mensal a sua

    famlia se enquadra? Sem rendimento; 0 a R$ 200;

    R$ 200 a R$ 500; R$ 500 a R$ 1.000: R$ 1.000 a R$

    2.000; R$ 2.000 a R$ 5.000: Mais de R$ 5.000.

    :: Na sua opinio, a renda total de sua famlia permite que vocs levem a vida at o final do ms com:

    :: Tempo de moradia

    Muita dificuldade Alguma facilidade

    Dificuldade

    Menos de 1 ano

    Facilidade

    5 a 10 anos

    Alguma dificuldade

    1 a 5 anos

    Muita facilidade

    Mais de 10 anos

  • 43

    Numricos

    Sempre que possvel, os dados numricos devem

    ser coletados na forma bruta ao invs da cate-

    gorizao em classes intervalares. O dado bruto

    permite a realizao posterior da categorizao e

    tabulao sobre diferentes perspectivas, alm de

    possibilitar o clculo de medidas estatsticas.

    Os dados numricos podem ser mensurados por

    um processo de contagem (discreto anos ida-

    de) ou por um instrumento de medio (contnuo

    - peso).

    Existe a possibilidade de utilizar notas para me-

    dir satisfao ou importncia ao invs de utilizar

    escalas semnticas; isto possibilita o clculo de

    mdias e o cruzamento entre diferentes atributos

    em uma mesma escala numrica.

    Exemplo:

    D uma nota de 0 a 10 que expresse sua satisfao

    quanto ao servio de atendimento mdico do pos-

    to de sade da comunidade, onde zero significa

    totalmente insatisfeito e 10 totalmente satisfeito.

    c) Questes condicionais ou filtros

    Em algumas situaes necessria a utilizao

    de questes condicionais e redirecionamentos

    no questionrio. Perguntas que s fazem sentido

    quando precedidas por uma determinada afirma-

    o na questo anterior, contendo um aviso do

    tipo ir para ou se sim, responda.

    Em questionrios de autopreenchimento, sem a uti-

    lizao de softwares computacionais, o excesso de

    saltos e redirecionamentos pode dificultar a respos-

    ta e deixar o preenchimento muito complexo.

    Dicas para a elaborao de questes

    e questionrios

    Para uma boa questo:

    1- definir o problema;2- empregar palavras simples e comuns;3- evitar palavras ambguas;4- evitar palavras que induzam;5- evitar alternativas implcitas;6- evitar generalizaes ou estimativas;7- misturar afirmaes positivas e negativas.

    Para aumentar o ndice de respostas a perguntas delicadas, deve-se:

    1- Colocar as questes mais delicadas no final do ques-tionrio - a confiana do entrevistador aumentou.2- Utilizar uma afirmao antes da pergunta e formular questes na terceira pessoa.3- Colocar no meio de outra questo, com amesma escala. 4- Categorizar e pedir para o respondente se encaixar em uma classe.

    Para evitar desistncia e minimizar as respostas faltantes ou incompletas, o questiorio deve:

    1- Ser estimulante - tanto para o entrevistador quanto para o entrevistado;2- Ser completo - mas no de preenchimentocansativo e demorado;3- Ter ordenao lgica - um melhor fluxo de questes, de forma contnua e interligada, sempre indo do mais geral para o mais especfico dentro de cada tema.4- Ser de fcil compreenso - claro e compatvel com a realidade, tanto do entrevistador, como a do entrevis-tado;

    :: D uma nota de 0 a 10 para o atendimento recebido na unidade:

    :: Levando em conta as condies atuais, qual se-ria o valor mnimo mensal de recursos para cobrir os gastos?

  • 44

    Fluxo para a construo do questionrio

    1. Descrever o objetivo da pesquisa e sua relao

    com o projeto social

    2. Identificar o pblico e a unidade amostral

    3. Definir o mtodo de entrevista (entrevistador ou

    autopreenchimento)

    4. Identificar questes a serem respondidas

    5. Agrupar em blocos de acordo com o tema

    principal

    6. Analisar a melhor maneira de formular a ques-

    to, levando em considerao: o tipo de questo,

    a forma de mensurao e a redao do enunciado

    e da categoria

    7. Ordenar as questes e montar o layout

    do questionrio

    8. Redigir o texto de abordagem do pesquisador

    9. Avaliar o tempo e a complexidade do questio-

    nrio

    10. Realizar pr-teste e corrigir eventuais falhas

    Dica: conhecer questionrios de pesquisas

    do IBGE e de aplicaes em projetos similares.

    Pr-teste

    Mesmo que todas as precaues e consideraes

    indicadas tenham sido tomadas, necessrio sub-

    meter o questionrio a um pr-teste com pblico

    semelhante ao qual ser aplicada a pesquisa. Isto

    poder apontar possveis erros de abordagem ou

    falta de clareza das questes, alm de identificar

    potenciais categorias de respostas no previstas

    no questionrio preliminar, ou, ainda, perguntas e

    questionamentos que apareceram espontanea-

    mente durante o processo de entrevista que de-

    vem ser agregados ao instrumento de coleta.

    Com o pr-teste, torna-se possvel estimar o

    tempo de execuo do questionrio para auxiliar

    o planejamento de coleta.

  • 45

    3.3 PLANEJAMENTO E SELEO DO PBLICO

    Conceitos

    a) Populao

    Uma populao ou universo o conjunto de todos

    os elementos de interesse para o projeto de pes-

    quisa. Na prtica, nem toda populao facilmen-

    te enumervel, mas acima de dez mil elementos,

    para efeito de clculo de amostra, as populaes

    podem ser consideradas infinitas.

    O processo de levantamento de todos os elemen-

    tos da populao chamado de censo. Como

    na maioria dos casos invivel fazer esse tipo

    de coleta, devido a questes de tempo, custo e

    volume de informaes, indicada a seleo de

    uma amostra representativa de elementos, que

    possibilite a inferncia da medida populacional e a

    tomada de decises assertivas a partir da anlise

    dos dados amostrais.

    b) Amostra

    Uma amostra um subconjunto de uma popula-

    o selecionada para a realizao de um estudo

    ou uma anlise. Tem o objetivo de reduzir custo,

    proporcionar maior rapidez e amplitude. Quando

    a amostra representativa e coletada correta-

    mente, possvel inferir sobre as caractersticas

    da populao.

    Interferncia estatstica - o processo de generalizao dos resultados amostrais para a populao.

    Populao

    Amostra

    Clculo do tamanho da amostra

    O tamanho da amostra depende de alguns

    fatores, tais como:

    Nvel de preciso e de confiana desejados;

    Homogeneidade da populao segundo as

    principais caractersticas de interesse;

    Necessidade de informaes desagregadas

    por subpopulaes, estratos ou territrios.

    Nvel de preciso ou erro amostral a diferena mxi-ma esperada entre a estimativa amostral resultante da pesquisa e o valor real (parmetro populacional).

    Nvel de confiana probabilidade de o intervalo com-posto pela estimativa amostral, subtrado e somado do nvel de preciso, conter o verdadeiro valor populacional (parmetro).

    Parmetro o verdadeiro valor da medida que seria ob-tido se fosse utilizado um censo ao invs de uma pes-quisa amostral.

  • 46

    Em pesquisas sociais, na maioria dos casos, o prin-

    cipal resultado esperado ser na forma percentual,

    com o interesse de se avaliar a proporo de ele-

    mentos da populao que possuem uma determi-

    nada caracterstica. (dado discreto contagem)

    Frmula para o clculo do tamanho da amostra:

    Onde,

    n= tamanho da amostra

    p = estimativa da proporo de interesse

    d = erro mximo aceito (nmero relativo)

    z= valor tabelado para o nvel de confiana

    estabelecido

    Observaes:

    1) Quando no se tem conhecimento prvio para

    estimar a proporo de interesse (p) - pesquisas

    anteriores ou amostra piloto, atribui-se o valor

    p=0,5. Isto torna o clculo mais rigoroso, aumen-

    tando a amostra.

    2) O valor d atribudo de acordo com a preciso

    desejada pelo pesquisador; um d = 0,03 significa

    que a estimativa encontrada na proporo amostral

    ter um erro mximo de 3% para cima ou para baixo

    em relao ao verdadeiro valor populacional.

    3) Nveis de confiana mais utilizados

    95% => Z = 1,96

    99% => Z = 2,64

    Correo para populao finita

    Quando a amostra representar 10% ou mais da

    populao, aplicar a frmula de correo para po-

    pulaes finitas.

    Ateno!

    Quando o tipo de dado desejado como resposta

    um nmero contnuo, como peso, quantidade,

    volume, o clculo da amostra deve ser feito com a

    metodologia de clculo usada para mdias.

    Exemplo:

    Avaliar o ndice de Massa Corporal (IMC) de

    crianas em uma comunidade com alto risco

    de desnutrio.

    Tipos de amostragem

    Em uma pesquisa, erro amostral a diferena en-

    tre o verdadeiro valor da populao e a estimati-

    va encontrada na amostra. Quando o mtodo de

    amostragem utilizado for probabilstico, possvel

    determinar qual ser o erro mximo esperado pela

    gerao da amostra, j que cada elemento da po-

    pulao tem probabilidade de pertencer amos-

    tra conhecida e diferente de zero e a seleo

    utilizou critrios de aleatoridade. Os mtodos de

    amostragem probabilstica mais utilizados so:

    Amostragem Aleatria Simples; Amostragem Es-

    tratificada Proporcional; Amostragem Sistemtica

    e Amostragem por Conglomerados.

    Amostragem Aleatria Simples

    Esta tcnica consiste em sortear os elementos da

    amostra a partir de uma lista com toda a popu-

    lao ou universo. a maneira mais simples de

    selecionar uma amostra. Pode ser feita no com-

    putador; com o apoio de tabelas de nmeros ale-

    atrios ou mesmo uma a uma, como se fosse uma

    loteria. Muitas vezes, na prtica, no possvel ter

    o nome ou o endereo de todos que fazem parte

    do pblico da pesquisa.

    p (1 - p) z2

    d2n =

    n . N

    N + n - 1

    nc=

  • 47

    Passos para seleo por Amostragem Aleatria Simples

    1) Criar um cadastro com todos os elementos da populao2) Numerar os elementos de 1 a N (tamanho da populao)3) Gerar n (tamanho da amostra): nmeros aleatrios entre 1 e N atravs de um software (planilha) ou a partir de uma tabela de nmeros aleatrios.4) Os nmeros gerados correspondem aos elementos selecionados que devero ser pesquisados pela amostra.

    Amostragem Sistemtica

    Esta tcnica consiste em escolher os elementos da amostra, aleatoriamente, no momento da pesquisa ou

    durante o prprio processo de manufatura ou prestao de servio, criando um sistema de seleo a partir

    de um nmero de ordem fixo (x). Para isso, preciso ser possvel ordenar essa populao com uma lgica temporal ou espacial.

    Exemplos:

    Se o interesse saber a satisfao do usurio do posto de sade, pode-se entrevistar um paciente a cada

    x consultas; ou a qualidade de um produto fabricado que pode ser avaliado a cada x produzidos. As pes-

    quisas sociais, na maioria dos casos, so realizadas na unidade domiciliar, podendo ser selecionada uma

    casa a cada x de uma determinada rua.

    Passos para seleo por Amostragem Sistemtica

    1) Determinar o intervalo (i), onde i=N da populao/n de amostras. Se i for uma frao, arredondar para o inteiro mais prximo. 2) Selecionar um nmero aleatrio r, entre 1 e i.3) A partir de uma lista de elementos da populao numerada entre 1 e N; ou de mapas de quadras e lotes; ou de populaes que esto em constante formao (Exemplo: pessoas que receberam algum tipo de servio), coletar uma amostra sistemtica, selecionando os elementos: r, r+i, r+2i, r+3i,..., r+(n-1)i.

    Populao: 18 casas - Tamanho da amostra : 6 casas

    Amostragem Sistemtica:nmero de ordem (i) = 18/6=3 (1 a cada 3

    casas) sorteio da primeira casa entre 1 e 3: 1prximas casas (+3): 5, 8, 11,14, 17

    Amostragem Simples:Sorteio das casas 2,3,4,10,13

  • 48

    Exemplo de aplicao

    Projeto: Gerao de Renda

    Misso do projeto: Auxiliar famlias de uma

    comunidade cujos adultos responsveis pelo do-

    miclio esto desempregados ou na informalidade.

    Objetivo da Pesquisa:

    Quantificar a proporo de famlias que esto

    nessa situao, avaliar sua capacitao e escola-

    ridade e identificar anseios e vocaes existentes.

    Abrangncia: Comunidade Vila Esperana, po-

    pulao estimada em 9 mil pessoas, delimitada

    pelas ruas x,z,y....)

    Pblico: Responsveis pelas famlias (Homens

    e Mulheres)

    Unidade Amostral: Domiclio (2.448 domiclios)

    Qual seria o tamanho da amostra e como

    escolher os entrevistados?

    a) Qual o nvel de preciso desejado?

    A equipe de projeto definiu que o nvel de 95% de

    confiana e um erro amostral mximo de 4% se-

    ria o suficiente para suas necessidades. Ou seja,

    caso a proporo de famlias com responsveis

    desempregados ou na informalidade fosse de

    55%, em 95% dos casos, o verdadeiro valor esta-

    ria contido entre 51% e 59%, caso entrevistadas

    todas as famlias. Esta possvel variao de 4%

    para cima ou para baixo, por sua vez, segundo a

    equipe, no alteraria a implementao do projeto.

    Quanto maior a preciso desejada, maior ser o

    tamanho da amostra.

    b) Qual o tamanho da amostra?

    Como no havia conhecimento prvio por parte

    da equipe de projeto, por no haver pesquisas

    anteriores ou amostra piloto para estimar prelimi-

    narmente a proporo de famlias nessa situao,

    atribuiu-se o valor p=0,5, o que torna o clculo o

    mais rigoroso possvel.

    Clculo:

    Corrigindo, pelo tamanho do nmero de domiclios

    existentes na comunidade:

    482 o nmero de entrevistas para obter uma

    estimativa da proporo de famlias com respon-

    sveis desempregados ou na informalidade na

    comunidade com um erro mximo de 4 pontos

    percentuais, para cima ou para baixo.

    Caso houvesse pesquisas aplicadas em