Manual de Auditoria de Desempenho

TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees

MANUAL DE AUDITORIA DE DESEMPENHO

SAUDI/SEGECEX 1998

TRIBUNAL DE CONTAS DA UNIO Presidente: Ministro Homero Santos Vice-Presidente: Ministro Iram de Almeida Saraiva Ministros: Adhemar Paladini Ghisi Carlos tila lvares da Silva Marcos Vinicios Rodrigues Vilaa Humberto Guimares Souto Bento Jos Bugarin Antonio Valmir Campelo Bezerra Auditores: Jos Antonio Barreto de Macedo Lincoln Magalhes da Rocha Benjamin Zymler Procurador-Geral: Walton Alencar Rodrigues Subprocuradores-Gerais: Jatir Batista da Cunha Lucas Rocha Furtado Paulo Soares Bugarin Procuradores: Maria Alzira Ferreira Marinus Eduardo Vries Marsico Ubaldo Alves Caldas Cristina Machado da Costa e Silva Comisso Permanente de Regimento: Ministro Adhemar Paladini Ghisi (Presidente) Ministro Humberto Guimares Souto (Membro) Ministro Valmir Campelo (Membro) Auditor Jos Antonio Barreto de Macedo (Suplente) Comisso Permanente de Jurisprudncia: Ministro Carlos tila lvares da Silva (Presidente) Ministro Marcos Vinicios Rodrigues Vilaa

TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees


Braslia, abril de 1998.

Tribunal de Contas da Unio Internet: http://www.tcu.gov.br SAFS Lt. 01 CEP: 70.042-900 - Braslia (DF)

Secretrio-Geral de Controle Externo: Jos Nagel Secretrio de Auditoria e Inspees: Cludio Souza Castello Branco Diretor de Normas e Procedimentos de Auditoria e Programas de Governo: Paulo Roberto Pinheiro Dias Pereira Chefe do Servio de Programas de Governo: Glria Maria Merola da Costa Bastos Analistas de Finanas e Controle Externo - rea de Controle Externo: Carlos Alexandre Amorim Rocha Carmen Pereira Rgo Meireles

657.63 B823M

Brasil. Tribunal de Contas da Unio. Manual de auditoria de desempenho. -- Braslia : TCU, Secretaria de Auditoria e Inspees, 1998. 78 p. 1. TCU - Manual de auditoria de desempenho (1998) I. Ttulo.

Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.

Tribunal de Contas da Unio

Portaria n 222, de 28 de abril de 1998. Aprova o Manual de Auditoria de Desempenho do Tribunal de Contas da Unio. O PRESIDENTE DO TRIBUNAL DE CONTAS DA UNIO, no uso de suas atribuies legais e regimentais e tendo em vista o disposto no artigo 2, III, da Resoluo Administrativa n 72, de 20 de maro de 1986, e no artigo 35 da Instruo Normativa n 09, de 16 de fevereiro de 1995, resolve: Art. 1 Fica aprovado o Manual de Auditoria de Desempenho do Tribunal de Contas da Unio, contendo os procedimentos operacionais e as estratgias metodolgicas a serem utilizadas na realizao de auditorias operacionais e avaliaes de programa. Art. 2 Esta Portaria entra em vigor na data de sua publicao.

HOMERO SANTOS

APRESENTAO

A necessidade de tornar mais efetivas e transparentes as aes governamentais tem ensejado iniciativas inovadoras de trabalho no mbito de atuao das Entidades de Fiscalizao Superior - EFS, constituindo-se em trao comum a essas iniciativas a nfase na avaliao dos resultados alcanados pelos programas, projetos, atividades, rgos e entidades da administrao pblica. Sem abdicar das suas atribuies histricas de zelar pelo cumprimento das normas legais aplicveis boa prtica administrativa, as EFS tm procurado ampliar o seu campo de atuao, exercendo um controle mais finalstico das aes de governo. Em consonncia com essa tendncia internacional, o Tribunal de Contas da Unio - TCU, j na dcada de 80, passou a praticar as chamadas auditorias operacionais, voltadas para a verificao dos princpios da economia, eficincia e eficcia das aes desenvolvidas pela administrao pblica. Em fevereiro de 1995, com a implantao do Projeto de Capacitao em Avaliao de Programas Pblicos, por iniciativa pioneira da gesto do Exmo. Ministro Marcos Vinicios Rodrigues Vilaa, inaugurou-se uma nova dimenso na atuao desta Corte, voltada para o desenvolvimento dos mtodos necessrios avaliao do impacto junto sociedade das funes, programas, projetos e atividades governamentais. A realidade tem sido farta em apresentar exemplos de aes da administrao pblica que, embora cumprindo satisfatoriamente as metas previstas, no lograram modificar as condies sociais adversas da populao. Ademais, no raras vezes, essas aes tm, inesperadamente, produzido efeitos negativos. Essa nova modalidade de controle, denominada avaliao de programa, vem sendo praticada por EFS de reconhecida competncia tcnica, como o United States General Accounting Office (EUA), o Office of the Auditor-General (Canad), o National Audit Office (Reino Unido) e o Australian National Audit Office (Austrlia), entre outros. Nessa linha, a atual gesto apresenta o Manual de Auditoria de Desempenho, que integra e consolida os principais mtodos empregados em avaliao de programa com os conhecimentos e prticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional, garantindo, assim, a continuidade do desenvolvimento tcnico desta Corte. Esse manual, desenvolvido pela Secretaria de Auditoria e Inspees - SAUDI, contou com a colaborao de oito unidades tcnico-executivas, que testaram os mtodos ali preconizados no mbito de projetos-piloto que englobaram oito reas temticas distintas, quais sejam: trabalho, defesa, sade, receitas pblicas, educao, infraestrutura, habitao e meio ambiente. Para concluir, importante mencionar a nfase dada ao controle de resultados pelas diretrizes que orientam a atual reforma e modernizao do aparelho de Estado. A maior flexibilidade e autonomia do gestor, preconizadas por essas diretrizes, devem ser


acompanhadas por um modelo de controle voltado para o exame dos resultados, das potencialidades e das limitaes das aes governamentais.

Homero Santos Presidente

iv

SUMRIOPgina LISTA DE QUADROS...........................................................................................................vii LISTA DE SIGLAS...............................................................................................................viii INTRODUO.......................................................................................................................9 1. DEFINIES E CONCEITOS.........................................................................................11 1.1. Auditoria Operacional...........................................................................................11 1.2. Avaliao de Programa........................................................................................11 2. ETAPAS DA AUDITORIA DE DESEMPENHO...............................................................15 2.1. Levantamento de Auditoria..................................................................................15 2.1.1. Elaborao do Plano de Levantamento de Auditoria..............................15 2.1.2. Anlise Preliminar do Objeto da Auditoria...............................................16 2.1.2.1. Modelo de Marco Lgico.......................................................................17 2.1.2.2. Modelo de Insumo-Produto...................................................................19 2.1.2.3. Modelo de Condies Ambientes.........................................................20 2.1.3. Coleta de Dados sobre Desempenho......................................................20 2.1.4. Especificao dos Critrios de Auditoria..................................................22 2.1.5. Preparao do Relatrio de Levantamento de Auditoria.........................24 2.2. Plano de Auditoria Operacional/Avaliao de Programa....................................25 2.2.1. Questes de Auditoria..............................................................................26 2.2.2. Informaes Requeridas..........................................................................28 2.2.3. Fontes de Informao..............................................................................29 2.2.4. Estratgias Metodolgicas.......................................................................29 2.2.4.1. Estudo de Caso.....................................................................................32 2.2.4.2. Pesquisa................................................................................................34 2.2.4.3. Delineamento Experimental..................................................................36 2.2.4.4. Delineamentos Quase-Experimentais...................................................38 2.2.4.5. Delineamentos No-Experimentais.......................................................40 2.2.4.6. Utilizao de Dados Existentes.............................................................41 2.2.5. Mtodos de Coleta de Dados...................................................................42 2.2.6. Mtodos de Anlise de Dados.................................................................45 2.2.7. Limitaes.................................................................................................46 2.2.8. O Que a Anlise Vai Permitir Dizer..........................................................47 2.3. Execuo..............................................................................................................47 2.3.1. Desenvolvimento dos Trabalhos de Campo............................................48 2.3.2. Teste-Piloto...............................................................................................49 2.3.3. Relatrio...................................................................................................49 2.3.3.1. Sumrio.................................................................................................50 2.3.3.2. Resumo.................................................................................................50 2.3.3.3. Introduo..............................................................................................51 2.3.3.4. Captulos sobre os Temas Principais....................................................51 2.3.3.5. Comentrios do Gestor.........................................................................52 2.3.3.6. Concluso..............................................................................................53 2.3.3.7. Proposta de Encaminhamento..............................................................53 2.3.3.8. Apndices..............................................................................................53 ANEXO I...............................................................................................................................55 I.1. Origem e Antecedentes........................................................................................57 I.1.1. Base Legal.................................................................................................57 I.1.2. Antecedentes Institucionais.......................................................................57 I.2. Planejamento........................................................................................................58 I.2.1. Diretrizes....................................................................................................58

I.2.2. Prioridades, Objetivos e Metas.................................................................58 I.2.3 Acompanhamento......................................................................................58 I.3. Populao-Alvo.....................................................................................................59 I.4. Ambiente de Atuao............................................................................................59 I.4.1. Contexto Poltico-Social............................................................................59 I.4.2. Caractersticas Scio-Econmicas............................................................60 I.5. Caractersticas Operacionais................................................................................60 I.5.1 Recursos Humanos....................................................................................60 I.5.2. Recursos Financeiros................................................................................61 I.5.3. Recursos Fsicos.......................................................................................61 I.5.4. Funcionamento..........................................................................................61 I.6. Fatores Restritivos................................................................................................61 ANEXO II..............................................................................................................................63 GLOSSRIO........................................................................................................................67 BIBLIOGRAFIA....................................................................................................................71 FOLHA DE SUGESTES....................................................................................................73

vi

LISTA DE QUADROS

Pgina Quadro 1: Exemplo do Modelo de Marco Lgico para um Projeto Hipottico de Perfurao de Poos com gua Potvel em uma Zona Rural..............................................................18 Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional................................................19 Quadro 3: Exemplo do Modelo de Condies Ambientes para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional................................................20 Quadro 4: Exemplo de Critrio Aplicvel s Auditorias de Sistemas Internos de Avaliao de Desempenho Institucional..............................................................................................23 Quadro 5: O Problema e as Questes de Auditoria do Plano de Auditoria da 3 SECEX no Programa de Levantamento da Plataforma Continental Brasileira - LEPLAC...................26 Quadro 6: Principais Critrios de Escolha Empregados em Estudo de Caso....................34 Quadro 7: Diagrama do Delineamento Experimental com Pr e Ps-Testes....................37 Quadro 8: Diagrama do Delineamento Experimental com Ps-Teste................................38 Quadro 9: Diagrama do Delineamento Grupos No-Equivalentes com Pr e Ps-Testes .............................................................................................................................................39 Quadro 10: Diagrama do Delineamento Sries Temporais com Grupo de Controle......39 Quadro 11: Diagrama do Delineamento Sries Temporais sem Grupo de Controle......40 Quadro 12: Diagrama do Delineamento Antes-e-Depois.................................................41 Quadro 13: Sinopse das Estratgias Metodolgicas..........................................................44

vii

LISTA DE SIGLAS

ANAO.....................................Australian National Audit Office BID.........................................Banco Interamericano de Desenvolvimento EFS........................................Entidade de Fiscalizao Superior GAO.......................................United States General Accounting Office INCOSAI................................International Congress of Supreme Audit Institutions INTOSAI................................International Organization of Supreme Audit Institutions NAO.......................................National Audit Office OAG.......................................Office of the Auditor-General of Canada SECEX...................................Secretaria de Controle Externo (Unidade Tcnica do TCU) TCU.......................................Tribunal de Contas da Unio

viii

INTRODUO

O Manual de Auditoria de Desempenho integra e consolida os principais mtodos empregados em avaliao de programa com os conhecimentos e prticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional. Est dividido em dois captulos: o primeiro dedicado distino conceitual entre auditoria operacional e avaliao de programa, modalidades de auditoria de desempenho, enquanto o segundo trata das etapas do desenvolvimento dos trabalhos de auditoria de desempenho, compreendendo as atividades de planejamento e de execuo dos trabalhos. A etapa de planejamento foi dividida em duas fases sucessivas e mereceu um tratamento abrangente e detalhado neste manual. Na primeira fase, denominada levantamento de auditoria, so apresentados alguns mtodos utilizados em avaliao de projetos, entre os quais o modelo de marco lgico, amplamente difundido pelas agncias internacionais de desenvolvimento em atuao no Brasil, como o BID e o Banco Mundial. Na segunda fase, denominada plano de auditoria operacional/avaliao de programa, apresentada a matriz de planejamento, instrumento de apoio metodolgico desenvolvido pelo GAO. A matriz apresenta, de forma sucinta, as estratgias metodolgicas mais empregadas, tanto em avaliao de programa, como em auditoria operacional, assim como os demais elementos que compem o citado plano. Na etapa de execuo, foram discutidos: os procedimentos analticos necessrios adequada caracterizao dos achados de auditoria; a necessidade de realizao de teste-piloto sempre que a complexidade do trabalho e os custos envolvidos assim recomendarem; e a estrutura a ser adotada nos relatrios de auditoria de desempenho, bem como as orientaes gerais sobre o seu contedo. Na elaborao deste manual foram consideradas no apenas as melhores experincias internacionais sobre o tema, como tambm as contribuies de profissionais desta Corte. Contudo, o manual no suficiente para dotar as equipes de auditoria de todos os conhecimentos necessrios realizao dos trabalhos de auditoria de desempenho, sendo recomendvel, para a sua plena utilizao, que os membros dessas equipes cumpram programa de treinamento especfico, bem como utilizem o material de apoio disponvel sobre os mtodos aqui preconizados.


10

1. DEFINIES E CONCEITOS

A auditoria de desempenho consiste na avaliao sistemtica dos programas, projetos e atividades governamentais, assim como dos rgos e entidades jurisdicionadas ao Tribunal. A auditoria de desempenho abrange duas modalidade: a operacional e a avaliao de programa. 1.1. Auditoria Operacional O objetivo da auditoria operacional examinar a ao governamental quanto aos aspectos da economicidade, eficincia e eficcia. Com esse intuito, so examinados os seguintes aspectos: como os rgos e entidades pblicas adquirem, protegem e utilizam seus recursos; as causas de prticas antieconmicas e ineficientes; o cumprimento das metas previstas; a obedincia aos dispositivos legais aplicveis aos aspectos da economicidade, eficincia e eficcia da gesto. Portanto, o foco da auditoria operacional o processo de gesto nos seus mltiplos aspectos de planejamento, de organizao, de procedimentos operacionais e de acompanhamento gerencial, inclusive quanto aos seus resultados em termos de metas alcanadas. Ao se proceder a uma auditoria operacional, deve-se abordar, entre outras questes: a adequao da estrutura organizacional aos objetivos do rgo ou entidade; a existncia de sistemas de controle adequados, destinados a monitorar, com base em indicadores de desempenho vlidos e confiveis, aspectos ligados economicidade e eficincia; o cumprimento das prticas recomendadas pela legislao para aquisio de bens e servios; a adequao das aquisies no que se refere aos prazos, quantidade, ao tipo, qualidade e aos preos; a guarda e manuteno dos bens mveis e imveis; a existncia de rotinas e procedimentos de trabalho documentados e atualizados; o uso adequado dos recursos humanos, instalaes e equipamentos voltados para a produo e prestao de bens e servios na proporo, qualidade e prazos requeridos; a extenso do cumprimento das metas previstas pela administrao ou legislao pertinente. 1.2. Avaliao de Programa auditoria


O objetivo da avaliao de programa examinar o impacto dos programas, projetos e atividades governamentais. No contexto deste manual, o impacto da ao governamental deve ser entendido como o resultado lquido produzido por um programa, projeto ou atividade, ou seja, as modificaes verificadas no objeto da ao que podem ser atribudas nica e exclusivamente quelas modalidades de interveno estatal. Enquanto que a auditoria operacional verifica, alm da eficincia operativa, o grau de cumprimento das metas, comparando metas previstas com metas realizadas, a avaliao de programa busca apurar em que medida as aes implementadas lograram produzir os efeitos pretendidos pela administrao. Um exemplo permite esclarecer o exposto. Uma auditoria operacional em um programa de nutrio infantil procurar verificar o alcance das metas propostas, sugerindo, eventualmente, o aumento da eficincia do programa mediante uma seleo mais adequada dos beneficirios e uma melhoria dos sistemas de aquisio, distribuio e oferta de alimentos. Mas nada dir sobre se essas correes diminuiro a desnutrio. Por outro lado, a avaliao de programa procurar estabelecer em que medida o programa consegue melhorar a situao nutricional da populao-alvo se houve mudanas, a magnitude das mesmas e que segmentos da populao-alvo foram afetados. Portanto, a auditoria operacional focaliza o processo de gesto, enquanto a avaliao de programa prioriza os efeitos produzidos pela interveno governamental. No primeiro caso, investiga-se o funcionamento dos programas, projetos e atividades e o cumprimento de metas quantificveis, como, por exemplo, o nmero de escolas construdas, de vacinas aplicadas, de servidores treinados ou de estradas recuperadas em relao ao previsto nos planos de governo ou na legislao especfica. No segundo, deve-se agregar anlise dimenses que permitam equipe pronunciar-se, por exemplo, sobre a reduo da evaso escolar, a erradicao de doenas contagiosas, a qualidade dos servios prestados pela administrao ou a reduo dos ndices de acidentes no trnsito. importante distinguir entre essas duas abordagens, uma vez que o cumprimento de uma meta fsica ou a disponibilidade de um servio pode ser uma condio necessria, mas no suficiente para que determinado problema seja efetivamente resolvido ou para que determinada necessidade seja atendida. Muitas vezes, o efeito esperado pode no ocorrer ou ser insignificante. Alm do mais, uma interveno governamental especfica pode provocar efeitos inesperados, tanto negativos, quanto positivos. Nas duas situaes, ao proceder a uma avaliao de programa, deve-se buscar as relaes de causalidade subjacentes aos fenmenos observados, procurando identificar os efeitos atribuveis exclusivamente ao programa, projeto ou atividade. Trata-se, portanto, de verificar, valendo-se de uma estratgia metodolgica apropriada, em que medida os efeitos observados, intencionais ou no, foram causados por essa interveno especfica. Segundo o Grupo de Trabalho sobre Avaliao de Programa da INTOSAI, uma avaliao de programa distingue-se de uma auditoria operacional porque permite responder a questes no abordadas por essa ltima (INTOSAI, 1995, p. 2). A avaliao de programa , via de regra, mais ambiciosa em relao anlise dos objetivos e dos resultados da interveno governamental. Essa modalidade de auditoria de desempenho12

DEFINIES E CONCEITOS

utiliza estratgias metodolgicas raramente empregadas em auditoria operacional, tais como, pesquisa, delineamento experimental e delineamentos quase-experimentais. Embora a auditoria operacional e a avaliao de programa possam ser realizadas de maneira independente, as informaes produzidas em cada uma delas proporciona uma anlise completa da atuao governamental, tanto em relao aos aspectos operacionais como em relao ao impacto das aes implementadas. Nesse sentido, as duas abordagens da auditoria de desempenho podem ser entendidas como complementares. Entre os aspectos a serem examinados, mediante uma avaliao de programa em programas, projetos e atividades, destacam-se: a sua concepo lgica; a adequao e a relevncia de seus objetivos, declarados ou no, e a consistncia entre esses e as necessidades previamente identificadas; a consistncia entre as aes desenvolvidas e os objetivos estabelecidos; as conseqncias globais para a sociedade; os efeitos no includos explicitamente nos seus objetivos; a relao de causalidade entre efeitos observados e poltica proposta; os fatores inibidores do seu desempenho; a qualidade dos impactos alcanados; a existncia de outras alternativas de ao, consideradas ou no pela administrao, e os respectivos custos envolvidos (anlise de custoefetividade); o cumprimento de dispositivos legais aplicveis sua natureza, aos seus objetivos e populao-alvo. No entanto, uma avaliao de programa pode no tratar, necessariamente, de todos os aspectos acima mencionados. A nfase em um ou outro desses aspectos depender das questes especficas que se pretende abordar, desde que o rigor metodolgico esteja sempre presente.

13


14

2. ETAPAS DA AUDITORIA DE DESEMPENHO

Para a realizao de auditorias de desempenho, devem ser observadas as seguintes etapas: 2.1. Levantamento de Auditoria; 2.2. Plano de Auditoria Operacional/Avaliao de Programa; 2.3. Execuo. 2.1. Levantamento de Auditoria As auditorias de desempenho devem ser precedidas de um levantamento de auditoria em seu objeto (programa, projeto, atividade, rgo ou entidade). O levantamento de auditoria visa determinar se um trabalho proposto exeqvel e relevante. Caso esses requisitos sejam atendidos, o levantamento dever proporcionar uma viso integrada do objeto que ser auditado, fornecendo elementos suficientes para que a equipe encarregada opte, no final do levantamento, por uma das duas modalidades de auditoria de desempenho: a auditoria operacional ou a avaliao de programa. Ademais, baseada nessa viso, a equipe delimitar os objetivos, a extenso e a estratgia metodolgica a ser utilizada na auditoria.1 O levantamento de auditoria deve conter as seguintes etapas: 2.1.1. 2.1.2. 2.1.3. 2.1.4. 2.1.5. Elaborao do Plano de Levantamento de Auditoria; Anlise Preliminar do Objeto da Auditoria; Coleta de Dados sobre Desempenho; Especificao dos Critrios de Auditoria; Preparao do Relatrio de Levantamento de Auditoria.

2.1.1. Elaborao do Plano de Levantamento de Auditoria No incio do trabalho, a equipe deve elaborar o plano de levantamento de auditoria, composto pelos elementos a seguir discriminados: tamanho da equipe, perodo do levantamento e custo estimado; programao de visitas; estratgia de coleta e anlise de dados; pauta de temas que sero debatidos com os gestores do objeto da auditoria; data para a apresentao do relatrio de levantamento de auditoria. Convm frisar que o xito do levantamento depende, em boa medida, da cuidadosa organizao dos contatos com os gestores do objeto da auditoria. O estabelecimento de boas relaes com esses gestores de suma importncia. O contato inicial deve ser por telefone, seguido de uma comunicao escrita, especificando a natureza do trabalho que ser realizado.

1

Neste manual, os termos auditoria e auditoria de desempenho sero tratados como equivalentes.


Na elaborao do plano de levantamento de auditoria, a equipe deve observar, no que couber, as disposies constantes nas demais sees do presente captulo, as quais tratam da elaborao do plano de auditoria operacional/avaliao de programa e do desenvolvimento e documentao dos trabalhos de campo. Compete ao Coordenador da equipe assegurar que o trabalho tenha sido planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propsito do levantamento. 2.1.2. Anlise Preliminar do Objeto da Auditoria A anlise preliminar do objeto da auditoria visa compreender como esse objeto est estruturado, permitindo que a equipe identifique questes que meream ser examinadas mais detalhadamente. Com esse intuito, a equipe deve buscar, acerca do objeto, informaes como2: os objetivos (gerais ou parciais, dependendo da extenso do trabalho); as aes desenvolvidas, as metas fixadas, os clientes atendidos, os procedimentos e recursos empregados, os bens e servios ofertados e os benefcios proporcionados; as linhas de subordinao e de assessoramento previstas e sua relao com as atividades desenvolvidas; as partes interessadas (reais ou em potencial) e as caractersticas do ambiente externo (dinmico ou esttico; previsvel ou imprevisvel); as restries enfrentadas (imposies legais e limitaes impostas pela concorrncia, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades). Essas informaes podem advir das fontes discriminadas abaixo, entre outras: legislao pertinente; pronunciamentos feitos e decises tomadas pelas autoridades competentes; misso declarada, planos estratgicos e relatrios de gesto; organogramas, diretrizes internas e manuais operacionais; sistemas de informaes gerenciais; entrevistas com os gestores e especialistas; relatrios internos e externos de auditoria e de avaliao de desempenho institucional. Compete ao Coordenador da equipe assegurar que os demais membros da equipe tenham investigado, documentado e compreendido em profundidade os aspectos centrais do programa, projeto, atividade, rgo ou entidade auditada. Os dados coletados devem ser organizados em modelos explicativos para facilitar a sntese e a visualizao da dinmica das principais relaes. H trs tipos de modelos que podem ser empregados: 2.1.2.1. Modelo de Marco Lgico;O Anexo I (Orientao Geral para a Anlise Preliminar do Objeto da Auditoria) contm uma relao mais extensa, ainda que no exaustiva, das informaes que devem ser coletadas acerca do objeto da auditoria. 162

ETAPAS DA AUDITORIA DE DESEMPENHO

2.1.2.2. Modelo de Insumo-Produto; 2.1.2.3. Modelo de Condies Ambientes. O dois ltimos modelos so menos complexos que o primeiro, pois a aplicao integral do Modelo de Marco Lgico pressupe a existncia de sistemas de informaes gerenciais completos. Como esses sistemas nem sempre esto disponveis, os Modelos de Insumo-Produto e de Condies Ambientes, empregados em conjunto, podem proporcionar os dados necessrios ao planejamento do trabalho que ser executado. 2.1.2.1. Modelo de Marco Lgico Esse modelo visa retratar como esto logicamente estruturadas as atividades desenvolvidas pelo objeto da auditoria. Para isso, definida a sua hierarquia de responsabilidades, discriminando-se os objetivos de cada nvel hierrquico e sua relao com os objetivos do nvel imediatamente superior. O Modelo de Marco Lgico facilita a avaliao do desempenho do objeto da auditoria, respondendo questes como: Os objetivos fixados guardam uma ntida relao com a finalidade ltima do objeto da auditoria, bem como definem precisamente os bens e servios que sero ofertados e a clientela que ser beneficiada? Os objetivos de cada nvel hierrquico mantm relaes de causalidade plausveis? O impacto (ou benefcios) buscado claro e mensurvel? Para obter respostas objetivas para as questes relacionadas acima, o Modelo de Marco Lgico trata as funes, programas, projetos, atividades, rgos e entidades como conjuntos estruturados de processos organizacionais que devem atingir tanto objetivos finais, como objetivos intermedirios. Esses objetivos podem ser estruturados como indicado a seguir: atividades: tarefas que devem ser executadas para que os componentes sejam obtidos; componentes: bens e servios ofertados (metas fixadas); propsitos: resultados diretos associados ao uso dos componentes; finalidades: benefcios almejados (impacto da atuao do objeto da auditoria). A estrutura exposta acima representa uma hierarquia de objetivos, disposta em ordem crescente. A realizao dos objetivos de cada nvel uma condio necessria para o atingimento do nvel subseqente. Dispondo-se a hierarquia em ordem decrescente, obtm-se algo semelhante ao mostrado no prximo quadro.

17


Quadro 1: Exemplo do Modelo de Marco Lgico para um Projeto Hipottico de Perfurao de Poos com gua Potvel em uma Zona RuralFinalidade: Reduo da incidncia de enfermidades causadas pelo consumo de gua no-potvel. Propsito: Adoo de prticas higinicas pela populao beneficiada. Componentes: extenso do acesso gua potvel 60% da populao local. melhor capacitao dos servidores da rea de sade.

Atividades: 1 componente: selecionar locais para a perfurao de poos; mobilizar os trabalhadores do local; perfurar os poos selecionados. 2 componente: preparar um programa de capacitao na rea de sade; recrutar servidores da rea de sade; ministrar o programa de capacitao para os servidores recrutados.

Fonte: BID, 199-, p. 16.

Alm de hierarquizar os processos organizacionais, os Modelos de Marco Lgico devem: definir indicadores prticos, objetivos, mensurveis e independentes para cada nvel, que devem ser expressos em termos quantitativos, qualitativos e temporais; indicar as fontes que contm dados sobre os indicadores; identificar os fatores exgenos (pressupostos) que podem afetar o objeto da auditoria em cada nvel, avaliando os riscos existentes e formulando aes alternativas. Caso opte pela presente abordagem, a equipe encarregada do levantamento de auditoria dever apurar se os fatores tratados nos pargrafos anteriores foram contemplados na etapa de planejamento das aes desenvolvidas pelo objeto da auditoria. O modo como essas aes esto logicamente estruturadas pode ser obtido a partir dos relatrios internos de auditoria e de avaliao de desempenho institucional. Contudo, como esses documentos podem estar incompletos ou defasados, importante que seja obtida a opinio dos gestores encarregados acerca da estrutura em questo.

18


Colhidos os dados necessrios, a equipe dever emitir juzo sobre a consistncia do sistema de planejamento existente. Convm notar que, quanto maior for essa consistncia, melhores sero as chances de xito das auditorias voltadas para a avaliao da efetividade das aes governamentais (avaliaes de programa). Na falta de informaes gerenciais precisas, as equipes devem optar pela verificao dos aspectos ligados economicidade, eficincia e eficcia das aes h pouco citadas (auditorias operacionais). 2.1.2.2. Modelo de Insumo-Produto Esse modelo procura exprimir como o objeto da auditoria desenvolve as suas atividades, identificando: as informaes e os recursos humanos, fsicos e financeiros exigidos (insumos); os processos de transformao dos insumos em produtos; os bens e servios ofertados (produtos); os benefcios proporcionados (impacto); os possveis indicadores de desempenho; a demanda existente para os produtos gerados; os benefcios desejados (escala de preferncias). A verso mais simples do presente modelo ilustrada pelo quadro abaixo, o qual dispe os quatro primeiros elementos indicados acima. Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipottico de Financiamento de Atividades de Capacitao ProfissionalINSUMOS requisi es de financiamento; recursos usados na apreciao das requisies. PROCESSOS promoo do programa; avaliao das aplicaes; distribui o de fundos; monitora mento do desempenho PRODUTOS quantidad e de atividades financiadas; quantidad e de pessoas treinadas. BENEFCIOS quantidad e de pessoas treinadas que obtiveram emprego ou treinamento adicional ao qual no teriam acesso de outra forma.

Fonte: ANAO, 1992, p. 58.

O Modelo de Insumo-Produto facilita os trabalhos de anlise acerca dos aspectos da economicidade, eficincia, eficcia e, tambm, da efetividade do objeto da auditoria. Ademais, a identificao dos principais processos permite que a equipe apure o controle que os gestores tm sobre esses processos.

19


2.1.2.3. Modelo de Condies Ambientes Esse modelo identifica os fatores internos e externos (clientes, fornecedores, competidores, sindicatos, associaes profissionais, autoridades diversas, etc.) que influenciam as atividades desenvolvidas pelo objeto da auditoria. O modelo deve exibir as interaes e inter-relaes existentes entre os vrios grupos de interessados, indicando se so ou no estveis, complexas ou concorrentes. O diagrama simplificado mostrado abaixo ilustra o modelo em questo, identificando as partes envolvidas na consecuo de um programa hipottico. Contudo, convm frisar que a equipe deve, alm de identificar as partes envolvidas, qualificar as relaes existentes entre elas, como indicado no pargrafo anterior. Quadro 3: Exemplo do Modelo de Condies Ambientes para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional

E p g d re mre a o s

T in n o re a d s P mto s d ro o re e T in mn s re a e to

Cp c o a a ita P fis io a ro s n l

s rg o C rre to o la s

rg oFonte: ANAO, 1992, p. 59.

F a c dr in n ia o

2.1.3. Coleta de Dados sobre Desempenho Os dados sobre desempenho so fundamentais para a avaliao dos aspectos da economicidade, eficincia, eficcia e efetividade do objeto da auditoria, ocupando uma posio central no levantamento de auditoria, embora a sua obteno enfrente diversas dificuldades, tais como: a definio de objetivos obscuros; o uso freqente de indicadores mltiplos e inter-relacionados; os efeitos de fatores exgenos, dificultando a identificao dos resultados diretos da atuao do objeto da auditoria; o carter heterogneo dos resultados alcanados; a presena e a subjetividade inerente aos indicadores de desempenho qualitativos.

20


Dessa forma, a equipe deve apurar o seguinte: Os procedimentos de coleta de dados sobre desempenho so suficientes e adequados? Os indicadores de desempenho usados so vlidos, completos e justificveis luz da relao custo-benefcio? Os indicadores de desempenho so parte integrante do processo de tomada de decises? Adicionalmente, convm que, quando aplicvel, o desempenho dos gestores do objeto da auditoria seja avaliado com base nas caractersticas indicadas abaixo: Est claro para os gestores o fundamento legal de suas atividades? Os gestores definiram objetivos compatveis com a mensurao de impactos e determinaram o que ser proporcionado, quem ser beneficiado e o motivo do benefcio? Os gestores avaliaram a extenso, a natureza e a atualidade da demanda pelos bens e servios ofertados? Os gestores estudaram aes alternativas? As atividades executadas e o esforo despendido so oportunos e consistentes com os objetivos perseguidos? O objeto da auditoria possui objetivos, padres, planos e organogramas compreensveis? Os recursos foram usados de modo econmico e eficiente? A posio financeira do objeto da auditoria controlada e registrada adequadamente? Em que medida os objetivos fixados foram atingidos sem que fossem gerados efeitos colaterais desfavorveis? Os bens e servios ofertados atendem s expectativas da clientela? Os gestores apuraram o nvel de satisfao da clientela? O objeto da auditoria tem sido capaz de se adaptar s mudanas na concorrncia, no padro tecnolgico, nas expectativas dos beneficirios e em outros fatores externos? A poltica de recursos humanos tem estimulado o desenvolvimento, o comprometimento e a iniciativa profissionais, bem como a satisfao no trabalho? Os recursos-chave do objeto da auditoria (pessoal, patentes, equipamentos, recursos naturais e fornecedores estratgicos) so preservados? Os resultados obtidos so monitorados e comparados com os resultados esperados, tomando-se decises com base nas observaes feitas? Os gestores estabeleceram sistemas efetivos de auditoria e de avaliao internas, zelando para que as atividades sejam executadas com economicidade, eficincia, eficcia e efetividade?

21


As caractersticas relacionadas acima devem servir como base para a delimitao da extenso da auditoria, a qual ater-se- s questes com maior probabilidade de proporcionar concluses significativas, respeitado o oramento preestabelecido. Compete ao Coordenador da equipe, por sua vez, zelar para que os objetivos da auditoria sejam fixados luz dos dados disponveis sobre desempenho. A equipe deve empregar o tempo e o esforo estritamente necessrios para concluir se um trabalho proposto deve ou no ser executado. Em geral, isso exige a realizao de todas as etapas do levantamento de auditoria. Contudo, possvel que a equipe j possua os elementos exigidos para que seja definida a exeqibilidade e a relevncia de uma auditoria, bem como os seus objetivos, a sua extenso e a estratgia metodolgica a ser empregada. Nesse caso, a equipe pode dispensar a presente etapa e partir para a especificao dos critrios de auditoria e a preparao do relatrio de levantamento de auditoria. 2.1.4. Especificao dos Critrios de Auditoria Os critrios de auditoria so essenciais para todo tipo de auditoria, exceto para as que tratam de questes descritivas. Esses critrios podem ser conceituados como os ...padres utilizados para determinar se uma dada condio satisfaz ou supera o esperado. (GAO, 1994b, p. 67) Os critrios de auditoria so fixados no decorrer do levantamento, ao final do qual devem estar suficientemente precisos e detalhados para que possam desempenhar os papis descritos abaixo na auditoria que ser executada: definio de um arcabouo conceitual bsico, facilitando a comunicao entre os membros da equipe, bem como entre essa e, de um lado, os demais integrantes do TCU e, de outro, os gestores do objeto da auditoria; delimitao da extenso da auditoria, tornando palpveis os seus objetivos; orientao da coleta de dados, indicando como obter evidncias significativas; fixao de parmetros balizadores das concluses e recomendaes da auditoria. O quadro a seguir exibido ilustra a relao que deve haver entre os critrios de auditoria e os indicadores que lhe do substncia. Naturalmente, os indicadores devem poder ser medidos objetivamente.

22


Quadro 4: Exemplo de Critrio Aplicvel s Auditorias de Sistemas Internos de Avaliao de Desempenho InstitucionalCritrio: As avaliaes internas de desempenho institucional devem ser parte integrante do processo de tomada de decises. 1 ndice: As avaliaes de desempenho institucional devem ter um formato til para os tomadores de decises. Medidas: o nvel de confiana dos dados sobre desempenho deve ser explicitado; os dados sobre desempenho devem ser analisados e sintetizados tendo em vista as necessidades dos usurios finais; os dados sobre desempenho devem ter um formato que facilite a identificao de mudanas em tendncias, assim como em fatores internos e externos. 2 ndice: A consistncia e a periodicidade dos relatrios de avaliao de desempenho institucional devem atender s necessidades dos tomadores de decises. Medidas: os usurios finais devem receber cpias dos relatrios em tempo hbil para a tomada de decises; os planos de ao resultantes das decises tomadas devem ser elaborados tempestivamente; os relatrios de avaliao de desempenho devem estar disponveis sempre que as autoridades competentes se reunirem para tomar decises acerca do objeto da auditoria. 3 ndice: Cada unidade do objeto da auditoria deve, no que couber, manter as demais unidades informadas acerca do seu desempenho. Medidas: resumos das decises tomadas e das aes programadas devem ser incorporadas ao plano estratgico geral do objeto da auditoria; os dados sobre desempenho devem, no que couber, ser incorporados aos planos de ao; os dados sobre desempenho devem ser disponibilizados para os sistemas de controle interno e externo.Fonte: ANAO, 1992, p. 77-8.

Os critrios de auditoria variam conforme os objetivos do trabalho proposto. Os relatrios de auditorias de desempenho j realizadas, no pas ou no exterior, podem fornecer indicaes valiosas sobre quais critrios podem ser usados em dada situao.

23


Outras fontes podem ser encontradas na legislao pertinente, nas normas internas do objeto da auditoria, nas informaes prestadas pelos gestores e no desempenho observado no passado ou em situaes similares. Ademais, como esses critrios balizaro as concluses da auditoria, os gestores devem ser consultados acerca da sua pertinncia.3 Compete ao Coordenador da equipe zelar para que sejam fixados critrios apropriados para as diversas dimenses do objeto da auditoria. 2.1.5. Preparao do Relatrio de Levantamento de Auditoria No final do levantamento de auditoria, a equipe deve preparar um relatrio, que ser submetido aprovao do Ministro-Relator responsvel. O relatrio deve sintetizar os dados coletados e as concluses alcanadas, indicando se o trabalho proposto ou no exeqvel e relevante e recomendando ou no a sua execuo. Na hiptese de ser recomendado o prosseguimento da auditoria, a equipe deve propor um plano de auditoria operacional ou um plano de avaliao de programa, conforme a modalidade de auditoria de desempenho mais adequada ao objeto do trabalho, como indicado na prxima seo. Formalmente, os relatrios de levantamento de auditoria devem obedecer estrutura indicada abaixo, semelhante estrutura dos relatrios de auditoria de desempenho (vide item 2.3.3)4: Sumrio; Resumo; Introduo; Captulos sobre os Temas Principais; Comentrios do Gestor; Concluso; Proposta de Encaminhamento; Apndices; Plano de Auditoria Operacional/Avaliao de Programa, quando couber. Na Introduo, a equipe discorrer sobre as caractersticas do trabalho e do objeto da auditoria, quais sejam: caractersticas do trabalho: deciso que determinou a realizao do levantamento; motivos da deciso (significncia dos valores geridos, das aes empreendidas ou de outros fatores ligados ao desempenho do objeto da auditoria); deficincias e falhas referentes ao desempenho constantes de contas prestadas ou de auditorias e inspees realizadas no passado prximo; equipe encarregada (discriminao de seus membros e das unidades nas quais esto lotados) e perodo de realizao; extenso e estratgia do levantamento e perodo examinado;

Ainda sobre os contatos com os gestores do objeto da auditoria, oportuno destacar que esses contatos devero ser regulares, permitindo, entre outras coisas, conferir a exatido de dados obtidos a partir de outras fontes e apurar a verso dos gestores acerca das evidncias levantadas. 4 Os tpicos no tratados nos prximos pargrafos devero obedecer s especificaes constantes do item ora indicado. 243


caractersticas do objeto da auditoria: identificao do objeto da auditoria (denominao, natureza jurdica, endereo, cdigo do SIAFI, quando couber, e rol de responsveis); estrutura, finalidade, principais atividades e ambiente no qual est inserido; legislao pertinente e diretrizes governamentais aplicveis; sistemas de controle e indicadores de desempenho existentes; processo de tomada de decises e recursos humanos, fsicos e financeiros utilizados.

Nos captulos sobre os temas principais, a equipe identificar os possveis critrios de auditoria e os comparar com as condies observadas ao longo do levantamento. Outros aspectos que devem ser considerados: a confiabilidade do sistema de controle, a solidez do sistema de informaes gerenciais e a consistncia das linhas de subordinao hierrquica. No tpico Comentrios do Gestor, por sua vez, a equipe analisar os comentrios da gerncia acerca do contedo do relatrio de levantamento de auditoria. Baseada na comparao e nas anlises feitas acima, a Proposta de Encaminhamento conter a recomendao acerca da execuo do trabalho de auditoria. Esse tpico pode, ainda, conter outras recomendaes que meream ser levadas ao conhecimento do Ministro-Relator. Dessa forma, o prprio relatrio de levantamento de auditoria pode suscitar determinaes por parte deste Tribunal. Esse procedimento ser especialmente til quando a equipe concluir que a auditoria proposta no deve ser realizada em face de deficincias apuradas ao longo do levantamento. Nesse caso, a ao fiscalizadora do TCU ter como produto final o relatrio de levantamento de auditoria. Compete ao Coordenador da equipe assegurar que o relatrio de levantamento de auditoria contenha todas as informaes necessrias correta e oportuna deliberao por parte das autoridades responsveis. 2.2. Plano de Auditoria Operacional/Avaliao de Programa O plano de auditoria operacional ou de avaliao de programa compreende a identificao das questes que sero investigadas e dos mtodos que sero empregados na coleta e anlise dos dados, assim como dos meios necessrios para implement-los. Portanto, deve constar desse plano um cronograma das atividades a serem desenvolvidas, com indicao dos prazos e da composio da equipe, alm da estimativa dos custos envolvidos. No intuito de facilitar a elaborao conceitual do trabalho e as decises sobre a estratgia metodolgica a ser empregada, a equipe deve utilizar a Matriz de Planejamento de Auditoria (vide Anexo II). Essa matriz dispe, linearmente, todos os elementos-chave do planejamento de um trabalho de auditoria. Esses elementos sero tratados ao longo desta seo, procurando-se contextualiz-los em relao auditoria operacional e avaliao de programa. Os seguintes elementos compem a Matriz de Planejamento de Auditoria: 2.2.1. Questes de Auditoria; 2.2.2. Informaes Requeridas;25


2.2.3. 2.2.4. 2.2.5. 2.2.6. 2.2.7. 2.2.8.

Fontes de Informao; Estratgias Metodolgicas; Mtodos de Coleta de Dados; Mtodos de Anlise de Dados; Limitaes; O Que a Anlise Vai Permitir Dizer.

2.2.1. Questes de Auditoria Com base em uma viso orgnica e integrada do objeto auditado, propiciada pelo levantamento de auditoria, assim como nas diferenas entre os critrios definidos e as condies observadas pela equipe, deve-se especificar o problema que ser focalizado pela auditoria. Uma vez que na maior parte dos casos as solicitaes de auditoria so formuladas de maneira genrica ou muito abrangente, o trabalho da equipe consistir em definir o escopo e expressar de forma clara e objetiva o problema que nortear todo o esforo de concepo e execuo da auditoria, usando para isso as informaes obtidas na fase de levantamento. Vencida a etapa descrita acima, a equipe deve elaborar as questes de auditoria, que permitiro investigar o problema formulado. Quando as questes abordarem aspectos voltados para a economicidade, eficincia ou eficcia da iniciativa governamental, tratar-se- de uma auditoria operacional, enquanto que questes voltadas para o aspecto da efetividade sero examinadas no contexto de uma avaliao de programa. Nesse sentido, as equipes podero deparar-se com quatro situaes: questes ligadas economicidade, eficincia e eficcia: realizao de uma auditoria operacional; questes ligadas efetividade: realizao de uma avaliao de programa; questes interdependentes ligadas tanto efetividade, como economicidade, eficincia e a eficcia: realizao de uma avaliao de programa; questes ligadas tanto efetividade, como economicidade, eficincia e eficcia, mas autnomas: realizao de uma avaliao de programa ou de uma auditoria operacional, conforme a relevncia das concluses que podero ser extradas de cada modalidade de auditoria. Portanto, as questes formuladas pela equipe sero o ponto de partida de uma auditoria operacional ou de uma avaliao de programa e orientaro todo o trabalho de investigao. O prximo quadro ilustra a relao entre problema e questes de auditoria. Quadro 5: O Problema e as Questes de Auditoria do Plano de Auditoria da 3 SECEX no Programa de Levantamento da Plataforma Continental Brasileira - LEPLACProblema: O Brasil, ao assinar a Conveno das Naes Unidas sobre o Direito do Mar, sujeitou-se ao seu cumprimento. Nesse sentido, surgiu a preocupao, por parte dos administradores, de se utilizar tcnicas aceitveis pela comunidade internacional para a efetivao de todo o levantamento geomorfolgico no prazo estipulado, tendo em vista a possibilidade de aumento da plataforma26


continental. Questes de Auditoria: 1 Com que segurana se pode afirmar que as tcnicas utilizadas sero aceitas pelos organismos internacionais? 2 At que ponto se pode dizer que a utilizao das tcnicas adotadas permitir a concluso do levantamento no prazo estipulado?Fonte: 3 SECEX, 1997, p. 34.

Muitas vezes, para que se possa examinar uma questo de auditoria, deve-se subdividi-la em subquestes, que sero tratadas de per si. Ou seja, cada subquesto dar origem a uma matriz de planejamento especfica. Ao formular as questes e, quando necessrio, as subquestes de auditoria, a equipe estar, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao e os limites e dimenses que devero ser observados durante a execuo dos trabalhos. Nesse sentido, a adequada formulao das questes de auditoria fundamental para o sucesso da auditoria operacional ou da avaliao de programa, uma vez que ter implicaes nas decises quanto aos tipos de dados que sero coletados, forma de coleta que ser empregada, s anlises que sero efetuadas e s concluses que possivelmente sero obtidas. Na elaborao das questes de auditoria, deve-se levar em conta os seguintes aspectos: clareza e especificidade; uso de termos que possam ser definidos e mensurados; viabilidade investigativa (possibilidade de ser respondida); articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado).

Na sua formulao, deve-se observar o seguinte procedimento (GAO, 1991, p. 11-4): 1 - considerar o maior nmero possvel de questes potenciais e os mtodos pelos quais essas questes podem ser equacionadas, mesmo que no paream, a princpio, plausveis ou exeqveis; 2 - confrontar as questes potenciais com os recursos disponveis para a realizao da auditoria, definidos em termos de custo, prazos de execuo e pessoal alocado. Esse procedimento permite verificar quais questes podem efetivamente ser respondidas, considerando o grau de dificuldade envolvido e os recursos demandados. Os critrios para a escolha de determinada questo ou para sua excluso so a factibilidade da estratgia metodolgica requerida para respond-la de forma satisfatria e a relevncia das concluses que podero ser alcanadas. Embora as etapas do processo de planejamento sejam apresentadas seqencialmente, a definio das questes de auditoria e a escolha das estratgias27


metodolgicas apropriadas acontecem simultaneamente, confrontando-se cada questo com as possveis estratgias metodolgicas (vide item 2.2.4). 2.2.2. Informaes Requeridas Aps formuladas as questes de auditoria e os seus desdobramentos (as subquestes), ser necessrio identificar as informaes requeridas para respond-las e suas respectivas fontes. Para se determinar o tipo de informao que se pretende obter na coleta de dados, os termos-chave empregados na questo de auditoria devem ser definidos e suas dimenses ou variveis identificadas. Por exemplo, ao formular uma questo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nvel de ensino, deve-se definir o que se entende por melhoria do nvel de ensino, identificando-se as dimenses envolvidas nesse conceito. Pode-se considerar, entre outras variveis, o nmero de aprovaes por srie ou a reduo da evaso escolar. A tarefa de traduzir conceitos abstratos em variveis mensurveis, definindo indicadores apropriados, indispensvel para que se possa medir o alcance dos objetivos perseguidos pela administrao. As informaes coletadas e usadas para suportar os achados de auditoria operacional ou de avaliao de programa so consideradas evidncias e podem assumir as seguintes formas (ANAO, 1992, p. 110-3): fsica: dados coletados a partir da observao direta, podendo ser representados por fotografias, mapas, grficos ou outras representaes pictogrficas; oral: declaraes geralmente obtidas em entrevistas ou pesquisas com usurios ou beneficirios da iniciativa governamental, bem como com especialistas, gestores ou membros da equipe tcnica encarregada; documental: dados registrados em papel ou meio magntico (em geral, os mais empregados em trabalhos de auditoria); analtica: informaes geradas a partir de outras evidncias, geralmente envolvendo clculos, comparaes ou snteses. recomendvel o uso de mais de um tipo de evidncia, de forma a fortalecer as concluses finais. As evidncias fsicas, obtidas a partir da observao de pessoas, eventos ou condies materiais existentes, sempre que constiturem elementos crticos para o alcance dos objetivos da auditoria, devem ser corroboradas. Por esse motivo, as observaes diretas devem ser feitas por, no mnimo, dois membros da equipe de auditoria, de preferncia acompanhados de representantes do auditado. Caso a equipe considere necessrio, deve-se preparar uma descrio detalhada das condies observadas e solicitar a anuncia formal do representante do auditado. Da mesma forma, as evidncias orais, normalmente obtidas em entrevistas, no so provas conclusivas, devendo ser sustentadas por evidncias documentais. Nos casos em que as declaraes do entrevistado forem crticas para a auditoria e no for possvel obter documentao comprobatria, deve-se tentar obter do mesmo a confirmao formal das suas declaraes em um resumo ou minuta da entrevista.28


A confiabilidade e a relevncia da evidncia oral so funes da posio, do conhecimento, da especializao e da idoneidade do entrevistado, ou seja, da sua credibilidade. Algumas vezes, a resposta do entrevistado a uma pergunta especfica pode revelar ambigidade, contaminando outros elementos do depoimento e, dessa forma, comprometendo a confiabilidade de todo o seu testemunho. Em resumo, sempre que possvel, os depoimentos e outros registros considerados crticos para a auditoria devem ser corroborados por evidncias documentais. Cabe acrescentar que a confiabilidade das evidncias documentais fornecidas pelo sistema de controle do rgo auditado por exemplo, os demonstrativos contbeis depender do regular funcionamento desse sistema. A relevncia da prova documental, por sua vez, deve ser analisada em relao ao objetivo da auditoria. Nesse sentido, por exemplo, a existncia de um manual de procedimentos, por si s, no garante que ele esteja sendo empregado pelo auditado. 2.2.3. Fontes de Informao As fontes de informao podem ser primrias ou secundrias. As fontes primrias so aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados. Por exemplo, entrevistas realizadas diretamente com os beneficirios de um programa ou registros e anotaes originrios de uma visita da equipe s instalaes de um projeto. As fontes secundrias so aquelas que foram coletadas e sistematizadas por outros, como, por exemplo (GAO, 1994a, p. 3.2): registros administrativos, em papel ou em meio magntico; estudos e pesquisas existentes; legislao, normas ou procedimentos; documentos oficiais, como memorandos, ofcios, etc.

Os principais problemas ligados utilizao de dados secundrios so os seguintes (GAO, 1994a, p. 3.3): a forma de coleta pode no ter sido adequada; os controles internos podem no ser confiveis; os dados podem ter sofrido manipulao; os dados podem no representar as variveis selecionadas para anlise.

2.2.4. Estratgias Metodolgicas Neste ponto da elaborao do plano de auditoria operacional/avaliao de programa, a equipe de auditoria deve especificar a estratgia metodolgica a ser adotada, ou seja, os mtodos de investigao requeridos pelas questes ou subquestes formuladas. importante considerar que a estratgia metodolgica est diretamente relacionada com a qualidade tcnica das evidncias que podem ser obtidas, o que, por sua vez, influir na confiabilidade das concluses do trabalho.29


Qualquer que seja a estratgia metodolgica a ser adotada, cada questo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as concluses ou achados de auditoria: critrio, condio, causa e efeito. Nas questes ligadas economicidade, eficincia e eficcia, em geral tratadas no mbito de uma auditoria operacional, os elementos citados acima podem ser assim definidos (GAO, 1994a, p. 2.12-2.17): a) Critrio: O padro ou indicador usado para determinar se o programa 5 atinge, excede ou est aqum do desempenho esperado. O critrio prov o contexto para se compreender os resultados da auditoria. A equipe, sempre que for possvel, deve incluir no plano de auditoria operacional os critrios a serem adotados. Ademais, ao selecionar os critrios, a equipe deve cuidar para que sejam razoveis, factveis e adequados matria sob exame. Alguns exemplos de critrios: objetivos ou metas fixados por lei, por regulamento ou pela administrao; normas ou padres estabelecidos; opinies de especialistas; desempenho anterior; desempenho de instituies similares, nacionais ou estrangeiras. b) Condio: A situao existente, identificada e documentada durante os trabalhos. c) Causa: As razes do mau ou bom desempenho observado. d) Efeito: As reais conseqncias da diferena constatada pela auditoria entre condio e critrio. Conseqentemente, no caso de uma auditoria operacional, a definio da estratgia metodolgica deve levar em conta os seguintes aspectos: comparaes entre condio e critrio; escopo do estudo (ex.: nmero de pessoas, registros, instalaes ou reas geogrficas selecionadas); perodo da observao (ex.: as observaes sero coletadas em determinado ponto ou perodo no tempo ou em vrias ocasies diferentes). Nas questes ligadas efetividade, tratadas, portanto, no mbito de uma avaliao de programa, os elementos identificados anteriormente podem ser assim definidos: a) Critrio: A natureza ou magnitude do impacto esperado com a implementao do programa. b) Condio: A situao verificada aps a implementao do programa e a situao que provavelmente seria verificada sem essa implementao.

A partir do presente item, os termos programa e objeto da auditoria sero tratados como equivalentes, indicando programas, projetos, atividades, rgos e entidades governamentais. 305


c) Causa: O programa que est sendo avaliado. A suposio fundamental que o programa responsvel pelas mudanas observadas. A estratgia metodolgica escolhida buscar assegurar, mediante evidncias plausveis, que nenhum outro fator, alm do programa, responsvel pelos efeitos constatados. Ou seja, a investigao deve ser planejada de forma a eliminar ou controlar fatores exgenos que podem estar influenciando os resultados observados (eliminao de interpretaes alternativas). d) Efeito: As mudanas, positivas ou negativas, nas condies reais que podem ser identificadas e atribudas ao programa. Trata-se, assim, da diferena entre a situao observada aps a implementao do programa e a situao que provavelmente seria observada sem essa implementao. Por conseguinte, no caso de uma avaliao de programa, quase sempre necessrio comparar observaes sobre beneficirios ou clientes do programa auditado com observaes sobre pessoas no afetadas pelo programa em questo. Naturalmente, o escopo e o perodo em que sero realizadas as observaes tambm devem ser especificados. Examinada as questes de auditoria luz dos elementos definidos acima, a equipe deve decidir sobre a estratgia metodolgica mais adequada para responder cada questo. Convm relembrar que cada subquesto deve ser tratada de per si, isto , para cada subquesto a ser examinada deve-se estabelecer uma estratgia metodolgica especfica.

31


As estratgias metodolgicas mais utilizadas so: 2.2.4.1. 2.2.4.2. 2.2.4.3. 2.2.4.4. 2.2.4.5. Estudo de Caso; Pesquisa6; Experimentos de Campo; Delineamentos Quase-Experimentais; Utilizao de Dados Existentes.

2.2.4.1. Estudo de Caso O estudo de caso pode ser empregado tanto em uma auditoria operacional, como em uma avaliao de programa. a estratgia metodolgica mais amplamente utilizada pelas EFS com maior tradio em auditorias de desempenho, como o GAO (EFS dos EUA), o OAG (EFS do Canad), o NAO (EFS do Reino Unido) e o ANAO (EFS da Austrlia), alm de outras. Nos trabalhos desenvolvidos por essas EFS, os estudos de caso so freqentemente complementados por outras estratgias metodolgicas, como a pesquisa e a utilizao de dados existentes. Segundo o GAO: Um estudo de caso um mtodo para conhecer uma situao complexa, baseado em uma compreenso abrangente da situao, obtida a partir da ampla descrio e anlise da mesma, considerada como um todo e no seu contexto. [grifos nossos]7 (GAO, 1990, p.14) O primeiro elemento (situao complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influncias podem interagir no-linearmente, tornando impossvel isolar os efeitos das variveis sob estudo. O segundo (compreenso abrangente) indica que os estudos de caso visam obter uma representao, a mais completa possvel, do que est acontecendo e do porqu. O terceiro (ampla descrio e anlise) envolve o emprego de descries densas, ou seja, de informaes ricas e completas, provenientes de vrias fontes, particularmente de observaes diretas. Ademais, a anlise ampla, comparando dados de diferentes tipos de fontes por meio do mtodo denominado triangulao (vide item 2.2.6). As principais caractersticas do estudo de caso so: mais adequado para responder a questes normativas e descritivas8; uso preferencial da abordagem qualitativa na coleta e anlise de dados; no-utilizao de amostragem probabilstica; anlise concomitante coleta de dados.

Porm, esse mtodo apresenta algumas limitaes, quais sejam:

Survey, na lngua inglesa. Os grifos indicam os elementos-chave da definio. 8 Exemplo de questo normativa: O programa est atingindo as metas previstas? Exemplo de questo descritiva: Como funciona o programa? 326 7


no usado, em geral, para responder a perguntas de causa-e-efeito ou de impacto9; pode ter custo elevado e necessitar de muito tempo para sua implementao; no permite generalizaes das concluses alcanadas para todo programa, exceto quando o nmero de casos ou situaes for suficientemente grande e diversificado. Com base em suas possveis aplicaes, esse mtodo pode ser classificado da seguinte maneira (GAO, 1990, p. 31-52): a) b) Ilustrativo: tem carter descritivo e objetiva acrescentar exemplos reais e detalhados a outras informaes sobre o programa; Exploratrio: tambm tem carter descritivo, porm mais voltado para a gerao de hipteses que sero investigadas posteriormente;

c) Caso crtico: examina uma situao especialmente relevante ou serve como um teste-crtico para afirmaes feitas acerca do programa; d) e) Implementao de programa: investiga operaes, geralmente em vrias localidades e de forma normativa; Efeitos do programa: examina relaes de causalidade, geralmente envolvendo o exame de vrios casos e utilizando mtodos de anlise de dados prprios de estudos de carter qualitativo (vide item 2.2.6);

f) Cumulativo: rene descobertas provenientes de vrios estudos de caso para responder a uma questo de auditoria, seja descritiva, normativa ou de causa-e-efeito. A seleo dos casos a serem estudados um aspecto crtico em estudo de caso. Os critrios de escolha so variados e esto relacionados ao tipo de questo que se pretende responder. Uma vez que o emprego de amostragem probabilstica geralmente no factvel, o propsito do estudo deve guiar a escolha dos casos. Freqentemente, trabalha-se com um ou poucos casos. Entretanto, quando se pretende tirar concluses para o programa como um todo, deve-se trabalhar com um nmero maior de casos, de forma a refletir a variabilidade operacional do programa. O quadro mostrado a seguir relaciona os principais critrios de seleo de casos.

9

Exemplo de questo de causa-e-efeito ou de impacto: Os efeitos observados podem ser atribudos ao programa? 33


Quadro 6: Principais Critrios de Escolha Empregados em Estudo de CasoCRITRIOS DE SELEO QUESTES QUE PODEM SER RESPONDIDAS Na situao selecionada por facilitar a coleta de dados, o que est acontecendo e por qu?

Convenincia Finalidade Casos extremos Melhores casos Piores casos Agrupamento Caso Representativo

O que est acontecendo nos extremos? O que explica tais diferenas? Que circunstncias so responsveis pela eficcia do programa? Por que o funcionando? programa no est

Como diferentes tipos de programas se comparam entre si? Em situaes escolhidas para representar importantes variaes, como se comporta o programa e por qu? Em uma situao tpica, o que est acontecendo e por qu? Em uma situao especialmente relevante, o que est acontecendo e por qu? O que est acontecendo no programa como um todo, e por qu?

Caso Tpico Interesse especial

Probabilidade (a)Fonte: GAO, 1990, p. 23.

Nota: (a) o critrio probabilstico escolhe casos aleatoriamente, contudo a amostra selecionada no precisa ser representativa.

Em estudo de caso, a coleta de informaes tem as seguintes caractersticas: nfase no aspecto qualitativo da informao, ainda que sejam coletados dados quantitativos; utilizao de entrevistas no-estruturadas ou estruturada com perguntas abertas e observao direta; utilizao de mltiplas fontes de dados. As principais vantagens do estudo de caso podem ser assim resumidas: permite uma anlise detalhada do programa em exame; permite formular hipteses para serem testadas em estudos de maior amplitude; evidencia os aspectos fortes e fracos da operacionalizao do programa em exame. 2.2.4.2. Pesquisa34


Amplamente aplicada em avaliao de programa e em auditoria operacional, a pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Essa estratgia muito empregada nas auditorias de desempenho realizadas pelo GAO, NAO, OAG e outras EFS. Freqentemente, utilizada em conjunto com estudos de caso como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia. Em geral, a sua utilizao permite: obter informaes descritivas de uma populao ampla; conhecer opinies e pontos-de-vista dos beneficirios ou dos executores do programa; estabelecer relaes causais em situaes particulares. Ademais, a pesquisa utilizada na realizao de estudos exploratrios na fase de levantamento de auditoria. Como mtodo estruturado de coleta de dados, a pesquisa visa generalizar para toda a populao informaes obtidas a partir de uma amostra. 10 Para garantir essa generalizao, a amostra deve refletir as caractersticas da populao-alvo. Qualquer deficincia do mtodo amostral utilizado deve ser levado em conta na interpretao dos resultados da pesquisa e ser devidamente relatado. Nesse sentido, so consideradas fontes potenciais de erros (GAO, 1994a, p. 3.33): erro amostral: se uma amostra muito pequena, h uma grande chance de que no reflita as caractersticas da populao da qual foi extrada (mtodos estatsticos podem ser utilizados para estimar o tamanho da amostra e, dessa forma, controlar o presente tipo de erro); erros no-amostrais: baixa taxa de resposta, erros de mensurao resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausncia, na amostra selecionada, de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa). As vantagens dessa estratgia podem ser assim resumidas: permite obter dados uniformes de uma grande quantidade de elementos pesquisados; permite a generalizao para a populao de achados ou concluses obtidas a partir de uma amostra; permite o tratamento de dados disponveis, mas ainda no tratados; permite o exame de programas que envolvam muitos rgos e entidades; permite a comparao com programas similares desenvolvidos por outros rgos ou entidades. As desvantagens normalmente apontadas so a longa durao das pesquisas e a necessidade de conhecimentos em reas especficas, como mtodos de pesquisa e tcnicas de amostragem e de elaborao de formulrio de coleta de dados, entre outras. Na realizao de uma pesquisa, a coleta uniforme de dados fundamental para viabilizar o tratamento estatstico das informaes coletadas. Por isso, so utilizadas10

A pesquisa que tem como objeto todos os membros de uma populao denominada censo. 35


entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionrios enviados pelo correio. Essas entrevistas podem ser aplicadas face-a-face ou por telefone. O exame de registros administrativos e a observao direta so meios alternativos de coleta de dados. Em relao ao momento de realizao da pesquisa, pode-se ter: corte temporal11: o levantamento de informaes feito em um nico ponto no tempo; painel: o levantamento de informaes feito em dois ou mais pontos. No segundo caso possvel conhecer a dinmica temporal do programa avaliado e aferir mudanas em fatos, atitudes e opinies. Tambm possvel verificar se dois fatores aparentemente relacionados mantm relaes de causa-e-efeito. 2.2.4.3. Delineamento Experimental O delineamento experimental uma estratgia metodolgica que visa testar hipteses. A sua concepo bsica corresponde aos experimentos realizados em laboratrio, amplamente utilizados nas pesquisas das reas mdica e agrcola. Essa estratgia empregada quando se pretende identificar uma relao de causalidade ou, no caso de uma avaliao de programa, quando se deseja verificar a relao causal entre as variveis do domnio do programa e os efeitos observados. Por exemplo, quando se quer saber se um projeto de qualificao profissional de fato aumenta as chances de insero no mercado de trabalho aos trabalhadores desempregados. O delineamento experimental considerado, portanto, a estratgia mais adequada para responder s questes de impacto ou de causa-e-efeito, pois permite controlar os efeitos no atribuveis ao programa, identificando, assim, seus resultados lquidos. Em um delineamento experimental, para verificar se um programa a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.): o grupo experimental ou de tratamento, que ser exposto ao programa; o grupo de controle, que no ser exposto.

Cross-section, na lngua inglesa. 3611


As diferenas observadas nos resultados obtidos por esses grupos, com algumas qualificaes, podero ser atribudas presena do programa. O procedimento exposto acima, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randmica ou aleatria. Isto , qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo. Isso visa fortalecer o vnculo causal, garantindo que a maioria dos fatores no manipulados pelo programa e que poderiam influenciar os seus resultados est uniformemente distribuda entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenas observadas. No caso da avaliao de um projeto de qualificao profissional, a seleo randmica faria com que caractersticas individuais que podem aumentar ou diminuir a possibilidade de obteno de um novo emprego fossem uniformemente distribudas pelos grupos de tratamento e de controle. Logo, duas caractersticas definem os experimento em sentido estrito: existncia de grupo de controle; designao randmica de unidades de pesquisa para os grupos de tratamento e de controle. Convm notar, ainda, que, a fim de preservar a integridade do experimento, o pesquisador deve se assegurar de que cada grupo manter a mesma composio ao longo do experimento. Em relao aos momentos nos quais as variveis selecionadas so mensuradas, os experimentos podem adotar pr e ps-testes ou apenas ps-testes. Isto , a mensurao realizada antes e depois da implementao do programa ou apenas depois. Esquematicamente, as duas opes correspondem aos diagramas mostrados abaixo. Quadro 7: Diagrama do Delineamento Experimental com Pr e PsTestesGRUPOS DE TRATAMENTO DE CONTROLE PERODOS DE MENSURAO pr R R O O X ps O O

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 56. Notao: R: designao randmica; X: programa ou tratamento; O: teste de mensurao.12

12

Conforme C. T. FITZ-GIBBON & L. L. MORRIS (1987, p. 55), essa notao foi concebida por D. T. Campbell & J. C. Stanley, na obra Experimental and quasi-experimental designs for research, de 1966. 37


Quadro 8: Diagrama do Delineamento Experimental com Ps-TesteGRUPOS DE TRATAMENTO DE CONTROLE PERODOS DE MENSURAO ps R R X O O

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 57. Notao: R: designao randmica; X: programa ou tratamento; O: teste de mensurao.

A designao randmica para os grupos de tratamento e de controle no se confunde com a tcnica de amostragem aleatria. O primeiro procedimento visa fortalecer a inferncia causal, assegurando validade interna s interpretaes, enquanto o segundo tem como objetivo a generalizao dos resultados amostrais para toda a populao, assegurando, portanto, validade externa investigao. Em que pese ser o delineamento experimental a estratgia mais rigorosa no trato de questes que envolvem inferncia causal, admite-se que dificilmente pode ser aplicado por instituies de controle externo, uma vez que a seleo randmica requer que as equipes de auditoria controlem o processo de seleo dos participantes do programa auditado, o que, em geral, uma prerrogativa de seu gestor. Mesmo assim, essa estratgia deve ser conhecida pelas equipes, pois funciona como uma referncia crtica para avaliar a fragilidade potencial das inferncias causais apontadas pelas outras estratgias. 2.2.4.4. Delineamentos Quase-Experimentais A realizao do delineamento experimental envolve dificuldades de ordem tanto prtica, tratados no subitem anterior, como tica (ex.: excluir do programa um grupo de beneficirios em potencial para que operem como grupo de controle). Por essa razo, foram desenvolvidas estratgias metodolgicas alternativas. Existem muitas situaes em que no possvel recorrer randomizao, mas na qual h grupos de controle disponveis. Assim, os grupos de comparao so selecionados com base na disponibilidade e na oportunidade. As estratgias utilizadas nesses casos so menos robustas do que os experimentos de campo. Quanto maiores forem as diferenas iniciais entre os grupos de tratamento e de controle, mais ambguas sero as concluses alcanadas. Para minimizar esse problema, deve-se selecionar grupos que sejam to equivalentes quanto possvel, ou seja, grupos que possam ser comparados. Para se garantir a equivalncia entre os grupos, essencial aplicar um prteste, destinado a verificar as diferenas preexistentes e, dessa forma, permitir a interpretao e o controle dos resultados do estudo. Os delineamentos quase-experimentais mais citados so: grupos no-equivalentes com pr e ps-testes; sries temporais com grupo de controle; sries temporais sem grupo de controle.

38


No primeiro caso (grupos no-equivalentes com pr e ps-testes), o delineamento tem as mesmas caractersticas de um delineamento experimental, exceto pelo fato de que os grupos no so equivalentes, ou seja, os grupos no foram formados por designao randmica. Nesse caso, o pr-teste essencial para verificar se, inicialmente, os grupos de controle e de tratamento so comparveis. A limitao desse modelo que a seleo dos grupos pressupe o conhecimento de todas as variveis relevantes que podem influenciar o resultado do programa, o que, por sua vez, o objetivo da investigao. O diagrama para esse delineamento est indicado a seguir. Quadro 9: Diagrama do Delineamento Grupos No-Equivalentes com Pr e Ps-TestesGRUPOS DE TRATAMENTO DE CONTROLEFonte: FITZ-GIBBON & MORRIS, 1987, p. 58. Notao: X: programa ou tratamento; O: teste de mensurao; Linha Pontilhada: designao no-randmica dos grupos.

PERODOS DE MENSURAO pr O O X ps O O

No segundo caso (sries temporais com grupo de controle), realiza-se uma srie de mensuraes antes e depois da implementao do programa. Essa opo adequada quando se deseja obter uma perspectiva de longo prazo do programa. Um fator negativo que deve ser considerado o grande nmero de mensuraes a serem realizadas e, conseqentemente, o enorme volume de dados a serem analisados. Comparativamente, esse delineamento considerado mais eficaz que o anterior, por ser capaz de controlar a maior parte das ameaas validade interna. Na hiptese de a equipe de auditoria querer comparar dois programas, um dos programas operar como grupo de controle, enquanto que o outro operar como grupo de tratamento. O diagrama desse delineamento consta do quadro abaixo. Quadro 10: Diagrama do Delineamento Sries Temporais com Grupo de ControleGRUPOS1

PERODOS DE MENSURAO2 O O 3 O O X 4 O O 5 O O 6 O O O O

DE TRATAMENTO DE CONTROLE

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 61. Notao: X: programa ou tratamento; O: teste de mensurao; Linha Pontilhada: designao no-randmica dos grupos.

39


No terceiro caso (sries temporais sem grupo de controle), a mensurao realizada, em intervalos regulares de tempo, antes e depois da implementao do programa, com o mesmo grupo de unidades de pesquisa. O prximo quadro contm o diagrama do presente delineamento. Quadro 11: Diagrama do Delineamento Sries Temporais sem Grupo de ControleGRUPO1

PERODOS DE MENSURAO2 O 3 O X 4 O 5 O 6 O O

DE TRATAMENTONotao: X: programa ou tratamento; O: teste de mensurao.

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 58.

Dispondo-se graficamente os dados obtidos, pode-se verificar se o programa, ao ser implementado, provocou qualquer alterao nas tendncias observadas, isto , se teve ou no impacto sobre a populao. Nesse caso, a fragilidade do delineamento reside no fato de que no h controle sobre variveis externas ao programa ou variveis de contexto, no sendo possvel, portanto, isolar os efeitos legitimamente imputveis ao programa. Independentemente da srie temporal ter ou no um grupo de controle, as mensuraes podem ser realizadas de dois modos diferentes: com as mesmas unidades de pesquisa (sries temporais longitudinais); com o mesmo tipo de unidades de pesquisa, isto , a cada mensurao, as unidades de pesquisa podem no ser as mesmas, mas devem possuir as mesmas caractersticas (sries temporais de grupos sucessivos). 2.2.4.5. Delineamentos No-Experimentais Muitas vezes impossvel utilizar at mesmo delineamentos quaseexperimentais. Nesse caso, os delineamentos no-experimentais mais comumente empregados so: antes-e-depois; somente depois; somente depois com grupo de comparao. A fragilidade inerente a esses delineamentos o fato de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter sido causadas por variveis no associadas ao programa. Quando a coleta de dados executada adequadamente, estudos dessa natureza oferecem valiosas informaes sobre o programa. Entretanto, apresentam problemas considerveis quando o objetivo estabelecer um juzo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribudos. Assim, quando se tratar de uma avaliao de programa, esses delineamentos devem ser adotados em conjunto com outras estratgias metodolgicas.

40


A caracterstica do delineamento do tipo antes-e-depois trabalhar apenas com a populao-alvo do programa, realizando duas medies, uma antes e outra aps a implementao do programa. O diagrama correspondente consta do quadro abaixo. Quadro 12: Diagrama do Delineamento Antes-e-DepoisGRUPO DE TRATAMENTOFonte: FITZ-GIBBON & MORRIS, 1987, p.62. Notao: X: programa ou tratamento; O: teste de mensurao.

PERODOS DE MENSURAO pr O X ps O

Uma vez que h apenas um grupo a ser monitorado, deve-se buscar o maior nmero possvel de informaes, alm de uma descrio detalhada do programa, de suas caractersticas operacionais e das suas bases tericas. Outra maneira de minimizar a fragilidade do presente delineamento separar as informaes por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caractersticas. Dessa forma, possvel saber para que tipo de unidade o programa parece funcionar melhor ou pior. Nessa situao, dois tipos de tratamento estatstico podem ser utilizados: comparao dos resultados mdios de vrias categorias, usando testes estatsticos; verificao da correlao entre as caractersticas individuais e os resultados observados. O segundo tipo de delineamento no-experimental (somente depois) ainda mais limitado que o anterior e consiste em realizar apenas uma medio aps a implementao do programa. S recomendvel utiliz-lo nos casos em que for possvel reconstituir a situao dos beneficirios antes do programa, valendo-se de estudos anteriores ou de entrevistas com os participantes. No ltimo caso, importante considerar que dados retrospectivos nem sempre so confiveis, uma vez que os beneficirios tendem a distorcer informaes sobre seu passado, normalmente procurando manter coerncia com a situao presente. O terceiro tipo (somente depois com grupo de comparao) basicamente a verso anterior fortalecida com informaes de um grupo de comparao, cujos participantes devem ser to similares aos beneficirios do programa a ser avaliado quanto possvel. Uma vez que nesse caso no possvel dispor de dados de um prteste, como no caso do delineamento quase-experimental, torna-se especialmente difcil distinguir as diferenas preexistentes dos efeitos do programa. 2.2.4.6. Utilizao de Dados Existentes As estratgias metodolgicas analisadas at aqui trataram, quase sempre, da obteno de dados novos pela equipe de auditoria. Uma vez que a coleta de dados um procedimento caro e demorado, deve-se considerar a possibilidade de que sejam utilizados dados j existentes (vide item 2.2.5).41


As fontes de dados disponveis, sejam sistemas gerenciais existentes, sejam pesquisas realizadas anteriormente, devem ter sido identificados no levantamento de auditoria. Dependendo da questo a ser investigada, essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos. Para concluir, fundamental levar em conta que qualquer problema relativo utilizao desses dados e s suas possveis limitaes deve constar como ressalva s concluses finais do relatrio de auditoria. 2.2.5. Mtodos de Coleta de Dados Uma vez definida a estratgia metodolgica a ser empregada, deve-se especificar na Matriz de Planejamento de Auditoria o mtodo de coleta de dados que ser adotado. Os mtodos mais utilizados so: entrevista, questionrio enviado pelo correio, observao direta e utilizao de dados secundrios. Ao se optar por um mtodo de coleta de dados, deve-se considerar, primeiramente, a convenincia de que sejam utilizados instrumentos que obedeam ou no a um padro pr-elaborado (estruturado). Entre as vantagens de um instrumento estruturado de coleta de dados, destacam-se as seguintes (GAO, 1994a, p. 3.36): atinge um maior nmero de pessoas; possibilita a comparao das respostas; permite anlise estatstica; possibilita a generalizao das concluses, no caso de amostras aleatrias.

As desvantagens normalmente apontadas so (GAO, 1994a, p. 3.37): so demorados o desenvolvimento e o pr-teste; requer conhecimento especializado; difcil garantir o rigor das informaes prestadas. As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionrios enviados pelo correio. O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstncias relacionadas a seguir (GAO, 1994a, p. 3.38): o entrevistado deve ser identificado; o entrevistado apresenta baixo nvel educacional; a reao do entrevistado deve ser observada; as perguntas abordam questes delicadas ou complexas que precisam ser esclarecidas; a ordem das perguntas deve ser controlada. Contudo, consideraes de carter administrativo podem sugerir o uso de questionrios enviados pelo correio, os quais apresentam as seguintes vantagens (GAO, 1994a, p. 3.38):

42


baixo custo; no h necessidade de entrevistadores e de treinamento; no h necessidade de deslocamento de pessoal; pode-se obter informao de uma amostra numerosa e dispersa. A observao direta, por sua vez, um mtodo bastante empregado em investigao cientfica, principalmente em estudos antropolgicos. Fonte valiosa de informaes tanto em auditoria operacional, como em avaliao de programa, esse mtodo requer treinamento e preparao especfica em, por exemplo, tcnicas de anotao de campo, bem como capacidade de concentrao e percepo seletiva. O observador treinado deve ser capaz de conferir exatido, validade e confiabilidade s informaes coletadas. A observao direta muito empregada em avaliaes de programa do tipo qualitativo, como estudos de caso. As vantagens desse mtodo podem ser assim resumidas (PATTON, 1987, p. 72-4): permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa; permite que o observador use a abordagem indutiva (ao testemunhar os fatos, as impresses e opinies do observador dependero menos de percepes prvias sobre o programa); permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; pode captar aspectos do programa sobre os quais os participantes no desejam falar numa entrevista, por ser um tema delicado ou embaraoso; traz para a anlise as percepes do prprio observador, que, ao serem co

Documents

Manual de Auditoria de Desempenho