Auditoria TCU Aula 1

CURSO ON LINE – AUDITORIA GOVERNAMENTAL – CESPE - TEORIA E EXERCÍCIOS PARA O TCU

PROFESSOR MARCELO ARAGÃO

Olá, pessoal. Tudo bem? Como vão os estudos? Espero que tenham gostado da aula inicial.

Nesta oportunidade, abordaremos os tipos de auditoria relacionados no edital, verificando conceitos, objetivos e metodologia de trabalho.

Antes, porém, vamos resolver as questões que foram formuladas ao final da última aula, com

intuito de breve revisão.

Questão 1. Segundo o IIA, a auditoria interna é uma atividade com relativa independência, que presta serviços de avaliação e de consultoria dentro das organizações, com o objetivo de garantir que as demonstrações contábeis estejam adequadas.

Resposta: Errado. Segundo o IIA, a auditoria interna é uma atividade independente e objetiva, de fornecimento de serviços de avaliação (ou segurança objetiva) e de consultoria, com o objetivo de acrescentar valor à organização e melhorar suas operações.

Apesar de auditores internos serem empregados das empresas onde trabalham, eles devem

ser independentes das atividades que auditam. Essa independência é atingida mediante nível organizacional, ou seja, o chefe da auditoria ou diretor executivo da auditoria interna deve reportar-se à pessoa que tem autoridade suficiente na organização para garantir que os trabalhos de auditoria interna tenham cobertura ampla e que as recomendações recebam a devida consideração e sejam implementadas.

Portanto, não se pode considerar como certa afirmação de que a atividade tem relativa

independência. Na prática, sabemos que nem sempre as auditorias internas conseguem desenvolver suas atividades com essa independência e objetividade, mas as normas exigem essa independência, que uma vez alcançada facilita o trabalho e os resultados da auditoria.

Outro erro está na afirmação de que o objetivo da auditoria interna é o de garantir que as

demonstrações contábeis estejam adequadas, pois, como visto, o seu objetivo é melhorar as operações, o desempenho e resultado das organizações. Como decorrência desse objetivo maior, a auditoria interna avalia processos e mecanismos de controle interno de todas as operações, inclusive do sistema contábil.

Questão 2. A auditoria de regularidade corresponde à tradicional auditoria contábil-financeira e de legalidade. Pode-se afirmar que uma das diferenças básicas entre a auditoria de regularidade e a de desempenho é que esta última, por ter o foco voltado para resultados, não compreende exames e verificações de conformidade.

Resposta: Errado. A auditoria de regularidade ou de conformidade, como o Tribunal de Contas da União prefere denominá-la, apresenta dois grandes enfoques, ou objetivos, que podem ser alcançados em um só trabalho ou em auditorias com esses objetivos específicos, que são a certificação ou atestação da responsabilidade financeira dos administradores públicos, denominada de auditoria contábil ou financeira ou mesmo de contas, e a legalidade e probidade na aplicação dos recursos, denominada de auditoria de legalidade ou de regularidade.

WWW.PONTODOSCONCURSOS.COM.BR 1


PROFESSOR MARCELO ARAGÃO A auditoria de desempenho é aquela desenvolvida com o propósito de avaliar se o gestor está

desenvolvendo suas atividades com economia, eficiência, eficácia e efetividade, ou seja, com bom desempenho e alcançando resultados satisfatórios para o governo e para a sociedade. No Brasil, convencionou-se denominá-la de auditoria operacional.

A avaliação dos controles internos do órgão, entidade ou programa e a verificação da

conformidade da execução e dos resultados alcançados com as leis, normas e regulamentos aplicáveis ocorrem em qualquer trabalho de auditoria. Portanto, tanto em auditoria de regularidade como em auditoria de desempenho o auditor avalia a conformidade. Logicamente, que os propósitos dessa avaliação são distintos conforme os objetivos do trabalho ou tipo de auditoria. Em auditoria de regularidade verifica-se o cumprimento de leis e normas que garantam a legalidade, probidade, proteção de ativos e confiabilidade das contas. Em auditoria de desempenho verifica-se o cumprimento de leis e normas que garantam economia, eficiência e eficácia na gestão dos recursos.

3. A auditoria operacional surgiu da necessidade de melhorar os informes apresentados pelos auditores no que se refere aos resultados da gestão pública e privada, passando, portanto, a ser denominada de uma auditoria de escopo amplo, por envolver em um só trabalho o exame das informações financeiras, de conformidade ou legalidade e o de economia, eficiência e eficácia na gerência dos recursos públicos.

Resposta: Errado. Apesar de cada país apresentar uma definição específica para os tipos de auditoria que são praticados, podemos afirmar, de forma simplificada, que prevalecem os dois grandes tipos de auditoria destacados pela INTOSAI: auditoria de regularidade (ou financeira ou de legalidade) e auditoria de desempenho (ou operacional ou de resultados). Porém, os canadenses praticam uma espécie de auditoria que engloba em um só trabalho aspectos contábeis, de conformidade e de desempenho, constituindo uma auditoria de escopo amplo, denominada de auditoria integral ou integrada. Portanto, a auditoria operacional é aquela que avalia a eficácia, eficiência e economia de operações, com intuito de aperfeiçoamento, mas, de uma geral (sem levar em consideração definições específicas de cada país), não procura abordar aspectos contábeis e de legalidade. A auditoria de escopo amplo é a integrada, definida e praticada no Canadá.

OBSERVAÇÃO: A definição contida na IN SFC nº 01/2001 para auditoria de avaliação de gestão, que os órgãos de controle interno realizam para avaliar as contas anuais dos gestores públicos, e até mesmo o conceito de processo de contas previsto na IN TCU nº 47/2004, consideram na avaliação da gestão tanto a conformidade quanto o desempenho da gestão contábil, orçamentária, financeira, patrimonial e operacional, aproximando-se do conceito de auditoria integrada dos canadenses.

Questão 4. O Tribunal de Contas da União adota a nomenclatura de auditoria de natureza operacional, abrangendo duas modalidades: auditoria de desempenho operacional, que trata dos aspectos de economia, eficiência e eficácia, e avaliação de programa, que busca examinar a efetividade dos programas e projetos.

Resposta: Certo. No TCU, observa-se que as auditorias são denominadas simplesmente de “auditorias”, no caso dos trabalhos relacionados à conformidade e à legalidade e “auditoria de natureza operacional”, no caso de auditorias de resultado. O TCU denomina as auditorias desempenho como auditorias de natureza operacional, em função do disposto no inciso IV do at. 71 da CF, que estabelece que as auditorias e inspeções podem ser de natureza contábil, orçamentária, financeira, operacional e patrimonial. As duas modalidades de auditoria de natureza operacional são



PROFESSOR MARCELO ARAGÃO as “auditorias de desempenho operacional”, que tratam da economia, eficiência e eficácia da gestão, e “avaliações de programas”, que tratam da efetividade ou relação de causa-e-efeito das ações e programas governamentais . (Manual de Auditoria de Natureza Operacional).

Questão 5. Considere uma auditoria realizada pelo TCU no setor de convênios de um órgão público e que os achados de auditoria foram os seguintes: celebração de convênio sem atendimento às condições de regularidade fiscal e cadastral; objeto contratado divergente daquele previamente licitado; execução parcial do objeto pactuado. Neste caso, a auditoria realizada pelo TCU caracteriza uma auditoria de conformidade.

Resposta: Certo. Percebam que todos os achados da auditoria referem-se à conformidade e à regularidade na celebração e na execução do convênio de acordo com as normas que regulam esse instrumento, que no caso é uma instrução normativa da Secretaria do Tesouro Nacional, o que caracteriza uma auditoria de conformidade, conforme definição do TCU.

Questão 6. O alcance da auditoria governamental engloba as auditorias de conformidade e de desempenho. A auditoria de conformidade compreende a certificação da responsabilidade financeira das entidades obrigadas a prestar contas e da administração governamental como um todo. A auditoria de desempenho compreende a auditoria da eficácia do desempenho, bem como auditoria do real impacto das atividades em relação ao impacto pretendido.

Resposta: Certo. A questão reflete comando normativo previsto no capítulo I das normas da INTOSAI (princípios básicos). Segundo a INTOSAI, a auditoria governamental engloba as auditorias de conformidade e de desempenho.

A auditoria de conformidade tem por objetivos:

a) certificar que as entidades responsáveis cumpriram sua obrigação de prestar contas, o que

envolve o exame e a avaliação dos registros financeiros e a emissão de parecer sobre as demonstrações financeiras;

b) emitir parecer sobre as contas do governo;

c) auditar os sistemas e as operações financeiras, incluindo o exame da observância às

disposições legais e regulamentares aplicáveis;

d) auditar o controle interno e as funções da auditoria interna;

e) auditar a probidade e a propriedade das decisões administrativas tomadas pela entidade

auditada; e

f) informar sobre quaisquer outros assuntos, decorrentes ou relacionados com a auditoria, que a EFS considere necessário revelar.

Já a auditoria de desempenho preocupa-se em verificar a economia, a eficiência e a eficácia, e

tem por objetivos:

a) determinar se a administração desempenhou suas atividades com economia, de acordo



PROFESSOR MARCELO ARAGÃO com princípios, práticas e políticas administrativas corretas;

b) determinar se os recursos humanos, financeiros e de qualquer outra natureza são utilizados

com eficiência, incluindo o exame dos procedimentos de mensuração e controle do desempenho e as providências adotadas pelas entidades auditadas para sanar as deficiências detectadas e

c) determinar a eficácia do desempenho das entidades auditadas em relação ao alcance de

seus objetivos e avaliar o verdadeiro efeito de suas atividades em comparação com o efeito esperado.

Uma vez solucionadas as questões, daremos seqüência à nossa aula sobre tipos de auditoria.

Vimos que, em sentido amplo, podemos conceituar auditoria da seguinte forma:

Auditoria é um processo sistemático de, objetivamente, obter e avaliar evidências concernentes a afirmações sobre eventos ou ações, de maneira a assegurar o grau de correspondência entre essas afirmativas e critérios estabelecidos e comunicar os resultados aos interessados.

Contudo, em sentido restrito, existem várias definições de auditoria, de acordo com os

objetivos específicos de cada trabalho. O primeiro tipo de auditoria estabelecido no edital é a auditoria de conformidade.

AUDITORIA DE CONFORMIDADE

A auditoria de conformidade (compliance audit) tem como objetivo verificar a obediência a

normas, regulamentos, internos ou externos, e de salvaguardar ativos de fraudes e desvios de recursos.

Para a INTOSAI, a auditoria de conformidade ou de regularidade (regularity audit) pode ser

realizada tanto para verificar a exatidão das demonstrações financeiras, avaliar as contas prestadas pelos administradores públicos ou para verificar o cumprimento de leis e regulamentos.

O Tribunal de Contas da União definiu a auditoria de conformidade da seguinte forma:

Auditoria de Conformidade é um conjunto de metodologias, procedimentos e técnicas de revisão, avaliação, aferição e análise da legalidade e da legitimidade dos atos de gestão dos responsáveis quanto ao aspecto contábil, financeiro, orçamentário e patrimonial.

Portanto, essas auditorias examinam a conformidade dos atos dos administradores públicos

com o disposto nas leis e normas aplicáveis e se esses atos atendem ao interesse público. E que atos são esses? Aqueles relativos ao registro e à publicação das demonstrações contábeis, à realização das receitas e despesas, aos limites e destinações previstos no orçamento e ao controle, manutenção e conservação do patrimônio público.

A auditoria de conformidade compreende três fases: planejamento, execução e relatório.

Embora o monitoramento seja importante em qualquer entidade de fiscalização ou auditoria, é muito



PROFESSOR MARCELO ARAGÃO mais imprescindível em uma auditoria de natureza operacional ou de avaliação de programas do que em uma auditoria de conformidade.

No TCU, o monitoramento das recomendações e/ou determinações oriundas de auditorias

constitui instrumento de fiscalização e trâmite processual específico.

Outro instrumento de fiscalização é o levantamento. Nas auditorias de conformidade, conforme o Roteiro de Auditoria de Conformidade do TCU (Portaria TCU nº 90/2003), o levantamento deve ser adotado quando existir pouca informação disponível sobre o órgão/entidade ou sobre o objeto a ser auditado, cujo relatório de levantamento deverá propor a realização de auditoria(s) com escopo(s) definido(s) ou concluir pela inviabilidade ou inoportunidade da realização de auditoria.

A comunicação de resultados ou relatório da auditoria de conformidade geralmente está

vinculada a uma certificação de conformidade, materializada na emissão de um parecer, onde é expressa a opinião do auditor a respeito da entidade ter obedecido, em todos os aspectos relevantes, às exigências com base em critérios previamente existentes ou que foram estabelecidos especificamente para os trabalhos.

Parecer de auditoria – condição encontrada x critério estabelecido (leis, normas, indicadores)

Vejamos uma questão formulada pelo CESPE no último concurso de ACE/TCU, área auditoria

governamental:

Considere-se que, em cumprimento a decisão do TCU, tenha sido elaborado relatório de auditoria na área de licitações e contratos de determinado tribunal e tenham sido constatadas as seguintes falhas na condução de procedimentos licitatórios: edital de licitação com imposições restritivas à competição; prévio cadastramento de licitantes no sistema integrado de cadastramento unificado de fornecedores; exigências, durante a fase de habilitação de licitantes, de documentos não-previstos em lei específica; falta de critério de aceitabilidade dos preços unitário e global. Nesse caso, a situação descrita caracteriza uma auditoria operacional.

Creio que agora ficou mais fácil resolver essa questão. Para que fosse caracterizada uma

auditoria operacional, o relatório deveria apontar o uso econômico e eficiente dos recursos humanos, financeiros e tecnológicos da área de licitações e contratos e/ou os resultados alcançados com as aquisições. Porém, não há no enunciado nenhum desses aspectos. O relatório descreve vários aspectos de cumprimento da Lei de Licitações (legalidade), portanto, fica caracterizada uma auditoria de conformidade e não operacional, o que torna a questão errada.

AUDITORIA OPERACIONAL

No setor privado, a busca constante das empresas por um melhor posicionamento no

mercado e, no setor público, a progressiva conscientização democrática que leva os governos a terem que apresentar resultados visíveis de suas ações, corresponderam a avanços teóricos em vários campos do conhecimento, como da administração, ciência política, ciências sociais, economia, etc.



PROFESSOR MARCELO ARAGÃO Assim, a partir da evolução da auditoria financeira tradicional, em função da necessidade de

informações sobre a eficácia e a eficiência das organizações, originou-se o conceito de performance audit, nas suas diferentes denominações: auditoria operacional, auditoria de desempenho (americanos), auditoria administrativa, auditoria abrangente (canadenses), auditoria de resultados ou auditoria pelo valor do dinheiro (value for money audit – ingleses).

A auditoria operacional (de desempenho) surgiu como uma resposta para as questões

pertinentes à avaliação do uso dos recursos no alcance dos objetivos da organização e, conseqüentemente, dos procedimentos adotados para a consecução desses objetivos. Esse tipo de auditoria é utilizado tanto na administração pública quanto no setor privado, embora alguns autores comentem a hegemonia de sua aplicação no setor público.

A Auditoria operacional, no setor público, é um exame objetivo e sistemático de evidências

que permitam avaliação independente do desempenho de uma organização, programa, atividade ou função pública, para fornecimento de informações que melhorem a responsabilização pública e facilitem a tomada de decisão pelas partes responsáveis pela supervisão ou deflagração de medidas corretivas.

O que distingue uma auditoria operacional de uma auditoria financeira ou de conformidade é

que a operacional, como o próprio nome sugere, relaciona-se com operações não financeiras e especialmente porque seu foco está voltado para resultados, embora também sejam examinadas questões de conformidade, principalmente em avaliações de programas.

Os autores e as entidades que praticam a auditoria normalmente dividem a auditoria de

desempenho/operacional em:

a) auditorias de eficiência e eficácia; e b) auditorias de programas.

Para o TCU, a auditoria operacional ou de resultado é denominada de auditoria de natureza

operacional, que objetiva avaliar o desempenho dos órgãos e entidades jurisdicionados, assim como dos sistemas, programas, projetos e atividades governamentais, quanto aos aspectos de economicidade, eficiência e eficácia dos atos praticados.

As auditorias de natureza operacional se subdividem em:

a) auditorias de desempenho operacional – exame da ação governamental quanto aos

aspectos da economicidade, eficiência e eficácia; e

b) avaliações de programas – exame da efetividade dos programas e projetos governamentais (além da economicidade, eficiência e eficácia).

Etapas da auditoria operacional:

1) Seleção do auditado – estudo preliminar dos possíveis objetos a serem auditados

em função de fatores de materialidade, risco e relevância e estudo acerca da viabilidade da realização da auditoria. No TCU, essa etapa é realizada mediante o instrumento de fiscalização: levantamento.




2) Planejamento – é especialmente crítico nesse tipo de auditoria, em razão de sua diversidade.

3) Execução – coleta e análise de dados. É uma fase extensa neste tipo de auditoria.

O auditor recorre principalmente a indagações e observações. A técnica de entrevista é muito utilizada. O auditado participa ativamente do processo.

4) Relatório – relato das descobertas e recomendações construtivas para melhorar o

desempenho da organização ou do programa. O auditado se manifesta acerca de uma minuta de relatório ou, como acontece no TCU, as manifestações do gestor são registradas no relatório.

5) Monitoramento ou follow-up – é a etapa final de uma auditoria operacional que

envolve a verificação da resposta do auditado e das implementações das recomendações.

No TCU, o ciclo completo das auditorias de natureza operacional é o seguinte:

A u d i t o r i a O p e r a c i o n a l - E t a p a s

M o n i t o r a m e n .t o S e l e ç ã o (M a t r i z d e R is c o )

D i v u l g a ç ã o

S e l e ç ã o – E s t u d o d e V i a b il id a d e

P l a n e j a m e n t o (L e v a n t a m e n t o c fe M a n u a l A N O p )

A p r e c i a ç ã o

C o m e n t á r io

d o g e s t o r

E x e c u ç ã o (+ R e l a t ó r i o )



PROFESSOR MARCELO ARAGÃO O Ciclo completo da auditoria de natureza operacional compreende as etapas de seleção,

planejamento, execução, análise, elaboração de relatório, comentário do gestor, apreciação pela Corte, divulgação e monitoramento.

A seleção das auditorias é a primeira etapa do processo, a partir da qual são definidos os

programas e/ou órgãos a ser avaliados. Nessa fase, examinam-se as prioridades de governo, a relevância das ações para reduzir os problemas da sociedade, a materialidade dos recursos envolvidos e o risco de não se alcançarem os resultados esperados. Essas informações são pontuadas em uma Matriz de Riscos, segundo atributos definidos para os critérios: relevância, materialidade e risco, a fim de se obter uma classificação em ordem decrescente. Os programas mais bem pontuados são indicados para elaboração de estudos de viabilidade.

Atenção: Os conceitos de materialidade, relevância e risco são estabelecidos na Instrução

Normativa nº 47, de 2004, que abordaremos na Aula 04. Materialidade é a representatividade do valor do orçamento aprovado para o órgão ou programa de trabalho, do montante dos gastos realizados ou do patrimônio gerido. Relevância é a importância política, social ou econômica de um órgão ou programa governamental e risco é a suscetibilidade a falhas, irregularidades, fraudes ou não alcance de uma meta ou resultado esperado.

Os estudos de viabilidade indicam a oportunidade e a modalidade de fiscalização mais

adequada à auditoria, considerando os potenciais problemas que comprometem o desempenho.

A fase de planejamento destina-se à definição do escopo da auditoria (problema a ser

resolvido pela auditoria, objetivos, extensão e profundidade dos exames), bem como da elaboração dos procedimentos a ser utilizados para coleta de dados. Nesta fase, define-se o projeto de auditoria que é apresentado no instrumento denominado Matriz de Planejamento. Para tanto se aplicam as técnicas de diagnóstico de problemas com vistas a identificar os principais problemas que comprometem o desempenho do programa/órgão. O problema constitui o escopo da auditoria e será examinado a partir de questões que objetivam averiguar o resultado das ações implementadas. Essas questões relacionam o problema às dimensões examinadas nos trabalhos dessa natureza, ou seja: economicidade, eficiência, eficácia, efetividade e eqüidade.

A Matriz de Planejamento apresenta para cada questão de auditoria: as informações que

serão necessárias para a sua análise; onde serão obtidas - fontes; a estratégia metodológica para coleta e análise das informações; as limitações dela decorrente; e, os potenciais resultados esperados (o que a análise vai permitir dizer ou os possíveis achados).

Na fase de execução, a equipe de auditoria realiza os trabalhos de campo e as pesquisas

necessárias à coleta de dados - por meio de entrevistas, aplicação de questionários, observação direta, grupos focais, consultas a documentos e bases de dados.

Após os trabalhos de campo, a equipe elabora a Matriz de Achados, síntese dos resultados

obtidos nessa fase.

Cabe observar que tanto a Matriz de Planejamento, como a Matriz de Achados, são apresentadas e discutidas nos Painéis de Referência realizados pelo Tribunal com a participação de representantes de grupos de interesse, como Controle Interno, Sociedade Civil, Academia e Consultorias Legislativas do Congresso. Nessas ocasiões busca-se verificar a consistência da



PROFESSOR MARCELO ARAGÃO proposta de auditoria, bem como a relevância e adequação das conclusões (achados de auditoria) e propostas de recomendações. As sugestões dos participantes são incorporadas à versão final das respectivas matrizes e apresentadas à consideração dos gestores dos programas.

Concluída a análise dos dados, elabora-se o relatório preliminar, a ser submetido ao gestor

público para comentários. Depois de apreciado o relatório final pelo Tribunal, dá-se ampla publicidade, visando a promover o controle social das ações governamentais.

A etapa de divulgação do relatório tem a finalidade de ampliar o conhecimento da sociedade

sobre os resultados das ações estatais avaliadas, contribuindo para aumentar a efetividade do controle, por meio da mobilização da comunidade no acompanhamento e na apreciação dos objetivos, da implementação e dos resultados das políticas públicas.

Para assegurar que as recomendações formuladas pelo Tribunal sejam implementadas,

procede-se ao monitoramento das recomendações durante, em média, um período de dois anos.

Você pode estar se perguntando: Esse ciclo apresentado compreende várias etapas no

processo da auditoria e o manual de ANOP do TCU prevê apenas duas fases: levantamento e execução. Afinal, o que devo considerar para a prova?

A última atualização do Manual de ANOP ocorreu em 2000, portanto, ele está desatualizado.

Caso a Banca formule questões relativas às etapas do processo de auditoria de natureza operacional, valem as etapas previstas no ciclo apresentado nesta aula e que está destacado na página do TCU na internet (www.tcu.gov.br).

Quanto às técnicas de auditoria, mencionadas anteriormente, vamos conceituar as principais

mais adiante, nesta aula.

AUDITORIA DE DESEMPENHO OPERACIONAL

A auditoria de desempenho operacional constitui uma das formas de auditoria de natureza

operacional e está voltada para o exame da ação governamental quanto aos aspectos da economicidade, eficiência e eficácia e tem como foco principal os seguintes aspectos:

• como os órgãos e entidades públicas adquirem, protegem e utilizam seus recursos;

• as causas de práticas antieconômicas e ineficientes;

• cumprimento das metas previstas;

• a obediência aos dispositivos legais aplicáveis aos aspectos da economicidade, eficiência e eficácia da gestão.

Portanto, o foco da auditoria de desempenho operacional é o processo de gestão nos seus

múltiplos aspectos – de planejamento, de organização, de procedimentos operacionais e de acompanhamento gerencial, inclusive quanto aos seus resultados em termos de metas alcançadas.



PROFESSOR MARCELO ARAGÃO Conforme dispõe o Manual de ANOP do TCU, ao se proceder a uma auditoria de desempenho

operacional, podemos utilizar três abordagens, de acordo com o problema e as questões que se pretende examinar: análise da estratégia organizacional, análise da gestão e análise dos procedimentos operacionais.

A primeira abordagem – análise da estratégia organizacional – envolve, basicamente, os

seguintes aspectos:

• cumprimento da missão definida em lei;

• adequação dos objetivos estratégicos às prioridades de Governo;

• a identificação dos principais produtos, indicadores de desempenho e metas organizacionais;

• a identificação dos pontos fortes e fracos da organização, e das oportunidades e ameaças ao desenvolvimento organizacional;

• a existência de superposição e duplicação de funções.

A segunda abordagem, denominada análise da gestão, abrange as seguintes questões:

• a adequação da estrutura organizacional aos objetivos do órgão ou entidade;

• a existência de sistemas de controle adequados, destinados a monitorar, com base em indicadores de desempenho válidos e confiáveis, aspectos ligados à economicidade, à eficiência e à eficácia;

• uso adequado dos recursos humanos, instalações e equipamentos voltados para a produção e prestação de bens e serviços na proporção, qualidade e prazos requeridos;

• a extensão do cumprimento das metas previstas pela administração ou legislação pertinente.

A terceira abordagem – análise dos procedimentos operacionais – está voltada para o exame

dos processos de trabalho e pode envolver a análise dos seguintes fatores:

• a existência de rotinas e procedimentos de trabalho documentados e atualizados;

• cumprimento das práticas recomendadas pela legislação para aquisição de bens e serviços;

• a adequação das aquisições no que se refere aos prazos, à quantidade, ao tipo, à qualidade e aos preços;

• a guarda e manutenção dos bens móveis e imóveis.

AVALIAÇÃO DE PROGRAMA

O objetivo da avaliação de programa é examinar a efetividade dos programas e projetos governamentais.

Enquanto a auditoria de desempenho operacional verifica, além da eficiência operativa, o grau

de cumprimento das metas, comparando metas previstas com metas realizadas, a avaliação de programa busca apurar em que medida as ações implementadas lograram produzir os efeitos pretendidos pela administração.




Segundo o Grupo de Trabalho sobre Avaliação de Programa da International Organization of Supreme Audit Institutions – INTOSAI, uma avaliação de programa distingue-se de uma auditoria de desempenho operacional porque permite responder a questões não abordadas por essa última (INTOSAI, 1995, p. 2). A avaliação de programa é, via de regra, mais ambiciosa em relação à análise dos objetivos e dos resultados da intervenção governamental. Essa modalidade de Auditoria de Natureza Operacional utiliza estratégias metodológicas raramente empregadas em auditoria de desempenho operacional, tais como, pesquisa, delineamento experimental e delineamentos quase- experimentais.

Um exemplo permite esclarecer o exposto. Uma auditoria de desempenho operacional

em um programa de nutrição infantil procurará verificar o alcance das metas propostas, sugerindo, eventualmente, o aumento da eficiência do programa mediante uma seleção mais adequada dos beneficiários e uma melhoria dos sistemas de aquisição, distribuição e oferta de alimentos. Mas nada dirá sobre se essas correções diminuirão a desnutrição. Por outro lado, a avaliação de programa procurará estabelecer em que medida o programa consegue melhorar a situação nutricional da população-alvo – se houve mudanças, a magnitude das mesmas e que segmentos da população-alvo foram afetados.

Entre os aspectos a serem examinados, mediante uma avaliação de programa, destacam-se:

• a sua concepção lógica;

• a adequação e a relevância de seus objetivos, declarados ou não, e a consistência entre esses e as necessidades previamente identificadas;

• a consistência entre as ações desenvolvidas e os objetivos estabelecidos;

• as conseqüências globais para a sociedade;

• os efeitos não incluídos explicitamente nos seus objetivos;

• a relação de causalidade entre efeitos observados e política proposta;

• os fatores inibidores do seu desempenho;

• qualidade dos efeitos alcançados;

• a existência de outras alternativas de ação, consideradas ou não pela administração, e os respectivos custos envolvidos (análise de custo/efetividade);

• cumprimento de dispositivos legais aplicáveis à sua natureza, aos seus objetivos e à população-alvo.

No entanto, uma avaliação de programa pode não tratar, necessariamente, de todos os

aspectos acima mencionados. A ênfase em um ou outro desses aspectos dependerá das questões específicas que se pretende abordar, desde que o rigor metodológico esteja sempre presente.

ALCANCE DA AUDITORIA DE DESEMPENHO OPERACIONAL E DA AVALIAÇÃO DE PROGRAMA

A auditoria de desempenho operacional focaliza o processo de gestão, enquanto a avaliação

de programa prioriza os efeitos produzidos pela intervenção governamental. No primeiro caso, investiga-se o funcionamento dos programas e projetos e o cumprimento de metas quantificáveis, como, por exemplo, o número de escolas construídas, de vacinas aplicadas, de servidores treinados ou de estradas recuperadas em relação ao previsto nos planos de governo ou na legislação



PROFESSOR MARCELO ARAGÃO específica. No segundo, deve-se agregar à análise dimensões que permitam à equipe pronunciar-se, por exemplo, sobre a redução da evasão escolar, a erradicação de doenças contagiosas, a qualidade dos serviços prestados pela administração ou a redução dos índices de acidentes no trânsito.

É importante fazer a distinção entre essas duas abordagens, uma vez que o cumprimento de

uma meta física ou a disponibilidade de um serviço pode ser uma condição necessária, mas não suficiente para que determinado problema seja efetivamente resolvido ou para que determinada necessidade seja atendida. Muitas vezes, o efeito esperado pode não ocorrer ou ser insignificante.

Além do mais, uma intervenção governamental específica pode provocar efeitos inesperados,

tanto negativos, quanto positivos. Nas duas situações, ao proceder a uma avaliação de programa, deve-se buscar identificar as relações de causa e efeito subjacentes aos fenômenos observados, procurando identificar os efeitos atribuíveis exclusivamente ao programa ou projeto. Trata-se, portanto, de verificar, valendo-se de uma estratégia metodológica apropriada, em que medida os efeitos observados, intencionais ou não, foram causados por essa intervenção específica. Embora a auditoria de desempenho operacional e a avaliação de programa possam ser realizadas de maneira independente, as informações produzidas em cada uma delas proporcionam uma análise completa da atuação governamental, tanto em relação aos aspectos operacionais, quanto em relação ao impacto das ações implementadas. Nesse sentido, as duas abordagens da Auditoria de Natureza Operacional podem ser entendidas como complementares.

O gráfico, a seguir, destaca as diferenças e os pontos comuns entre os dois tipos de auditoria

de natureza operacional, conforme o objeto e a metodologia de cada trabalho:



PROFESSOR MARCELO ARAGÃO Conforme pode ser observado no gráfico, as auditorias de desempenho operacional focam na

gestão dos órgãos e entidades, procurando avaliar e melhorar a economicidade, a eficiência e a eficácia. Para tanto, utiliza-se de um conjunto de metodologias e de técnicas de diagnóstico organizacional e de coleta e análise de dados.

Essas metodologias e técnicas também são utilizadas para avaliação de programas, com o

propósito de avaliar a execução de projetos e programas e, especialmente, a efetividade ou o impacto da ação de governo. As metodologias específicas para avaliação de impacto ou de causa-e-efeito são os modelos experimentais e quase-experimentais, portanto, exclusivos da avaliação de programa.

Para auxiliar no aprendizado de vocês, vamos resolver algumas questões de prova e outras

que elaboramos sobre o assunto.

Questão 1 (ACE/TCU 2007) - Suponha que uma auditoria, realizada em uma escola agrícola federal subordinada ao Ministério da Educação, tenha constatado falhas e deficiências na área orçamentário-financeira, no sistema escola-fazenda e na área de recursos humanos. Nessa situação hipotética, a auditoria descrita é um exemplo de auditoria de natureza operacional, que abrange, inclusive, avaliação de programas, o que permite à equipe de auditoria pronunciar-se sobre o aumento da evasão escolar em virtude da situação.

Resposta: Certo. As falhas e deficiências constatadas na auditoria dizem respeito ao processo de gestão dos recursos de uma escola agrícola ou mesmo de execução de um programa governamental com o propósito de formar técnicos agrícolas para melhorar o setor agropecuário do país. Como são aspectos relativos à eficiência e à eficácia da gestão da escola, cabe concluir tratar-se de uma auditoria de natureza operacional. Porém, apenas com base nas constatações indicadas na questão não seria possível identificar se era uma auditoria de desempenho operacional ou de avaliação de programa. Mesmo a expressão sistema escola-fazenda não permite concluir com segurança se a auditoria procurava avaliar a eficiência e a eficácia do sistema de ensino ou a sua qualidade e efetividade, em termos de formação dos profissionais e/ou colocação no mercado de trabalho.

A segunda parte da questão, porém, referindo-se à situação hipotética colocada, afirma que a

auditoria é um exemplo de auditoria de natureza operacional e ressalta que as ANOPs abrangem a avaliação de programas, o que permitiria à equipe concluir pelo aumento da evasão escolar. Está certa a afirmação, pois a avaliação de programa é uma das formas de ANOP com o propósito de avaliar os efeitos produzidos pela intervenção governamental e o aumento ou a redução da evasão escolar é um indicador de efetividade do programa.

Alguns candidatos assinalaram a questão como errada, justificando que, somente com base

nos aspectos apontados no enunciado, não seria possível concluir pela evasão escolar. Se esse raciocínio prevalecesse, toda questão que se referisse a um caso prático de auditoria estaria errada, pois que constitui apenas uma hipótese simplificada da realidade. Em questões dessa natureza, vocês devem estar atentos aos objetivos do trabalho, pois são esses objetivos ou finalidades que irão determinar o tipo de auditoria adotado.

Questão 2 - Suponha que uma auditoria, realizada em um programa de nutrição infantil, tenha verificado o alcance das metas propostas e recomendado aos gestores o aumento da eficiência do programa mediante uma seleção mais adequada dos beneficiários e uma melhoria dos sistemas de aquisição, distribuição e oferta de alimentos, sem procurar



PROFESSOR MARCELO ARAGÃO estabelecer se o programa consegue diminuir a desnutrição. Nessa situação hipotética, a auditoria descrita é um exemplo de auditoria de natureza operacional na modalidade de desempenho operacional.

Resposta: Certo. Todos os aspectos verificados na auditoria referem-se à eficiência operacional do programa e ao grau de cumprimento das metas, cujas recomendações procuram melhorar o desempenho sem procurar determinar em que medida essas melhorias ou correções podem diminuir a desnutrição infantil, que seria uma dimensão de efetividade. Assim, cabe concluir tratar-se de uma auditoria de natureza operacional na modalidade ou tipo de desempenho operacional.

Cuidado! O fato da auditoria ser realizada sobre um projeto ou programa governamental não significa que ela é de avaliação de programa. Se forem avaliados aspectos de economia, eficiência e eficácia na execução de um programa (aspectos de gestão), a auditoria é de desempenho operacional (ADO). Se, além desses aspectos de implementação ou execução do programa, for avaliado o impacto ou o efeito da ação governamental, a auditoria é de avaliação de programa.

Questão 3 - As auditorias de conformidade do TCU contam com três fases distintas que são o planejamento, a execução e a elaboração de relatório. Quando existir pouca informação disponível sobre a entidade ou o objeto a ser auditado, o instrumento de fiscalização a ser adotado é o levantamento, cujo relatório deve concluir pela viabilidade ou não da realização da auditoria.

Resposta: Certo. Uma auditoria de conformidade possui três fases distintas que são o planejamento, quando se define o objetivo, o escopo, as questões a serem respondidas e a estratégia a ser adotada; a execução, quando serão aplicados os procedimentos em campo em busca dos achados e evidências de auditoria; e o relatório, quando serão apresentados os resultados do trabalho.

Se a auditoria for realizada em um órgão ou área freqüentemente auditada pelo Tribunal e,

portanto, já conhecidos, não haverá necessidade de realizar um levantamento. No entanto, é muito comum o TCU auditar áreas, operações e sistemas complexos e pouco controlados, seja em função de programação própria ou por solicitação do Congresso Nacional. Nesses casos, em função de pouca informação ou conhecimento sobre o objeto a ser auditado, faz-se necessário um levantamento, que é um instrumento de fiscalização específico para aprofundar o conhecimento sobre aquilo que se vai auditar, cujo relatório deve concluir se é viável ou não realizar a auditoria. Pode ser que o levantamento já revele vários achados relevantes e permita ao TCU apresentar determinações aos gestores responsáveis. O levantamento é um instrumento de fiscalização muito adotado no TCU.

Considere que o TCU realizou uma auditoria na Secretaria Nacional de Esporte Educacional do Ministério do Esporte e os seguintes aspectos foram examinados na auditoria: identificação dos principais produtos, indicadores de desempenho e metas organizacionais; adequação da estrutura organizacional aos objetivos da Secretaria; uso adequado dos recursos humanos, instalações e equipamentos voltados para a produção e prestação de bens e serviços na proporção, qualidade e prazos requeridos. Neste caso a situação descrita caracteriza uma auditoria de natureza operacional de avaliação de programa.



PROFESSOR MARCELO ARAGÃO Resposta: Errado. Todos os aspectos examinados na auditoria dizem respeito à gestão da Secretaria, quanto à eficiência na utilização dos recursos e na estruturação do órgão e quanto ao atingimento dos objetivos e metas definidos, que dizem respeito à eficácia. Portanto, a auditoria é de natureza operacional (focada na gestão e nos resultados), mas de desempenho operacional. Para que fosse de avaliação de programa, deveria ser verificado o efeito da ação da secretaria, ou seja, o impacto gerado com as atividades esportivas na educação das pessoas.

MODELOS ANALÍTICOS PARA ANÁLISE PRELIMINAR DO OBJETO AUDITADO

Sinto-me na obrigação de apresentar a vocês os modelos analíticos que são destacados no

Manual de ANOP do TCU, uma vez que o modelo ou técnica de marco lógico foi cobrado nos dois últimos concursos para o TCU e o modelo insumo/produto caiu na prova do último concurso.

Conforme o Manual de ANOP, esses modelos analíticos podem ser utilizados na análise

preliminar do objeto da auditoria, para compreender como esse objeto está estruturado. Portanto, são importantes para que a equipe construa uma visão geral e abrangente do objeto e identifique questões que mereçam ser examinadas mais detalhadamente. Assim, podem ser adotados nas fases de levantamento e de planejamento das auditorias.

MODELO MARCO LÓGICO

(O Marco Lógico foi definido como uma técnica de auditoria em 2001)

Esse modelo analítico foi criado pelo Banco Interamericano de Desenvolvimento – BID para

orientar a formulação, execução, acompanhamento e avaliação de programas ou projetos governamentais submetidos a sua apreciação. Trata-se de um instrumento de planejamento obrigatoriamente adotado por todas as organizações públicas que postulam financiamento junto àquele Banco. O Modelo de Marco Lógico, que segundo o BID oferece inúmeras vantagens sobre outros enfoques menos estruturados (BID, 1997, p. 66-77), também vem sendo utilizado pela Agência Brasileira de Cooperação, órgão do Ministério das Relações Exteriores, na análise de projetos submetidos a sua apreciação.

Por ser um modelo com grande potencial analítico, o seu desenvolvimento pela equipe de

auditoria no decorrer da etapa de levantamento, propiciará uma visão abrangente do programa ou projeto sob estudo.

O Modelo de Marco Lógico propicia a análise detalhada do programa ou do projeto objeto da

auditoria. A equipe deve avaliar, contudo, a conveniência do emprego desta técnica, pois, por ser complexa, requer considerável disponibilidade de tempo, além da existência de sofisticado sistema de informações gerenciais.

Considerando que muitos programas governamentais são financiados por agências

internacionais que adotam esse modelo, é provável que a equipe possa obter, junto ao gestor, uma versão do Marco Lógico previamente elaborada, o que facilitaria os trabalhos de análise preliminar do objeto da auditoria.

Com tais considerações em mente, a equipe pode:



PROFESSOR MARCELO ARAGÃO ƒ montar o marco lógico com base em informações coletadas e em workshops com os

auditados;

ƒ usar informação do marco lógico já existente; ƒ analisar o marco lógico já existente e apontar melhorias possíveis na própria concepção

do programa ou do projeto.

O Modelo de Marco Lógico visa retratar como estão logicamente estruturadas as atividades desenvolvidas por programas ou projetos governamentais. Para isso, é definida a sua hierarquia de responsabilidades, discriminando-se os objetivos de cada nível hierárquico e sua relação com os objetivos do nível imediatamente superior. O Modelo de Marco Lógico facilita a avaliação de desempenho, respondendo questões como:

ƒ os objetivos fixados guardam uma nítida relação com a finalidade última do objeto da

auditoria, bem como definem precisamente os bens e serviços que serão ofertados e a clientela que será beneficiada?

ƒ os objetivos de cada nível hierárquico mantêm relações de causalidade plausíveis? ƒ o impacto (ou benefícios) almejado é claro e mensurável?

Para obter respostas objetivas às questões relacionadas acima, o Modelo de Marco Lógico

trata os programas ou projetos como conjuntos estruturados de processos organizacionais que devem atingir tanto objetivos finais, quanto objetivos intermediários.

Esses objetivos podem ser estruturados como indicado a seguir:

ƒ atividades: tarefas que devem ser executadas para a geração de bens e serviços; ƒ produtos: bens e serviços ofertados (metas fixadas); ƒ objetivos: resultados diretos associados à geração de bens e serviços; ƒ finalidades: benefícios almejados (impacto da ação governamental).

Essa estrutura representa uma hierarquia de objetivos, disposta em ordem crescente. A

realização dos objetivos de cada nível é uma condição necessária ao atingimento do nível subseqüente. Dispondo-se a hierarquia em ordem decrescente, obtém-se algo semelhante ao mostrado no próximo quadro.

Além de hierarquizar os processos organizacionais, os Modelos de Marco Lógico devem:

ƒ definir indicadores práticos, objetivos, mensuráveis e independentes para cada nível,

que devem ser expressos em termos quantitativos, qualitativos e temporais; ƒ indicar as fontes que contêm dados sobre os indicadores (meios de verificação); ƒ identificar os fatores exógenos (pressupostos) que podem afetar o objeto da auditoria

em cada nível, avaliando os riscos existentes e formulando ações alternativas.

A estrutura do Marco Lógico corresponde a uma matriz de quatro por quatro, onde as linhas apresentam informações acerca dos objetivos, indicadores, meios de verificação e pressupostos em quatro momentos diferentes da vida de um projeto ou programa governamental.

Caso opte pela presente abordagem, a equipe encarregada do levantamento de auditoria

deve apurar se os elementos tratados nos parágrafos anteriores foram contemplados na etapa de



PROFESSOR MARCELO ARAGÃO planejamento das ações desenvolvidas pelo objeto da auditoria. O modo como essas ações estão logicamente estruturadas pode ser obtido a partir dos relatórios internos de auditoria e de avaliação de desempenho institucional. Contudo, como esses documentos podem estar incompletos ou defasados, é importante que seja obtida a opinião dos gestores acerca da versão da matriz de marco lógico desenvolvida pela equipe.

Caso a equipe de auditoria constate a existência de uma matriz de marco lógico já elaborada

para o projeto ou programa, o que deveria acontecer em relação à maioria daqueles atualmente financiados pelo BID, as informações constantes devem ser checadas e atualizadas pela equipe de auditoria com a colaboração dos gestores responsáveis.

Colhidos os dados necessários, a equipe deverá emitir juízo sobre a consistência do sistema

de planejamento existente.

Convém notar que, quanto maior for essa consistência, melhores serão as chances de êxito das auditorias voltadas para a avaliação da efetividade das ações governamentais (avaliações de programa).

Na falta de informações gerenciais precisas, as equipes devem optar pela verificação dos

aspectos ligados à economicidade, à eficiência e à eficácia das ações (auditorias de desempenho operacional).

MODELO INSUMO-PRODUTO

Esse modelo procura exprimir como o objeto da auditoria desenvolve as suas atividades,

identificando:

ƒ as informações e os recursos humanos, físicos e financeiros exigidos (insumos); ƒ os processos de transformação dos insumos em produtos; ƒ os bens e serviços ofertados (produtos); ƒ os benefícios proporcionados (impacto); ƒ os possíveis indicadores de desempenho; ƒ a demanda existente para os produtos gerados; ƒ os benefícios desejados (escala de preferências).

O Modelo de Insumo-Produto facilita os trabalhos de análise acerca dos aspectos da

economicidade, eficiência, eficácia e, também, da efetividade do objeto da auditoria. Ademais, a identificação dos principais processos permite que a equipe apure o controle que os gestores têm sobre esses processos.

MODELO DE CONDIÇÕES AMBIENTES

Esse modelo identifica os fatores internos e externos (clientes, fornecedores, competidores,

sindicatos, associações profissionais, autoridades diversas, etc.) que influenciam as atividades desenvolvidas pelo objeto da auditoria. O modelo deve exibir as interações e inter-relações existentes entre os vários grupos de interessados, indicando se são ou não estáveis, complexas ou concorrentes.




COLETA DE DADOS SOBRE O DESEMPENHO – MENSURAÇÃO DE DESEMPENHO

As auditorias operacionais e de avaliação de programas são poderosos instrumentos de geração de informações e diagnósticos acerca do desempenho das ações governamentais.

Verifica-se que o objetivo do trabalho de auditoria de natureza operacional é aferir o

desempenho da gestão governamental e a sua finalidade é subsidiar os mecanismos de responsabilização por desempenho.

O principal método de aferir desempenho da ação governamental e comumente utilizado nas

auditorias é o uso de indicadores de desempenho.

Indicadores de desempenho – ID

Conceitualmente, Indicador de desempenho é um número, percentagem ou razão que mede

um aspecto do desempenho, com o objetivo de comparar essa medida com metas preestabelecidas.

Nas organizações privadas o conceito de indicador de desempenho está relacionado com a qualidade dos processos e produtos de uma empresa. No mundo empresarial, indicadores são formas de representação quantificáveis das características de produtos e processos. São utilizados pela organização para controlar e melhorar a qualidade e o desempenho dos seus produtos e processos ao longo do tempo, permitindo uma avaliação dos resultados alcançados pela organização, em relação à meta e outros referenciais, subsidiando as tomadas de decisão e o replanejamento.

Nas empresas, não importa muito a classificação dos indicadores em dimensões (economia,

eficiência, eficácia e efetividade), podendo-se dizer, com certa segurança, que as principais dimensões ou aspectos para o mundo empresarial são a qualidade e a eficiência.

No setor público é fundamental que as análises de desempenho em uma auditoria de natureza

operacional sejam relacionadas às dimensões de economicidade, eficiência, eficácia e efetividade de iniciativas e programas governamentais.

As dimensões clássicas da aferição do desempenho são as seguintes: Economicidade,

Eficiência, Eficácia, Efetividade e Eqüidade. Lembro que os conceitos relacionados a essas dimensões ou indicadores foram determinados na Aula 00.

Outras dimensões ou aspectos que podem ser examinados em uma auditoria de

desempenho:

ƒ Qualidade dos serviços; ƒ Grau de adequação dos resultados de um programa às necessidades da população; ƒ Boa prática gerencial ou boa governança (muito verificado por EFS européias); ƒ Transparência; ƒ Controle e participação social; e ƒ Sustentabilidade.



PROFESSOR MARCELO ARAGÃO Por fim, cabe registrar as qualidades desejáveis de um indicador de desempenho, sem as

quais o indicador pode não cumprir o objetivo a que se propõe de medir a característica de um resultado ou o desempenho alcançado, além é claro da relação desvantajosa do custo/benefício em sua utilização:

ƒ Representatividade ƒ Homogeneidade ƒ Praticidade ƒ Independência ƒ Confiabilidade ƒ Seletividade ƒ Cobertura ƒ Simplicidade ƒ Capacidade de ser medido (econômico, dados acessíveis, estabilidade das variáveis e

do próprio indicador)

Atenção: Indicadores de desempenho são utilizados para medir e avaliar o desempenho de um órgão ou programa de governo, portanto, são fundamentais em uma auditoria de natureza operacional. Várias técnicas utilizadas em auditorias operacionais são para identificar bons indicadores de desempenho, que constituirão os critérios a serem adotados para comparar a situação encontrada e aferir o resultado ou desempenho.

Mapa de produtos

O Mapa de Produtos é uma técnica de análise organizacional utilizada para obtenção de

indicadores de desempenho. São exemplos de produtos: contas de governo apreciadas (TCU), estradas conservadas, alunos alfabetizados.

Um mapa de produtos é um arranjo gráfico no qual se alinham três componentes básicos:

insumos, produtos intermediários e produtos finais, conforme demonstrado a seguir:

INSUMO

INSUMO

INSUMO

PRODUTO INTERMEDIÁRIO

PRODUTO

FINAL

Para elaboração do mapa de produtos conta-se com a participação do próprio pessoal da entidade auditada, pois é quem melhor conhece as atividades desempenhadas, os produtos existentes e os objetivos da instituição. Uma forma de viabilizar essa participação é a montagem do



PROFESSOR MARCELO ARAGÃO mapa de produtos em workshops, onde devem ser definidos não mais do que dez produtos essenciais para a atividade sob exame.

O próximo passo é identificar os produtos-chave e, em seguida, são construídos os

indicadores de desempenho, mediante a formulação de questões sobre economicidade, eficiência, eficácia e efetividade.

Exemplo: produto – gestões auditadas

Dimensão Questão formulada Possível indicador

Eficiência Quanto custa cada ação de auditoria realizada?

Eficácia Qual a proporção de auditorias bem-sucedidas, tendo por base o

os objetivos previstos na legislação?

Efetividade Quais os benefícios alcançados com as auditorias (retorno aos

cofres públicos, melhorias, economias)?

Custo por auditoria (custo total/n° de auditorias encerradas)

Grau de sucesso da auditoria (total de auditorias encerradas/total de auditorias

que atingiram o objetivo

Evolução do Montante dos benefícios ou

n° de auditorias/n° de auditorias com benefícios mensurados

Identificados os indicadores, a equipe de auditoria deve selecionar os mais relevantes com o auxílio dos auditados e mediante entrevistas com esses validar os indicadores, pois o indicador deve efetivamente medir características de produtos-chave da organização, ou seja, permitir a avaliação dos resultados e desempenho da unidade auditada.

Por fim, os gestores devem fixar metas de desempenho a serem atingidas pela organização,

pois para que o processo de avaliação de desempenho por indicadores esteja completo é preciso que existam padrões de desempenho a serem atingidos, ou seja, os critérios para avaliação.

Ainda que se tomem todos os cuidados na elaboração de indicadores de desempenho, eles

sempre poderão vir a ser aperfeiçoados, à medida em que forem sendo utilizados pela instituição auditada.

Outra forma de aperfeiçoamento dos indicadores é sujeitá-los às críticas e sugestões dos

usuários dos serviços públicos, de instituições acadêmicas, de outras organizações governamentais, das entidades de classe, dos escalões superiores nos ministérios, das entidades governamentais fiscalizadoras, enfim, de todos os que, de certa forma, estão interessados no desempenho do serviço da entidade pública em exame.

Balanced Scorecard (BSC)

O Balanced Scorecard - BSC é uma metodologia de medida de desempenho, atualmente de ampla aplicação no setor privado e que vem servindo de referencial a muitas organizações públicas no desenvolvimento de seus próprios modelos de avaliação. É uma ferramenta empresarial que traduz a missão e a estratégia da organização em um conjunto compreensível de medidas de



PROFESSOR MARCELO ARAGÃO desempenho, propiciando a formação de uma estrutura de mensuração e de um sistema de gestão eficiente.

Difere das ferramentas tradicionais de avaliação de desempenho por ampliar o escopo dos

indicadores, não se limitando apenas na consideração de resultados financeiros. O BSC enfatiza que os sistemas de informação devam disponibilizar indicadores financeiros e não-financeiros para funcionários de todos os níveis na organização.

Em essência, o Balanced Scorecard é um modelo cuja proposta é traduzir a visão e a

estratégia da organização em um conjunto articulado de medidas de desempenho que expressem tanto os objetivos estratégicos de longo prazo quanto os mecanismos para alcançar esses objetivos. O BSC mede o desempenho organizacional contemplando quatro dimensões críticas - financeira, clientes, processos internos e aprendizagem e crescimento - denominadas de perspectivas, para a gestão estratégica da organização. O modelo permite a utilização de um número maior de perspectivas, conforme as necessidades e contingências específicas de cada organização. Mas o importante é que as medidas de desempenho sejam equilibradas, abranjam todos os níveis da organização, da alta administração até o nível hierárquico mais baixo, de forma a possibilitar o alinhamento de todos os recursos à estratégia organizacional.

Estrutura do Balanced Scorecard

Financeiro

Para obtermos sucesso financeiro, como

devemos ser vistos pelos nossos

acionistas?

Clientes

Para atingirmos nossa visão, como devemos ser vistos pelos nossos clientes?

VISÃO

E

ESTRATÉGIA

Processos Internos

Para satisfazermos nossos acionistas e clientes, em quais processos devemos nos superar?

Aprendizado e Crescimento Para atingirmos nossa visão, como sustentaremos nossa capacidade de melhorar e mudar?

A perspectiva financeira reflete os resultados do desempenho das demais perspectivas. Na perspectiva dos clientes, as empresas identificam os segmentos de clientes e mercado nos quais desejam competir e alinham suas medidas essenciais de resultados relacionadas aos clientes –



PROFESSOR MARCELO ARAGÃO satisfação, fidelidade, retenção, captação e lucratividade – com segmentos específicos de clientes e mercado. Na perspectiva dos processos internos, os responsáveis pela gestão das organizações identificam os processos mais críticos para a realização dos objetivos dos clientes e financeiros. Para cada processo, devem ser desenvolvidas medidas que monitorem o desempenho. A quarta e última perspectiva do BSC desenvolve objetivos e medidas para orientar o aprendizado e o crescimento organizacional, que oferecem a infra-estrutura para o alcance dos objetivos das outras três perspectivas.

PLANEJAMENTO DAS AUDITORIAS DE NATUREZA OPERACIONAL

Nesta etapa do trabalho de ANOP, a equipe elabora a MATRIZ DE PLANEJAMENTO.

Trata-se de uma esquematização das informações relevantes do planejamento de uma

auditoria. O propósito da matriz de planejamento é auxiliar na elaboração conceitual do trabalho e na orientação da equipe na fase de execução. É uma ferramenta de auditoria que torna o planejamento mais sistemático e dirigido, facilitando a comunicação de decisões sobre metodologia entre a equipe e os superiores hierárquicos e auxiliando na condução dos trabalhos de campo.

A matriz de planejamento é um instrumento flexível e o seu conteúdo pode ser atualizado ou

modificado pela equipe, à medida que o trabalho de auditoria progride.

Os seguintes elementos compõem a Matriz de Planejamento de Auditoria:

• questões de auditoria;

• informações requeridas;

• fontes de informação;

• estratégias metodológicas;

• métodos de coleta de dados;

• métodos de análise de dados;

• limitações;

• que a análise vai permitir dizer.

Embora os itens da matriz de planejamento sejam apresentados seqüencialmente, a definição das questões de auditoria e a escolha das estratégias metodológicas apropriadas acontecem simultaneamente, confrontando-se cada questão com as possíveis estratégias metodológicas.

Questões de Auditoria

A questão de auditoria é o elemento central na determinação do direcionamento dos trabalhos

de auditoria, das metodologias e técnicas a serem adotadas e dos resultados que se pretende atingir.

Ao formular as questões e, quando necessário, as subquestões de auditoria, a equipe está, ao mesmo tempo, estabelecendo com clareza o foco de sua investigação e os limites e dimensões que deverão ser observados durante a execução dos trabalhos.



PROFESSOR MARCELO ARAGÃO Nesse sentido, a adequada formulação das questões de auditoria é fundamental para o

sucesso da auditoria de desempenho operacional ou da avaliação de programa, uma vez que terá implicações nas decisões quanto aos tipos de dados que serão coletados, à forma de coleta que será empregada, às análises que serão efetuadas e às conclusões que serão obtidas.

a) Questões descritivas: São questões do tipo “Quem? ” “Onde? ” “Quando?” “O quê?”. São formuladas de maneira a fornecer informações relevantes sobre o objeto da auditoria e, em grande parte, devem ser respondidas durante a fase de levantamento de auditoria. Exemplo de questão descritiva: “Como funciona o programa?”.

b) Questões normativas: São aquelas que tratam de comparações entre o desempenho atual e aquele estabelecido em norma, padrão ou meta, tanto de caráter qualitativo quanto quantitativo. Abordam o que deveria ser e usualmente são perguntas do tipo: “O programa tem alcançado as metas previstas?”. A abordagem metodológica empregada nesses casos é a comparação com critérios previamente identificados e as técnicas de mensuração de desempenho.

c) Questões avaliativas (ou de impacto, ou de causa-e-efeito): Geralmente as questões avaliativas referem-se à efetividade de um programa e vão além das questões descritivas e normativas – “As metas foram atingidas?” “Quantas pessoas foram atendidas pelo programa?” – para enfocar o que teria ocorrido caso o programa ou a atividade não tivesse sido executada. Em outras palavras, uma questão avaliativa quer saber que diferença, caso tenha havido alguma, fez a intervenção governamental para a solução do problema identificado. O escopo da pergunta abrange também os efeitos não esperados, positivos ou negativos, provocados pelo programa. Exemplo de questão de causa-e-efeito ou de impacto: “Os efeitos observados podem ser atribuídos ao programa?”

Observação: Painel de Referência:

¾ A equipe pode organizar um Painel de Referência, contendo a participação de especialistas para discutir a Matriz de Planejamento, conferir a lógica da auditoria e orientar e aconselhar na abordagem. Cuidado: O painel de referência pode ser utilizado na fase de planejamento e também ao final dos trabalhos de campo.

¾ Não confundir Painel de Referência com Grupo Focal. Este último é uma técnica de

coleta de dados mediante consulta pela equipe de auditoria a especialistas.

ESTRATÉGIAS METODOLÓGICAS

Neste ponto da elaboração do projeto de auditoria de desempenho operacional/avaliação de

programa, a equipe de auditoria deve especificar a estratégia metodológica a ser adotada, ou seja, os métodos de investigação requeridos pelas questões ou subquestões formuladas.



PROFESSOR MARCELO ARAGÃO É importante considerar que a estratégia metodológica está diretamente relacionada com a

qualidade técnica das evidências que podem ser obtidas, o que, por sua vez, influirá na confiabilidade das conclusões do trabalho.

Qualquer que seja a estratégia metodológica a ser adotada, cada questão de auditoria deve

ser analisada segundo os quatro elementos que consubstanciam as conclusões ou achados de auditoria: critério, condição, causa e efeito.

Principais estratégias metodológicas:

Estudo de caso

O estudo de caso pode ser empregado tanto em uma auditoria de desempenho operacional,

como em uma avaliação de programa. É a estratégia metodológica mais amplamente utilizada pelas EFS com maior tradição em auditorias de desempenho, como o GAO (EFS dos EUA), o OAG (EFS do Canadá), o NAO (EFS do Reino Unido) e o ANAO (EFS da Austrália), além de outras. Nos trabalhos desenvolvidos por essas EFS, os estudos de caso são freqüentemente complementados por outras estratégias metodológicas, como a pesquisa e a utilização de dados existentes.

Segundo o GAO (Entidade Suprema de Auditoria nos EUA): “Um estudo de caso é um método

para conhecer uma situação complexa, baseado em uma compreensão abrangente da situação, obtida a partir da ampla descrição e análise da mesma, considerada como um todo e no seu contexto.”

As principais características do estudo de caso são:

• mais adequado para responder a questões normativas e descritivas;

• uso preferencial da abordagem qualitativa na coleta e análise de dados;

• não-utilização de amostragem probabilística;

• análise concomitante à coleta de dados.

Porém, esse método apresenta algumas limitações, quais sejam:

• não é usado, em geral, para responder a perguntas avaliativas ou de causa-e-efeito;

• pode ter custo elevado e necessitar de muito tempo para sua implementação;

• não permite generalizações das conclusões alcançadas para todo programa, exceto quando o número de casos ou situações for suficientemente grande e diversificado.

Pesquisa

Amplamente aplicada em avaliação de programa e em auditoria de desempenho operacional, a

pesquisa é uma estratégia metodológica que permite obter informações de caráter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados.

Essa estratégia é muito empregada nas auditorias de desempenho realizadas pelo GAO,

NAO, OAG e outras EFS. Freqüentemente, é utilizada em conjunto com estudos de caso como



PROFESSOR MARCELO ARAGÃO suporte para as análises de caráter qualitativo, típicas dessa última estratégia. Em geral, a sua utilização permite:

• obter informações descritivas de uma população ampla;

• conhecer opiniões e pontos-de-vista dos beneficiários ou dos executores do programa;

• estabelecer relações causais em situações particulares.

Ademais, a pesquisa pode ser utilizada na realização de estudos exploratórios na fase de levantamento de auditoria. Como método estruturado de coleta de dados, a pesquisa visa generalizar para toda a população informações obtidas a partir de uma amostra. Para garantir essa generalização, a amostra deve refletir as características da população-alvo. Qualquer deficiência do método amostral utilizado deve ser levado em conta na interpretação dos resultados da pesquisa e ser devidamente relatado. Nesse sentido, são consideradas fontes potenciais de erros (GAO, 1994a, p. 3.33):

erro amostral: se uma amostra é muito pequena, há uma grande chance de que não reflita as

características da população da qual foi extraída (métodos estatísticos podem ser utilizados para estimar o tamanho da amostra e, dessa forma, controlar o presente tipo de erro);

erros não-amostrais: baixa taxa de resposta, erros de mensuração resultantes de

instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausência, na amostra selecionada, de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa).

As vantagens dessa estratégia podem ser assim resumidas:

• obtenção de dados uniformes de uma grande quantidade de elementos pesquisados;

• generalização para a população de achados ou conclusões obtidas a partir de uma amostra;

• tratamento de dados disponíveis (registros);

• exame de programas que envolvam muitos órgãos e entidades;

• comparação com programas similares desenvolvidos por outros órgãos ou entidades.

As desvantagens normalmente apontadas são a longa duração das pesquisas e a necessidade de conhecimentos em áreas específicas, como técnicas de amostragem, de elaboração de formulário de coleta de dados e tratamento estatístico de dados, entre outras.

Delineamento experimental

O delineamento experimental é uma estratégia metodológica que visa testar hipóteses. A sua

concepção básica corresponde aos experimentos realizados em laboratório, amplamente utilizados nas pesquisas das áreas médica e agrícola.



PROFESSOR MARCELO ARAGÃO Essa estratégia é empregada quando se pretende identificar uma relação de causalidade ou,

no caso de uma avaliação de programa, quando se deseja verificar a relação causal entre as variáveis do domínio do programa e os efeitos observados. Por exemplo, quando se quer saber se um projeto de qualificação profissional de fato aumenta as chances de inserção no mercado de trabalho aos trabalhadores desempregados.

O delineamento experimental é considerado, portanto, a estratégia mais adequada para

responder às questões de impacto ou de causa-e-efeito, pois permite controlar os efeitos não atribuíveis ao programa, identificando, assim, seus resultados líquidos.

Em um delineamento experimental, para verificar se um programa é a causa de determinado

efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.):

• grupo experimental ou de tratamento, que será exposto ao programa;

• grupo de controle, que não será exposto.

As diferenças observadas nos resultados obtidos por esses grupos, com algumas qualificações, poderão ser atribuídas à presença do programa.

O procedimento exposto acima, para ser considerado um experimento em sentido estrito,

requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randômica ou aleatória. Isto é, qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo. Isso visa fortalecer o vínculo causal, garantindo que a maioria dos fatores não manipulados pelo programa e que poderiam influenciar os seus resultados está uniformemente distribuída entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenças observadas.

No caso da avaliação de um projeto de qualificação profissional, a seleção randômica faria

com que características individuais que podem aumentar ou diminuir a possibilidade de obtenção de um novo emprego fossem uniformemente distribuídas pelos grupos de tratamento e de controle.

Logo, duas características definem os experimentos em sentido estrito:

• existência de grupo de controle;

• designação aleatória ou randômica de unidades de pesquisa para os grupos de tratamento e de controle.

MÉTODOS DE COLETA E ANÁLISE DE DADOS

Uma vez definida a estratégia metodológica a ser empregada, deve-se especificar na matriz de planejamento de auditoria o método de coleta de dados que será adotado.

Os métodos mais utilizados são: entrevista (estruturadas ou semi-estruturadas), questionário,

grupo focal, observação direta.

Ao se optar por um método de coleta de dados, deve-se considerar, primeiramente, a conveniência de que sejam utilizados instrumentos que obedeçam ou não a um padrão pré-elaborado (estruturado).




Quanto à análise, entenda-se por método de análise de dados o modo como são organizados os dados coletados e as relações que se pretende estabelecer entre as variáveis selecionadas para responder às questões de auditoria.

A descrição do método em questão é parte fundamental do projeto de auditoria de

desempenho operacional/avaliação de programa e deve, portanto, constar na matriz de planejamento de auditoria.

Geralmente, o método de análise de dados é um procedimento interativo, isto é, define-se

uma primeira versão na fase de planejamento e, à medida que a auditoria progride, o método é refinado.

Os métodos utilizados para organizar as informações coletadas variam de acordo com a

estratégia metodológica e os procedimentos adotados na coleta de dados. Nas análises quantitativas, podemos empregar tratamento estatístico de dados, e nos estudos de caráter qualitativo, como os estudos de caso, diferentes métodos de análise podem ser utilizados: análise de conteúdo, triangulação, técnicas específicas para o tratamento de dados que envolvam múltiplas situações, interpretações alternativas, caso negativo.

No caso de questionários enviados pelo correio ou de entrevistas estruturadas, pode-se gerar

uma base de dados e dar tratamento estatístico às informações coletadas. Atualmente, com os recursos da informática, essas tarefas foram muito facilitadas, tanto em relação a cálculo, como em relação à representação gráfica.

No caso de entrevistas abertas, anotações de campo ou material impresso, como relatórios,

estudos de caso ou pesquisas, a equipe depara-se com uma grande quantidade de informações, as quais devem ser sistematizadas para que seu conteúdo possa ser interpretado. Nessa situação, o método que deve ser adotado é a análise de conteúdo, que consiste em um conjunto de procedimentos empregados para organizar a informação em um formato padronizado, que permita realizar inferências com base nas características do material escrito ou registrado.

A essência da análise de conteúdo é a especificação de categorias de análise, criadas a partir

da identificação de temas, padrões ou variáveis relacionadas à questão de auditoria. A informação contida no texto é então organizada com base nas categorias preestabelecidas. Esse procedimento não segue um padrão rígido e depende da criatividade, intuição e experiência da equipe de auditoria para que seja identificado o que é relevante e significativo nas informações coletadas.

Podem ser desenvolvidos formatos simples, para sumariar informações ou contar a freqüência

de determinados itens de análise, ou complexos, para dar conta de tendências ou variações sutis nas informações coletadas.

Os requisitos mínimos para a criação de categorias passíveis de codificação estão

relacionados abaixo: - As categorias devem ser completas, de tal forma que todas as informações consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas. - As categorias devem ser mutuamente exclusivas, ou seja, nenhum item de análise pode ser classificado em mais de uma categoria.




Embora a análise de conteúdo seja muito empregada em estudos de caráter qualitativo, como estudos de caso, podem-se codificar as categorias de análise e dar tratamento estatístico ao material coletado.

Ainda sobre estudos de caráter qualitativo, são utilizados mais alguns métodos de análise de

dados, quais sejam:

a) Triangulação: uso de diferentes métodos de pesquisa e/ou de coleta de dados para estudar a mesma questão, com o objetivo de fortalecer as conclusões finais.

b) Técnicas específicas para o tratamento de dados as quais envolvam múltiplas situações (matriz de categorias, apresentação gráfica de dados, tabulação de freqüências de diferentes eventos, ordenação cronológica dos dados para análise de séries temporais e tabulações complexas para checar relações).

c) Interpretações alternativas: uma vez formulada uma interpretação a partir das principais relações identificadas na análise, devem-se buscar interpretações alternativas; caso não sejam encontradas evidências substantivas que sustentem essas interpretações, reforça-se a confiança na interpretação originalmente formulada.

d) Caso negativo: relacionado ao item anterior, trata-se de identificar as situações que não seguem a interpretação principal ou corrente em razão de circunstâncias específicas e que, por isso mesmo, funcionam como “exceções (casos negativos) que confirmam a regra” e que ajudam a esclarecer os limites e as características da interpretação principal.

A efetividade desses procedimentos apóia-se firmemente na honestidade intelectual do

investigador, que deve despender, na busca de casos negativos ou de evidências que dêem sustentação às hipóteses alternativas, o mesmo esforço empregado na construção da interpretação principal.

Outros métodos de análise de dados ou de diagnóstico utilizados na fase de planejamento:

1) Análise SWOT e Verificação de Risco

A Análise SWOT, acompanhada de verificação de risco, tem sido amplamente utilizada pelo

TCU em seus trabalhos, com o objetivo.de conhecer a missão, os objetivos, os pontos fortes, os pontos fracos, enfim, o contexto em que um programa governamental está inserido e, então, definir a estratégia de trabalho que culminará com o projeto de auditoria.

SWOT é um acrônimo formado pelas seguintes palavras inglesas:

Strengths = forças; Weaknesses = fraquezas; Opportunities = oportunidades; Threats = ameaças



PROFESSOR MARCELO ARAGÃO A análise SWOT é:

ƒ Ferramenta facilitadora do diagnóstico institucional. ƒ Um meio que integra as metodologias de planejamento estratégico

organizacional. ƒ Um guia para organizar a opinião da equipe sobre o objeto da auditoria e o

ambiente no qual opera.

Verificação de Risco - Após conclusão da análise SWOT e identificados os pontos sensíveis do objeto em estudo, aqueles que vão merecer da equipe de auditoria maior aprofundamento, o auditor deve verificar de que forma o gestor está tratando essas questões, ou seja, se são objeto de acompanhamento e se existe um gerenciamento apropriado desses riscos.

2) Análise Stakeholder

A Análise Stakeholder consiste na identificação dos principais atores envolvidos, dos seus

interesses e do modo como esses interesses vão afetar os riscos e a viabilidade de programas ou projetos. Essa Análise Stakeholder ajuda a identificar a forma de participação de todas as partes envolvidas nas atividades.

Stakeholders podem ser entendidos como pessoas, grupos ou instituições com interesse em

algum programa ou projeto e inclui tanto aqueles envolvidos quanto os excluídos do processo de tomada de decisão. Estão divididos em grupos primários e secundários (intermediários no processo de prestação de serviço).

Utiliza-se a Análise Stakeholder para:

ƒ Identificar pessoas ou grupos de pessoas interessadas na melhoria do desempenho de

suas instituições e obter seu apoio para introduzir mudanças. ƒ Identificar conflitos de interesses entre as partes envolvidas, possibilitando, dessa forma

diminuir os riscos envolvidos no desenvolvimento de um programa/projeto. ƒ Obter grande quantidade de informações sobre um determinado programa/projeto. ƒ Desenvolver estratégias que permitam implementar efetivamente a melhoria do

desempenho.

Nos trabalhos de auditoria de natureza operacional, a Análise Stakeholder deve ser aplicada preferencialmente na fase de levantamento. Durante a fase de execução dos trabalhos, a análise pode ser revista a fim de garantir a inclusão de stakeholders relevantes e as recomendações para o aperfeiçoamento do programa, as quais devem considerar o interesse dos stakeholders.

3) Mapa de Produtos

Técnica já comentada neste trabalho que visa à elaboração de indicadores de desempenho.

Essa técnica é muito utilizada nas auditorias de natureza operacional do TCU, pois facilita, além da elaboração dos indicadores de desempenho, a visualização de como o programa é executado.




A elaboração do Mapa de Produtos visa:

ƒ obter um quadro claro sobre os objetivos do órgão ou da atividade auditada; ƒ mostrar as relações de dependência entre os diversos produtos; ƒ identificar as áreas ou setores do órgão responsáveis pelos produtos críticos -

aqueles cuja obtenção é fator determinante do custo da qualidade e do prazo de obtenção do produto final;

ƒ estabelecer as bases para o trabalho subseqüente de elaborar indicadores de desempenho.

4) Mapa de Processo

É a representação de um processo por meio de um diagrama que contém a seqüência dos

passos necessários à consecução de determinada atividade. É por meio do mapeamento de processo que podemos identificar a oportunidade de melhoria de desempenho e a possibilidade de racionalizar, ou seja, aperfeiçoar processos de trabalho de uma organização.

Podemos ainda identificar pontos fortes do processo que podem ser reproduzidos ou

adaptados a outros processos da mesma organização ou de outras, como meio de disseminar boas práticas.

Há três tipos de mapa de processo:

ƒ Processo real: aquele que está sendo realizado, que já se constitui rotina de

trabalho. ƒ Processo segundo as normas: É aquele processo que se encontra

normatizado. ƒ Processo ideal: É aquele processo considerado como a forma recomendada

que vai propiciar melhorias.

5) A análise RECI

É uma ferramenta que ajuda a identificar quem é responsável pelas atividades desenvolvidas,

quem as executa, quem é consultado e quem é informado, seja no âmbito limitado de uma equipe de trabalho, seja em relação a um órgão, entidade ou programa.

As iniciais RECI representam papéis claramente definidos:

R - Quem é responsável (quem detém a responsabilidade final, com poder de veto: pessoa que arcará com o ônus pelo eventual insucesso). E -Quem executa (quem é encarregado de desenvolver a atividade, aquele ou aqueles responsáveis pela implementação). C - Quem é consultado (aquele que deve ser consultado antes que as decisões ou ações sejam implementadas). I - Quem é informado (aquele que deve ser informado depois que a decisão ou ação for implementada).




Por meio da análise RECI, é possível:

ƒ Estabelecer a responsabilidade pelas decisões e pela execução de atividades. ƒ Identificar o tipo ou grau de participação de cada agente (pessoa, órgão ou

departamento) em cada decisão. ƒ Tornar mais clara a relação entre as partes envolvidas. ƒ Conhecer a distribuição de poder.

Nas auditorias de natureza operacional, a análise RECI pode ser empregada para:

ƒ Aumentar a produtividade por meio da definição clara de responsabilidades. ƒ Reduzir a necessidade de refazer tarefas. ƒ Eliminar a superposição de atribuições e o trabalho redundante, liberando

recursos e aumentando a capacidade de trabalho. ƒ Tornar as estruturas organizacionais mais enxutas, reduzindo níveis

organizacionais desnecessários. ƒ Definir nova estrutura organizacional. ƒ Compreender o impacto político e psicológico de mudanças na estrutura

organizacional.

Portanto, a análise RECI é importante ferramenta que pode contribuir para aumentar a

economia, a eficiência e a eficácia de uma instituição ou programa, e pode ser usada de forma isolada ou em complementação a outras técnicas de diagnóstico.

Quando empregada como ferramenta complementar de diagnóstico, pode servir para

confirmar problemas identificados inicialmente com outras técnicas de análise. Por exemplo, se o mapa de processo revelou pontos de ambigüidade nas estruturas de controle, a análise RECI pode ser empregada para identificar a extensão do problema.

RESUMO FINAL DAS TÉCNICAS E FERRAMENTAS DE COLETA E ANÁLISE DE DADOS EM AUDITORIA DE NATUREZA OPERACIONAL

TÉCNICAS E FERRAMENTAS DE COLETA DE DADOS

Técnicas/Ferramentas Quando usar essa técnica

Pesquisa bibliográfica/bases de dados públicas (internet)

Na fase de levantamento, para desenvolver ou atualizar o conhecimento do auditor sobre o tema de auditoria.

Exame de outros estudos ou auditorias

Para identificar ou checar temas potencialmente importantes. Na fase de execução, para dar suporte aos achados (desde que as evidências tenham sido validadas).



PROFESSOR MARCELO ARAGÃO Exame de documentos e de bases de dados existentes do programa ou entidade

Observação direta/registro fotográfico

Para conhecer/familiarizar-se com o a entidade ou programa a ser auditado. Para generalizar de uma amostra de observações para toda a população. Para preparar um estudo de caso sobre tema potencialmente importante. Para complementar ou confirmar dados de entrevistas ou de outras fontes.

Para auxiliar na compreensão da entidade auditada, em particular quando tratar-se de prestação de serviço público ou atividades de fiscalização. Na fase de execução, para verificar a existência de ativos permanentes.

Entrevista Na fase de planejamento, para obter informações que auxiliam na compreensão do objeto da auditoria e na identificação de temas relevantes. Na fase de execução, para obter informações específicas relacionadas ao objetivo da auditoria, para confirmar fatos ou auxiliar no desenvolvimento das recomendações.

Pesquisa (questionário) Para coletar informações quantitativas ou qualitativas de uma ampla população. Para conhecer a opinião e o ponto-de-vista de beneficiários ou executores de programas. Para identificar a freqüência de um dado evento (quando tratar- se de amostra representativa da população). Testar hipótese de trabalho, por exemplo, investigar relações causais.

Benchmarking Para desenvolver critérios e identificar boas práticas de gestão.

Para identificar oportunidades de aperfeiçoamento de processos, práticas de gestão e sistemas. Para estabelecer metas para o aperfeiçoamento de uma instituição. Para incentivar o aperfeiçoamento contínuo. Para dar maior credibilidade às recomendações de auditoria.

Consulta a especialista Para obter orientação sobre um tema novo ou de grande complexidade técnica. Para consultar nos casos em que apenas o profissional especializado tem condições de avaliar o cumprimento de critérios.




TÉCNICAS E FERRAMENTAS DE ANÁLISE DE DADOS

Técnicas/ferramentas Quando usar essa técnica

Comparações com razões e percentuais

Para comparar valores reais com valores esperados. Para comparar desempenho. Para contextualizar um achado. Para registrar uma mudança em determinado período de tempo. Para estabelecer o grau de alcance de determinado critério.

Estatística descritiva Para analisar a distribuição de dados em termos de concentração, dispersão e forma da distribuição. Para decidir se um desempenho variável satisfaz ou não o critério de auditoria. Para determinar o risco ao interpretar distribuições probabilísticas.

Estatística inferencial Para selecionar amostra representativa da população. Para fazer afirmativas, com erro controlado, sobre a população, com base em amostra representativa.

Marco-lógico Na fase de planejamento, para auxiliar na compreensão de um programa e na identificação dos seus principais resultados, produtos e atividades. Para verificar se os objetivos guardam nítida relação com a finalidade do programa. Para identificar se há clareza sobre a definição de bens e serviços ofertados e sobre o público alvo. Para verificar se há clareza na definição do impacto almejado e do meio de mensurá-lo.

Mapa de produtos Na fase de planejamento, para conhecer os principais objetivos de uma entidade ou programa. Para representar as relações de dependência entre os produtos. Para identificar os responsáveis pelos produtos críticos. Para desenvolver indicadores de desempenho.

Mapa de processo Na fase de planejamento, para conhecer o funcionamento de processos de trabalho. Para identificar boas práticas. Para identificar oportunidades para racionalização e aperfeiçoamento de processos de trabalho.



PROFESSOR MARCELO ARAGÃO Análise RECI Para identificar a atribuição de responsabilidades.

Identificar o re-trabalho. Identificar a duplicidade de atribuições. Recomendar estruturas mais eficientes. Identificar as relações de poder.

Análise SWOT Na fase de planejamento, para identificar áreas ou temas a serem investigados. Identificar ações a serem implementadas para superar problemas identificados.

Matriz de verificação de risco

Na fase de planejamento, para identificar possíveis áreas a serem investigadas. Para conhecer a capacidade organizacional de gerenciamento do risco.

Análise stakeholder Na fase de planejamento, para identificar interessados na melhoria do desempenho da instituição ou programa. Para identificar opiniões e conflitos de interesses e informações relevantes. Na fase de execução, para obter apoio para mudanças, diminuir riscos para o desempenho do programa e desenvolver estratégias de melhoria do desempenho.

Pessoal, um aviso importante! Eu sempre tenho afirmado em sala de aula, que prefiro pecar

por excesso que por omissão. Portanto, tentei nessa aula apresentar a vocês o máximo de teoria e conceitos sobre as auditorias de natureza operacional do TCU, cuja metodologia foi desenvolvida a partir de 1998 em um projeto de cooperação técnica com o Reino Unido, com o apoio do Departamento Britânico para o Desenvolvimento Internacional – DFID e a participação da empresa KPMG.

Na seqüência, comentarei as duas questões formuladas no último concurso do TCU, sobre

modelos analíticos, e deixarei alguns exercícios para vocês resolverem, que comentaremos no início da próxima aula.

(Questão TCU 2007) O TCU, nos processos de auditorias operacionais, usa metodologias específicas para análise do objeto auditado e apresentação dos dados coletados. Um dos métodos é o modelo insumo-produto, que objetiva demonstrar como o objeto da auditoria desenvolve as suas atividades, identificando, por exemplo, as informações e os recursos humanos, físicos e financeiros exigidos (insumos), os processos de transformação dos insumos em produtos e os bens e serviços ofertados (produtos).

Resposta: Certo. A questão apenas reproduz o conceito do modelo insumo-produto contido no Manual de Auditoria de Natureza Operacional do TCU. Uma das técnicas utilizadas nesse modelo é o Mapa de Produtos, que está vinculada à definição ou identificação de indicadores para medir o desempenho da entidade ou programa auditado. Pelo modelo insumo-produto, o auditor identifica os insumos, os processos, os produtos (bens e serviços) e objetivos e benefícios finais alcançados com os produtos gerados.




(Questão TCU 2007) Em auditoria realizada pelo TCU, com base no modelo analítico do tipo marco lógico, obrigatoriamente adotado nas auditorias operacionais para avaliação de programa governamental, é possível obter, ao final dos trabalhos, um completo sistema de informações quanto ao impacto e à finalidade do projeto executado.

Resposta: Errado. Esse modelo analítico foi criado pelo Banco Interamericano de Desenvolvimento – BID para orientar a formulação, execução, acompanhamento e avaliação de programas ou projetos governamentais submetidos a sua apreciação. Trata-se de um instrumento de planejamento obrigatoriamente adotado por todas as organizações públicas que postulam financiamento junto àquele Banco. Por ser um modelo com grande potencial analítico, o seu desenvolvimento pela equipe de auditoria no decorrer da etapa de levantamento, propiciará uma visão abrangente e uma análise detalhada do programa ou projeto sob estudo. A equipe deve avaliar, contudo, a conveniência do emprego desta técnica, pois, por ser complexa, requer considerável disponibilidade de tempo, além da existência de sofisticado sistema de informações gerenciais. Portanto, não é obrigatoriamente utilizado nas auditorias.

Questões a serem comentadas na próxima aula (Aula 02):

1) Economicidade representa a minimização dos custos dos recursos (insumos)

financeiros colocados à sua disposição. Geralmente, essa dimensão é mais detidamente examinada em auditorias de conformidade, na verificação da regularidade de procedimentos de compras.

2) As auditorias de desempenho operacional (de economia, eficiência e eficácia) e de

avaliação de programas possuem aspectos comuns e específicos. Uma dessas especificidades, é que o foco da auditoria de desempenho operacional está voltado para a avaliação da gestão, enquanto que o foco da avaliação de programa é nos resultados ou efeitos da ação governamental e na implementação dos programas.

3) Grupo Focal é uma técnica qualitativa de pesquisa que tem como fonte de coleta de

dados discussões ocorridas entre participantes de um determinado grupo sobre o tema de interesse. Com a realização de Grupo Focal busca-se ouvir opiniões, perceber atitudes, motivações e preocupações de indivíduos com relação a determinado assunto, mas não se busca consensos por meio desta técnica.

4) Os métodos de coleta de dados mais comumente utilizados durante a execução da

auditoria são a entrevista, o questionário, a observação direta e o grupo focal.

5) O painel de referência é um instrumento de controle de qualidade que consiste de um quadro resumo que permite conferir a consistência do projeto de auditoria.

6) A análise RECI (R – responsável; E – executor; C – consultado; I – Informado) pode

ser usada para eliminar a superposição de atividades e a matriz RECI é desenvolvida pela equipe de auditoria e sua versão final é apresentada ao pessoal da instituição auditada.



PROFESSOR MARCELO ARAGÃO 7) O benchmarking pode ser definido como uma técnica voltada para a identificação e

implementação de boas práticas de gestão, cujo propósito é determinar, mediante comparações, de desempenho e de boas práticas, se é possível aperfeiçoar o trabalho desenvolvido em uma organização. Como possíveis tipos de benchmarking a serem adotados tem-se o organizacional, que é o mais utilizado nos trabalhos de auditoria; o de desempenho; e o de processo.

8) Caso o Auditor governamental avalie o desempenho de um programa de rodovias

considerando o custo de manutenção de um km de rodovia em relação a padrões estabelecidos, estará medindo o resultado segundo a dimensão de economicidade. Já o número de acidentes fatais em relação ao período anterior refere-se à dimensão ou indicador de efetividade.

9) Marco Lógico é um modelo analítico criado pelo Banco Interamericano de

Desenvolvimento – BID, que visa retratar como estão logicamente estruturadas as atividades desenvolvidas por programas ou projetos governamentais. A estrutura do Marco Lógico corresponde a uma matriz de quatro por quatro, onde as linhas apresentam informações acerca dos objetivos, indicadores, meios de verificação e pressupostos em quatro momentos diferentes da vida de um projeto ou programa governamental.

10) Mapas de processo e mapas de produtos são técnicas utilizadas em auditorias

operacionais e que devem ser elaborados preferencialmente com a participação do pessoal da instituição auditada. Essas técnicas possuem algumas diferenças, porém, ambas têm como propósito básico a obtenção de indicadores de desempenho.

Gabarito: 1 – C; 2 – C; 3 – C; 4 – C; 5 – E; 6 – E; 7 – C; 8 – E; 9 – C; 10 - E

AUDITORIA DE DEMONSTRAÇÕES CONTÁBEIS

É o tipo ou a forma mais tradicional de auditoria, que tem como objetivo atestar a situação patrimonial e financeira, bem como o resultado das operações de uma companhia em um determinado período, geralmente registrados nas suas demonstrações financeiras, trabalho que usualmente é conhecido como auditoria contábil ou auditoria financeira ou auditoria externa ou independente.

As auditorias das demonstrações contábeis têm os seguintes propósitos:

a) fornecer segurança razoável a respeito de as demonstrações contábeis da entidade

auditada representaram adequadamente a posição patrimonial e financeira, os resultados das operações e os fluxos de caixa, de acordo com as normas contábeis geralmente aceitas;

b) verificar ou determinar se:

ƒ as informações contábeis estão apresentadas de acordo com critérios

previamente existentes ou especificados para ao trabalho;



PROFESSOR MARCELO ARAGÃO ƒ a entidade tem obedecido as exigências contábeis específicas; e ƒ a concepção e a implementação dos controles internos da entidade sobre

preparação de demonstrações contábeis e salvaguarda dos ativos são adequados à consecução dos objetivos do controle.

No Brasil, a auditoria independente das demonstrações contábeis constitui o conjunto de

procedimentos técnicos que tem por objetivo a emissão de parecer sobre a adequação com que estas representam a posição patrimonial e financeira, o resultado das operações, as mutações do patrimônio líquido e as origens e aplicações de recursos da entidade auditada, consoante as Normas Brasileiras de Contabilidade e a legislação específica no que for pertinente.

A auditoria independente é uma profissão que exige nível superior e é atribuição exclusiva de

bacharel em Ciências Contábeis com registro no Conselho Regional de Contabilidade - CRC de sua região.

O parecer dos auditores Independentes é o documento mediante o qual o auditor expressa

sua opinião de forma clara e objetiva, sobre as demonstrações contábeis quanto ao adequado atendimento, ou não, a todos os aspectos relevantes.

O parecer emitido pelo auditor independente compõe-se basicamente, de três parágrafos,

como se segue:

a) Parágrafo referente à identificação das demonstrações contábeis e à definição das responsabilidades da administração e dos auditores;

b) Parágrafo referente à extensão dos trabalhos;

c) Parágrafo referente à opinião sobre as demonstrações contábeis.

O parecer deve expressar, claramente, a opinião do auditor sobre se as demonstrações

contábeis da entidade representam, em todos os aspectos relevantes:

a) Sua posição patrimonial e financeira;

b) O resultado de suas operações para o período a que correspondem;

c) As mutações de seu patrimônio líquido para o período a que correspondem;

d) As origens e aplicações de recursos para o período a que correspondem.

O auditor deve ter como base e fazer referência aos Princípios Fundamentais de

Contabilidade como definidos e aceitos em nosso país.

O parecer sem ressalva é emitido quando o auditor está convencido sobre todos os aspectos relevantes dos assuntos tratados no âmbito de auditoria, O parecer do auditor independente deve expressar essa convicção de forma clara e objetiva.



PROFESSOR MARCELO ARAGÃO O parecer com ressalva é emitido quando o auditor conclui que o efeito de qualquer

discordância ou restrição na extensão de um trabalho não é de tal magnitude que requeira parecer adverso ou abstenção de opinião.

O auditor dever emitir parecer adverso quando verificar que as demonstrações contábeis

estão incorretas ou incompletas, em tal magnitude que impossibilite a emissão do parecer com ressalva.

O parecer com abstenção de opinião é emitido quando houver limitação significativa na

extensão de seus exames que impossibilitem o auditor expressar opinião sobre as demonstrações contábeis por não ter obtido comprovação suficiente para fundamentá-la.

No setor público brasileiro, a auditoria de demonstrações contábeis tem sido pouco utilizada

em virtude da implantação do SIAFI, ficando sua necessidade mais restrita às empresas estatais. Talvez esse fato explique a inexistência de um manual e de normas específicas para auditorias contábeis, tanto pela Controladoria-Geral da União quanto pelo Tribunal de Contas da União.

Na aula 03, apresentaremos um resumo das principais normas do Conselho Federal de

Contabilidade sobre os procedimentos técnicos da auditoria independente das demonstrações contábeis (NBC T 11).

AUDITORIA DE SISTEMAS CONTÁBEIS E FINANCEIROS INFORMATIZADOS

O edital do concurso anterior tratou desse assunto, porém, de forma imprecisa (auditorias de sistemas financeiros). Já o edital para o concurso de 2008 deixou claro qual o tipo de auditoria: auditorias de sistemas contábeis e financeiros informatizados.

Assim, devemos estudar os procedimentos a serem adotados pelo auditor diante de um

sistema contábil informatizado, com o uso de tecnologia da informação ou, como o CFC denomina, em um ambiente de processamento eletrônico de dados (PED).

Pesquisando as normas existentes e a literatura especializada no assunto, percebemos que a

melhor referência para esse assunto é o livro “Auditoria”, de William C. Boyton e outros autores, da Atlas. Portanto, vamos basear nossa apresentação no capítulo 9 do referido livro sobre “Entendimento de Controles Internos”. Como complemento, devemos observar as disposições contidas na Resolução CFC nº 1.029, de 24 de junho de 2005, sobre auditoria em ambiente de PED.

Em uma auditoria de sistema contábil informatizado, o auditor deve familiarizar-se com os

seguintes componentes de tecnologia da informação:

ƒ Hardware ƒ Software ƒ Métodos de organização e processamento de dados.

Hardware é o equipamento físico associado ao sistema. Uma configuração básica de

hardware consiste na CPU e de equipamentos periféricos de entrada e saída.



PROFESSOR MARCELO ARAGÃO Software consiste em programas e rotinas que facilitam a programação e operação do

computador. De interesse particular para auditores são os programas de sistemas e os aplicativos.

Programas de sistemas, também denominados programas supervisores, desempenham

funções gerais exigidas pela operação do computador quando ele executa determinadas tarefas. Programas de sistemas, geralmente, são adquiridos de fornecedores de hardware e de companhias de softwares. Cada usuário adapta-os a suas necessidades, conforme o caso.

Aplicativos contêm instruções que capacitam o computador a realizar tarefas de

processamento de dados específicas do usuário – contabilidade financeira, orçamentos, desenho de engenharia, controle de qualidade, etc.

Métodos de organização e processamento de dados

A função contábil, muitas vezes, envolve registro, atualização, recuperação e relato de

grandes volumes de dados de transações e informações com eles relacionadas. Para entender como todas essas informações são administradas em um ambiente de tecnologia da informação, o auditor precisa estar familiarizado com os principais métodos de organização e processamento de dados.

Métodos de organização de dados

A expressão métodos de organização de dados refere-se às formas como os dados são organizados em um arquivo de computador. Os dois principais métodos de organização de dados são o método do arquivo tradicional e o método da base de dados.

O método do arquivo tradicional de organização de dados é utilizado em muitas aplicações

contábeis. De acordo com esse método, os dois tipos seguintes de arquivos são utilizados: a) arquivos-mestres, que contêm informações atualizadas sobre determinada classe de dados (saldos correntes de contas de clientes ou quantidades correntes em estoque, por exemplo) e b) arquivos de transações, que contêm os detalhes de transações individuais da mesma classe (vendas a prazo realizadas ou pagamentos efetuados no dia, por exemplo).

Quando o método do arquivo tradicional é utilizado, mantêm-se um arquivo-mestre e um

arquivo de transações específicas para cada aplicação – contas a receber, estoques, folha de pagamento, vendas. Geralmente, os dados nesses arquivos somente podem ser acessados pelo aplicativo para o qual os arquivos foram criados. Em razão disso, é comum que haja redundância de dados em arquivos.

O método da base de dados representa a principal alternativa ao método do arquivo

tradicional e baseia-se na criação e manutenção de um único arquivo de acesso direto para todos os aplicativos que utilizam dados comuns. Assim, cada elemento é armazenado apenas uma vez, mas pode ser acessado por todos os aplicativos autorizados.

Em outras épocas, o método da base de dados era utilizado apenas em sistemas muito

grandes; mais recentemente, contudo, passou a ser utilizado também em sistemas médios e menores.




Quando o método da base de dados é utilizado, as abordagens de auditoria são mais complexas do que quando o método do arquivo tradicional é utilizado. Conhecimento especializado e utilização de softwares sofisticados, geralmente são necessários, o que requer que usualmente se tenha um especialista em computação na equipe de auditoria.

Métodos de processamento de dados

A expressão métodos de processamento de dados refere-se às formas segundo as quais

dados são introduzidos no computador e por ele processados. Segundo Boyton e outros, os métodos mais utilizados são: a) entrada em lotes/processamento em lotes; b) entrada on line/processamento em lotes; e c) entrada on line/processamento on line.

Quando o método entrada em lotes/processamento em lotes é utilizado, os dados são acumulados por classes de transações (vendas, entrada caixa) e são introduzidos e processados em lotes. O processamento de transações semelhantes em uma única ocasião, geralmente, faz com que esse método seja eficiente. Uma desvantagem é que o arquivo-mestre não pode ser atualizado até que o lote de dados seja processado.

A tradicional trilha de auditoria é encontrada com mais freqüência em sistemas de TI

que utilizam processamento em lotes. Em sistemas relativamente pequenos em que haja impressões freqüentes, a trilha de auditoria pode existir em forma impressa; em outros casos, contudo, a trilha pode existir apenas em linguagem de máquina.

Benefícios e riscos de sistemas de tecnologia da informação

Chamo a atenção de vocês para esse assunto, por dois motivos. Primeiro pela importância que controles internos representam para uma auditoria e, segundo, em função da Banca ter formulado uma questão sobre o tema em concurso recente para Auditor das Contas Públicas da Controladoria-Geral da Paraíba.

Vejamos, então, o que nos ensinam William Boynton e outros sobre os benefícios que

sistemas de TI apresentam, em comparação com sistemas manuais:

ƒ Sistemas de tecnologia da informação podem proporcionar maior coerência de processamento que sistemas manuais, pois submetem todas as transações aos mesmos controles, uniformemente.

ƒ Relatórios contábeis mais tempestivos podem fornecer à administração meios mais

eficazes de análise, supervisão e revisão das operações da empresa.

Porém, percebam quantos riscos existem em sistemas de TI, também em comparação com sistemas manuais:

ƒ O sistema de TI produz uma trilha de transação que é disponível para auditoria apenas

por um curto período de tempo.



PROFESSOR MARCELO ARAGÃO ƒ Muitas vezes, existe menos evidência documentária do desempenho de procedimentos

em sistemas de TI.

ƒ Arquivos e registros em sistemas de TI, geralmente, encontram-se em linguagem de

máquina e não podem ser lidos sem um computador.

ƒ A diminuição do envolvimento humano em processamento de dados pode obscurecer erros que poderiam ser observados em sistemas manuais.

ƒ Sistemas de TI podem ser mais vulneráveis a desastres, movimentação não-

autorizada e falhas mecânicas que sistemas manuais.

ƒ Várias funções podem ser concentradas em sistemas de TI, com uma correspondente redução na segregação de funções a que se obedece em sistemas manuais.

ƒ Alterações no sistema, muitas vezes, são mais difíceis de ser implantadas e

controladas em sistemas de TI que em sistemas manuais.

Planejamento da auditoria em ambiente de TI ou PED

O auditor deve obter entendimento necessário e suficiente dos sistemas contábeis e de

controles internos para planejar a auditoria e desenvolver uma abordagem eficaz.

Durante o planejamento das fases da auditoria, que podem ser afetadas pelo ambiente de PED da entidade, o auditor deve obter entendimento da relevância e complexidade das atividades do ambiente de PED e a disponibilidade de dados para serem utilizados na auditoria. Esse entendimento inclui assuntos tais como:

a) a relevância e a complexidade do processamento informatizado em cada aplicativo contábil

significativo. A relevância refere-se à representatividade das assertivas contidas nas Demonstrações Contábeis afetadas pelo processamento informatizado. Um sistema informatizado pode ser considerado complexo quando, por exemplo:

¾ o volume de transações é tão grande, que os usuários considerariam difícil identificar e

corrigir erros no processamento;

¾ o programa aplicativo gera, automaticamente, transações relevantes ou acessa, diretamente, outro(s) programa(s) aplicativo(s);

¾ o programa aplicativo efetua cálculos complexos de informações contábeis e/ou gera,

automaticamente, transações relevantes ou acessos que não podem ser, ou não são, validados independentemente; e

¾ as transações são intercambiadas eletronicamente com outros sistemas internos ou de

terceiros, sem que haja revisão manual quanto a sua adequação ou razoabilidade.



PROFESSOR MARCELO ARAGÃO b) a estrutura organizacional das atividades de PED da entidade e a amplitude da

concentração ou distribuição do processamento informatizado, particularmente à medida que afetam a segregação de funções;

c) a disponibilidade de dados, tais como documentos-fonte, certos arquivos informatizados e

outras documentações comprobatórias, necessários ao trabalho do auditor. Essa disponibilidade pode existir apenas por um curto período ou apenas em arquivo eletrônico;

d) a capacidade da estrutura de PED da entidade para gerar relatório interno útil para o

desenvolvimento de testes substantivos e outros procedimentos analíticos;

e) o potencial de utilização de técnicas de auditoria com o auxílio do computador, as quais

propiciam maior eficiência na aplicação dos procedimentos de auditoria aos saldos de contas ou transações.

Quando o uso de sistemas informatizados for intensivo e gerar informações significativas, o

auditor deve também obter entendimento do ambiente de PED, que possa influenciar a avaliação de riscos inerentes e de controle.

Tanto os riscos como os controles decorrentes dessas características do ambiente de PED

têm um forte impacto na avaliação de risco pelo auditor e, conseqüentemente, na determinação da natureza, na oportunidade e na extensão dos procedimentos de auditoria.

Avaliação de Risco

O auditor deve proceder à avaliação dos riscos inerentes e de controle para as assertivas

contidas nas Demonstrações Contábeis.

Os riscos inerentes e de controle em ambiente de PED podem ter efeitos relevantes sobre todo o sistema contábil ou somente sobre contas específicas, conforme segue:

a) os riscos podem resultar em deficiências generalizadas nas atividades de PED, tais

como manutenção e desenvolvimento de programa, suporte de software, operações, segurança física do PED e controle sobre o acesso especial ou privilegiado a programas utilitários. Essas deficiências tendem a ter impacto generalizado em todos os programas aplicativos.

b) os riscos podem aumentar a possibilidade de erros ou atividades fraudulentas em

programas aplicativos específicos, em bases de dados ou arquivos-mestres específicos, ou em atividades de processamento específicas. Por exemplo, erros não são incomuns em sistemas que desenvolvem lógica ou efetuam cálculos complexos, ou que devam operar com muitas e diferentes exceções. Os sistemas informatizados que controlam atividades típicas de tesouraria são mais suscetíveis a ações fraudulentas por usuários ou pelo próprio pessoal do PED.

À medida que as novas tecnologias de PED surgem, estas são, freqüentemente,

empregadas pelas entidades para formar de modo crescente sistemas informatizados complexos que podem incluir microcomputadores interagindo com computadores de grande porte, bases de dados



PROFESSOR MARCELO ARAGÃO distribuídas, processamento de usuário final e sistemas de gerenciamento de negócios que fornecem informações diretamente para os sistemas contábeis. Esses sistemas aumentam a sofisticação geral do PED e a complexidade dos programas aplicativos específicos por ele afetados. Como resultado, podem aumentar o risco e exigir considerações adicionais.

Procedimentos de auditoria

O auditor deve levar em consideração o ambiente de PED no planejamento dos

procedimentos de auditoria para reduzir o risco de auditoria a um nível aceitável.

Os objetivos de auditoria não mudam se os dados contábeis forem processados manualmente ou pelo computador. Entretanto, os métodos de aplicação dos procedimentos de auditoria para obter evidências podem ser influenciados pelos métodos de processamento com o auxílio do computador.

O auditor pode aplicar procedimentos de auditoria com ou sem auxílio de sistemas

informatizados, ou ainda uma combinação de ambos, a fim de obter evidências suficientes. Em alguns sistemas contábeis, que utilizam no processamento programas aplicativos relevantes, pode ser difícil ou impraticável para o auditor obter certos dados para inspeção, indagação ou confirmação sem o auxílio de sistemas informatizados.

Vejamos, então, a questão formulada na prova da CGE/PB sobre riscos de controles internos

em sistemas de Tecnologia da Informação. QUESTÃO 67 Questão 67 - Os sistemas de tecnologia da informação apresentam benefícios e riscos em comparação com sistemas manuais. Em um ambiente computadorizado, os controles internos têm de levar em conta esses riscos, entre os quais menciona-se

A os arquivos e registros que se encontram em linguagem que não permite a leitura em computador.

B a diminuição do envolvimento humano, facilitando o obscurecimento de erros.

C as diversas funções que estão dispersas, sem uma visão integrada e coesa.

D as alterações que são implementadas com muita facilidade, com perda de registro e memória.

E a coerência que é menor em razão de as transações estarem submetidas a controles distintos, heterogêneos.

Resposta: B.

A assertiva A está errada, pois os arquivos e registros que se encontram em linguagem de

máquina podem ser lidos com o auxílio de um computador. O risco decorre da necessidade de um computador e do conhecimento especializado.



PROFESSOR MARCELO ARAGÃO A assertiva B refere-se a um dos riscos de ambiente de TI. Em função da diminuição do

envolvimento de pessoas no registro e processamento das informações, torna-se mais difícil identificar os erros.

A assertiva C está errada, pois as funções em ambiente de TI estão concentradas e, portanto,

há prejuízos à segregação de funções.

A assertiva D está errada, pois apesar da possibilidade de alterações serem implementadas com muita facilidade, não há perda de registro e memória.

Por fim, a assertiva E está errada, pois sistemas de TI submetem as transações aos mesmos

controles, uniformemente e, portanto, propiciam maior coerência de processamento que sistemas manuais.

ATIVIDADES DE ESTUDO E CONSULTORIA

Com relação a este assunto, cabe ressaltar que não existem normas específicas no âmbito do TCU e da CGU a respeito dessas atividades e tampouco livros que tratam do assunto, no âmbito do setor público.

Contudo, no setor privado, cada vez mais as firmas de auditoria independente organizam-se

de forma tal que seus profissionais possam prestar vários serviços para clientes além de auditorias. Os serviços principais que firmas de auditoria independente prestam são:

a) serviços de tecnologia em análise de segurança de sistemas e gerenciamento de

informações; b) consultoria gerencial que ajudam clientes a melhor utilizar recursos para atingir seus

objetivos; c) planejamento financeiro que incluem planejamento tributário e análise de demonstrações

contábeis e estruturação de carteiras de investimento e concepção de complexas transações financeiras; e

d) serviços internacionais, tais como planejamento tributário internacional e ajuda na estruturação de fusões ou joint ventures internacionais.

Também é comum que firmas de auditoria independente realizem estudos ou pesquisas que

auxiliem seus clientes em tomadas de decisões sobre controles e gestão. Por exemplo, a KPMG tem realizado com freqüência pesquisas sobre a fraude nas empresas brasileiras, identificando causas, ocorrências, soluções e boas práticas na prevenção e investigação.

Na auditoria interna, como seu objetivo principal é auxiliar a organização a cumprir seus

objetivos, os serviços de consultoria são comumente prestados à organização, havendo uma relação de prestador e cliente.

O IIA define serviço de consultoria como atividade de aconselhamento e serviços relacionados

ao cliente, cuja natureza e amplitude sejam com ele acordados e que se destinem a adicionar valor e melhorar as operações da organização. Exemplos incluem aconselhamento, assessoramento, facilitação, desenho de processos e treinamento.




No setor público, as entidades de fiscalização superior ou de auditoria governamental realizam outras atividades que não se qualificam como auditorias no sentido estrito da palavra, mas que contribuem para a melhoria da administração. Nos termos das normas da INTOSAI, essas atividades alheias à auditoria são, por exemplo:

a) compilação de dados sem a realização de análises importantes; b) atividades de natureza jurídica; c) prestação de informações ao Congresso quanto ao exame de projetos orçamentários; d) assistência ao Congresso em sondagens e consultas aos arquivos das EFSs; e) atividades administrativas; e f) atividades de processamento eletrônico de dados.

O que é preciso fique claro na prestação de serviços de consultoria por auditores é a

preservação da independência e da objetividade do auditor, abstendo-se de praticar os atos de gestão no lugar dos responsáveis ou tomar decisões gerenciais, que somente cabem aos responsáveis pelas áreas auditadas.

Os auditores auxiliam as organizações a cumprir seus objetivos e a melhorar seu

desempenho, porém, a responsabilidade pela tomada de decisão e implementação das soluções propostas em estudos e consultorias cabe aos agentes gestores e não aos auditores.

ATIVIDADES DE DETECÇÃO DE FRAUDES

Definição de fraude

Segundo definição do IIA, fraudes são quaisquer atos ilegais caracterizados por engano,

dissimulação ou violação da verdade, praticados por indivíduos e organizações para obtenção de dinheiro, propriedades ou serviços, para evitar o pagamento ou perda de serviços, ou para assegurar vantagem pessoal ou nos negócios.

Fraudes nas demonstrações contábeis podem envolver atos como:

a) preparação fraudulenta de demonstrações contábeis pela:

ƒ manipulação, falsificação ou alteração de registros contábeis ou documentos com

base nos quais as demonstrações são preparadas.

ƒ representação falsa ou omissão intencional de eventos, transações ou informações para as demonstrações .

ƒ aplicação propositadamente errada de princípios contábeis relacionados com

quantias, classificação, forma de apresentação ou divulgação.

b) apropriação indébita de ativos – desfalque de caixa; desvio de ativos; pagamento de produtos ou serviços não recebidos.



PROFESSOR MARCELO ARAGÃO Embora o termo fraude possa ser formulada de diversas maneiras, em essência pode-se dizer

que a fraude é uma ação, envolvendo falseamento ou ocultação da verdade, que visa enganar a terceiros para obter vantagem indevida.

Os elementos essenciais desse conceito são o falseamento ou ocultação da verdade (para

enganar a terceiros) e a obtenção de vantagem indevida. São esses elementos também que diferenciam a fraude de uma irregularidade comum. A irregularidade, ainda que praticada de forma intencional, não envolve a ocultação ou falseamento da verdade nem tampouco a obtenção de vantagem indevida.

Os estudos sobre a fraude consagraram a teoria de que a fraude possui três atributos:

motivação (que é o atributo que inicia a fraude, sendo uma das principais motivações o financiamento político-partidário), a oportunidade (que, em geral, está associada à fragilidade dos controles internos) e racionalização (como pretexto e justificativa para a conduta). Apenas quando todos esses atributos estão presentes é que ocorre a fraude.

Papel da Auditoria frente à fraude

De uma forma geral, os usuários ou clientes da auditoria esperam que os auditores procurem e

detectem fraudes nas atividades de auditoria. Porém, apesar da necessidade dos auditores possuírem conhecimento para identificar indicadores ou indícios de fraudes, a detecção e a investigação de fraudes não constitui o principal objetivo ou especialidade da auditoria.

Na auditoria das demonstrações contábeis, a responsabilidade do auditor pela detecção de

fraudes ou mesmo de erros não intencionais, é planejar e realizar a auditoria de forma tal que obtenha segurança razoável de que as demonstrações contábeis não contêm distorções relevantes causadas por erro ou fraude. O auditor avalia o ambiente de controle da organização auditada para verificar vulnerabilidade a erros e fraudes.

Na auditoria pública, o auditor deve desempenhar ações e procedimentos que ofereçam uma

garantia razoável de que serão detectados erros, atos ilícitos e fraudes que poderiam afetar significativamente os valores que figuram nos estados financeiros ou os objetivos da auditoria. Qualquer indicação da existência de inconformidades, atos ilegais, fraudes ou erros que possam ter efeitos materiais sobre a auditoria em curso devem motivar, por parte do auditor, o prolongamento dos procedimentos com a finalidade de verificar ou dissipar esse tipo de suspeita (Norma da INTOSAI).

Pode-se dizer que o maior objetivo da auditoria frente às fraudes é avaliar riscos e propor

aprimoramento dos mecanismos de controle interno da entidade auditada para minimizar a ocorrência de perdas e fraudes, apesar de sabermos que o conluio representa a grande limitação e risco de quebra dos controles.

Atividade de prevenção e detecção de fraude nas EFS

Apesar do papel mais preventivo em relação às fraudes, algumas EFS dispõem de unidades

especializadas na detecção e investigação de fraude e corrupção – como o OAG do Canadá e o GAO dos Estados Unidos -, porém, nenhuma delas possui o mesmo rol de competências do Tribunal de Contas da União, que envolve desde o julgamento das contas dos responsáveis pela gestão dos



PROFESSOR MARCELO ARAGÃO recursos públicos, com a imputação de débito pessoal e a aplicação de multa, até a expedição de declaração de inabilitação para exercer cargos em comissão ou função de confiança, a declaração de inidoneidade de licitantes, a suspensão cautelar de procedimentos, atos e contratos, entre outras determinações de medidas corretivas ao órgão jurisdicionado e comunicação de ilícitos ao Ministério Público para apuração das responsabilidades civil e criminal.

No entanto, apesar do TCU possuir um amplo rol de prerrogativas e poderes para tratar os

atos ilícitos praticados por servidores e gestores públicos e combater fraudes, ainda está num processo de evolução, assim como a CGU, na prevenção e no combate à fraude e à corrupção, adotando-se medidas tais como:

ƒ organização de um setor de inteligência; ƒ troca de informações, articulação e atuação conjunta com a Polícia Federal, Ministério Público e

outros órgãos de investigação de fraudes, corrupção e outros ilícitos; ƒ desenvolvimento de metodologias de coleta de indicadores, dados e tratamento dos mesmos.

Atividades de detecção

A prevenção é, reconhecidamente, o meio mais importante de combate à fraude e à

corrupção. Porém, entre a prevenção e a repressão existe a detecção, que pode ser considerado mecanismo preventivo que desencadeia ações repressoras. Nesse sentido, a detecção é trabalho pró-ativo, envolve fiscalizações em profundidade em áreas de alto risco, iniciado antes do surgimento de indícios de fraude.

Além dos procedimentos e técnicas mais tradicionais de auditoria, pode-se enumerar as

seguintes atividades de detecção de fraudes:

ƒ o funcionamento de serviço de disque-denúncia, que possa ser acessado por telefone, e-mail ou correspondência;

ƒ a utilização e tratamento adequado das informações disponíveis. O rastreamento de dados de

diferentes bancos de dados pode servir, por exemplo, para identificar eventuais inconsistências, descobrir informações complementares sobre uma pessoa, entidade ou transação, identificar outras conexões entre pessoas, entidades, transações e revelar padrões, comportamentos, tendências e relacionamentos não-conhecidos previamente e que podem ajudar a identificar possíveis casos de fraude.

ƒ A montagem de redes de inteligência.

Além dessas, pode-se utilizar de técnicas operacionais de inteligência, que englobam um

conjunto de procedimentos específicos que possibilitam a obtenção de dados negados ou não disponíveis, de forma que seja preservada a segurança da operação e das pessoas designadas para a busca desses dados.

Nesse sentido, tem-se as investigações conjuntas com órgãos policiais, que dispõem de

técnicas mais completas e consistentes, inclusive com maior experiência e segurança quanto às técnicas de inteligência/investigativas.



PROFESSOR MARCELO ARAGÃO Por fim, é importante destacar o termo ceticismo profissional, frente à possibilidade de

detecção de fraude, que significa que o auditor deve estar consciente de que irregularidade, fraude e corrupção ocorrem, e que não se pode tomar todas as informações dadas pelo gestor e outros agentes públicos como certas. Indica, ainda, que o auditor deve estar especialmente atento para circunstâncias ou evidências que contradigam ou questionem a credibilidade dos documentos, informações, dados e demonstrativos

Caros alunos, reconheço que essa aula ficou um pouco extensa, porém trata-se de tema que

considero dos mais relevantes do programa de auditoria governamental e muito cobrado pela Banca.

Sugiro que vocês revisem esta aula e me coloco à disposição para dirimir as eventuais dúvidas de vocês.

Um abraço a todos e bons estudos.


Documents

Auditoria TCU Aula 1