Auditoria de Dados - CAAT

Secretaria de Fiscalizao de Tecnologia da Informao 1

Metodologia e

ferramentas de suporte

auditoria de dados

Secretaria de Fiscalizao de Tecnologia da Informao

Marcio Rodrigo Braz, Me

Maio de 2012


Conhecer a atuao da Sefti em ATI

Distinguir as diferentes abordagens em fiscalizaes de tecnologia da informao (TI)

Introduzir o conceito de CAATTs

Apresentar a metodologia de auditoria de dados

Demonstrar aplicaes para uso da tcnica

Objetivos do Minicurso

2


Agenda

Introduo Auditoria de TI

Por que fiscalizao de TI e o papel do auditor

Atuao da Sefti/TCU

Abordagens de auditoria de TI

Normas e Padres em ATI

Introduo ao uso de CAATs

Auditoria de Dados

Padres de auditoria no TCU

Metodologia de auditoria de dados

3


Por que fiscalizao em

tecnologia da informao?

Materialidade: a Unio programou gastar R$ 18 bilhes em 2011 com TI

Altos investimentos e grandes riscos.

Criticidade: todas as reas crticas da administrao pblica dependem de TI

+ sistemas => +complexidade e +interconectividade.

+ interconectividade induz maior vulnerabilidade a ameaas externas.

Pequenos erros podem produzir grandes danos.

4


Os considerveis gastos investidos no processamento eletrnico de dados demandam por auditorias apropriadas. Tais auditorias devem ser baseadas em sistemas e abranger aspectos, tais como: planejamento; uso econmico dos equipamentos de processamento de dados; alocao de pessoal com habilidades apropriadas, preferencialmente dentro da administrao da organizao auditada; preveno ao mau uso; e utilidade da informao produzida

(Intosai, Declarao de Lima que contm os princpios da Auditoria, 1977)



5


Necessria a incorporao de mecanismos de controle cada vez mais poderosos.

Impactos na forma como os entes fiscalizadores exercem suas competncias.

Preparao dos entes fiscalizadores para enfrentar o desafio de auditar uma Administrao Pblica cada vez mais informatizada, sujeita a maiores riscos e com um sistema de controle interno mais complexo.

Necessidade do auditor de conviver com novos conceitos e metodologias de trabalho.



6


Grande parte dos controles internos de uma organizao est embutida em sistemas informatizados.

O trabalho de auditoria baseia-se, na maior parte das vezes, em informaes oriundas de sistemas informatizados, as quais serviro de evidncias para os achados de auditoria.

Uma auditoria de conformidade (financeira) ou operacional, frequentemente requer consideraes sobre os controles gerais de TI e, a depender dos objetivos almejados, uma avaliao dos dados.



7


Avaliao do ambiente de controle:

o auditor, para determinar a extenso e o alcance da

fiscalizao, deve examinar e avaliar o grau de confiabilidade dos controles internos (Normas de Auditoria da INTOSAI).

O papel do auditor auditar as polticas, prticas e procedimentos de controle interno de uma organizao, a fim de assegurar que os controles so adequados para se alcanar a misso institucional. (Intosai, Controle Interno: estabelecendo uma base para prestao de contas no governo, 2001)

8

Papel do auditor


Auditores internos devem ter conhecimento suficiente dos principais riscos e controles de TI e

das tcnicas de auditoria disponveis, baseadas

em tecnologia, para realizar seus trabalhos.

Porm, no esperado que todos auditores

tenham as habilidades de um auditor interno com

a responsabilidade primria de auditar TI.

(Internal Auditor Institute / IPPF - Padro 1210.A3)

9

Papel do auditor


Se os auditores internos tero que confiar no sistema de processamento de dados como base para determinar a validade de sua sada, eles devem ser capazes de analisar o sistema e seus controles ou requisitar pessoas que o faam. Dada importncia do sistema, mudanas em seu ambiente de operao e na forma em que o dado processado so tambm crticas para o auditor.

(Internal Auditor Institute, Global Technology Audit Guides-GTAG).

10

Papel do auditor


E a auditoria de TI?

11


Auditoria de Tecnologia da Informao

Processo que busca evidncias para certificar-se de que

os recursos de tecnologia da informao:

possibilitam que os objetivos de negcio sejam alcanados;

so usados com eficincia e em conformidade com as leis e normas aplicveis; e

so adequadamente protegidos para prover informao confivel sempre que requerida s

pessoas autorizadas.

12


Exemplos de atividades

Verificar: a estrutura de governana de TI da organizao

a confiabilidade das informaes processadas por sistemas.

a segurana fsica e/ou lgica da rea de TI de uma organizao.

o correto funcionamento de um sistema computadorizado.

a adequao e o correto funcionamento da infraestrutura da rea de TI (banco de dados, redes de computadores etc).

o desempenho da rea de TI com vistas ao atendimento dos objetivos de negcio.

a qualidade dos produtos, dos sistemas e dos servios oferecidos pela rea de TI ao negcio.

a correta contratao de bens e servios de TI

13


Atuao dos Auditores

Formao de equipes :

Auditores (AUFCs)

Auditores de TI (AUFCs - ATI): O currculo de habilidades e tcnicas da Intosai para o perfil de Auditor

de TI baseia-se no universo de conhecimentos exigidos no programa de certificao CISA

Certified Information Systems Auditor (CISA): Criada e mantida pela Isaca. referncia mundial na rea de Auditoria de TI, tendo mais de 85.000 profissionais certificados

A Sefti possui 10 auditores certificados CISA e o TCU possui 15

Especialistas em TI (AUFCs - TI)

14


Agenda



Atuao da Sefti/TCU




Auditoria de Dados



15


O que a Secretaria de

Fiscalizao de TI (Sefti)

do TCU?

16


SEFTI Origem

1992 2006

Criao de grupos especficos para auditoria de TI

Elaborao de padres, manuais, procedimentos de auditoria de sistemas

Vrias auditorias na rea de TI

Realizao de cursos e capacitao

Agosto/2006

Criao de uma secretaria especializada para o controle externo (Sefti) Res. TCU 193/2006.

17


Negcio

Controle externo da governana de tecnologia da informao

na Administrao Pblica Federal.

Misso

Assegurar que a tecnologia da informao agregue valor ao

negcio da Administrao Pblica Federal em benefcio da

sociedade.

Viso

Ser unidade de excelncia no controle e no aperfeioamento da governana de tecnologia da informao.

18

Mapa estratgico


A SEFTI hoje

Quantos somos

28 servidores: 26 auditores e 2 tcnicos

Formao em reas de TI e Direito

12 CISA + 5 outras certificaes (CGEIT, CISSP etc)

3 Mestres e 8 MBA

Estrutura

03 diretorias, 02 assessorias e 01 servio de

administrao

19

Secretaria de Fiscalizao de Tecnologia da Informao 20 20

A SEFTI hoje

Aes estruturantes

Cartilhas e manuais

Levantamento de governana de TI

Cursos

Notas tcnicas

Orientaes

Eventos na rea de controle e governana de TI

Controle externo em ao

Dilogos com gestores

Eventos para a alta administrao

Conversa com a iniciativa privada


Acessveis no portal:

http://www.tcu.gov.br/fiscalizacaoti

21


Agenda



Atuao da Sefti/TCU




Auditoria de Dados



22


Abordagens de ATI

As abordagens de auditoria se complementam, existindo reas de interseco entre elas

Isso ocorre devido os princpios que guiam cada uma dessas abordagens se encontrarem correlacionados dentro de uma estrutura de governana de TI

Auditorias de TI normalmente mesclam aspectos de conformidade e operacionais

23

Governana

Dados Aquisies

Segurana da

Informao

Sistemas


Utilizao de diferentes abordagens

Representam as possveis formas de focalizar a TI Permitem que a TI seja examinada sob diferentes

aspectos ou prismas

Fornecem vises distintas e complementares da situao da TI na organizao

Decorre da necessidade de se estruturar a prpria auditoria de TI com vistas a auxiliar a conduo do trabalho pela equipe, durante as fases de planejamento e execuo

Cada abordagem pode se mostrar mais ou menos adequada para o alcance dos objetivos da auditoria, devendo ser definida na fase de planejamento

24


Abordagens

Auditoria de Governana de TI

Auditoria de Contrataes de TI

Auditoria de Segurana da Informao

Auditoria de Dados

Auditoria de Sistemas

Outras variaes: Polticas de TI, ERP, infraestrutura e tecnologia etc

25


Auditoria de Governana de TI

Envolvimento da alta administrao com aspectos de TI: orientar e dirigir

iGovTi (criticidade x materialidade)

Avalia tambm aspectos de gesto Gesto dos servios

Polticas

Processo de controle

Investimentos

Recursos

ISO 38.500 e Cobit

26


Auditoria de Contrataes de TI

Avaliao incidental de contratos

Conformidade

Processo de planejamento e execuo de aquisies de TI

Gesto contratual

Remunerao por resultados

Efetividade (objetivos de negcio)

27


Auditoria de Segurana da

Informao

Gesto da segurana da informao

Aderncias s boas prticas

Controles em SI

Confidencialidade, integridade e disponibilidade

Polticas e planos

Controle de acesso lgico e fsico

Normas GSI, NBR 27.002/2005, jurisprudncia

28


Auditoria de Dados

Avaliar integridade e confiabilidade dos dados, bem como sua conformidade

para com as regras de negcio

Cruzamentos de bases de dados

Pode apoiar avaliao de risco

Pode complementar outra abordagem

Uso de CAATT

29


Auditoria de Sistemas

Pode abordar aspectos de: integridade, disponibilidade, confiabilidade, conformidade,

controles internos

Entrada, processamento e sadas.

Usabilidade, satisfao

Objetivos do sistema frente aos objetivos de negcio

Acompanhamento de sistemas em desenvolvimento

Pode demandar conhecimento especializado

Ex: matria - mdulo de consignaes Siape

30


Outras variaes...

Polticas e programas governamentais na rea de TI

A TI agrega valor ao negcio da administrao pblica?

A sociedade est sendo devidamente beneficiada?

ERP Ramo especializado da auditoria de sistemas

Grandes sistemas, interconexo, orientado a processos, dependncia, grandes projetos

Infraestrutura Avaliao de ambiente de rede, banco de dados etc

31


Agenda



Atuao da Sefti/TCU




Auditoria de Dados



32



Constituio Federal em especial, art. 37 (princpios da adm. pblica)

Legislao brasileira e demais normativos

Cobit e ITIL (Governana, gesto, operao)

Normas ISO/IEC:

20000 (servios de TI)

27000 (segurana da informao)

38500 (governana de TI)

Outros Padres

Normas ISACA


Legislao Brasileira

Lei 8.112 de 1990 Regime Jurdico dos Servidores Pblicos Civis da Unio

Lei 8.666 de 1993 Licitaes e Contratos da Administrao Pblica Federal

Lei 9.609 de 1998 Proteo da propriedade intelectual de software

Lei 9.983 de 2000 Crimes contra a Previdncia (altera o Cdigo Penal)

Lei 10.520 de 2002 Institui a modalidade de licitao Prego

LC 123/2006 Direito de preferncia


Decretos

Decreto 3.505 (2000) PSI da Administrao Pblica Federal

Decreto 4.553 (2002) Segurana das Informaes e Documentos Sigilosos da

Administrao Pblica Federal

Decreto 5.450 (2005) Regulamenta o Prego na forma eletrnica

Decreto 7.174 (2010) Regulamenta a Contratao de Bens e Servios de

Informtica pela Administrao Federal


36

Outros normativos

Gabinete de Segurana Institucional (GSI/PR) IN-01/2008 Gesto da Segurana da Informao NC-1 a NC-14 Segurana da Informao

Secretaria de Logstica e TI (SLTI/MP) IN-4/2010 Processo de Contratao de TI

Tribunal de Contas da Unio (TCU) Jurisprudncia

rgos governantes: CNJ, CNMP, CJF, DEST

Associao Brasileira de Normas Tcnicas (ABNT) NBR ISO/IEC srie 27000 e outras internalizadas no Pas Padres suplementares em reas especficas


37

Lacunas na Legislao Brasileira

Acesso no autorizado aos sistemas Interceptao no autorizada de informaes Uso no autorizado de sistemas de

informtica

Alterao de dado ou programa de computador

Difuso de vrus eletrnico Quebra de privacidade de banco de dados PL-84/1999 (2793/2011) Crimes na rea de

informtica (aprovado CD)


Cobit

Cobit (Control Objectives for Information and related Technology) conjunto de boas

prticas em gesto de TI:

gerenciar e controlar as iniciativas de TI nas organizaes;

garantir o retorno de investimentos;

garantir a adoo de melhorias nos processos organizacionais; e

minimizar riscos.


39

Disseminao do Cobit

Resoluo n 2.554 do Banco Central de 1998 (implantao e implementao de sistema de controles internos nas instituies financeiras)

Lei americana Sarbanes-Oxley (SOX) de 2002 Section 404: Assessment of internal control

Jurisprudncia TCU Adoo de boas prticas do Cobit como critrio de auditoria


Srie NBR ISO/IEC 27000

27001 Especificao de Sistema de Gesto de Segurana da Informao (2006)

27002 Cdigo de Prtica para Gesto da Segurana da Informao (2005)

27003 Implantao de Sistema de Gesto de Segurana da Informao (ainda em estudos)

27004 Medio da Eficcia do Sistema de Gesto de Segurana da Informao (2010)

27005 Gesto de Riscos de Segurana da Informao (2008)

27006 Normas para Certificadores de SI (2007)

40


41

Outros Padres

Outras Normas internacionais

Entidades de Fiscalizao Superior - EFS

Associaes profissionais

Padres nacionais

Padres internos das organizaes


42

Outras Normas Internacionais

ISO 12207 Processo de Desenvolvimento de Software

ISO 15408 Segurana de Aplicao (desenvolvimento)

ISO 15504 Processo de Desenvolvimento de Software


Outras normas

Intosai (International Organization of Supreme

Audit Institutions)

aplicao no obrigatria

representam consenso de boas prticas

Isaca (Information Systems Audit and Control

Association)

Aplicveis a membros da associao

Outros institutos e organizaes


Agenda



Atuao da Sefti/TCU




Auditoria de Dados



44


Computer-Assisted Audit Techniques and Tools (CAATTs)

Uso combinado de ferramentas e tcnicas para automatizar o processo de auditoria

Tcnicas e ferramentas de auditoria

auxiliadas por computador


Automatizao de tarefas repetitivas

Sistemas com milhes de transaes

Amostras normalmente muito reduzidas Uso de CAATs permite aplicao de testes de

auditoria em at 100% das transaes

Maior tempestividade na realizao de testes Auditoria contnua

Complexidade de fraudes e processos

Motivao


Escritrio: processadores de texto, planilhas e de banco de dados (excel, access, openoffice)

Anlise estatstica (SAS)

Business Intelligence (BO)

Anlise e cruzamento de dados (ACL, Idea, Picalo)

Testes de controles de segurana (ERP, infraestrutura)

Testes de invaso

Outras finalidades especficas

Exemplos: ferramentas de


Permite teste de grande volume de transaes

Amostragem

Anlises estatsticas

Cruzamento de arquivos

Apiam a documentao dos procedimentos

Anlise de sequncias

Simulao de clculos

Independncia dos sistemas auditados

Deteco de fraudes

Testes analticos

Funcionalidades e aplicaes


Exemplo de CAAT


Norma de auditoria de TI do ISACA

Descreve aspectos especficos no uso de CAATs Fatores de deciso para uso de CAATs

Planejamento

Consideraes sobre a execuo da auditoria

Documentao necessria

Elementos necessrios no relatrio

IS Auditing Guideline: G3 Use of

Computer-Assisted Audit Techniques


Fatores de deciso para uso de CAATs

Expertise

Disponibilidade de ferramentas

Eficincia das CAATs sobre tcnicas manuais

Limitaes de prazo

Nvel de risco




Requisitos do planejamento Definir objetivos no uso das CAATs

Avaliar disponibilidade de programas e dados

Definir os procedimentos que se deseja

Definir os requisitos de sada

Recursos necessrios

Documentar

Negociao com o auditado

Testar as CAATs

Garantir segurana




Exemplo de auditoria com uso de CAATTS

Auditoria de dados

Auditoria no MDS Cadastro nico

Acrdo 906/2009-P

Informativo

Matria TV:

Pausa para um vdeo!


Agenda



Atuao da Sefti/TCU




Auditoria de Dados



54


Levantamento

Viso Geral

Avaliao dos

Controles

Internos (*)

Elaborao

Matriz de

Planejamento

Elaborao

do Relatrio

Acumulao de

Evidncias

Desenvolvimento

dos Achados

(Matriz de Achados)

Aplicao

dos

Procedimentos

Reviso do

Relatrio

Informaes Iniciais Avaliao dos

Controles Internos

Planejamento

Elaborao do Relatrio

Execuo

Monitoramento

Elaborao do

Relatrio

Verificao das

Aes Tomadas

Aplicao dos

Procedimentos

Acumulao

de Evidncias

Matriz de

Achados

(*) caso a fase de levantamento no tenha sido realizada. 55

Relatrio do Levantamento


Padres de auditoria do TCU

NAT Normas de auditoria do TCU (2011)

Manual de auditoria operacional

Normas especficas (obras)

Orientaes Segecex

Levantamento, monitoramento, proposio de determinaes

Orientaes FOC

Outras disposies especficas

56


Padres de auditoria do TCU

Classificao

Conformidade

Operacional

Modalidade

Levantamento

Inspeo

Auditoria

Monitoramento

Acompanhamento

57


Estrutura bsica das auditorias

Fases (Levantamento, Planejamento, Execuo, Elaborao do Relatrio e

Monitoramento)

Matrizes (Planejamento, Procedimento e Achados)

Tcnicas de Auditoria de Conformidade

Tcnicas de Auditoria Operacional

58


Levantamento

Informaes Iniciais:

Objetivos institucionais. Legislao aplicvel. Avaliao do ambiente de controle

Falhas e riscos conhecidos Estrutura organizacional. Histrico de fiscalizaes

Demanda apresentada Comando de acrdo TMS Denncia a ser apurada

59


Planejamento

Nesta fase, deve ser definido:

Objetivo da auditoria. Objeto da auditoria. Universo a ser auditado (escopo). Tcnicas e procedimentos a serem utilizados. Critrios de auditoria. Etapas e cronogramas. Recursos humanos e materiais.

60


Planejamento

Atividades da fase de planejamento: Viso Geral Avaliao dos Controles Internos (*) Escolha da(s) Abordagem(ns) da Auditoria de TI Elaborao da Matriz de Planejamento Definio do envolvimento dos especialistas Documentao do planejamento da auditoria

(*) Caso a fase de Levantamento no tenha sido realizada.

61


Planejamento

Viso Geral:

Objetivos institucionais. Estrutura organizacional. Legislao aplicvel. Prticas administrativas. Planos Estratgicos. Descrio do objeto da fiscalizao.

62


Conhecendo o auditado

Compreender o negcio essencial para identificar os riscos e controles;

Direcionar os esforos da auditoria de forma mais eficiente;

Entender o negcio: Processos Pessoas Tecnologia

Algumas questes a serem respondidas: Existem problemas que o auditor deveria conhecer melhor? H alguma previso de mudana na organizao? Quais so os principais sistemas e bases de dados? Quem o auditor deve entrevistar para obter as informaes de que

necessita?

63


Planejamento

Escolha da(s) abordagem(ns) da ATI: Cada abordagem pode se mostrar mais ou menos

adequada para o alcance dos objetivos da auditoria.

As abordagens escolhidas fornecero suporte para a definio e elaborao das matrizes de planejamento e procedimentos que sero utilizadas para avaliar os controles dos sistemas e processos de TI.

Mudanas de abordagens trazem grandes alteraes e impactos no planejamento da auditoria.

Por exemplo, uma fiscalizao que inicialmente se vislumbrava ser uma auditoria somente de dados pode se transformar em uma auditoria de sistemas, ou vice-versa, impactando o escopo do trabalho, os recursos envolvidos e prazos para sua execuo.

64


Planejamento

Matriz de Planejamento: Instrumento para organizar as informaes relevantes

do planejamento de uma auditoria.

Homogeneizao do entendimento da equipe, e demais envolvidos, quanto:

ao objetivo do trabalho;

aos passos a serem seguidos;

estratgia metodolgica a ser adotada.

Orienta os integrantes da equipe nas fases de execuo e de elaborao do relatrio.

65


Objetivo: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de

acordo com o levantamento de auditoria previamente realizado.

Matriz de Planejamento

Questes de

Auditoria

Informaes

Requeridas

Fontes de

Informao

Detalhamento

do

Procedimento

Objetos

Membro

Responsvel

Perodo

Possveis

Achados

Apresentar,

em forma de

perguntas, os

diferentes

aspectos que

compem o

escopo da

fiscalizao e

que devem

ser

investigados

com vistas

satisfao do

objetivo

Identificar as

informaes

necessrias

para

responder a

questo de

auditoria

Identificar as

fontes de

cada item de

informao

requerida da

coluna

anterior.

Estas fontes

esto

relacionadas

com as

tcnicas

empregadas

Descrever as

tarefas que

sero

realizadas, de

forma clara,

esclarecendo

os aspectos a

serem

abordados

(itens de

verificao ou

check list)

Indicar o

documento, o

projeto, o

programa, o

processo, ou o

sistema no qual

o procedimento

ser aplicado.

Exemplos:

contrato, folha

de pagamento,

base de dados,

ata, edital, ficha

financeira,

processo

licitatrio,

oramento

Pessoa(s) da

equipe

encarregada(s)

da execuo de

cada

procedimento

Dia(s) em

que o

procedi-

mento

ser

execu-

tado

Esclarecer

com

preciso

que

concluses

ou

resultados

podem ser

alcanados


Matriz de planejamento (resumida)

67

Questes de

Auditoria

Informaes

requeridas

Fontes de

informao

Detalhamento do Procedimento Possveis Achados

Q 2. O

controle de

acesso do

Sistema

Sisobi

dificulta o

acesso no

autorizado s

informaes

de bitos?

-Critrios para

concesso e

revogao de

acessos e

privilgios

- Listas de

usurios e

respectivas

permisses

-Relao de

cartrios

existentes no

Brasil

-Gestores

-Normas de

controle de

acesso

-Base de

dados do

Sisobi e de

cartrios do

CNJ

P2.2 Verificar os procedimentos de

concesso e revogao de acessos

(usurios de cartrios e do INSS).

P2.2.3 Verificar como feito o registro

dos direitos de acesso concedidos e

revogados.

P2.2.7 Verificar os usurios que

possuam acesso vigente a mais de um

cartrio. Consultar os cartrios para

identificar se tais pessoas ainda

trabalham nos respectivos cartrios.

-Falta de

procedimentos

formalizados para

concesso e

revogao de

acessos.

-Pessoas que no

trabalham mais nos

cartrios continuam

com acesso ao

sistema


Execuo

Aplicao dos procedimentos definidos

Acumulao de evidncias

Desenvolvimento dos achados: Consiste no acmulo organizado de informaes (ou

evidncias) apropriadas e necessrias para esclarec-los e sustent-los.

Elaborao da Matriz de Achados: Deve ser preenchida medida que os achados sejam

identificados durante a execuo dos procedimentos de auditoria.

Permite uniformizar o entendimento dos membros da equipe de auditoria, preparando-os para a escrita do relatrio.

68


Execuo

Matriz de Achados: Achado Situao

Encontrada Critrio Evidncia Causas Efeitos Encaminha-

mento

Corres-pondncia com o Achado (An) constante da Matriz de Procedi-mentos

Situao existente, identificada e documentada durante a fase de execuo da auditoria

Legislao, norma, jurisprudncia, entendimento doutrinrio ou padro adotado

Informaes obtidas durante a auditoria no intuito de documentar os achados e de respaldar as opinies e concluses da equipe

O que motivou a ocorrncia do achado

Conse-qncias do achado

Propostas da equipe de auditoria. Deve conter identificao do(s) responsvel (is)

A1

A2

An

69


Execuo

Matriz de Achados:

Os achados da auditoria devem levar em conta o nvel de risco associado;

Prudncia ao relatar situaes Bom senso ao colocar achados de baixa

relevncia;

Cada falha apontada deve estar suportada por evidncias e papis de trabalho.

70



O Relatrio de Auditoria o instrumento formal e tcnico por intermdio do qual a equipe de auditoria comunica:

o objetivo do trabalho.

a metodologia (como foi executado).

os achados (resultado obtido).

as concluses (avaliaes e opinies).

a proposta (recomendaes e determinaes).

71



Requisitos do Relatrio de Auditoria:

Clareza

Convico

Conciso

Exatido

Relevncia

Tempestividade

Objetividade

72



Estrutura do Relatrio de Auditoria:

Resumo Sumrio Introduo (Viso Geral) Achados de Auditoria

Situao encontrada Critrios Evidncias Causas Efeitos Encaminhamentos

Outros Fatos Relevantes Concluso Proposta de Encaminhamento Apndices/Anexos

73



Linguagem mais tcnica

Evidncias

Relatrio deve ser til

Detalhamento dos achados, riscos associados e recomendaes

Incluso de grficos e tabelas bem apresentados e contextualizados

Equilbrio entre conciso e a clareza no corpo principal do relatrio (uso de apndices se necessrio, evitar o exagero de informaes)

74



Cuidados com o pblico: Durante a escrita dos achados de auditoria, a equipe

deve tomar cuidados especiais com o uso de termos tcnicos ou de difcil entendimento, levando em conta que o relatrio ser lido por pessoas que, na sua maioria, no trabalham ou se encontram diretamente envolvidas com TI (pblico leigo)

Essas pessoas (gestores, autoridades, auditores, jornalistas etc) estaro mais interessadas em compreender como os achados levantados afetam as reas de negcio do rgo/entidade auditado

Glossrio de termos tcnicos (se necessrio)

75



Propostas de Encaminhamento:

Conjunto de medidas a serem adotadas pela entidade visando corrigir as falhas ou irregularidades apontadas.

Recomendaes devem ser realistas, exequveis e racionais, ou seja, aceitveis e passveis de implementao.

Para cada achado dever haver pelo menos uma recomendao.

76


Monitoramento

O que ? Instrumento para verificar o cumprimento das deliberaes do

TCU e os resultados delas advindos.

composto pelas mesmas fases de uma auditoria (Planejamento, Execuo e Elaborao do Relatrio).

Objetivos: Acompanhar as providncias tomadas no mbito do rgo ou

programa auditado em resposta s recomendaes exaradas pelo Tribunal, interagindo com os gestores responsveis, de forma a maximizar a probabilidade de que essas recomendaes sejam adequadamente adotadas (Follow-Up).

Permite a retroalimentao do trabalho de auditoria, na medida em que fornece aos gestores o feedback de que necessitam para verificar se as aes que vm adotando tm contribudo para o alcance dos resultados desejados.

77


78

Auditoria de Dados


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos.

Oportunidades e dificuldades

Escopo e Planejamento.

Execuo e relatrio.

Estudo de caso: Sisobi

79


Objetivos

Compreender os principais conceitos, o enfoque e a

aplicabilidade da auditoria de dados.

Compreender como deve ser conduzida e que aspectos

devem ser abordados numa auditoria de dados.

Conhecer formas de atuao da Sefti/TCU em trabalhos

de auditoria de dados.

Discutir algumas questes de auditoria relacionadas

auditoria de dados.

Conhecer alguns exemplos prticos de uso de CAATTs


A auditoria de dados

Aborda os dados contidos em meios de armazenamento eletrnico a fim de se certificar se so ntegros, confiveis e em conformidade com as leis que regem o negcio.

Pode ser executado isoladamente ou de forma a complementar outra auditoria (ex.: auditoria de sistemas).

Possibilita a verificao de at 100% das transaes auditadas

Permite o cruzamento de informaes com outras bases de dados a fim de verificar os registros auditados.


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos



Execuo e relatrio.


82


Alguns trabalhos do TCU...

Sisobi/INSS (Ac. 2812/2009-P)

Cadastro nico para programas sociais do governo federal no MDS (Ac. 906/2009-P)

Avaliao do controle do trnsito de produtos florestais realizado por meio de sistema do Ibama (Ac. 309/2009-P)

Incompatibilidade entre a jornada de trabalho de servidores e respectiva remunerao (Ac. 89/2008P)

Auditoria operacional em hospitais universitrios do RJ (Ac. 473/2007-P);

Sistema de Controle da Dvida Ativa da Unio (PGFN) (Ac. 3382/2010-P e 2994/2011-P)

SIASG/ComprasNet (Acrdo 1.793/2011-P, em sede de recurso)

83


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos



Execuo e relatrio.


84


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos



Execuo e relatrio.


85


Campos de aplicao

Anlise exploratria

Teste e avaliao de controles

Deteco de fraudes

Anlise de trilhas de auditoria

Auditoria contnua

86


Anlise exploratria

Auditoria de escopo ainda no delimitado

Apoiar planejamento

Avaliar criticidade e materialidade

Estratificar os dados

Identificar anomalias

Percepo de risco e experincia do auditor

Exemplos

Valores mximos e mnimos de contratos

Distribuio por tipos de licitao

Controles sobre datas

Estratificao por licitante, por modalidade

87


Teste e avaliao de controles

Avaliar a eficcia dos controles internos

Testar a conformidade para com as regras de negcio

Anlise de 100% das transaes

Pode ajudar na identificao das causas de falhas nos controles por meio da anlise das transaes no conformes

Exemplos:

Modalidade de licitao x valor licitado

Nmero CPF vlidos

Segurados da previdncia esto vivos

Se as placas de automveis indicadas nas multas se referem a automveis vlidos

88


Deteco de fraudes

Possibilidade verificar indcios de fraudes

Verificaes dependem da rea de negcio

Estratificao de transaes (por usurio, por departamento, por hrrio etc)

Uso de circularizao (outras bases de dados)

Incompatibilidade entre cargo e transaes

Anlise de desvios e comportamento no esperado

Transaes mais vultosas

Dependem de testes complementares, pois os dados so uma mera representao

89


Anlise de trilhas de auditoria

pode facilitar a anlise de milhes de registros

verificar autoria

verificar ordem e sequncia de transaes

verificar coerncia entre arquivos de dados e log

90


Exemplo de uso

Anlise exploratria

Aplicao de testes

Uso de ferramenta

91


Delimitao de escopo

Falta de qualidade dos dados armazenados

Complexidade de processos de negcio e estruturas de dados (modelos com centenas de tabelas)

Carncia de documentao

Estruturas de dados complexas ou mal organizadas

Volume de transaes (demanda por processamento)

Compreender o negcio essencial!

Dificuldades

92


Dificuldades

Insuficincia de conhecimento a respeito da base de dados por parte da equipe responsvel pela manuteno

Sistemas de bancos de dados antigos

Sigilo dos dados

Oposio extrao dos dados (caso sistema de solicitaes)

Carncia de recursos humanos para processar a extrao

Ausncia de chaves comuns entre arquivos ou bases de dados

93


Indcios de problemas na

confiabilidade dos dados

documentao ausente ou precria;

sistemas antigos, que exigem muita manuteno;

estruturas de dados complexas e desorganizadas;

alta rotatividade de pessoal e treinamento inadequado

ou em escala insuficiente;

falta de padres para o processamento de dados,

especialmente quanto segurana, acesso e controle

de mudana de programas. (TCU, Manual de Auditoria de Sistemas, 1998)


3.5.2 ... Quando os dados obtidos mediante sistemas informatizados forem parte importante da auditoria e a confiabilidade dos dados seja decisiva para o alcance do objetivo da fiscalizao, os auditores devem certificar-se de que os dados so confiveis e pertinentes. (Intosai, Cdigo de tica e Padres de Auditoria, 2001)

Confiabilidade dos dados


Confiabilidade dos dados

(riscos)

Os princpios de auditoria exigem que qualquer

evidncia (independentemente de sua fonte ou formato)

seja confivel, relevante e suficiente.

O risco de confiabilidade dos dados definido como

sendo o "risco de que os dados utilizados no sejam

suficientemente confiveis para o fim a que se

destinam", ou seja, o risco de que esses no sejam

exatos e completos o suficiente para servir de

fundamento para achados de auditoria.

(TCU, Manual de Auditoria de Sistemas, 1998)


Auditoria mais:

Eficiente

Eficaz

Abrangente

Pode produzir uma reduo do tempo para execuo de auditoria posterior

Pareceres mais conclusivos

Resultados mais expressivos

Benefcios


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos


Escopo e Planejamento

Execuo e relatrio


98



Levantar

deficincias

Elaborar Matriz

de Planejamento

Definir

objetivos

Contatar

rea de TI

Obter Modelo

de Dados

Identificar objetivo

dos arquivos

Identificar arquivos

necessrios

Mapear

arquivos

Solicitar

leiaute

Identificar

chaves primrias

Identificar campos

necessrios

Checar

Definir

campos

Identificar

arquivos

Definir perodo

e/ou situao

Definir formato e

data dos arquivos

Requisitar formal-

mente a gerao

Definir

a gerao

Planejamento

Provar que arquivo

est completo

Provar que dados no

esto corrompidos

Checar perodo

e situao

Garantir a

conformidade

Aplicar as

tcnicas (CAATs)

Checar indcios

de irregularidades

Execuo Relatrio


Definir objetivos

Definir questes de auditoria

Definir procedimentos

Identificar bases de dados e rgos envolvidos

Buscar definir os rgos envolvidos e envolv-los formalmente na fiscalizao (portaria)

Planejamento



Obter modelos de dados e documentao

Estudar arquivos Compreender objetivo dos arquivos

Identificar chaves primrias

Selecionar campos de interesse

Compreender estrutura dos campos

Definir campos de dados necessrios

Estimar tamanho da base gerada

Planejamento


Avaliar requisitos para custdia das informaes

Verificar disponibilidade de espao em disco

Consultar aspectos de sigilo e segurana das informaes

Providenciar ambiente seguro e adequado para processamento dos dados

Planejamento


Definir a gerao

Definir leiaute desejado

Definir perodo dos dados

Avaliar tamanho da base gerada

Definir meio seguro para transmisso das informaes (uso de criptografia, se necessrio)

Negociar e discutir demanda com o jurisdicionado (layout, prazos, entendimento)

Formalizar! EXEMPLO DE OFCIO

Planejamento



Observaes na definio dos campos a serem obtidos

Verificar se esto faltando informaes que seriam teis.

Chaves primrias sempre devem ser recuperadas.

Campos calculados devem ser evitados. Deve-se dar preferncia aos campos atmicos.

Os dados no obrigatoriamente esto armazenados na forma que aparecem nas telas e relatrios de sistemas informatizados.



Observaes na definio da gerao dos dados

O arquivo no deve, preferencialmente, ser um back-up.

Necessidade de fornecimento de layout dos arquivos junto aos dados.

Necessidade de recebimento de jobs de execuo de gerao de dados.

Considerar possibilidade de acompanhamento do processo de gerao.



Formatos de arquivos mais comuns

ASCII de comprimento fixo

Arquivos de escritrio: Excel, Access, Openoffice

Texto com campos separados por caracteres especiais, como vrgula, ponto e vrgula

Formato natural gerado pelo SGBD (requer uma etapa adicional de importao para um SBGD compatvel);

Como ltima alternativa, relatrio padro ou elaborado para fins da auditoria, em meio magntico.



Observaes finais da Fase de Planejamento

Maior durao do que outras abordagens de auditoria TI => Tempo para conhecer as bases de dados

Contatos, negociao e pedido de gerao de bases pertencentes a rgos no abrangidos pela auditoria devem ser feitos nesta fase, quando for o caso.

Considerar a interrupo da auditoria nesta fase


Requisio

Observaes finais da Fase de Planejamento

Maior durao do que outras abordagens de auditoria TI => Tempo para conhecer as bases de dados

Contatos, negociao e pedido de gerao de bases pertencentes a rgos no abrangidos pela auditoria devem ser feitos nesta fase, quando for o caso.

Considerar a interrupo da auditoria nesta fase


Fluxo de gerao de dados

excel

/ txt Base

EXTRAO

BASE DE

DADOS

1

BASE DE

DADOS

2

BASE DE

DADOS

n

Base txt / excel

Importao ACL



Exemplo de layout de um arquivo IT-IN-ATIVO A 0001

IT-CO-UNIDADE-GESTORA N 0006

IT-NO-UNIDADE-GESTORA A 0045

IT-NO-MNEMONICO-UNIDADE-GESTORA A 0019

IT-CO-UF A 0002

GR-ORGAO N 0005


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos



Execuo e relatrio.


111


Execuo e relatrio

Observaes sobre essas fases Em geral, execuo in-house

Uso de Caatts

Maior nmero de achados (relevncia)

Irregularidades nos dados podem no necessariamente significar irregularidades na vida real. Devem ser interpretados como indcios!

Comprovao documental e confirmao dos indcios por outras fontes

Nova auditoria

Amostragem estatstica

Amostragem por criticidade e materialidade

Fase de relatrio da auditoria de dados no difere de outras auditorias.

Adicionar-se anexo de metodologia com detalhes dos cruzamentos


Execuo e relatrio

Levantar

deficincias

Elaborar Matriz

de Planejamento

Definir

objetivos

Contatar

rea de TI

Obter Modelo

de Dados

Identificar objetivo

dos arquivos


necessrios

Mapear

arquivos

Solicitar

leiaute

Identificar

chaves primrias

Identificar campos

necessrios

Checar

Definir

campos

Identificar

arquivos

Definir perodo

e/ou situao

Definir formato e

data dos arquivos

Requisitar formal-

mente a gerao

Definir

a gerao

Planejamento

Provar que arquivo

est completo

Provar que dados no

esto corrompidos

Checar perodo

e situao

Garantir a

conformidade

Aplicar as

tcnicas (CAATs)

Checar indcios

de irregularidades

Execuo Relatrio


Execuo

Receber os arquivos e verificar integridade

Checar se o arquivo est completo

Verificar se no h dados corrompidos

Verificar perodo desejado

Efetuar checagens adicionais de acordo com

os filtros aplicados

Armazenar os arquivos de acordo com os requisitos de custdia

As informaes recebidas de pessoa fsica ou jurdica externa ao Tribunal devem ser classificadas de acordo com os requisitos de segurana da informao pactuados com quem as forneceu. (Art. 2, 3, Resoluo-TCU n 229/2009 Classificao da Informao)


Execuo

Efetuar procedimentos preparatrios

Efetuar limpeza nos dados

Efetuar normalizao de arquivos

Criar ndices e arquivos de resumo para aumento de

performance

Criar identificadores nicos de registro

Documentar todos os procedimentos aplicados sobre

os dados


Execuo

Executar os procedimentos (cclicos)

Documentar os procedimentos aplicados (com uso de

scripts, se disponvel)

Executar os procedimentos

Avaliar os resultados

Checar indcios de irregularidades


Execuo (tipos de testes)

Tipos de testes

Testes da integridade dos dados: determinam se o universo contm todos os elementos de dados e registros relevantes para o objetivo de auditoria, no perodo abrangido (exemplo, todos os pagamentos efetuados a um mesmo fornecedor).

Testes de autenticidade dos dados: verificam se os dados computadorizados refletem com exatido sua fonte (os registros de entrada de dados devem reproduzir fielmente os documentos-fonte).

Testes de exatido do processamento: informam se todos os registros relevantes foram processados de forma completa e se todos os processamentos atenderam aos objetivos pr-estabelecidos.


Relatrio

Documentar a metodologia aplicada:

Descrever bases utilizadas

Procedimentos de seleo dos arquivos e perodos

Procedimentos preparatrios

Cruzamentos e procedimentos realizados

Exemplos (script e metodologia)

Escrever relatrio

Proteger anexos contendo dados e informaes com uso

de criptografia


Boas prticas

Documentar a metodologia aplicada:

Descrever bases utilizadas

Procedimentos de seleo dos arquivos e perodos

Procedimentos preparatrios

Cruzamentos e procedimentos realizados

Escrever relatrio

Proteger anexos contendo dados e informaes com uso

de criptografia


Possveis questes

Objetivo de controle: assegurar que os dados contidos nas bases de dados so confiveis

As informaes do ndice Nacional IN refletem as informaes das bases de dados dos agentes de segurana pblica? (Auditoria no Infoseg - Acrdo n 71/2007-TCU-Plenrio)

Os cruzamentos do sistema do Cadastro nico com outros sistemas so efetivos para detectar a ocorrncia de erros e fraudes no sistema? (Auditoria no Cadnico - Acrdo n 906/2009-TCU-Plenrio)

O sistema do Cadastro nico cumpre a legislao a ele aplicvel? (Auditoria no Cadnico)


Possveis achados

Inconsistncias entre as bases de dados criminais e o ndice Nacional (Auditoria no Infoseg).

Dados que evidenciam o no cumprimento legislao (duas aposentadorias em cargos inacumulveis na atividade Auditoria no Siape)

Divergncia nas datas de bitos entre bases pertencentes a diferentes instituies (auditoria no Sisobi)


Agenda

Objetivos.

Atuao do TCU

Conceitos Bsicos



Execuo e relatrio.


122


Case Sisobi Aspectos tcnicos

Auditoria de dados (apoiar a correo de deficincias na base de dados do Sisobi)

Vrias bases de dados: Sisobi, SIM, SUB, CPF, IBGE

SUB: avaliar efetividade do Sisobi em seu objetivo maior

Uso intensivo de cruzamento de dados entre as bases

Diversas entrevistas para compreender organizao das bases de dados (significado de campos)

Amostragem (risco e materialidade) para pesquisas adicionais



Plataforma alta (SUB) x Plataforma baixa (Sisobi) diferenas nas estruturas de dados

diferenas na formatao de caracteres especiais (acentuao etc): joo x joao x jo#o

Diferenas na documentao

Outro rgo gestor (SIM) mais diferenas

Tamanhos das bases de dados: vrios arquivos com mais de 20, 30 milhes de registros Produto cartesiano??



Cruzamentos Sisobi x SUB x SIM

Verificar problemas na concesso e manuteno de benefcios em decorrncia de falhas nos registros de bitos

Qual a chave adequada?

Ausncia de identificador comum de pessoas confivel (projeto RIC em curso)

Nome + ????

Equilbrio entre risco de falsos-positivos e falsos-negativos



Grande esforo de documentao de scripts

Documentao da metodologia em nvel mais alto

Testes adicionais (requisies ao INSS) Prova de vida

Trecho do relatrio Min. Augusto Nardes, Acrdo 2.812/2009-P

Pesquisa de vida do INSS indicou que a beneficiria faleceu h mais de 1 ano. Havia representante legal que era sua tia. Segundo a pesquisa, o carto de recebimento ficou com seu sobrinho [...] que o sobrinho pegou o carto dela [da representante legal] e o da segurada, para ajudar nas despesas de casa, pois as duas estavam na casa dele (pois a [...] [tia] tinha quebrado a perna) e depois que a sobrinha faleceu e ela melhorou e voltou para Una-MG, o sobrinho no quis devolver o carto da segurada (fls. 81 e 82, anexo 1)


Obrigado!

Marcio Rodrigo Braz, Me.

[email protected]

127

Documents

Auditoria de Dados - CAAT