Upload
joao-galdino-mello-de-souza
View
1.039
Download
0
Embed Size (px)
Citation preview
Análise de Segurança e Desempenho
na Detecção de Intrusão em Redes de
Automação de Distribuição de Água
Silvio Rocha da Silva
Autor
Prof. Dr. Eduardo Takeo Ueda Orientador
Instituto de Pesquisas Tecnológicas do Estado de São Paulo
Agenda
2
Contextualização
Motivação
Problemas
Objetivo
Método de Trabalho
Trabalhos Relacionados
Proposta da Dissertação
Validação
Análise dos Resultados
Conclusão e Trabalhos Futuros
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Contextualização
• Infraestruturas críticas são as instalações, serviços e bens que, se forem interrompidos ou destruídos, provocarão sério impacto social, econômico, político, internacional ou à segurança nacional. Dentre as áreas prioritárias está o setor da água ou saneamento básico (BRASIL, 2008).
• No Brasil, o saneamento básico é um direito assegurado pela Constituição e definido pela Lei n⁰ 11.445/2007 como o conjunto dos serviços, infraestrutura e instalações operacionais de abastecimento de água (Manual do Saneamento Básico, 2012).
• Dentre as partes do sistema de abastecimento de água o foco da proposta são as redes de distribuição.
3
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Motivação
• Aumentar a segurança nas redes de automação das infraestruturas críticas;
• Proporcionar a continuidade dos negócios, minimizando os impactos das intrusões nas operações;
• Integrar mecanismos de detecção de intrusão às propostas de proteção de perímetro das redes de automação no saneamento;
• Construir um mecanismo de proteção sob medida para redes de automação na distribuição de água;
• Reduzir as perdas de água no processo de distribuição.
4 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Problemas
Como garantir os acessos e as operações legítimas nos
equipamentos de campo da distribuição de água?
Como garantir o desempenho dos sistemas de detecção de
intrusão com baixo número de alarmes falsos?
5 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Objetivo
Propor, desenvolver e validar o desempenho de um mecanismo para
detectar, em tempo real, a intrusão em redes de automação na distribuição
de água, aplicando a teoria de evidências de Dempster-Shafer na
combinação de dois métodos:
• o primeiro centrado nos parâmetros das operações;
• o segundo centrado no volume de tráfego da rede.
Com isso, foi possível caracterizar os comportamentos normais dos
controladores lógicos programáveis utilizados nos equipamentos de
campo, no caso dessa proposta, os Boosters.
6 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Método de Trabalho
7
Esquema das atividades e dependências do método de trabalho
Fonte: O autor Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trabalhos Relacionados
8
Tema Trabalho Abordagem
Infraestrutura de
Segurança na
Automação
Nicholson et al (2012) As mudanças das redes de automação para arquitetura aberta com conectividade a
internet contribuíram para o aumento das ameaças e vulnerabilidades.
ANSI/ISA-99 (2007) Norma que define conceitos para uma arquitetura de segurança em áreas ou zonas para
as aplicação nas infraestruturas de automação.
Alcaraz et al (2012) Ataques nas infraestrutura crítica, em destaque os de falsificação de dados de operações
e os de saturação da capacidade de tráfego.
Métodos e
Modelos para
Detecção de
Intrusão
Wu e Banzhaf (2008)
e Jin et al (2006)
Detecção de anomalia sendo utilizada como ferramenta adicional no combate às
ameaças por meio do perfil histórico normal de comportamento para indicar possíveis
intrusões.
Briesemeister et al
(2010) e Linda et al
(2009)
Padrão de operação das redes de automação tem certa previsibilidade de
comportamento, facilitando a identificação de tentativas de ataques.
Kovach (2011) e
Premaratne et al
(2008)
O uso de métodos de detecção por meio da combinação de observações de
comportamentos, usando teoria das evidências.
Ameaças de
Segurança no
Setor de
Saneamento
WSCC-CSWG (2008)
Roteiro para proteção dos sistemas de controle no setor da água, com o objetivo que em
2018 essa infraestrutura sejam capaz de manter sua operação mesmo após um evento de
ataque.
Amin et al (2013) Análise dos ataques de negação de serviço que podem prejudicar o desempenho das
operações, gerando perda de água, diminuição da eficiência operacional, entre outras.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Proposta do Trabalho
O mecanismo de detecção de intrusão proposto por este trabalho prevê a
utilização de duas abordagens complementares:
• uma abordagem local, baseada em análise diferencial, na qual os
padrões de operação dos CLPs instalados nos Boosters de distribuição
de água serão comparados com o seu limiar de operação;
• uma abordagem global, baseada em análise global, na qual a média do
tráfego de dados de entrada e saída de toda a rede de automação será
comparada com o tráfego de dados de E/S de cada CLPs/Booster.
9 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
• Manipulação indevida de dados enviados ou recebidos dos
CLPs/Boosters;
• Tráfego de dados não autorizado na rede de automação;
• Configuração de parâmetros inválidos;
• Rede de comunicação congestionada, devido ao envio ou
recebimento simultâneo de dados por muitos ou todos os
CLPs/Booster.
10
Evidências de Intrusão na
Distribuição de Água
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
11
Visão geral do mecanismo de
detecção de intrusão
Fonte: adaptado de Kovach (2011)
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
12
Combinação de Evidências No presente trabalho a combinação dos métodos será centrada no comportamento normal, devido à característica favorável de previsibilidade das operações e do tráfego da rede de automação.
Fonte: adaptado de Kovach (2011) Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Validação
13
Foram realizadas oito simulações divididas em dois cenários com
uma base de dados composta de 2.846 registros de operações e
tráfego de dados reais ocorridos em um período de 30 dias.
• Sistema Supervisor Operações de Pressão de Recalque
• Sistema de Monitoramento da Rede Tráfegos de dados
Todos os registros são legítimos e foram sincronizados para
manter as igualdades de tempo e granularidade.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
14
Esquema geral para validação da proposta
Fonte: O autor Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
15
Tipo Descrição Probabilidade Impacto Classe de Prioridade
VRP Válvula Redutora de Pressão 3 2 5
Booster Bomba de Controle de Vazão 3 4 7
DMC Distrito de Medição e Controle 3 2 5
PM Ponto de Medição 2 1 3
EEAT Estação Elevatória de Água 1 5 6
ETA Estação de Tratamento de Água 2 5 7
Poço Poço Artesiano 1 2 3
Equipamentos de uma infraestrutura de
distribuição de água
Fonte: Plano Diretor de Automação e Informação (2012)
Avaliação de probabilidade e impacto para priorização de ações de segurança
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
16
• IDbooster: Esse atributo é necessário tanto na análise local, como na
análise global, pois caso ocorra a detecção de uma intrusão é
necessário conhecer a identificação do equipamento para tomar as
devidas ações;
• PresRecalque: Utilizado para registrar os valores das operações de
pressão de recalque. Esse parâmetro corresponde à métrica utilizada
pela análise diferencial para caracterizar o perfil de atividade local;
• BandTrafSum: Utilizado para registrar a soma das medições do
tráfego de dados de entrada e saída das operações de distribuição de
água. Esse parâmetro corresponde à métrica utilizada na análise
global.
Descrição dos Atributos
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
17
Atributos e Parâmetros Operações registradas em intervalos de 15 minutos
Tráfego de dados de Entrada e Saída sincronizados em intervalos de 15 minutos
Fonte: Sistema de Supervisão
Fonte: Sistema de Monitoramento da Rede
kbyte kbit/second kbyte kbit/second kbyte kbit/second
1 28/12/2013 - 21:01 33,06 0,90 145,81 3,99 178,87 4,89
1 28/12/2013 - 21:16 35,24 0,96 148,86 4,07 184,10 5,03
1 28/12/2013 - 21:31 36,96 1,01 168,88 4,62 205,84 5,63
1 28/12/2013 - 21:46 38,55 1,05 154,22 4,22 192,77 5,27
Período de MedicãoBandwidth Traffic IN Bandwidth Traffic OUT BandTrafSum
IDbooster
IDBooster Data e HoraPressão de
SucçãoPresRecalque
Vazão de
RecalqueConsumo Corrente Tensão Frequência Temperatura Bomba
1 28/12/2013 - 21:01 20 59 50 0 0 0 0 55 Operando
1 28/12/2013 - 21:16 20 62 47 0 0 0 0 55 Operando
1 28/12/2013 - 21:31 20 26 0 0 0 0 0 55 Parada
1 28/12/2013 - 21:46 16 59 37 0 0 0 0 55 Operando
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
18
• Substituído o conteúdo do atributo IDboosters pela representatividade da sequência
numérica: 1, 2 e 3, para preservar a confidencialidade dos dados;
• Eliminada todas as operações de pressão de recalque (PresRecalque) nas quais os
equipamentos estavam em período de manutenção, conforme informado nos históricos,
pois esses dados não são necessários para a metodologia de avaliação utilizada;
• Mantidos os registros apenas das operações nas quais o booster estava em situação
“operando”, pois os registros da bomba em situação “parada” são irrelevantes para a
metodologia de avaliação;
• Selecionados, em intervalos de 15 minutos, os registros de tráfego de dados para a
análise global da rede de automação (BandTrafSum), correspondendo à mesma data e
hora dos eventos da análise diferencial.
Filtragens e simplificações para facilitar as simulações dos métodos estatísticos
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
19
• Métrica: Pressão de recalque
em metros de coluna de água
(mca), sendo função do
resultado da pressão disponível
na sucção somada à pressão de
recalque necessária para manter
o abastecimento de água no
ponto mais desfavorável da
área de influência do Booster;
• Modelo estatístico: Média
móvel com limiar fixo.
O Atributo Local
Os valores da janela de observações e da ponderação são 500 e 0,01 respectivamente, escolhidos empiricamente por meio de simulações.
Perfil de atividade da operação de recalque
Fonte: Sistema de Supervisão
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
20
• Métrica: Soma do tráfego de dados de entrada e saída de toda a rede de
automação com representação em kbit/s. Esse atributo corresponde ao tráfego de
dados de entrada e saída utilizado nas operações de distribuição de água.
• Modelo estatístico: Média móvel com limiar fixo.
Perfil de atividade do tráfego de dados de Entrada (vermelho) e Saída (verde)
Os valores da janela de observações e da ponderação são 500 e 0,97 respectivamente, escolhidos
empiricamente por meio de simulações.
O Atributo Global
Fonte: Sistema de Monitoramento da Rede de Automação
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Trecho de uma sequência de operações (mca) e tráfegos (Kbit/s)
Fonte: O autor
21
Combinação das Evidências Local e Global
Os valores de m3 são comparados com uma série de limiares entre 0
e 100 com escala de 2,50 e, para cada valor de limiar, uma matriz de
confusão e curva ROC é gerada para determinar as taxa de
verdadeiros positivos e as taxa de falsos positivos.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
22
Matriz de Confusão
Fonte: Adaptado de Kovach (2011)
• Taxa de verdadeiros positivos: Tvp = VP / P;
• Taxa de falso positivo: Tfp = FP / N;
• Exatidão: Ex = VP + VN / (P + N); P = VP + FN e corresponde ao número total de intrusões (positivos);
N = FP + VN e corresponde ao número total de legítimos (negativos).
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Técnica visual para avaliar o desempenho da Matriz de Confusão e que demonstra uma relação entre (Verdadeiro Positivo) e (Falso Positivo), produzindo um par (Tvp, Tfp) correspondendo a um ponto no espaço ROC.
23
Curva ROC (Receiver Operating
Characteristics)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
0% 20% 40% 60% 80% 100%
Tv
p -
Taxa d
e V
erd
ad
eir
os P
osit
ivo
s
Tfp - Taxa de Falso Positivo
Fonte: O autor Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
24
Análise dos Resultados
Foram selecionados dois cenários baseando-se no conjunto dos dados
de operações e tráfegos:
• No primeiro cenário, foram induzidos 47 registros de operações de
recalque e de tráfego de dados, representando dois por cento (2%)
da base de dados com registros de intrusão.
• No segundo cenário, foram induzidos 235 registros de operações
de recalque e de tráfego de dados, representando dez por cento
(10%) da base de dados com registros de intrusão.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Intersecções e probabilidades resultantes das combinações das Análises Local e Global
Fonte: Ferramenta de simulação do detector de intrusão
25 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Intersecções e probabilidades para uma operação de recalque local
com valor de 80 mca e um tráfego de dados global de 5,27 Kbit/s na
data de 27/12/2013 - 6:16 para o booster 1.
Resultado de Dempster-Shafer
Prob Global ({Intrusão}) = 60,32% Prob Global (Ambiente) = 39,68%
Prob Local ({Intrusão}) = 46,02% {Intrusão} = 27,76% {Intrusão} = 18,26%
Prob Local (Ambiente) = 53,98 {Intrusão} = 32,56% Ambiente = 21,42%
m3 ({Intrusão})= 78,58%Fonte: O autor
Para cada valor (m3) foi gerada a matriz de confusão e calculadas as medidas Tvp,
Tfp e Ex.
Intersecções e probabilidades de Local, Global e m3
26 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Resultado da Matriz de Confusão
Fonte: Ferramenta de simulação do detector de intrusão
Com base na curva ROC encontra-se a melhor relação entre Tfp e Tvp e assim o
melhor ponto de operação para Detecção de Intrusão no cenário proposto.
Neste cenário o
desempenho da
curva ROC foi de
90,16% com taxa de
exatidão (Ex) de
97,61%.
27 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Comparação das Curvas ROC Curva ROC aplicando média móvel
ponderada sem análise global
Curva ROC aplicando média móvel
ponderada com análise global
O melhor ponto de operação ocorre quando o valor
de limiar é igual a 27,50%, neste ponto, Tfp=1,22%
e Tvp=63,83% com desempenho de 62,61%.
Fonte: O autor Fonte: O autor
O melhor ponto de operação ocorre quando o valor
de limiar é igual a 30,00%, neste ponto, Tfp=1,39%
e Tvp=87,23% com desempenho de 85,84%.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil. 28
Cenários Avaliados Resultados da Matriz de Confusão
Fonte: O autor
29 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
CenáriosModelo
EstatísticoAnálise FP VN FN VP Limiar Tvp Tfp
Diferencial sem
Global73 2221 4 47 25,00% 92,16% 3,18%
Diferencial e
Global51 2247 0 47 30,00% 100,00% 2,22%
Global sem
Diferencial38 2260 9 38 2,50% 80,85% 1,65%
Diferencial sem
Global28 2270 17 30 27,50% 63,83% 1,22%
Diferencial e
Global32 2266 6 41 30,00% 87,23% 1,39%
Global sem
Diferencial74 2224 10 37 2,50% 78,72% 3,22%
Diferencial sem
Global60 2040 10 235 25,00% 95,92% 2,86%
Diferencial e
Global64 2046 5 230 27,50% 97,87% 3,03%
Global sem
Diferencial58 2052 72 163 7,50% 69,36% 2,75%
Diferencial sem
Global22 2088 36 199 27,50% 84,68% 1,04%
Diferencial e
Global37 2073 19 216 30,00% 91,91% 1,75%
Global sem
Diferencial244 1866 34 201 2,50% 85,53% 11,56%
Número total de
legítimos
Número total de
intrusão
Melhor ponto de operação para
Detecção de IntrusãoInformações da Simulação
Cenário 1 –
Alteração de
2% (47) base
para intrusão
Média
Móvel
Simples
Média
Móvel
Ponderada
Cenário 2 –
Alteração de
10% (235)
base para
intrusão
Média
Móvel
Simples
Média
Móvel
Ponderada
Cenários Avaliados Desempenho da Matriz de Confusão e Curvas ROC
Fonte: O autor
O desempenho da métrica de Exatidão (Ex) que corresponde ao total de eventos legítimos e de
intrusões corretamente classificados, ficaram acima dos 96%.
30 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Cenários Modelo Estatístico Análise Exatidão (Ex)
Matriz de Confusão
Desempenho
(Curva ROC)
Cenário 1 –
Alteração de 2%
(47) base para
intrusão
Média Móvel Simples
Diferencial sem Global 96,71% 88,98%
Diferencial e Global 97,82% 97,78%
Global sem Diferencial 97,99% 79,20%
Média Móvel
Ponderada
Diferencial sem Global 98,88% 62,61%
Diferencial e Global 98,37% 85,84%
Global sem Diferencial 96,41% 75,50%
Cenário 2 –
Alteração de 10%
(235) base para
intrusão
Média Móvel Simples
Diferencial sem Global 97,01% 93,06%
Diferencial e Global 97,05% 94,84%
Global sem Diferencial 94,45% 66,61%
Média Móvel
Ponderada
Diferencial sem Global 97,52% 83,64%
Diferencial e Global 97,61% 90,16%
Global sem Diferencial 88,14% 73,97%
Conclusão • O uso de atributo local combinado com atributo global por meio da teoria de
evidências de Dempster-Shafer melhorou a capacidade de detecção de intrusão
para o cenários propostos;
• Aumento do desempenho na detecção de intrusão na relação da taxa de
verdadeiros positivos versus taxa de falsos positivos, se comparado com a
proposta de Kovach (2011) para detecção de fraudes financeiras e que utilizou
na análise global a técnica de listas brancas e uma função exponencial
decrescente;
• Os métodos são combinados e processados em tempo real, com base em uma
janela de observações histórica diferentemente da abordagem de Briesemeister
et al (2010) que utilizou a combinação de métodos por meio de técnicas de
aprendizado para a detecção de intrusão;
31 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
Conclusão
• A taxa de exatidão do mecanismo proposto ficou em 96% na detecção de
intrusão para as simulações com base em janelas de 500 observações. Os
resultados alcançados, segundo Premaratne et al (2008), foram aceitáveis
em seu trabalho para proteção de instalações de subestações de energia
elétrica para grupos de 1.000 observações com taxa de 97% na detecção de
intrusão aplicando teoria das evidências. Esses resultados mostram que o
uso de combinação de evidências por meio DS apresenta-se como uma
alternativa favorável para detecção de intrusão;
• O método de trabalho possibilitou conhecer e entender o comportamento
do tráfego de dados da rede de automação e assim contribuir com
resultados práticos, como os limites de entrada e saída de dados.
32 Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.
33
Trabalhos Futuros
Duas observações podem ser feitas em relação ao atributo local para
estender este trabalho:
O uso de outros atributos, além da operação de pressão de recalque,
com a escolha baseada no fator de reputação do usuário origem da
operação;
Adequar os métodos e modelos estatísticos adotados para reconhecer
perfis de atividade com limiares inferiores nas operações de
distribuição de água.
A combinação com outros métodos de detecção de intrusão é uma
alternativa a ser pesquisada como forma de aumentar o desempenho do
detector.
Proibida cópia ou divulgação sem
permissão escrita do CMG Brasil.