Embed Size (px)
Citation preview
Giácomo Balbinotto Neto
(UFRGS/IATS)
Farmacoeconomia: Modelos de Markov
Aula #12
2
Bibliografia Sugerida
Drummond et all (2005, cap.9)
Alvarez (cap.12)
Rascati (2010, cap.10)
3
Modelos de Markov
Em matemática, uma cadeia de Markov de tempo discreto é um processo estocástico de tempo discreto que apresenta a propriedade de Markov, chamada assim em homenagem ao matemático Andrei Andreyevich Markov.
A definição desta propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido.
ANDREI MARKOV 4
O Uso dos Modelos de Markov
Segundo Alvarez (2012, p.178), os modelos de Markov permitem representar a história natural da enfermidade em avaliações econômicas de medicamentos e tecnologias sanitárias, já que calculam a esperança de vida em cada estado de saúde definido e a aparição de eventos com implicações em termos de custo e efetividade.
5
O Uso dos Modelos de Markov
6
O Uso dos Modelos de Markov
7
O Uso dos Modelos de Markov
8
O Uso dos Modelos de Markov
Segundo Alvarez (2012, p.178), os modelos de Markov são especialmente úteis para a representação da história natural das enfermidades que:
a) os estados de saúde se modificam com o tempo;
b) quando no modelo existam parâmetros dependentes do tempo, e o momento em que aparecem eventos importantes;
c) quando o modelo for capaz de capturar eventos que se repetem;
d) em patologias que apresentam eventos devidos a exposição de riscos (tais como morte e complicações clínicas de qualquer tipo).
9
10
O Uso dos Modelos de Markov
O modelo de Markov é classificado com sendo um modelo dinâmico que busca estudar a transição de um estado para o outro.
Segundo Kuntz & Wenstein (2004, p.141) eles são os mais usados nas avaliações econômicas de saúde.
O Uso dos Modelos de Markov
Segundo Alvarez (2012, p.178), os modelos de Markov podem ser definidos como sendo modelos estocásticos de uma patologia, a qual será representada como sendo uma sucessão de estados discretos com uma determinada probabilidade de transição entre eles, e onde se assume que o paciente sempre se encontra em um dos estados finitos de saúde existentes (denominados estados de Markov).
11
O Uso dos Modelos de Markov
A escolha apropriada do modelo a ser utilizado
depende do objetivo do estudo.
O uso de modelos de Markov é recomendado
quando existir a exigência de se avaliar doenças
crônicas no longo prazo.
12
13
14
O Uso dos Modelos de Markov
O modelo de Markov é uma técnica matemática que permite a apresentação e a análise de um processo randômico (aleatório) ao longo do tempo.
15
Quando Usar um Modelo de Markov?
Problemas que envolvem riscos que são contínuos ao longo do tempo.
A ocorrência dos eventos é importante;
Importantes eventos podem ocorrer mais de uma vez.
16
A Construção de um Modelo de Markov
Escolher um conjunto de estados de saúde mutuamente exclusivos.
Determinar as possíveis transações entre estes estados de saúde.
Determinar a extensão válida do ciclo clínico.
17
Aplicações do Modelo de Markov a avaliações de procedimentos médicos
Weinstein et al. (1987) – coração; Eddy (1987, 1989) - câncer de mama; Fahs at al. (1992) - câncer cervical em pessoas idosas; Krahn et al. (1994) - câncer de próstata; Tostenson et al. (1990) - Terapia de reposição hormonal; Tostenson at al. (1990) - osteoporose; Sonnenberg & Beck (1993).
18
O Uso dos Modelos de Markov
Os modelos de Markov são estruturas analíticas que representam elementos chaves de uma doença e que, geralmente são usadas nas avaliações econômicas.
[Sonnenberg & Beck (1993)].
19
O Uso dos Modelos de Markov
Os modelos markovianos são particularmente
úteis para doenças nas quais os eventos podem
ocorrer repetidamente ao longo do tempo, tais
como para pacientes com câncer recorrente
(câncer de mama) ou a progressão doenças
crônicas (esclerose múltipla).
20
O Uso dos Modelos de Markov
Num modelo de Markov, a doença em questão é dividida em um conjunto finito de estados de saúde, e os indivíduos podem se mover entre os estados ao longo de um período de um período discreto de tempo de acordo com uma probabilidade de transição.
21
Propriedades de um Modelo de Markov
O paciente sempre está um um dos finitos números do estado de saúde.
Os eventos são modelados como transições de um estado para o outro.
Contribuições para o prognósdtico geral dependem da extensão do tempo gasto nos estados de saúde.
Durante cada ciclo, o paciente pode fazer uma transição de um estado para outro.
22
Diagrama do Estado de Transição
Saúdavel
Doente Morte
Diagrama do Estado de Transição
23
24
O Uso dos Modelos de Markov
24
WELL Uncompli
cated
malaria (S)
Uncompli
cated
malaria
(R)
Severe
malaria
DEAD
25
Dead
Breast cancer
Dead
Breast cancer
Dead
Breast cancer
Alive
Breast cancer
Alive
Breast cancer
Alive
Breast cancer
Dead
Other causes
Dead
Other causes
Dead
Other causes
Well
Well
Well
Well
Cycle 1
Cycle 2
Cycle N
Baseline
26
O Uso dos Modelos de Markov
Quando fixamos estimativas referente ao uso de recursos e resultados (utilidade) a cada estado de saúde, e rodando o modelo com relação a um longo período de tempo, é possível gerar-se custos de longo prazo e resultados para hipotéticos conjunto de pacientes que receberão os tratamentos para uma dada doença.
27
O Uso dos Modelos de Markov
A natureza cíclica dos modelos markovianos é também útil para descrever eventos previsíveis que ocorrem ao longo do tempo tais como testes de câncer coloretal a cada cinco anos.
28
O Uso dos Modelos de Markov
O método markoviano consiste em designar valores numéricos a uma série de estados de saúde ao longo do tempo permitindo sintetizar dados sobre os custos, efeitos e qualidade de vida relacionada a saúde de alternativas estratégias clínicas através do cálculo da expectativa de vida, QALY e custos ao longo da vida.
29
Os Principais Elementos do Modelo Markoviano
Um modelo markoviano é um modelo que descreve um conjunto mutuamente exclusivo e coletivamente exaustivo de estados de saúde.
O Uso dos Modelos de Markov
Segundo Alvarez (2012, p.178), os estados de Markov têm que ser exaustivos (isto é, devem estar presentes todos os estados possíveis dentro da enfermidades), devem ser mutuamente excludentes (um paciente não pode estar em dois estados num mesmo período durante o mesmo ciclo) e estes estados podem ser de dois tipos: (i) absorventes – que são estados no qual não se pode sair (não podem ser abandonados) e (ii) não absorventes, no qual é considerado qualquer estado desde que ele possa passar a outro diferente.
30
O Uso dos Modelos de Markov
Segundo Alvarez (2012, p.179), os modelos de Markov são úteis para analisar enfermidades com evoluções complexas e longos horizontes temporais, com eventos clínicos repetitivos, irreversíveis e de grande duração, já que se empregassem modelos determinísticos mais simples e sensíveis (árvores de decisão simples), se simplificaria o processo de modo excessivo, não sendo o mesmo representativo do que ocorre na vida real, como foi assinalado anteriormente.
31
Características de um Modelo de Markov
Características de um Modelo de Markov
Segundo Alvarez (2012, p.180), os modelos de Markov apresentam as seguintes características:
(i) somente estão permitidas determinadas transições entre os diferentes estados de saúde previamente estabelecidos,aqueles que melhor descrevem a evolução da doença na prática;
(ii) a duração dos ciclos de Markov deverá ser escolhida de forma razoável e terá que estar em consonância com a evolução previsível da doença estudada, devendo permanecer constante ao longo de toda a simulação;
33
Características de um Modelo de Markov
Segundo Alvarez (2012, p.180), os modelos de Markov apresentam as seguintes características:
(iii) o horizonte temporal do modelo é divido em incrementos de tempo denominados ciclos, que são período de tempo fixos no qual o modelo avança;
(iv) cada paciente somente pode fazer uma única transação de um estado para outro ou ficar num mum mesmo estado em cada ciclo;
34
Características de um Modelo de Markov
Segundo Alvarez (2012, p.180), os modelos de Markov apresentam as seguintes características:
(v) todos os pacientes estão submetidos as mesmas probabilidades de transição;
(vi) cada estado de saúde está associado a um valor de utilidade e custos.
35
36
Os Principais Elementos do Modelo Markoviano
Cada pessoa no modelo deve residir em um e somente um estado de saúde em qualquer ponto do tempo.
A incrementos fixos de tempo [conhecidos como ciclos de Markov, que podem ser semanas, meses ou anos], as pessoas transitam entre estados de saúde de acordo com um conjunto de probabilidades de transição.
37
Os Principais Elementos do Modelo Markoviano
As probabilidades de transição podem ser tanto constantes ao longo do tempo ou dependentes do tempo.
Os estados do saúde podem ser transitórios (as pessoas podem revisitar o estado a qualquer tempo), transitório (a pessoa pode ficar no estado somente por um período), ou absorvente (uma vez que a pessoa entra no estado ele nunca pode sair dele).
38
Os Principais Elementos do Modelo Markoviano
Todas os indivíduos que residem num determinado estado de saúde são indistinguíveis uma da outra – tanto no que diz respeito aos atributos clínicos correntes como aos demográficos e históricos.
39
Os Principais Elementos do Modelo Markoviano
Para operacionalizar a estrutura de Markov são designados valores a cada estado de saúde que representa custos e utilidade do gasto de um ciclo naquele estado.
40
A construção de um modelo markoviano
A estrutura e complexidade de um modelo markoviano irá depender da aplicação clínica, da disponibilidade de dados e de vários pressupostos simplificadores.
A Construção de um Modelo Markoviano
A Construção de um Modelo Markoviano
42
43
A construção de um modelo markoviano
1- Especificar os estados markovianos
Os estados de saúde devem refletir não somente todos os estados relevantes de saúde associados com a doença e o tratamento ao longo do tempo, mas devem incluir também toda a história clínica relevante.
44
A construção de um modelo markoviano
1 - Especificar os estados markovianos Um delineamento de estados de saúde mutuamente
exclusivos deve ser determinado listando-se diferentes cenários que possam ser vivenciados por um paciente.
Esses estados são chamados de estados de Markov. Os pacientes não podem situar-se em mais de um
estado durante cada ciclo.
45
A construção de um modelo markoviano
doente
saudável
saudável
saudável
morte
0
1
2
3
morte
Adoece novamente
morte Adoece novamente
A construção de um modelo markoviano
Segundo Nita et. Al (2010, p.280), o processo de Markov pode ser expresso pelos chamados digramas de bolhas. Por convenção, os estados de saúde ou de Markov são representados por formas circulares ou ovais, com uma linha para cada ciclo. Setas são utilizadas para mostrar a conexão ou transição considerada entre os diversos estados de saúde. Em seguida, é necessário determinar quais são as transições permitidas de um estado para outro. Isso é determinado claramente pela história natural ou pela consequência dos tratamentos. As setas podem até ser bidirecionais para ilustrar a habilidade de mover-se de um estado para o outro e de volta para o inicial. Ou ainda, é permitido que o estado seja repetido em determinado ciclo.
46
47
A construção de um modelo markoviano
Exemplo para o caso do tratamento do câncer de mama (4 estados):
1 - câncer localizado;
2 - recorrência localizada;
3 - metástase (disseminação do câncer)
4 - morte (desfecho).
48
A construção de um modelo markoviano
2 - Escolher a extensão do ciclo markoviano, o qual deve ser um incremento constante de tempo.
A escolha da extensão do ciclo irá depender do do timing dos eventos no processo de doença e da expectativa de vida da população (devem ser usados ciclos curtos com baixas expectativas de vida).
A construção de um modelo markoviano
Segundo Nita et. Al (2010, p.280), o ciclo de tempo (ciclo de Markov) é mostrado à esquerda e o tempo coore para baixo do gráfico. O período do ciclo é a quantidade de tempo de determinada condição de saúde e de seus desfechos. O período de doença representa o ciclo que se aplica a uma doença específica.
No caso de um paciente com câncer e ciclos mensais de quimioterapia, poderia ser modelado com ciclos de mês a mês, sendo os desfechos avaliados após a quimioterapia.
49
50
A construção de um modelo markoviano
No caso do câncer de mama, o ciclo markoviano é de 1 ano.
51
A construção de um modelo markoviano
3 - Especificação das probabilidades de transição.
Seja A = (aij) uma matriz (n x n) na qual um indivíduo no estado de saúde i irá transitar (passar) para o estado de saúde j dentro de um ciclo (no caso aqui 1 ano).
52
A construção de um modelo markoviano
3 - Especificação das probabilidades de transição.
Seja A = (aij) uma matriz (n x n) na qual um indivíduo no estado de saúde i irá transitar (passar) para o estado de saúde j dentro de um ciclo (no caso aqui 1 ano).
53
A construção de um modelo markoviano
Por definição: aij = 1 para todo o i.
54
A construção de um modelo markoviano
As probabilidades de transição podem ser iguais a zero, significando que uma determinada transição não é permitida, ou que não existe tal possibilidade tanto em termos teóricos como empíricos.
As probabilidades de transição podem ser também funções do tempo. Para probabilidades de transição que variam com o tempo, haverá diferentes matrizes Ak para cada ciclo k.
55
A construção de um modelo markoviano
A probabilidade é um número que toma valores situados entre 0 e 1.
Ela refere-se à possibilidade de que um determinado resultado venha a ocorrer.
Se p = 0 (o evento não ocorre).
Se p = 1 o evento corre com certeza.
56
A construção de um modelo markoviano
-rt
p = 1- e
a taxa r pode ser usada para estimar a
probabilidade p de transição de um evento que
ocorre a um determinado intervalo de tempo t.
e = logaritmo natural.
57
A construção de um modelo markoviano
Para o caso do tratamento do câncer de mama é assumido aqui que todas as probabilidades de transição são constantes e iguais a seguinte matriz quadrada:
0,945 0,006 0,014 0,035
0 0,913 0,052 0,035
A =
0 0 0,607 0,393
0 0 0 1
58
A construção de um modelo markoviano
A primeira linha da matriz A indica que uma mulher pode transitar do estado 1 (detecção do câncer de mama) para qualquer outro dos três estados, ou permanecer naquele estado por um ano com uma probabilidade de 0,945.
A última linha de quarta coluna representa o estado de morte (desfecho).
59
A construção de um modelo markoviano
A matriz markoviana representa um prognóstico de um câncer de mama localizado sem tratamento.
Uma diferente matriz de transição deveria ser especificada para refletir o prognóstico de uma mulher com câncer de mama que está disposta com um tratamento sob investigação.
60
A construção de um modelo markoviano
Suponha que exista um tratamento que mostre uma redução na recorrência do câncer de mama em 50% para aquelas mulheres nas quais foi feito um diagnóstico inicial de câncer de mama.
Isto implica que as probabilidades de transição de um estado de câncer localizado, tanto para o câncer recorrente como para o estado de metástase deveria ser dividido por dois.
61
A construção de um modelo markoviano
Assim, uma nova matriz de transição, para este novo tratamento
seria:
0,955 0,003 0,007 0,0035
0 0,913 0,052 0,035
A =
0 0 0,607 0,393
0 0 0 1
62
A construção de um modelo markoviano
4 - Alocação de custos e utilidade para cada estado de saúde.
Se a utilidade de 1 é designada ao todos os estados exceto a morte a qual é designada pelo valor 0, então o modelo irá calcular a esperança de vida.
63
A construção de um modelo markoviano
Se as utilidades representam ajustamentos relacionados a qualidade de vida (QALYs) para cada estado de saúde, então o modelo irá calcular a expectativa ajustada de qualidade de vida.
Para calcular a expectativa de vida descontada ou a utilidade de qualidade de vida, os valores são divididos por:
k
(1+r) , onde r é a taxa de desconto correspondente a extensão do ciclo de Markov e k é índice do ciclo.
64
A construção de um modelo markoviano
Os valores de utilidade podem ser úteis no cálculo de outras medidas de resultados.
Se todos os valores são iguais a zero, exceto para um único estado (metástase) então o resultado do modelo de Markov seria uma média temporal de um indivíduo na velocidade do coorte (grupo) no estado de metástase (tempo de residência (residency time)).
65
A construção de um modelo markoviano
Suponha que o estado de metástase seja dividido em dois estados:
(i) um estado temporário onde os pacientes ficam somente seu primeiro ano com metástase e
(ii) o segundo como sendo o estado o segundo ano em diante , até a morte.
Se todas as utilidades fossem fixadas em zero, exceto para o primeiro estado de metástase, então o resultado do modelo iria representar a proporção do grupo inicial que experimentou a metástase.
66
A construção de um modelo markoviano
Para calcular a expectativa de vida ajustada a qualidade e os custos ao longo da vida pra o tratamento de câncer de mama, nós adotamos os seguintes valores mostrados na tabela a seguir.
67
A construção de um modelo markoviano
Estado Markoviano Custo ($) Utilidade
Câncer localizado 500 0,95
Câncer recorrente 5000 0,80
Metástase 20.000 0,40
Morte 0 0,00
68
A construção de um modelo markoviano
Agora nós temos um modelo relativamente simples para simular o prognóstico de uma mulher diagnosticada com um câncer localizado.
69
Markov Cycle Tree
Os eventos que podem acontecer durante o ciclo podem ser modelados como sendo uma arvore de decisão conhecida como Markov Cycle Tree.
70
Markov Cycle Tree
Os pacientes que iniciam um ciclo no estado 1 passam através desta árvore uma vez durante o ciclo e a trajetória de probabilidades da arvores estão representadas pelas probabilidades de transição do estado 1 para cada um dos 4 estados.
71
Markov Cycle Tree
Estado 1
Morte Estado 4
Estado 3
Estado 4
Metástase
Localizada
Sem recorrência
Estado 1 0,971
C/ recorrência
Sobrevivência
0,965
0,035
0,021
0,030
0,700
Suponha o caso de uma doença na qual a probabilidade recorrência seja 51% por ano.
A probabilidade de transição é calculada como:
p rebleed = 1 - e = 1 - 0.6 = 0.4 - 0.51
Esta é probabilidade de recorrência por ano.
A probabilidade por mês é dada por:
p rebleed = 1 - e = 1 - 0.96 = 0.04 - 0.51/12
72
Markov Cycle Tree
Exemplo de Drummond (2005, p. 295-300)
Exemplo 2
75
76
77
Exemplo de Drummond (2005, p. 295-300)
79
Exemplo de Drummond (2005, p. 295-300)
Estado A 200< CD4 < 500 células/mm3
Estado B CD4 < 200 célula/mm3
Estado C HIV
Morte
80
Exemplo de Drummond (2005, p. 295-300)
Transição para
Transição para
Estado A Estado B Estado C Estado D
Estado A 0,721 0,202 0,067 0,01
Estado B 0 0,581 0,407 0,012
Estado C 0 0 0,75 0,25
Estado D 0 0 0 1
Probababilidades de Transição - Monoterapia
81
Exemplo de Drummond (2005, p. 295-300)
Transição para
Transição para
Estado A Estado B Estado C Estado D
Estado A 0,858
(1-sum)
0,103
(0,202 XRR)
0,034
(0,067xRR)
0,0055
(0,01XRR)
Estado B 0 0,787
(1-sum)
0,207
(0,407XRR)
0,006
(0,012xRR)
Estado C 0 0 0,807
(1-sum)
0,127
(0,25xRR)
Estado D 0 0 0 1
Probababilidades de Transição –Teraria Combinatória
Limitações dos Modelos Markovianos
Aplicados a Saúde
83
Limitações dos Modelos Markovianos
O uso de um modelo markoviano representa um processo que assume que o comportamento do processo em qualquer ciclo depende somente daquele ciclo [Sonnenber & Beck (1993)], isto é, a transição para um dado estado é independente da transição anterior, ou em outras palavras, isto equivale a probabilidade de morte devido a um ataque cardíaco é independente do número de vezes que a pessoa teve ataques cardíacos no passado.
84
Limitações dos Modelos Markovianos
Contudo, esta limitação pode ser superada expandindo-se o número de estados de saúde, de modo que cada estado represente um único estado de saúde. Isto permite que a taxa de eventos dependa da história clínica, mas aumenta o número de parâmetros a serem estimados e pode comprometer a capacidade de memória do programa disponível.
Se o número requerido de estados tornar-se muito grande, torna-se preferível usar uma simulação estocástica (Monte Carlo).
Exemplos
86
87
88
89
90
91
92
93
94
95
Diagrama de Tornado
96
97
Software Decision Maker
http://infolab.umdnj.edu/windm/
DATA by TreeAge http://www.treeage.com
http://www.palisade-br.com/PrecisionTree/5/tips/pt/gs/3.asp
www.herc.ox.ac.uk/books/modelling.html
Sugestão de Planilha
http://www.healthstrategy.com/markov/markovmatrix.html
98
99
Bibliografia Sugerida
Artigos
http://www.scielo.br/pdf/eins/v8n3/pt_1679-4508-eins-8-3-0376.pdf
100
101
Informações Adicionais
Society for Medical Decision Making
(http://www.smdm.org)
Recomendação
http://www.ufjf.br/cursoestatistica/files/2014/04/TCC-Manoel-F-S-N-200855015.pdf
http://www.cienciaesaudecoletiva.com.br/artigos/modelos-de-decisao-para-avaliacoes-economicas-de-tecnologias-em-saude/12532?id=12532
102
FIM
Giácomo Balbinotto Neto
(UFRGS/IATS)
Farmacoeconomia: Modelos de Markov
