Giácomo Balbinotto Neto (UFRGS)Ricardo Letizia Garcia (UERGS)

Farmacoeconomia:Modelos de Markov

2

Bibliografia Sugerida

Drummond et all (2005, cap.9)

Rascati (2010, cap.10)

3

Modelos de Markov

Em matemática, uma cadeia de Markov de tempo discreto é um processo estocástico de tempo discreto que apresenta a propriedade de Markov, chamada assim em homenagem ao matemático Andrei Andreyevich Markov.

A definição desta propriedade, também chamada de memória markoviana, é que os estados anteriores são irrelevantes para a predição dos estados seguintes, desde que o estado atual seja conhecido.

ANDREI MARKOV

5

O Uso dos Modelos de Markov

O modelo de Markov é classificado com sendo um modelo dinâmico que busca estudar a transição de um estado para o outro.

Segundo Kuntz & Wenstein (2004, p.141) eles são os mais usados nas avaliações econômicas de saúde.

6

O Uso dos Modelos de Markov

O modelo de Markov é uma técnic amatamática que permite a a apresentação e a análise de um processo randômico (aleatório) ao longo do tempo.

7

Quando Usar um Modelo de Markov?

Problemas que envolvem riscos que são contínuos ao longo do tempo.

A ocorrência dos eventos é importante;

Importantes eventos podem ocorrer mais de uma vez.

8

A Construção de um Modelo de Markov

Escolher um conjunto de estados de saúde mutuamente exclusivos.

Determinar as possiveis transações entre estes estados de saúde.

Determinar a extensão válida do ciclo clínico.

9

Aplicações do Modelo de Markov a avaliações de procedimentos

médicos

Weinstein et al. (1987) – coração;

Eddy (1987, 1989) - câncer de mama;

Fahs at al. (1992) - câncer cervical em pessoas idosas;

Krahn et al. (1994) - câncer de próstata;

Tostenson et al. (1990) - Terapia de reposição hormonal;

Tostenson at al. (1990) - osteoporose;

Sonnenberg & Beck (1993).

10

O Uso dos Modelos de Markov

Os modelos de Markov são estruturas analíticas que representam elementos chaves de uma doença e que, geralmente. são usadas nas avaliações econômicas.

[Sonnenberg & Beck (1993)].

11

O Uso dos Modelos de Markov

Os modelos markovianos são particularmente úteis para doenças nas quais os eventos podem ocorrer repetidamente ao longo do tempo, tais como para pacientes com câncer recorrente (câncer de mama) ou a progressão doenças crônicas (esclerose múltipla).

12

O Uso dos Modelos de Markov

Num modelo de Markov, a doença em questão é dividida em um conjunto finito de estados de saúde, e os indivíduos podem se mover entre os estados ao longo de um período de um período discreto de tempo de acordo com uma probabilidade de transição.

13

Propriedades de um Modelo de Markov

Pacinente sempre está um um dos finitos números do estado de saúde.

Os eventos são modelados como transições de um estaod para o outro.

Contribuições para o prognósdtico geral dependem da extensão do tempo gasto nos estados de saúde.

Durante cada ciclo, o paciente pode fazer uma transição de um estado para outro.

14

Diagrama do Estado de Transição

Saúdavel

Doente Morte

15

O Uso dos Modelos de Markov

15

WELL Uncomplicated malaria (S)

Uncomplicated malaria (R)

Severe malaria

DEAD

16

Dead Breast cancer

Dead Breast cancer

Dead Breast cancer

Alive Breast cancer

Alive Breast cancer

Alive Breast cancer

Dead Other causes

Dead Other causes

Dead Other causes

Well

Well

Well

Well

Cycle 1

Cycle 2

Cycle N

Baseline

17

O Uso dos Modelos de Markov

Quando fixamos estimativas referente ao uso de recursos e resultados (utilidade) a cada estado de saúde, e rodando o modelo com relação a um longo período de tempo, é possível gerar-se custos de longo prazo e resultados para hipotéticos conjunto de pacientes que receberão os tratamentos para uma dada doença.

18

O Uso dos Modelos de Markov

A natureza cíclica dos modelos markovianos é também útil para descrever eventos previsíveis que ocorrem ao longo do tempo tais como testes de câncer coloretal a cada cinco anos.

19

O Uso dos Modelos de Markov

O método markoviano consiste em designar valores numéricos a uma série de estados de saúde ao longo do tempo permitindo sintetizar dados sobre os custos, efeitos e qualidade de vida relacionada a saúde de alternativas estratégias clínicas através do cálculo da expectativa de vida, QALY e custos ao longo da vida.

20

Os Principais Elementos do Modelo Markoviano

Um modelo markoviano é um modelo que descreve um conjunto mutuamente exclusivo e coletivamente exaustivo de estados de saúde.

21

Os Principais Elementos do Modelo Markoviano

Cada pessoa no modelo deve residir em um e somente um estado de saúde em qualquer ponto do tempo.

A incrementos fixos de tempo [conhecidos como ciclos de Markov, que podem ser semanas, meses ou anos], as pessoas transitam entre estados de saúde de acordo com um conjunto de probabilidades de transição.

22

Os Principais Elementos do Modelo Markoviano

As probabilidades de transição podem ser tanto constantes ao longo do tempo ou dependentes do tempo.

Os estados do saúde podem ser transitórios (as pessoas podem revisitar o estado a qualquer tempo), transitório (a pessoa pode ficar no estado somente por um período), ou absorvente (uma vez que a pessoa entra no estado ele nunca pode sair dele).

23

Os Principais Elementos do Modelo Markoviano

Todas os indivíduos que residem num determinado estado de saúde são indistinguíveis uma da outra – tanto no que diz respeito aos atributos clínicos correntes como aos demográficos e históricos.

24

Os Principais Elementos do Modelo Markoviano

Para operacionalizar a estrutura de Markov são designados valores a cada estado de saúde que representa custos e utilidade do gasto de um ciclo naquele estado.

25

A construção de um modelo markoviano

A estrutura e complexidade de um modelo markoviano irá depender da aplicação clínica, da disponibilidade de dados e de vários pressupostos simplificadores.

26

A construção de um modelo markoviano

1- Especificar os estados markovianos

Os estados de saúde devem refletir não somente todos os estados relevantes de saúde associados com a doença e o tratamento ao longo do tempo, mas devem incluir também toda a história clinica relevante.

27

A construção de um modelo markoviano

1 - Especificar os estados markovianos

Um delineamento de estados de saúde mutuamente exclusivos deve ser determinado listando-se diferentes cenários que possam ser vivenciados por um paciente.

Esses estados são chamados de estados de Markov.

Os pacientes não podem situar-se em mais de um estado durante cada ciclo.

28

A construção de um modelo markoviano

doente

saudável

saudável

saudável

morte

0

1

2

3

morte

Adoece novamente

morteAdoece novamente

29

A construção de um modelo markoviano

Exemplo para o caso do tratamento do câncer de mama (4 estados):

1 - câncer localizado;2 - recorrência localizada;3 - metástase (disseminação do câncer)4 - morte (desfecho).

30

A construção de um modelo markoviano

2 - Escolher a extensão do ciclo markoviano, o qual deve ser um incremento constante de tempo.

A escolha da extensão do ciclo irá depender do do timing dos eventos no processo de doença e da expectativa de vida da população (devem ser usados ciclos curtos com baixas expectativas de vida).

31

A construção de um modelo markoviano

No caso do câncer de mama, o ciclo markoviano é de 1 ano.

32

A construção de um modelo markoviano

3 - Especificação das probabilidades de transição.

Seja A = (aij) uma matriz (n x n) na qual um indivíduo no estado de saúde i irá transitar (passar) para o estado de saúde j dentro de um ciclo (no caso aqui 1 ano).

33

A construção de um modelo markoviano

3 - Especificação das probabilidades de transição.

Seja A = (aij) uma matriz (n x n) na qual um indivíduo no estado de saúde i irá transitar (passar) para o estado de saúde j dentro de um ciclo (no caso aqui 1 ano).

34

A construção de um modelo markoviano

Por definição:

aij = 1 para todo o i.

35

A construção de um modelo markoviano

As probabilidades de transição podem ser iguais a zero, significando que uma determinada transição não é permitida, ou que não existe tal possibilidade tanto em termos teóricos como empíricos.

As probabilidades de transição podem ser também funções do tempo. Para probabilidades de transição que variam com o tempo, haverá diferentes matrizes Ak para cada ciclo k.

36

A construção de um modelo markoviano

A probabilidade é um número que toma valores situados entre 0 e 1.

Ela refere-se à possibilidade de que um determinado resultado venha a ocorrer.

Se p = 0 (o evento não ocorre). Se p = 1 o evento corre com certeza.

37

A construção de um modelo markoviano

-rtp = 1- e

a taxa r pode ser usada para estimar a probabilidade p de transição de um evento que ocorre a um determinado intervalo de tempo t.

e = logaritmo natural.

38

A construção de um modelo markoviano

Para o caso do tratamento do câncer de mama é assumido aqui que todas as probabilidades de transição são constantes e iguais a seguinte matriz quadrada:

0,945 0,006 0,014 0,035

0 0,913 0,052 0,035A = 0 0 0,607 0,393

0 0 0 1

39

A construção de um modelo markoviano

A primeira linha da matriz A indica que uma mulher pode transitar do estado 1 (detecção do câncer de mama) para qualquer outro dos três estados, ou permanecer naquele estado por um ano com uma probabilidade de 0,945.

A última linha de quarta coluna representa o estado de morte (desfecho).

40

A construção de um modelo markoviano

A matriz markoviana representa um prognóstico de um câncer de mama localizado sem tratamento.

Uma diferente matriz de transição deveria ser especificada para refletir o prognóstico de uma mulher com câncer de mama que está disposta com um tratamento sob investigação.

41

A construção de um modelo markoviano

Suponha que exista um tratamento que mostre uma redução na recorrência do câncer de mama em 50% para aquelas mulheres nas quais foi feito um diagnóstico inicial de câncer de mama.

Isto implica que que as probabilidades de transição de um estado de câncer localizado, tanto para o câncer recorrente como para o estado de metástase deveria ser dividido por dois.

42

A construção de um modelo markoviano

Assim, uma nova matriz de transição, para este novo tratamento seria:

0,955 0,003 0,007 0,0035

0 0,913 0,052 0,035A = 0 0 0,607 0,393

0 0 0 1

43

A construção de um modelo markoviano

4 - Alocação de custos e utilidade para cada estado de saúde.

Se a utilidade de 1 é designada ao todos os estados exceto a morte a qual é designada pelo valor 0, então o modelo irá calcular a esperança de vida.

44

A construção de um modelo markoviano

Se as utilidades representam ajustamentos relacionados a qualidade de vida (QALYs) para cada estado de saúde, então o modelo irá calcular a expectativa ajustada de qualidade de vida.

Para calcular a expectativa de vida descontada ou a utilidade de qualidade de vida, os valores são divididos por:

k (1+r) , onde r é a taxa de desconto correspondente a extensão do ciclo de Markov e k é índice do ciclo..

45

A construção de um modelo markoviano

Os valores de utilidade podem ser úteis no cálculo de outras medidas de resultados.

Se todos os valores são iguais a zero, exceto para um único estado (metástase) então o resultado do modelo de Markov seria uma média temporal de um indivíduo na velocidade do coorte (grupo) no estado de metástase (tempo de residência (residency time)).

46

A construção de um modelo markoviano

Suponha que o estado de metástase seja dividido em dois estados:

(i) um estado temporário onde os pacientes ficam somente seu primeiro ano com metástase e

(ii) o segundo como sendo o estado o segundo ano em diante , até a morte.

Se todas as utilidades fossem fixadas em zero, exceto para o primeiro estado de metástase, então o resultado do modelo iria representar a proporção do grupo inicial que experimentou a metástase.

47

A construção de um modelo markoviano

Para calcular a expectativa de vida ajustada a qualidade e os custos ao longo da vida pra o tratamento de câncer de mama, nós adotamos os seguintes valores mostrados na tabela a seguir.

48

A construção de um modelo markoviano

Estado Markoviano Custo ($) Utilidade

Câncer localizado

500 0,95

Câncer recorrente

5000 0,80

Metástase 20.000 0,40

Morte 0 0,00

49

A construção de um modelo markoviano

Agora nós temos um modelo relativamente simples para simular o prognóstico de uma mulher diagnosticada com um câncer localizado.

50

Markov Cycle Tree

Os eventos que podem acontecer durante o ciclo podem ser modelados como sendo uma arvore de decisão conhecida como Markov Cycle Tree.

51

Markov Cycle Tree

Os pacientes que iniciam um ciclo no estado 1 passam através desta árvore uma vez durante o ciclo e a trajetória de probabilidades da arvores estão representadas pelas probabilidades de transição do estado 1 para cada um dos 4 estados.

52

Markov Cycle Tree

Estado 1

MorteEstado 4

Estado 3

Estado 4

Metástase

Localizada

Sem recorrênciaEstado 1

0,971

C/ recorrência

Sobrevivência

0,965

0,035

0,021

0,030

0,700

Suponha o caso de uma doença na qual a probabilidade recorrência seja 51% por ano.A probabilidade de transição é calculada como:

p rebleed = 1 - e = 1 - 0.6 = 0.4- 0.51

Esta é probabilidade de recorrência por ano. A probabilidade por mês é dada por:

p rebleed = 1 - e = 1 - 0.96 = 0.04- 0.51/12

Exemplo de Drummond (2005, p. 295-300)

55

Exemplo de Drummond (2005, p. 295-300)

Estado A 200< CD4 < 500 células/mm3

Estado B CD4 < 200 célula/mm3

Estado CHIV

Morte

56

Exemplo de Drummond (2005, p. 295-300)

Transição para

Transição para

Estado A Estado B Estado C Estado D

Estado A 0,721 0,202 0,067 0,01

Estado B 0 0,581 0,407 0,012

Estado C 0 0 0,75 0,25

Estado D 0 0 0 1

Probababilidades de Transição - Monoterapia

57

Exemplo de Drummond (2005, p. 295-300)

Transição para

Transição para

Estado A Estado B Estado C Estado D

Estado A 0,858(1-sum)

0,103(0,202 XRR)

0,034(0,067xRR)

0,0055(0,01XRR)

Estado B 0 0,787(1-sum)

0,207(0,407XRR)

0,006(0,012xRR)

Estado C 0 0 0,807(1-sum)

0,127(0,25xRR)

Estado D 0 0 0 1

Probababilidades de Transição –Teraria Combinatória

Limitações dos Modelos Markovianos

Aplicados a Saúde

59

Limitações dos Modelos Markovianos

O uso de um modelo markoviano representa um processo que assume que o comportamento do processo em qualquer ciclo depende somente daquele ciclo [Sonnenber & Beck (1993)], isto é, a transição para um dado estado é independente da transição anterior, ou em outras palavras, isto equivale a probabilidade de morte devido a um ataque cardíaco é independente do número de vezes que a pessoa teve ataques cardíacos no passado.

60

Limitações dos Modelos Markovianos

Contudo, esta limitação pode ser superada expandindo-se o número de estados de saúde, de modo que cada estado represente um único estado de saúde. Isto permite que a taxa de eventos dependa da história clínica, mas aumenta o número de parâmetros a serem estimados e pode comprometer a capacidade de memória do programa disponível.

Se o número requerido de estados tornar-se muito grande, torna-se preferível usar uma simulação estocástica (Monte Carlo).

61

SoftwareDecision Maker

http://infolab.umdnj.edu/windm/

DATA by TreeAge http://www.treeage.com

http://www.palisade-br.com/PrecisionTree/5/tips/pt/gs/3.asp

Excel

62

Bibliografia Sugerida

63

Informações Adicionais

Society for Medical Decision Making (http://www.smdm.org)

FIM

Giácomo Balbinotto Neto (UFRGS)Ricardo Letizia Garcia (UERGS)

Farmacoeconomia:Modelos de Markov