Embed Size (px)
Citation preview
Avaliação do processo de implementação e
adaptação cultural de um programa de
prevenção ao abuso de drogas e fortalecimento de vínculos familiares
Sheila Giardini Murta
Larissa de Almeida Nobre-Sandoval
Marina Pedralho
Thauna Tavares
Carlos Eduardo Ramos
Departamento de Psicologia Clínica – UnB
Programa Fortalecendo FamíliasAllen, Foxcroft & Coombes, 2006
Prevenção universal – Adolescentes de 10 a 14 anos e seus responsáveis (2)
Fatores de proteção para o abuso de
drogas
Vínculo afetivo seguro entre crianças e pais
Disciplina e responsabilidades
Monitoramento e supervisão dos pais
Comunicação
Ensino de valores pró-sociais
Envolvimento dos pais na vida da criança / apoio
parental
A pesquisa em prevenção
Prevalência e Etiologia
Desenvolvimento do programa
Eficácia
Efetividade
DifusãoAdaptação Cultural
Programa Fortalecendo Famílias:
Estudos Prévios
EUA
Reino Unido
Itália
Suécia
Alemanha
Polônia
Sessões Pais:
Habilidades
parentais e estilos
parentais efetivos
Sessões Jovens:
Habilidades de
vida e atitudes
positivas
Sessões Família:
Vínculos,
qualidade da
relação familiar,
comunicação e
habilidades de
solução de
problemas
Fa
tore
s de
risco
Fa
tore
s d
e p
rote
çã
o
Resultados proximais
Melhoria em
habilidades
parentais e estilo
parental
autoritativo
Melhoria em
habilidades e
atitudes dos jovens
Melhoria em
relacionamento
familiar
Resultados distais
Redução no uso de
substâncias entre
jovens
Redução em
comportamento
antissocial de
jovens
Melhoria no
desempenho e
engajamento
acadêmico
Outros efeitos?
Modelo Lógico do Programa Fortalecendo Famílias
Definição de adaptação cultural
Modificação sistemática de um protocolo de intervenção baseado
em evidências considerando a cultura, o contexto e a linguagem,
tornando-o compatível com valores, significados e padrões
culturais do público-alvo ou cliente.
Castro, Barrera Jr e Steiker, 2010
Clareza + Atratividade + Pertinência Cultural
Por que a adaptação cultural é
importante?
Espera-se, como resultado da implementação de um programa
culturalmente adaptado:
Responsividade: Maior participação e satisfação de famílias e adolescentes
Retenção: Menor desistência de famílias e adolescentes
Efetividade favorecida
Sustentabilidade favorecida
A adaptação cultural é ética e tecnicamente indicada.
Permite uso eficiente
dos recursos públicos.
Passos para adaptação cultural:(Kumpfer, Xie & O,Driscoll, 2012)
1. Avaliar necessidades
2. Revisar a literatura
3. Criar equipe de adaptação cultural
4. Traduzir o material
5. Implementar para testar e gerar subsídios para posterior adaptação:
implementação preliminar com adaptação mínima.
Objetivos
Avaliar a adequação cultural de materiais e atividades do Programa Fortalecendo Famílias para a cultura brasileira e, com base nisto, levantar subsídios para posterior adaptação cultural.
Avaliar o processo de implementação do Programa Fortalecendo Famílias em sua versão pré-piloto.
Adaptar os instrumentos de avaliação de resultados (pré e pós-teste) para o português do Brasil.
Critérios de Avaliação
Relevância Cultural:
Pertinência
Atratividade
Clareza
Avaliação de Processo:
Fidelidade
Contexto
Satisfação
Responsividade
Dose recebida
Castro et al., 2010
Berkel et al., 2001; Steckler e Linnan, 2002;
Delineamento
Estudo descritivo com métodos mistos
Múltiplas medidas
Múliplos informantes
Participantes da avaliação
93 pais/ responsáveis (familiares)
107 jovens
6 multiplicadores federais
15 facilitadores do COSE e/ou CRAS
05 gestores
02 desenvolvedores do programa
04 observadores externos
Territórios de implementação
Centros de Orientação Socioeducativa (COSE), serviço de
proteção social básica que integra a Política Nacional de Assistência
Social
8 grupos:
Sobradinho (G1 e G2),
Taguatinga (G1 e G2),
Ceilândia
Gama Leste,
Núcleo Bandeirante
Paranoá.
Formato
7 encontros semanais, com 2 horas de duração cada.
1ª hora jovens e familiares em grupos separados
2ª hora grupo da família participante reunida
3 facilitadores para execução do programa:
1 para facilitar o grupo de pais/responsáveis
2 para o grupo de jovens.
Cuidadores para acompanhar as crianças menores de 10 anos
não contempladas no programa
Pais/responsáveis
• Amor e Limites
• Como apoiar os objetivos/sonhos de
seus filhos
• Como estabelecer as regras da casa
• Como incentivando o bom
comportamento
• Como dar consequências aos
comportamentos
• Como construir relações de apoio
• Como proteger contra o abuso de
substâncias
• Como lidar com o Estresse
• Como dizer que não concorda
• Como compreender as necessidades
de suas famílias
Temas
Jovens
• Conhecer suas metas e
sonhos
• Desenvolver
admiração por seus
responsáveis
• Como lidar com o
estresse
• Aprender a cumprir
regras
• Como lidar com a
pressão dos amigos
• Como são os bons
amigos
• Ajudar a outros
Famílias• Como apoiar aos sonhos
e metas dos jovens• Como desenvolver
admiração pela própria família
• Como usar reuniões familiares e trabalhar com consequências
• Compreender os valores
familiares • Como ajudar os filhos a
lidar com a pressão dos pares
• Síntese dos conteúdos trabalhados
Procedimentos (exemplos)
Exposição e discussão de vídeos / interação familiar
Árvore Genealógica
Mapa do Tesouro
Brasão Familiar
Uso de materiais: TV, DVD, papel, canetinhas...
Instrumentos
Questionários
Diários de campo
Checklists
Roteiros de Entrevistas Semi-Estruturadas
Roteiros de Observação
Sentenças incompletas
Roteiros para Grupos nominais
Momentos, estratégias e atores da avaliação
Durante o programa Última sessão Após o término
Observação
(Checklist e Diário de campo):
Observadores( 4 grupos)
Roteiro pós sessão, Diário de campo
e checklist : líderes de grupo
Escala de avaliação semanal:
familiares e jovens
Entrevistas: por telefone com
familiares desistentes
Sentenças
Incompletas
Satisfação
Global:
Familiares e
adolescentes
Grupos
nominais:Multiplicadores
Entrevista:
Desenvol-
vedores
do
programa
Após
treinamentoDois meses
após
Grupos nominais:
familiares,
jovens
líderes
de grupos e
gestores.
Entrevistas de
impacto:
Familiares
Duração
O programa em sua versão pré piloto foi executado entre os meses de outubro e dezembro de 2013.
A avaliação foi realizada entre os meses de outubro e fevereiro de 2013.
Resultados
Adequação Cultural
Critério: Pertinência – Observadores
0
0,5
1
1,5
2
2,5
3
3,5
4
Sessão 1Sessão 2
Sessão 3Sessão 4
Sessão 5Sessão 6
Sessão 7
Nú
me
ro d
e o
bse
rva
çõ
es Tudo a ver com a cultura local
Muito a ver com a cultura local
Razoavelmente a ver com a
cultura local
Pouco a ver com a cultural
local
Nada a ver com a cultura local
Critério: Atratividade – Observadores
0
0,5
1
1,5
2
2,5
3
3,5
4
Sessão 1Sessão 2
Sessão 3Sessão 4
Sessão 5Sessão 6
Sessão 7
Nú
me
ro d
e o
bse
rva
çõ
es
Altamente atrativas
Bastante atrativas
Razoavelmente atrativas
Pouco atrativas
Muito pouco atrativas
Critério: Clareza – Observadores
0
0,5
1
1,5
2
2,5
3
3,5
4
Sessão 1Sessão 2
Sessão 3Sessão 4
Sessão 5Sessão 6
Sessão 7
Nú
me
ro d
e o
bse
rva
çõ
es
Totalmente claro
Bastante claro
Mais ou menos claro
Pouco claro
Nada claro
Principais indicações de adaptação cultural–Grupos nominais mistos
Aspectos linguísticos
Redução de atividades escritas e uso de imagens e
atividades orais como substitutos.
Aprimorar a qualidade dos DVDS no que diz respeito aos
atores, cenários, linguagem e áudio;
Mudança em “Brasão da família”
Resultados
Processo de implementação
Fidelidade e contexto
Líderes de grupos e observadores
Flutuações na fidelidade do programa, com omissões de
procedimentos mais frequentemente ao início e ao final de sua
implementação.
Influenciou de forma negativa:
Avaliações pré e pós não planejadas no horários das sessões 1 e 7
Ausência de planejamento em conjunto entre os líderes de grupo
Ausência de preparação do material pelos líderes de grupo
Tamanho do grupo (muito grande ou muito pequeno)
Ausência de cuidadores para as crianças menores de dez anos
Problemas no transporte
Influenciou de forma positiva
O ambiente dos Centros de Orientação Socioeducativa (COSE).
O engajamento das famílias que participaram do programa.
A habilidade dos facilitadores dos COSES e CRAS em articular
parcerias no território para conseguir apoio à atividades e
estratégias de favorecer a adesão ( ex: brindes para o sorteio,
vales em restaurantes ou cinema).
Responsividade
Avaliação de participação e engajamento
dos jovens – Líderes de grupos
Tabela 3.
Indicadores de responsividade dos jovens às sessões para jovens
Média Mínimo Máximo Moda
Participação no grupo 4,4 2 5 5
Apoio entre os participantes 4 1 5 4
Entendimento do que foi abordado 4,7 3 5 5
Utilidade do tema para suas necessidades 4,8 2 5 5
Satisfação com os procedimentos 4,3 1 5 5
Nota: 1 = muito fraco; 2 = fraco; 3 = mais ou menos; 4 = bom; 5 = muito bom.
Avaliação de participação e engajamento
dos familiares – Líderes de grupos
Tabela 4.
Indicadores de responsividade dos familiares às sessões para pais/responsáveis
Média Mínimo Máximo Moda
Participação no grupo 4,5 3 5 5
Apoio entre os participantes 4,4 2 5 5
Entendimento do que foi abordado 4,2 2 5 4
Utilidade do tema para suas necessidades 4,6 3 5 5
Satisfação com os procedimentos 4,6 3 5 5
Nota: 1 = muito fraco; 2 = fraco; 3 = mais ou menos; 4 = bom; 5 = muito bom.
Avaliação de participação e engajamento
sessão família – Líderes de grupos
Tabela 5.
Indicadores de responsividade dos familiares e jovens às sessões para famílias
Média Mínimo Máximo Moda
Participação no grupo 4,6 3 5 5
Apoio entre os participantes 4,4 2 5 5
Entendimento do que foi abordado 4,4 3 5 5
Utilidade do tema para suas necessidades 4,7 1 5 5
Satisfação com os procedimentos 4,5 3 5 5
Nota: 1 = muito fraco; 2 = fraco; 3 = mais ou menos; 4 = bom; 5 = muito bom.
Satisfação
Satisfação global
Sentenças incompletas
Pais/responsáveis n = 46
Jovens n = 58
Relatos de satisfaçãoCategorias de satisfação relativas ao programa, segundo familiares e jovens, com respectivas
frequências de relatos por categoria.
Categoria Definição Jovens Familiares
Frequência Frequência
Atividades Jogos e brincadeiras realizados durante a sessão 77 22
Aprendizados Conhecimentos adquiridos ao longo do programa 40 25
Percepções não
descritivas
Palavras gerais que expressam satisfação sem
descrever algo específico do programa36 22
Trabalho em
grupo Trocas entre os membros do grupo18 8
Novas amizades Conhecer pessoas e fazer novas amizades 16 3
Trabalho em
família Possibilidade de trabalhar junto dos familiares14 6
Brindes Objetos e atividades prêmio pela participação 12 3
Facilitadores Relacionamento com os facilitadores do programa 10 14
Nota: Apresentados apenas os relatos com frequência superior o igual a 10.
Relatos de insatisfaçãoTabela 5. Categorias de insatisfação relativas ao programa, segundo familiares e jovens, com
respectivas frequências de relatos por categoria.
Categoria Definição Jovens Familiares
Frequência Frequência
Atividades Jogos e brincadeiras realizados durante a sessão 16 1
Estrutura do
programaFormato e horário das atividades 12 8
Relacionamento
com os colegas
Problemas e dificuldades de relacionamento
com os colegas do grupo10 1
Regras e
consequências
Ter que seguir as regras e consequências
estabelecidas no início do programa7 0
Material
audiovisualUtilização de material audiovisual 6 0
BrindesDeixar de ganhar objetos e atividades prêmio
pela participação; falta de organização5 1
Percepções não
descritivas
Palavras gerais que expressam insatisfação sem
descrever algo específico do programa5 0
Nota: Apresentados apenas os relatos com frequência superior o igual a 5.
Dose recebida:transferência de habilidades para o
cotidiano
Entrevista de impacto com pais responsáveis
n = 30
39
4
Colocou em prática Não colocou em prática
0 2 4 6 8 10 12
Comunicação assertiva
Tarefas de casa
Definição de limites
Tempo com os filhos
Regulação das emoções
Respeito aos filhos
Empatia
Desempenho na escola
Demonstração de afeto
Mudança parcial
Número de relatos
Tip
os
de
prá
tic
a
“Os meus filhos estão me respeitando mais. Não ficam reclamando com
os pedidos de trabalho. Entendem melhor o meu lado”
“A relação da família melhorou bastante. Tenho
conversado mais com os filhos. Adorei o programa, tem me ajudado muito”
“...A maneira do pai tratar ele [filho]. Agora é com educação. Antes era
só no grito e agora não...”
“A menina tem feito as atividades de casa sem reclamar e está me respondendo menos, estamos conversando mais”
“Tenho mais paciência com os filhos, tenho mais comunhão, mais amor, mais carinho, mais atenção e respeito mais S.”
Pais/responsáveis relataram fazer uso de conhecimentos e
habilidades aprendidas no programa
Relatam perceber impacto do programa sobre a qualidade das
interações na família, no próprio comportamento de comunicar-se
com os filhos, regular as emoções e dispender tempo com os filhos
E no comportamento dos filhos, como no engajamento em tarefas
de casa, obediência a regras e melhora no desempenho escolar.
Pais demonstraram desejo de ter o material para consulta em casa,
apresentá-lo a familiares e vizinhos e
atuar como multiplicadores do programa.
“O programa funcionou super bem! Instrumentalizou o trabalho com as
famílias. Conseguiu materializar o trabalho. Fantástico!” (S1.)
“Esse Programa é a estratégia mais eficaz para trabalhar o fortalecimento de
família que eu conheci até agora (...). Nosso maior desejo, meu e de meus
colegas de trabalho, é impactar positivamente as famílias com as quais
trabalhamos por meio do fortalecimento de vínculos, mas notamos que ainda não conseguimos alcançar, de modo eficaz, esse objetivo. (S2.)
“Acredito na exequibilidade desse projeto e no quanto as famílias podem ser
impactadas positivamente com a realização das ações desse Programa, visto
que sua estratégia é preventiva.”(S2.)
Conclusões
O programa foi percebido como suficientemente relevante, atrativo e
claro, por familiares, jovens, observadores e líderes de grupo.
Adaptação de materiais e procedimentos
Formação de líderes de grupos e planejamento das sessões
Infraestrutura
A seleção adequada e a preparação das famílias para ingresso
Famílias em violação severa de direitos / outros serviços.
Boa aceitabilidade / potencial de benefício
Resultados justificam difusão do programa culturalmente adaptado
Maiores níveis de retenção e responsividade no processo.
Efetividade e sustentabilidade favorecidas.
Uma agenda de pesquisa... Adaptação cultural (contínua)
Efetividade ao longo do tempo
Difusão
adoção,
implementação,
disseminação e
sustentabilidade
Qualidade da implementação
Impacto em serviços de proteção social básica
Eficiência
Fortalecimento
da Ciência da
Prevenção no
Brasil
Impacto em
indicadores diversos
em saúde mental
