17
1 Área Temática: Jogos de Empresa Título O uso de redes bayesianas na interpretação de sinais fracos em ambientes simulados de gestão – uma pesquisa exploratória AUTORES ALEXANDRE DEL REY Universidade de São Paulo [email protected] ANTONIO CARLOS AIDAR SAUAIA Universidade de São Paulo [email protected] Resumo A análise ambiental para o planejamento estratégico é uma atividade importante para as organizações (ALMEIDA, 2009). Neste contexto, antecipar-se às surpresas estratégicas (ANSOFF, 1975) e mobilizar a organização para a ação (GILAD, 2004 ) são fundamentais para se proteger de ameaças em potencial e aproveitar as oportunidades que se apresentam. O processo de monitoramento estratégico do ambiente na organização (ALMEIDA et al, 2007) ajuda a mesma a monitorar sinais fracos. Contudo as técnicas disponíveis como a análise de cenários (SHOEMAKER, 1995), a criação coletiva de sentido (LESCA, 1995) e o método Delphi (WRIGHT, 2000) são suscetíveis a viéses comportamentais (BAZERMAN, 2004; MARCH, 1988). O objetivo deste artigo foi avaliar a utilização dinâmica de Redes Bayesianas em conjunto com outras técnicas na interpretação de sinais fracos (MICHAELI & SIMON, 2008; DEL REY & ZWICKER, 2010), no ambiente virtual de um laboratório de gestão (SAUAIA, 2010) para o cálculo da previsão da demanda de mercado, (SOUZA & SAUAIA, 2010) através da análise de dados deste ambiente. O estudo mostrou ser viável a aplicação das redes bayesianas para a previsão de demanda, podendo ser replicado em ambientes laboratoriais com maior massa de dados primários. Abstract The environmental analysis for strategic planning is an important activity for organizations (ALMEIDA, 2009). In this context, anticipating strategic surprises (Ansoff, 1975) and mobilizing the organization for action (Gilad, 2004) are essential to protect those organizations from potential threats and opportunities that present themselves. The process of strategic monitoring the environment in the organization (ALMEIDA et al, 2007) helps it to monitor and identify weak signals. However the available techniques such as scenario analysis (SHOEMAKER, 1995), the collective creation of meaning (LESCA, 1995) and the Delphi method (Wright, 2000) are susceptible to behavioral biases (Bazerman, 2004; MARCH, 1988). The aim of this paper was to evaluate the use of dynamic Bayesian networks in conjunction with other techniques in the interpretation of weak signals (Michael & SIMON, 2008; DEL REY & ZWICKER, 2010), in the virtual environment of a laboratory of management (SAUAIA, 2010) to calculate the forecast of market demand, (SOUZA & SAUAIA, 2010) by analyzing data from this environment. The

Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

1

Área Temática: Jogos de Empresa Título O uso de redes bayesianas na interpretação de sinais fracos em ambientes simulados de gestão – uma pesquisa exploratória AUTORES ALEXANDRE DEL REY Universidade de São Paulo [email protected] ANTONIO CARLOS AIDAR SAUAIA Universidade de São Paulo [email protected] Resumo A análise ambiental para o planejamento estratégico é uma atividade importante para as organizações (ALMEIDA, 2009). Neste contexto, antecipar-se às surpresas estratégicas (ANSOFF, 1975) e mobilizar a organização para a ação (GILAD, 2004 ) são fundamentais para se proteger de ameaças em potencial e aproveitar as oportunidades que se apresentam. O processo de monitoramento estratégico do ambiente na organização (ALMEIDA et al, 2007) ajuda a mesma a monitorar sinais fracos. Contudo as técnicas disponíveis como a análise de cenários (SHOEMAKER, 1995), a criação coletiva de sentido (LESCA, 1995) e o método Delphi (WRIGHT, 2000) são suscetíveis a viéses comportamentais (BAZERMAN, 2004; MARCH, 1988). O objetivo deste artigo foi avaliar a utilização dinâmica de Redes Bayesianas em conjunto com outras técnicas na interpretação de sinais fracos (MICHAELI & SIMON, 2008; DEL REY & ZWICKER, 2010), no ambiente virtual de um laboratório de gestão (SAUAIA, 2010) para o cálculo da previsão da demanda de mercado, (SOUZA & SAUAIA, 2010) através da análise de dados deste ambiente. O estudo mostrou ser viável a aplicação das redes bayesianas para a previsão de demanda, podendo ser replicado em ambientes laboratoriais com maior massa de dados primários. Abstract The environmental analysis for strategic planning is an important activity for organizations (ALMEIDA, 2009). In this context, anticipating strategic surprises (Ansoff, 1975) and mobilizing the organization for action (Gilad, 2004) are essential to protect those organizations from potential threats and opportunities that present themselves. The process of strategic monitoring the environment in the organization (ALMEIDA et al, 2007) helps it to monitor and identify weak signals. However the available techniques such as scenario analysis (SHOEMAKER, 1995), the collective creation of meaning (LESCA, 1995) and the Delphi method (Wright, 2000) are susceptible to behavioral biases (Bazerman, 2004; MARCH, 1988). The aim of this paper was to evaluate the use of dynamic Bayesian networks in conjunction with other techniques in the interpretation of weak signals (Michael & SIMON, 2008; DEL REY & ZWICKER, 2010), in the virtual environment of a laboratory of management (SAUAIA, 2010) to calculate the forecast of market demand, (SOUZA & SAUAIA, 2010) by analyzing data from this environment. The

Page 2: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

2

study proved feasible the application of Bayesian networks to forecast demand and can be replicated in laboratory environments with greater volume of primary data. Palavras Chaves: Redes Bayesianas, Inteligência Competitiva, Sinais Fracos, Análise Ambiental, Estratégia

Page 3: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

3

PARTE 1 – Revisão de Literatura Introdução Um problema sempre atual nas organizações está em imaginar o futuro, e com base nesta visão, fazer as escolhas apropriadas que levarão a empresa a sobrevivência e preferencialmente ao sucesso. Conforme Almeida “Planejamento Estratégico é uma técnica administrativa que procura ordenar as idéias das pessoas, de forma que se possa criar uma visão do caminho que se deve seguir (estratégia)” (ALMEIDA, 2009 – p. 13). No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados diversos. No seu livro “Safari de Estratégia”, Mintzberg et al. apresentam um histórico da evolução do planejamento estratégico dentro das organizações e 10 escolas complementares do processo de formulação estratégica. Nele os autores apresentam alguns dos possíveis significados da palavra estratégia, a estratégia pretendida como um plano, a estratégia realizada como um padrão, a estratégia como uma posição ocupada no mercado, a estratégia como uma perspectiva a ser seguida e adotada ou a estratégia como um “truque”, uma artimanha para enganar o seu oponente. Desta forma a estratégia realizada é uma combinação da estratégia emergente com a estratégia deliberada, esta última que é formada pela estratégia pretendida, excluindo-se a estratégia não-realizada. (MINTZBERG et al, 1998, pp. 13-21) Por estes aspectos, a análise do ambiente de negócios passa a ser essencial para o sucesso das organizações, já que ele é necessário tanto para a definição de uma estratégia deliberada, como também são os ingredientes fundamentais para a estratégia emergente. “A análise do ambiente é normalmente a etapa mais importante do Plano Estratégico, pois é quando as entidades são levadas a alcançar a eficácia por meio da descoberta de oportunidades e ameaças” (ALMEIDA, 2009, p. 18) Para fazer uso das informações obtidas através da análise ambiental, as organizações utilizam-se de um processo conhecido como Inteligência Competitiva. De acordo com Kirk Tyson, “Inteligência Competitiva é o processo sistemático que transforma pedaços e partes aleatórias de dados em conhecimento estratégico” (TYSON 2002, p. 1-3). Um dos principais objetivos deste conhecimento estratégico gerado pela Inteligência Competitiva é o de se antecipar e evitar estar despreparado frente a surpresas estratégicas. Termo cunhado por Igor Ansoff em seu artigo inovador de 1975, surpresas estratégicas são mudanças repentinas, urgentes e não familiares na perspectiva da organização que ameaçam seja por uma grande reversão na lucratividade ou por uma perda de uma grande oportunidade. (ANSOFF, 1975, p.2)

Para identificar e agir frente a estas surpresas estratégicas, é necessário monitorar o ambiente de negócios em busca de indícios, sinais fracos que permitam identificar, de maneira antecipada uma surpresa estratégica. "Surpresas não são realmente tão surpreendentes. Isto pode soar um pouco trivial, mas pode não ser tão trivial assim. Isto significa que aqueles que têm a responsabilidade de agir o suficientemente cedo, e não necessariamente quaisquer outras pessoas ignoram os sinais fracos (early warning) de uma "surpresa" eminente. A falha é na falta de ação, nos ataques mais

Page 4: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

4

surpreendentes houve de fato alguém que previu os riscos e alertou sobre eles, mas normalmente estas pessoas foram simplesmente ignoradas ou consideradas como profetas do apocalipse" - (GILAD, 2004 - p.5) Para interpretar e analisar sinais fracos no meio ambiente, existem algumas técnicas desenvolvidas, entre elas técnica de cenários (SCHOEMAKER, 1995), criação coletiva de sentido (LESCA, 1995) e discussão com especialistas (WRIGHT, 2000). Todas estas técnicas apresentam limitações e utilizam muito pouco os métodos quantitativos de análise. Algumas das limitações e vieses que abordagem subjetivas são citadas em Del Rey e Zwicker (2010, pg 2410-2413), e são estes mesmos vieses e limitações que impedem muitas vezes a tomada de decisão e a ação, conforme criticado por Ben Gilad em seu livro “Early Warning” (GILAD, 2004) O objetivo deste artigo é utilizar redes bayesianas na inferência de indícios, sinais fracos que nos alerte sobre surpresas estratégicas conforme o método proposto por Del Rey e Zwicker (2010, p 2417-2428) em ambientes virtuais de negócios e avaliar alguns de seus benefícios percebidos, caso existentes. Conceito 1: Utilização de redes bayesianas na interpretação de sinais fracos. Devido à natureza intrínseca destes indícios de rupturas futuras, ameaças e oportunidades, que são conhecidos por sinais fracos e são de caráter antecipatório, qualitativo, ambíguo, fragmentado, de vários formatos e fontes (BLANCO & LESCA 1998, p. 3) , os métodos de interpretação e redução de incertezas para sinais fracos atualmente utilizados são majoritariamente qualitativos. (LESCA 1995, SCHOEMAKER, 1995, WRIGHT, 2000) Embora o processo de inferência seja um processo que requer a criação de alternativas e relações de causa e efeito, o que o define de certa forma como um processo criativo (CLEMEN & REILLY, 2004 – p. 217) , a utilização de uma metodologia quantitativa não altera esta condição. Na verdade a complementa. A utilização de redes bayesianas na interpretação de sinais fracos apresenta alguns benefícios complementares em relação a metodologias majoritariamente subjetivas. Alguns dos vieses comuns na tomada de decisão, a ancoragem, a pseudocerteza e a utilidade transacional podem ser minimizados a partir de metodologias de caráter mais quantitativo (DEL REY & ZWICKER, 2010 – p. 2412) Redes Bayesianas “ajudam em reduzir julgamentos equivocados quando alguém tenta julgar intuitivamente incertezas” (MICHAELI & SIMON, 2008 – p. 812) e desta forma, permitem que o modelo seja mais assertivo, reduzindo as incertezas inerentes a instrumentos de previsão. Assim, Del Rey e Zwicker propõem um modelo que combina a utilização de técnicas qualitativas e quantitativas para a melhor interpretação destes sinais, reduzindo assim a incerteza inerente à previsão de acontecimentos futuros. O modelo propõe 6 etapas que seguem abaixo:

1. Define-se o modelo de Análise Ambiental a ser usado de acordo com o problema a ser resolvido e a familiaridade com o método. 2. Identifica-se as ameaças e oportunidades e o estágio de incerteza em relação a estas ameaças e/ou oportunidades

Page 5: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

5

3. Modela-se os cenários 4. Constrói-se com base nestes cenários, diagrama(s) de influência e árvore(s) de decisão 5. Utiliza-se Redes Bayesianas no auxilio da construção dos diagrama(s) de influência, árvore(s) de decisão e para a distribuição de probabilidades da seguinte forma:

a. Modela-se a rede b. Atribui-se a distribuição de probabilidades conjuntas e as relações causais c. Alimenta-se a rede com os sinais fracos observados d. Avalia-se alternativas a luz das probabilidades calculadas

6. Os cenários e as redes bayesianas são realimentados com a chegada de novas informações relativas aos sinais fracos observados.

Conceito 2: Redes Bayesianas como ferramentas de previsão Redes Bayesianas são uma rede de eventos conectados com relações de causa e efeito explicitadas e com uma tabela de distribuição de variáveis conjuntas estabelecidas por trás destes eventos (KJAERULFF & MADSEN, 2008, p. 8) "Um modelo é freqüentemente reconhecido como Bayesiano quando uma distribuição de probabilidades é usada para descrever incertezas relacionadas a parâmetros desconhecidos e quando uso do Teorema de Bayes é aplicado. O Teorema de Bayes é usado para atualizar a distribuição de probabilidades a priori (probabilidades especificadas antes da análise de dados) em uma distribuição de probabilidades a posteriori (as probabilidades que seguem a análise de dados) através da incorporação de informações, chamadas de possibilidades, advindas de dados observáveis" (ALBA & MENDOZA, 2007, p. 3) O teorema de Bayes é considerado um método bastante adequado para ser aplicado em jogos contendo informações incompletas. Alguns estudos apresentam a aplicabilidade do teorema de Bayes e de recursão infinita a partir do final da década de 70’s (ARMBRUSTER & BÖGE 1979 apud TAN & WERLANG, 1984, p.1 ). O modelo de jogos de informações incompletas pode ser definido quando “a função resultado de cada um dos jogadores não é conhecida, nem por ele e nem por nenhum outro jogador. (...) Mas cada jogador sabe parte do que ele é ao mesmo tempo em que sabe parte do que cada um dos outros são” (TAN & WERLANG, 1984, seção 3 p.2 ) O domínio de incerteza de um dado jogador, neste modelo inclui a sua própria estratégia, que depende de uma interação com a estratégia adotada pelos outros jogadores anteriormente. (WERLANG & TAN, 1987, p.42 ) O ambiente simulado do laboratório de gestão representa, desta forma, um ambiente adequado para a interpretação e análise de incertezas.“Quando o simulador opera de maneira interativa (…), a simulação ganha caráter de jogo (de empresas), em que se comparam decisões econômicas conduzidas sob certeza e as apostas estratégicas estabelecidas sob incerteza”(SAUAIA,2010, p.4) Redes Bayesianas foram utilizadas com sucesso como ferramentas preditivas. De acordo com Lili Sun e Prakash Shenoy “Modelos de Redes Bayesianas tem muitas funcionalidades atrativas. Eles são fáceis de interpretar, funcionam bem como uma ferramenta classificatória, não apresentam

Page 6: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

6

restrições em relação a distribuição das variáveis, e não apresentam nenhum requisito quanto a se trabalhar com informações completas” (SUN & SHENOY, 2006 – p.2). Eles apresentam um modelo baseado em redes bayesianas que avalia se uma dada empresa entrará no regime falimentar ou não, cujo nível de acerto é superior a 80%. (SUN & SHENOY, 2006 – p.14) Em outro estudo conduzido por Enrique de Alba e Manuel Mendoza, mostra-se que para séries temporais que apresentam informações insuficientes ou incompletas, as redes bayesianas propiciam desempenho superior a modelos comumente usados para avaliação de séries temporais como o ARIMA - Auto-Regressive Integrated Moving Average. No entanto, no caso de disponibilidade abundante de informações, os métodos tradicionais são superiores em sua capacidade preditiva. (ALBA & MENDOZA, 2007 – p.9). No entanto, são poucos os estudos da aplicação de redes bayesianas em Inteligência Competitiva, em especial no tratamento de sinais fracos. Num destes estudos pioneiros Michaeli e Simon (2008) ilustram, num exemplo hipotético, como redes bayesianas podem ser usadas de maneira a reduzir riscos na tomada de decisão em situações de incerteza. Concluem: “Com uma abordagem do teorema de Bayes, um analista de Inteligência Competitiva pode projetar um portfólio de indicadores que vão otimizar a performance geral de um sistema de alerta antecipado (early warning system)” (MICHAELI & SIMON, 2008 – p. 812) A idéia deste artigo é explorar a aplicação de redes bayesianas na interpretação de sinais fracos dentro de um ambiente controlado e desta forma com acesso as informações de tomada de decisão e os seus resultados. Esta é uma das principais vantagens que o ambiente simulado de gestão apresenta para fins de pesquisa. Quadro 1: Características de cada um dos modelos de previsão mencionados no artigo

Modelo de previsão e Características

Avaliação de Alternativas

Atribuição de Probabilidade

Discussão e Construção Coletiva

Relação de Causa e Efeito

Avaliação Dinâmica

Metodos Quantitaivos

Análise de cenários X --- X --- --- ---

Método Delphi X X X --- --- ---

Criação coletiva de sentido X --- X X --- ---

Diagrama de influência X --- X X X ---

Redes Bayesianas --- X --- X X X

Modelo Del Rey & Zwicker X X X X X X

Conceito 3: A gestão de surpresas estratégicas como instrumento de sustentabilidade nas empresas Surpresas estratégicas são situações onde empresas são confrontadas com oportunidades e ameaças (ANSOFF, 1975 – p.22). Enfrentar de maneira adequada estas surpresas estratégicas fazendo a gestão da crise (pós fato) ou a gestão de sinais de alerta antecipados (pré-fato) é essencial para a sobrevivência das empresas. O presente artigo utiliza a abordagem de alertas antecipados como método para administrar estas surpresas estratégicas.

Page 7: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

7

Neste aspecto, a análise ambiental para o planejamento estratégico é fundamental para a sustentabilidade de uma organização no longo prazo. Na medida em que as organizações se entendem como parte de um ambiente e suas ações interferem neste ambiente bem como o ambiente em sua volta interfere em seu espaço de atuação, estas duas esferas, a do ambiente de negócios e o da empresa se fundem em uma única esfera, tornando a organização parte de um ecossistema vivo e dinâmico. É natural que as empresas nos dias de hoje sejam pressionadas em resolver o dilema de como permanecer viável e operando de forma amigável com o meio ambiente. (KINLAW, 1997 – p.7) Até porque, parte da cultura do capitalismo até meados da década 80 no século XX consistia na exploração dos recursos objetivando o lucro, sem uma preocupação ambiental mais ampla. No entanto, este conceito vem sofrendo alterações ao longo dos anos. O sucesso empresarial nos dias de hoje é visto como algo mais amplo do que o sucesso econômico. Ele envolve o sucesso do ponto de vista da preservação do meio ambiente e da integração bem sucedida com a sociedade em que a organização faz parte, num conceito conhecido como Triple Bottom Line. (ELKINGTON, 1994) O presente estudo apresenta um modelo que pode ser utilizado na interpretação de sinais fracos de diversas naturezas, desde oportunidades e ameaças que possam influenciar na sobrevivência e sustentabilidade de uma organização no longo prazo como também a identificação de indícios de movimentos que possam ser danosos ao meio ambiente e a sociedade como um todo. Alguns exemplos da aplicação de redes bayesianas como instrumento de promoção de sustentabilidade nas organizações são: antecipar se a mudanças na legislação ambiental, movimentos sociais que podem ser aproveitados como oportunidades ou mitigados como ameaças, identificação de atividades da concorrência que agridam ao meio ambiente e coloquem toda o segmento industrial vulnerável, etc... PARTE II – Desenvolvimento da Pesquisa Problema de pesquisa O modelo proposto para a redução de incertezas na interpretação de sinais fracos de Del Rey e Zwicker carece de aplicação prática. (DEL REY & ZWICKER, 2010). Neste sentido, a utilização deste modelo em um ambiente simulado de negócios nos permite avaliar a existência de benefícios em relação a este método. Desta forma, o objetivo principal de pesquisa deste artigo consiste em utilizar Redes Bayesianas na interpretação de sinais fracos. E de uma maneira preliminar, avaliar se há benefícios percebidos com a aplicação desta ferramenta numa aplicação específica de inferir a demanda futura de uma organização com base em informações públicas? Método de pesquisa O presente estudo se baseia nas idéias de um estudo anterior de previsão de demanda. O estudo desenvolvido por Renato Souza e Antonio Sauaia (2010 – pp.107 – 137) estabelece que a demanda futura de uma determinada empresa no laboratório de gestão – SIMULAB (SAUAIA,

Page 8: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

8

2010) é determinada por uma função do preço praticado e dos gastos em marketing de uma determinada empresa em relação a média de mercado. Além disso, seguirá o modelo de interpretação de sinais fracos sugerido por Del Rey & Zwicker. A proposta desta pesquisa é um estudo de caso para avaliar os benefícios percebidos do modelo acima citado. O estudo de caso se mostra uma metodologia adequada para este tipo de pesquisa. Conforme Yin, o estudo de caso é uma pesquisa empírica que investiga fenômenos contemporâneos dentro do seu contexto de vida real, quando os limites entre o fenômeno e o contexto não estão bem delimitados. (YIN, 2003). Apesar de estarmos utilizando um ambiente simulado de gestão, “a combinação do enfoque técnico e do comportamental no desempenho de papéis faz deste Laboratório de Gestão uma experiência vivencial” (SAUAIA, 2010, p.10). Neste ponto de vista, o estudo de caso ainda se mostra o método mais adequado devido à dificuldade em se estabelecer fronteiras entre o modelo estudado e o ambiente de tomada de decisão. A proposta é estudar a validade do modelo de Del Rey & Zwicker (2010) num ambiente onde as empresas possam tomar decisões numa situação de competição e incerteza real, embora com a vantagem de que as conseqüências das decisões tomadas tenham impacto limitado ao ambiente simulado de gestão. Para a etapa 1 do modelo, se replicará o estudo baseado na técnica de regressão linear múltipla em busca da correlação das variáveis preço, gastos em Marketing e eventualmente gastos em Pesquisa & Desenvolvimento na demanda futura. Na etapa 2, identifica-se as ameaças e oportunidades ligadas a demanda futura e o estágio de incerteza em relação a estas ameaças e/ou oportunidades com base nos variáveis independentes correlacionadas na etapa 1. A 3ª etapa consiste em estabelecer cenários possíveis em relação às principais variáveis da etapa 2. Na seqüência atrela-se probabilidades para cada um dos cenários possíveis. Na etapa 4, os cenários individuais são relacionados através de um diagrama de influencia, onde estabelece-se relações de causa e efeito para poder estruturar , na etapa 5, as redes bayesianas que ajudarão na inferência do estado futuro. Ainda na 5ª etapa, alimenta-se a rede com os sinais fracos observados e avalia-se a alternativa ou prognóstico de futuro apresentado. Por fim, na etapa 6, alimenta-se a rede de novas informações e verifica-se o impacto nas estimativas futuras. Instrumentos de coleta de dados Os dados foram obtidos através dos relatórios trimestrais da indústria , onde haviam 3 empresas participando na tomada de decisão: Double CO. , a Ai Podi S/A e a Inovatech Corp. Neles foram obtidas as informações públicas como preço dos produtos concorrentes, distribuição dos dividendos, lucro líquido, volume de produtos vendidos e a participação de mercada de cada empresa

Page 9: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

9

Além disso, os relatórios trimestrais das empresas, com informações específicas da tomada de decisão foram obtidos com todas as decisões e conseqüências para cada uma das 3 empresas participantes. Assim, o autor teve acesso às informações adicionais como mercado potencial, volume de vendas, capacidade produtiva e investimentos médios em marketing, pesquisa e desenvolvimento, instalação de capacidade produtiva entre outras informações operacionais, financeiras e de desempenho. Por fim, estavam disponíveis também os índices macroeconômicos e a previsão dos mesmos para o trimestre imediatamente posterior. Descrição do Experimento e Coleta de dados Com os dados obtidos, replicou-se com alguns ajustes a proposta de Souza & Sauaia (2010) onde definiu-se a utilização de Regressão Linear pelo método de Mínimos Quadrados, conforme previsto pela etapa 1 do modelo de Del Rey & Zwicker. No modelo de Souza e Sauaia (2010) tínhamos as seguintes etapas: Retirada de efeitos externos da Economia: Índice de Atividade Econômica (IAE) e Índice

de Variação Estacional (IVE) Distribuição dos gastos em Marketing e Pesquisa & Desenvolvimento (P&D) nos

períodos percebidos, exclusão do efeito de longo prazo de P&D Padronização dos gastos em Marketing e P&D e também do Preço de comercialização

em relação aos valores médios de mercado Desta forma obtínhamos o seguinte modelo: Demanda = Função (Gastos em Marketing (GMT), Preço(P)); Dx - Dmed = 373.905 + 0,936077 * ( GMTx – GMTmed) – 669.004,8*(Px – Pmed) Nível de significância = 0,05 e R2 ajustado = 0,979427 Onde D=Demanda, GMT=Gastos em Marketing, P=Preço e x refere-se a valores da empresa x e med refere-se a média do mercado.

No modelo adaptado neste artigo, foram feitas as mesmas etapas sugeridas por Souza & Sauaia (2010), com exceção a distribuição dos gastos em Marketing e Pesquisa & Desenvolvimento (P&D) , onde os efeitos de longo prazo de P&D foram considerados concentrados no 3º trimestre após o desembolso. Desta forma, o seguinte modelo foi obtido: Demanda = F(Gastos em Marketing (GMT), Gastos em P&D(GPD), Preço(P)) Dx - Dmed = -37.859,741605+ 0,800902408 * ( GMTx – GMTmed) + 0,846778688 * (

GPDx – GPDmed) – 181.762,8386*(Px – Pmed) Nível de significância = 0,05 e R2 ajustado = 0,791579 Onde D=Demanda, GMT=Gastos em Marketing, GPD=Gastos em Pesquisa & Desenvolvimento, P=Preço e x refere-se a valores da empresa x e med refere-se a média do mercado

Tabela 1: Regressão linear múltipla com base no jogo de empresas Double CO. , a Ai Podi S/A e a Inovatech Corp. ocorrido no 1º Semestre de 2010.

Page 10: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

10

RESUMO DOS RESULTADOS

Estatística de regressãoR múltiplo 0,907106651R-Quadrado 0,822842476R-quadrado ajustado 0,791579383Erro padrão 74996,89656Observações 21

ANOVAgl SQ MQ F F de significação

Regressão 3 4,44112E+11 1,48037E+11 26,31993225 1,28578E-06Resíduo 17 95617086386 5624534493Total 20 5,39729E+11

Coeficientes Erro padrão Stat t valor-P 95% inferiores 95% superiores Inferior 95,0% Superior 95,0%Interseção -37859,7416 16365,66454 -2,313364148 0,033480959 -72388,27528 -3331,207929 -72388,27528 -3331,207929Preço Unitário -181763,8386 41569,45931 -4,372533144 0,000414945 -269467,7306 -94059,94659 -269467,7306 -94059,94659Gastos em Marketing 0,800902408 0,198841751 4,027838243 0,000872945 0,381382988 1,220421827 0,381382988 1,220421827Gastos em P&D 0,846578688 0,242729337 3,487747701 0,002817908 0,334464556 1,358692821 0,334464556 1,358692821 *Utilizado módulo de Análise de Dados do software Microsoft Excel Análise Descritiva dos Dados Conforme a etapa 2 do modelo proposto, os resultados acima sugerem que são praticamente 3 as fontes de incerteza, ou de uma maneira mais ampla, de ameaças e oportunidades presentes para se planejar a demanda futura de uma determinada empresa. A primeira fonte de incerteza consiste nos gastos em Marketing feitos pelas empresas concorrentes, já que a demanda futura é função do gastos em Marketing que a empresa analisada fez em relação a média de investimento do mercado. A segunda fonte de incerteza consiste nos gastos em Pesquisa & Desenvolvimento feitos pelas empresas concorrentes. A demanda futura também é função dos gastos em Pesquisa & Desenvolvimento da empresa analisada em relação aos gastos médios de mercado. Lembrando que tanto nos casos dos gastos com Marketing e com Pesquisa & Desenvolvimento, os gastos percebidos no período são uma combinação dos gastos feitos também em períodos anteriores e da retirada dos efeitos exclusivos da economia. Por fim, a terceira fonte de incerteza está no cálculo da Demanda Média (Dmed). Ao se analisar a fórmula obtida através da Regressão Linear, a demanda da empresa analisada é calculada em relação a uma demanda real média de mercado. A demanda real de mercado (Mercado Potencial) não é uma variável conhecida. A variável que é de conhecimento público é a demanda atendida pelas empresas do mercado ou o que estamos chamando de Mercado Real. Desta forma, a última fonte de incerteza é relacionada aos limites de capacidade das indústrias em atender a demanda potencial de todas as empresas. A incerteza pode ser melhor definida como a soma das diferenças do mercado potencial de cada industria no mercado em relação aos

Page 11: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

11

limites de capacidade da industria menos os estoques disponíveis, estes estoques acabam atendendo parte desta demanda não atendida pela capacidade produtiva. Com base nos elementos acima, podemos traçar alguns cenários, de acordo com o recomendado pela etapa 3 do modelo de Del Rey & Zwicker, para cada uma das fontes de incerteza. Com o intuito de simplificar, para os gastos em Marketing e P&D foi traçado 3 cenários, já para a incerteza relativa ao impacto da Limitação da Capacidade Produtiva para atender Mercado Real em relação ao Mercado Potencial gerado, também se traçou 3 possíveis cenários que seguem conforme tabela abaixo. Tabela 2: Cenários estabelecidos para o ambiente SIMULAB, definindo faixas de valores possíveis. Os dois primeiros se referem aos gastos de uma empresa x em relação aos gastos médios da industria

Gastos em Marketing Gastos em P&D Limitação da Capacidade ProdutivaNa média (-150K até +150 K) Na média (-150K até +150 K) Baixa (95% a 100% do Mercado Potencial)

Abaixo da média (-550 K até -150 K) Abaixo da média (-550 K até -150 K) Branda (75% a 95% do Mercado Potencial)Acima da média (+150 K até +550 K) Acima da média (+150 K até +550 K) Alta (40% a 75% do Mercado Potencial)

K= Multiplicado por 1.000 unidades A etapa 4 do modelo estabelece a criação de um diagrama de influência delimitando as relações de causa e efeito de cada uma das variáveis. A construção deste diagrama de influência é facilitado graças a Regressão Linear da etapa 1 que estabelece uma relação de dependência da variável Mercado Potencial com as variáveis de Gastos em Marketing e Gastos em Pesquisa & Desenvolvimento (P&D) A figura 1 sintetiza as relações de causa e efeito entre as variáveis para o modelo a ser trabalhado. As setas partem das causas para os efeitos, numa relação de precedência e causalidade.

Figura 1 – Diagrama de Influência para a tomada de decisão Assim, estamos prontos para a Etapa 5 e 6 do modelo proposto. A de modelarmos a rede bayesiana e na atualização da rede com base nas informações ambientais obtidas.

Page 12: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

12

Para a etapa 5, o diagrama de influência é modelado como uma rede bayesiana. Para tanto utilizamos o software NETICA, específico para o uso de redes bayesianas. A rede modelada pode ser visto na figura 2 abaixo:

Figura 2 – Rede Bayesiana modelada para o problema de planejamento estratégico de demanda Note que como mencionado na etapa 5, as probabilidades conhecidas a priori já foram alimentadas na rede. As hipóteses utilizadas seguem abaixo:

A probabilidade de Gastos em Marketing e em Pesquisa & Desenvolvimento são inicialmente iguais e 33,3% em todos os períodos.

As probabilidades dos gastos percebidos são influenciadas pelo impacto dos gastos no tempo. Gastos em Marketing no período T tem impacto de 70% no mesmo período e 30% no período T+1 e Gastos em Pesquisa & Desenvolvimento em T tem impacto de 20% em T, 30% em T+1 e 50% em T+2.

As probabilidades para o Mercado Potencial foram calculadas com base numa simulação de valores obtidos através da função Dx - Dmed = -37.859,741605+ 0,800902408 * ( GMTx – GMTmed) + 0,846778688 * ( GPDx – GPDmed) – 181.762,8386*(Px – Pmed), resultante da Regressão Linear.

As probabilidades a priori para limitação de capacidade e uso dos estoques foram estabelecidas na proporção 63% Baixa, 18,5% Branda e 18,5 Alta com base nas ocorrências praticadas no Jogo de Empresas utilizado como base de dados.

Page 13: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

13

Tabela 3 - Extrato da simulação de valores obtidos com alguns parâmetros pré-definidos Preço

UnitarioGastos em Marketing

Gastos em P&D

Mercado Potencial

Mercado Potencial Classificado

(1,80) 350.000,00 (550.000,00) 103.903 Media(1,20) 350.000,00 (550.000,00) (5.156) Media(0,60) 350.000,00 (550.000,00) (114.214) Media(0,30) 350.000,00 (550.000,00) (168.743) Media0,30 350.000,00 (550.000,00) (277.801) Abaixo0,60 350.000,00 (550.000,00) (332.330) Abaixo1,20 350.000,00 (550.000,00) (441.389) Abaixo1,80 350.000,00 (550.000,00) (550.447) Abaixo

(1,80) 550.000,00 (550.000,00) 264.083 Acima(1,20) 550.000,00 (550.000,00) 155.025 Media(0,60) 550.000,00 (550.000,00) 45.967 Media(0,30) 550.000,00 (550.000,00) (8.563) Media0,30 550.000,00 (550.000,00) (117.621) Media0,60 550.000,00 (550.000,00) (172.150) Media1,20 550.000,00 (550.000,00) (281.208) Abaixo1,80 550.000,00 (550.000,00) (390.267) Abaixo

(1,80) (550.000,00) (350.000,00) (447.554) Abaixo(1,20) (550.000,00) (350.000,00) (556.612) Abaixo(0,60) (550.000,00) (350.000,00) (665.670) Muito Abaixo(0,30) (550.000,00) (350.000,00) (720.199) Muito Abaixo

Com as probabilidades a priori estabelecidas podemos seguir para alimentar a rede com os sinais fracos observados, e quando novas informações do mercado foram sendo obtidas, realimentar a rede com estas informações, conforme mencionado na etapa 6.

Figura 3 com uma das tabelas de probabilidades a priori preenchidas Discussão dos Resultados Com o modelo proposto sendo completamente aplicado, a rede pode ser usada para a inferência de qual será a demanda futura com base nos sinais obtidos através das informações públicas da indústria. Com a rede bayesiana modelada, cabe aos gestores da organização inferir sobre duas principais fontes de incerteza:

A média dos valores investidos em Marketing e Pesquisa & Desenvolvimento em cada período -Com base nesta média, identificar se os valores investidos pela sua empresa encontram-se acima ou abaixo de tal média, conforme parâmetros estabelecidos nos cenários da Tabela 2. Para isto, o gestor pode usar a rede para fazer o cálculo de

Page 14: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

14

probabilidades de maneira reversa, ou seja, com base em resultados obtidos de Mercado Real e os preços praticados, estimar qual deve ter sido o investimento em cada uma destas áreas. Isto é possível graças as funcionalidades da rede bayesiana que permite estimar com base em resultados observados obtidos a posteriori, as probabilidades a priori.

Limites de capacidade produtiva na indústria e utilização de estoques - Esta incerteza é responsável pela eventual diferença que exista entre Mercado Potencial Total e Mercado Real. O Mercado Real é observado pela soma do Volume de Vendas de todas as empresas da indústria. Esta incerteza pode ser estimada com base na capacidade produtiva das empresas concorrentes nos trimestres imediatamente anteriores, considerando também a taxa de obsolescência dos equipamentos produtivos, gargalos de produção relativos à falta de matéria prima e uma eventual decisão estratégica de produzir menos. Na prática, as empresas buscam no longo prazo atender ao mercado potencial seja através da adequação dos Gastos em Marketing e Pesquisa & Desenvolvimento, da precificação adequada, do aumento da capacidade produtiva, e na política de utilização de estoques.

Note que a resposta que a rede bayesiana apresenta não é um valor absoluto, mas faixas de valores em que a demanda futura, seja ela potencial ou real, estará, e com probabilidades associadas. Para facilitar a modelagem da rede foram estabelecidas cinco grandes faixas de valores de demanda ilustradas na tabela abaixo: Tabela 4: Com faixas de valores da Demanda Real ou Potencial de uma empresa x em relação à Demanda Média

Mercado Potencial e Mercado Real Muito Abaixo da média (-1000 K até 600 K) Abaixo da média (-600 K até -200 K) Média (-200 K até +200 K) Acima da média (200 K até 600 K) Muito Acima da Média (600 K até 1000 K)

K= Multiplicado por 1.000 unidades Abaixo segue um exemplo de como se pode utilizar a rede bayesiana para se estimar se os gastos em Marketing e P&D de uma empresa estão acima ou abaixo da média do mercado. Aqui, através dos dados públicos obtidos se alimenta a rede para se inferir quanto aos gastos praticados. No exemplo abaixo, não foi observado limitação de capacidade produtiva significativa assim a chance da limitação de capacidade produtiva foi definida como 100% baixa (nenhuma incerteza). Com base nos dados públicos, o Mercado Real e desta forma, o Mercado Potencial da empresa analisada ficou numa faixa abaixo da média de mercado (Mercado Potencial com 100% em Abaixo da Média, sem incertezas presentes) e o preço praticado pela empresa observada ficou dentro da faixa média de preços deste mercado. Com base nos dados apresentados pode se inferir, por exemplo, que os gastos iniciais em Marketing no período T-1 tem mais que 50% de chance de terem sido inferiores a média do mercado. (Ver Gastos em Marketing (T-1) no canto superior da figura)

Page 15: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

15

Figura 4: Rede bayesiana e inferências dos gastos baseadas em informações públicas . Legenda: Dentro dos retângulos, as probabilidades dos valores dentro de cada faixa e o valor médio calculado Note que a rede, após modelada pode ser ajustada conforme novas informações de fontes públicas ou privadas passarem a ser conhecidas e assim permitir inferências mais precisas reduzindo-se as incertezas. PARTE III – Conclusão Conclusões Redes Bayesianas se mostram como ferramentas promissoras para modelos preditivos. Neste estudo de caso foi possível desenvolver o modelo para interpretação de sinais fracos de Del Rey e Zwicker para um ambiente simulado. A rede construída se apresenta com uma ferramenta interessante para se promover inferências, tanto para identificação de Gastos em Marketing e Pesquisa & Desenvolvimento, como também na Demanda Real de produtos da empresa analisada em relação à Demanda Média do mercado. Com a rede construída, vários exercícios de inferência podem ser feitos com base nas informações públicas obtidas em cada rodada. É possível desta forma, identificar tanto oportunidades como ameaças em relação à política de preços, gastos em marketing, pesquisa & desenvolvimento adotadas e promover mudanças de maneira a mitigar e eliminar estas ameaças e aproveitar estas oportunidades, colaborando assim para o sucesso empresarial. Apesar deste estudo ter sido desenvolvido em um ambiente simulado, muito do aprendizado das etapas da construção do modelo pode ser aplicado em ambientes e organizações reais. O caso apresentado permite visualizar cuidados especiais necessários para modelar a complexidade inerente de sistemas dinâmicos em especial ambientes de negócios.

Page 16: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

16

Contribuições O estudo atual contribui para validar as redes bayesianas como ferramenta de apoio para identificar e interpretar indícios de surpresas estratégicas, ou utilizando termos mais conhecidos em inteligência competitiva, a interpretação de sinais fracos. Em particular, o caso apresentado aplica um modelo conceitual desenvolvido para este fim, explicitando o passo a passo da construção deste modelo. Assim, do ponto de vista acadêmico, o caso estudado permite a continuidade de um ensaio filosófico e seus desdobramentos em uma aplicação prática, iniciando um processo bastante importante de transformação de conhecimento acadêmico em aplicação prática para o uso na sociedade. Limitações O presente estudo não pode fazer uma avaliação completa dos benefícios da aplicação de redes bayesianas em um ambiente simulado. Ele ateve-se as etapas necessárias para se construir uma rede capaz de captar sinais fracos e interpretá-los como conseqüências futuras, e a alguns benefícios preliminares da utilização da rede bayesiana como ferramenta de inferência. Além disso, o ambiente simulado é um modelo simplificado da realidade, e desta forma, oferece as restrições inerentes ao modelo. Neste aspecto, para a validação do modelo de interpretação de sinais fracos de Del Rey e Zwicker, é importante a sua aplicação em ambientes reais de negócios. Proposições para novos estudos Um estudo que pode dar continuidade ao estudo de caso apresentado neste artigo seria o de aplicar a rede bayesiana modelada aqui em outros jogos de empresa, avaliando detalhadamente os eventuais benefícios de utilizar esta ferramenta para antecipar movimentos dos concorrentes e planejar melhor a demanda futura de produtos. Além disto, é recomendado que o modelo de Del Rey e Zwicker possa ser aplicado em um ambiente de organizações reais para avaliar se os eventuais benefícios percebidos em um ambiente virtual se repetem em um ambiente de negócios. Referências ALBA, H. & MENDOZA, M. "Bayesian forecasting methods for short time series" – 2007 ALMEIDA, F. C.; ONUSIC, L.M.; LESCA, H. “Criação de sentido e criatividade no monitoramento estratégico do ambiente” – Revista de Administração – São Paulo, v. 42, n.4, p. 405-413, out./nov./dez. 2007 ALMEIDA, M. I. R. “Manual de Planejamento Estratégico – Desenvolvimento de um Plano Estratégico com a Utilização de Planilhas Excel” – 2ª Edição – Editora Atlas 2009 ANSOFF, H. I. "Managing Strategic Surprise by Response to Weak Signals" - California Management Review 1975 - pg 21 - 33 ARMBRUSTER, W & BÖGE, W. Bayesian Game Theory, in “Game Theory and Related Topics” (O. Moeschlin and D. Pallaschke, Ed.), North-Holland Press Amsterdam, 1979 BAZERMAN, M. H. "Processo decisório – Para cursos de Administração, Economia e MBAs" - Editora Campus Elsevier – 5ª Edição - 2004 CLEMEN, R. T. & REILLY, T. "Marking Hard Decisions with DecisionsTool Suite" - 2004 DEL REY, Alexandre; ZWICKER, Ronaldo “Reduzindo incertezas na interpretação de Sinais Fracos:- A utilização de Redes Bayesianas na Análise Ambiental para o Planejamento

Page 17: Área Temática: Jogos de Empresasistema.semead.com.br/13semead/resultado/trabalhosPDF/772.pdf · No entanto, estratégia é uma palavra bastante usada nos dias de hoje, com significados

17

Estratégico” – Anais e Resumos – 7º Congresso Internacional de Gestão de Tecnologia e Sistemas de Informação Maio 2010 ELKINGTON, J. "Towards the sustainable corporation: Win-win-win business strategies for sustainable development." California Management Review 36, no. 2: 90-100 - 1994 FISCHMANN, A. A., ALMEIDA, M. I. R. “Planejamento Estratégico na Prática” – 2ª Edição - Editora Atlas 2009 GILAD, Benjamin "Early Warning: Using competitive intelligence to anticipate market shift, control risks and create powerful strategies" – American Management Association 2004 KINLAW, D.C. “Empresa competitive e ecológica: desempenho sustentado na era ambiental“ São Paulo – Makron Books, 1997 KJAERULFF, U. B; MADSEN, A. L. ”Bayesian Networks and Influence Diagrams - A Guide to Construction and Analysis” – Information Science and Statistics - Springer 2008 LESCA, H. “The crucial problem of the strategic probe the construction of the `puzzle`” - Grenoble, France: CERAG Laboratory – Ecole Superieure des Affaires (ESA), 1995 MARCH, J. G. "Rationality, ambiguity and the engineering of choice", in BELL, D.E. et al“Decision Making–descriptive, normative, and prescriptive interactions”. Cambridge: Cambridge University Press, pp 33-57, 1988. MICHAELI, R; SIMON, L. “An illustration of Bayes’ theorem and its use as a decision-making aid for competitive intelligence and marketing analysts” European Journal of Marketing, Vol. 42 No. 7/8, pp. 804-813, 2008 MINTZBERG, H.; AHLSTRAND, B.; LAMPEL, J. “Safari de estratégia: um roteiro pela selva do planejamento estratégico”, 1998 SAUAIA, A. C. A. “Monografia Racional”. Anais do 1o. SEMEAD – Seminários em Administração. Volume 01, Setembro, 1996, p.276-94. PPGA/FEA/USP/SP. SAUAIA, A. C. A. “Monografia Visual”. Anais do 10º. SEMEAD – Seminários em Administração. Volume 10, Agosto, 2007. PPGA/FEA/USP/SP. SAUAIA, A. C. A. “Monografia Racional: uma versão eletrônica”. REGES – Revista Eletrônica de Gestão. Picos, v.2, n.1, p.166-168, Jan/Abr 2009. Disponível em http://www.ufpi.br/reges/edicao_jan_2009.php. Acesso em 11, Maio,2010. SAUAIA, A.C.A. “Laboratório de Gestão: simulador organizacional, jogo de empresas e pesquisa aplicada”. 2ª. Ed. Manole: Barueri, S. Paulo, 2010. SCHOEMAKER, P. J. H. "Scenario Planning: A Tool for Strategic Thinking". Sloan management Review, v. 36, n. 2, Winter 1995 SOUZA, R. M.; SAUAIA, A.C. A. “Previsão de demanda: um desafio estratégico” in SAUAIA, A.C.A. “Laboratório de Gestão: simulador organizacional, jogo de empresas e pesquisa aplicada”. 2ª. Ed. Manole: Barueri, S. Paulo, pp 107-137, 2010. SUN, L.; SHENOY, P.P. “Using Bayesian networks for bankruptcy prediction: Some methodologica issues” European Journal of Operational Research 180 pp 738–753, 2007 TAN, T.C.C. & WERLANG, S. R. C. On the Bayesian Fondation of Game Theory, May 1984 – Acervo Biblioteca Nacional Rio de Janeiro WERLANG, S. R. C & TAN, T.C.C. “The Bayesian Foundations of Solution Concepts of Games”, EPGE – Ensaios Econômicos da Fundação Getúlio Vargas – 1987 – Acervo Biblioteca Nacional Rio de Janeiro WRIGHT, J. T. “DELPHI - Uma ferramenta de apoio ao planejamento prospectivo”. Caderno de Pesquisas em Administração, vol.01 n. 12 , São Paulo, 2000 YIN, Robert - Estudo de Caso: planejamento e métodos. 2a edição. São Paulo: Bookman 2003.