20-Exploração de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

Embed Size (px)

Citation preview

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    1/150

    Universidade de So PauloFaculdade de Economia, Administrao e Contabilidade

    Departamento de Administrao

    Explorao de Dados Atomizados

    para Previso de Vendas no Varejo

    Utilizando Redes Neurais

    Antonio Fabrizio Lima Passari

    Orientador - Prof. Dr. Fernando Carvalho de Almeida

    Dissertao apresentada ao Departamento deAdministrao da Faculdade de Economia,Administrao e Contabilidade da Universidade de SoPaulo, como requisito parcial para a obteno do ttulo

    de Mestre em Administrao.

    SO PAULO

    2003

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    2/150

    ii

    ndice

    Lista de Figuras ______________________________________________________ v

    Lista de Tabelas ______________________________________________________vi

    Lista de Siglas ______________________________________________________ vii

    CAPTULO I O PROBLEMA DE PESQUISA____________________________ 1

    1. Introduo ______________________________________________________ 1

    2. Formulao da Situao Problema __________________________________ 2

    3. Objetivos da Pesquisa _____________________________________________ 7

    4. Questes de Pesquisa______________________________________________ 7

    5. Delimitaes da Pesquisa __________________________________________ 8

    CAPTULO II FUNDAMENTAO TERICA __________________________ 9

    1. O Problema de Previso de Vendas __________________________________ 9

    1.1. Estudos Empricos Sobre o Problema de Previso ______________________ 101.1.1. Questes Metodolgicas ________________________________________________ 11

    Nvel de agregao das previses ______________________________________________ 11Propsito, uso, freqncia e horizonte de tempo das previses _______________________ 15Analistas e Usurios das Previses _____________________________________________ 16Fontes de dados____________________________________________________________ 18

    1.1.2. Questes de Seleo e Especificao de Tcnicas de Previso___________________ 191.1.3. Questes de Avaliao _________________________________________________ 21

    Medidas de Desempenho dos Modelos de Previso ________________________________ 24Comparao e Seleo de Tcnicas de Previso___________________________________ 26

    1.2. Tcnicas de Previso_______________________________________________ 271.2.1. Tcnicas Qualitativas de Previso_________________________________________ 27

    Tcnicas Exploratrias ______________________________________________________ 29Tcnicas de Grupo _________________________________________________________ 29

    1.2.2. Modelos Bayesianos ___________________________________________________ 301.2.3. Tcnicas Quantitativas de Previso________________________________________ 32

    Modelos de Escolha Discreta _________________________________________________ 32Anlises de Sries Temporais _________________________________________________ 33Tcnicas Causais___________________________________________________________ 40

    1.3. Previso de Vendas no Varejo_______________________________________ 461.3.1. Composto de Marketing ________________________________________________ 471.3.2. Conjunto de Produtos Oferecidos _________________________________________ 501.3.3. Gesto de Preos no Varejo______________________________________________ 53

    Elasticidades cruzadas_______________________________________________________ 551.3.4. Propaganda e Promoo ________________________________________________ 57

    2. Metodologia de Minerao de Dados Aplicada Previso de Vendas ______ 58

    2.1. Bases de Dados para Minerao de Dados_____________________________ 602.1.1. Data Warehouses______________________________________________________ 62

    2.2. Usos da Minerao de Dados________________________________________ 64

    2.3. O Processo de Minerao de Dados __________________________________ 65

    2.4. Tcnicas de Minerao de Dados ____________________________________ 67

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    3/150

    iii

    2.4.1. Induo de Regras / Anlise do Cesto de Compras____________________________ 672.4.2. Sistemas Especialistas __________________________________________________ 702.4.3. rvores de Regresso __________________________________________________ 702.4.4. Memrias Associativas _________________________________________________ 71

    2.5. Seleo das Tcnicas de Minerao de Dados __________________________ 71

    3. Redes Neurais Artificiais__________________________________________ 723.1. Justificativa de utilizao das Redes Neurais __________________________ 74

    3.2. Desempenho e Limitaes das Redes Neurais __________________________ 76

    CAPTULO III METODOLOGIA DA PESQUISA _______________________ 80

    1. O Mtodo de Pesquisa ____________________________________________ 80

    2. Desenvolvimento da Pesquisa ______________________________________ 81

    2.1. Modelo de Pesquisa________________________________________________ 81

    CAPTULO IV PESQUISA EMPRICA________________________________ 84

    1. Contextualizao da Pesquisa______________________________________ 84

    1.1. Metodologia de Previso Utilizada pela EMPRESA_____________________ 84

    2. Obteno dos Dados _____________________________________________ 85

    3. Seleo e Limpeza dos Dados ______________________________________ 86

    4. Anlise do Cesto de Compras ______________________________________ 87

    4.1. Anlise do Cesto de Compras por Transao __________________________ 88Anlise por Produto ________________________________________________________ 89Anlise por Linha de Produto _________________________________________________ 89Anlise por Setor___________________________________________________________ 90Anlises por Taxonomias ____________________________________________________ 91

    4.1.1. Concluses da Anlise do Cesto de Compras por Transao ____________________ 92

    4.2. Anlise do Cesto de Compras por Cliente _____________________________ 92Anlise por Produto ________________________________________________________ 93Anlise por Linha de Produto _________________________________________________ 94Anlise por Setores _________________________________________________________ 95Anlises por Taxonomias ____________________________________________________ 95

    4.2.1. Concluses da Anlise do Cesto de Compras por Cliente_______________________ 95

    4.3. Confirmao da Anlise do Cesto de Compras _________________________ 96

    5. Tratamento dos Dados para Previso ________________________________ 98

    5.1. Transformaes Realizadas ________________________________________ 101

    5.2. Testes de Correlaes _____________________________________________ 102

    5.3. Testes de Autocorrelao e Correlaes com Lag de Tempo_____________ 103

    6. Modelagem com Uso de Redes Neurais _____________________________ 104

    6.1. Seleo de Variveis de Entrada ____________________________________ 105

    6.2. Incorporao de Variveis de Entrada_______________________________ 107

    6.3. Incorporao de Informaes do Centro de Interesse __________________ 110

    6.4. Concluses da Modelagem Baseada em Redes Neurais _________________ 111

    7. Comparao com Outras Modelagens ______________________________ 114

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    4/150

    iv

    7.1. Comparao com a Modelagem Naive _______________________________ 114

    7.2. Comparao com a Regresso Linear _______________________________ 115

    7.3. Resumo do Desempenho das Redes Neurais __________________________ 116

    CAPTULO V - CONCLUSES_______________________________________ 117

    1. Resultados Alcanados __________________________________________ 117

    2. Concluses da Previso Baseada em Redes Neurais ___________________ 119

    3. Sugestes para Trabalhos Futuros _________________________________ 120

    Referncias Bibliogrficas ___________________________________________ 122

    ANEXO A Questionrio aplicado EMPRESA ________________________ 129

    ANEXO B Dicionrio de Dados Originais ____________________________ 130

    ANEXO C Dicionrio de Dados Vendas Semanais ____________________ 133

    ANEXO D Transformaes nos Dados _______________________________ 134

    ANEXO E Correlaes e Autocorrelaes Verificadas___________________ 139

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    5/150

    v

    Lista de Figuras

    Figura 1 Abordagens de previso de vendas com uso de dados agregados_____________ 4Figura 2 Abordagens de previso de vendas com uso de dados individuais e modelagem de

    sries temporais ____________________________________________________________ 5

    Figura 3 - Abordagens de previso de vendas com uso de dados individuais e modelagemcausal ____________________________________________________________________ 5

    Figura 4 - Abordagem da presente pesquisa ______________________________________ 6Figura 5 - Framework para anlise de mtodos de previso (WINKLHOFER et al., 1996) 10Figura 6 - Taxonomia das tcnicas de previso __________________________________ 20Figura 7 - Modelo de inferncia bayesiana ______________________________________ 31Figura 8 Deciso de compra baseada nos conceitos de valor e compostos de marketing _ 48Figura 9 Classificao dos tipos de varejo segundo sua amplitude e profundidade

    (PARENTE, 2000) _________________________________________________________ 51Figura 10 Amplitude, profundidade e atratividade das diferentes categorias (PARENTE,

    2000)____________________________________________________________________ 53Figura 11 Relacionamentos entre produtos substitutos e complementares de um ou mais

    centros de interesse ________________________________________________________ 56Figura 12 Estatstica convencional X Minerao de Dados________________________ 60Figura 13 Consolidao de dados em um Data Warehouse________________________ 62Figura 14 Data Warehouse como repositrio para anlises de dados________________ 63Figura 15 O ciclo virtuoso de data mining (BERRY & LINOFF, 1997, modificado)_____ 66Figura 16 Esquema de funcionamento de cada n em uma rede neural artificial _______ 72Figura 17 Modelo da Pesquisa ______________________________________________ 82Figura 18 Metodologia conduzida para a Pesquisa______________________________ 83Figura 19 Relacionamentos entre produtos detectados nas anlises do cesto de compras 97Figura 20 Boxplot do total de vendas semanal por setor, indicando a presena de muitos

    outliers _________________________________________________________________ 100

    Figura 21 Mdias de vendas semanais por setor, indicando forte sazonalidade e picos devendas__________________________________________________________________ 101Figura 22 Histograma da disperso dos erros, na escala da varivel prevista ________ 113Figura 23 Grfico de vendas previstas X vendas reais___________________________ 114Figura 24 Histograma da varivel Estoque sem transformaes ________________ 134Figura 25 Boxplot da varivel Estoque sem transformaes ____________________ 135Figura 26 - Histograma da varivel Estoque aps a transformao Z = log x _______ 136Figura 27 - Boxplot da varivel Estoque aps a transformao Z = log x___________ 136Figura 28 Grfico scatterplot entre Estoque_log e Grade_log ________________ 141Figura 29 Grfico scatterplot entre Mostruario_log e Preo_pot______________ 141Figura 30 Grfico scatterplot entre Classe_distribuicao e Classe _____________ 142Figura 31 Grfico scatterplot entre Estoque_log e Vendas_log _______________ 142

    Figura 32 Grfico scatterplot entre Pprazo e Vendas_log ___________________ 143Figura 33 Grfico de autocorrelao da varivel Vendas_log __________________ 143

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    6/150

    vi

    Lista de Tabelas

    Tabela 1 - Classificao das tcnicas de previso quantitativas segundo o nvel de agregao

    dos dados (ROBERTS, 1998) _________________________________________________ 11Tabela 2 Exemplos de comparao de desempenho das tcnicas de previso na literatura27Tabela 3 Comparao de desempenho da tcnica de redes neurais artificiais frente a outras

    tcnicas estatsticas ________________________________________________________ 79Tabela 4 Resultados da anlise do cesto de compras por produto, abordados por transao

    ________________________________________________________________________ 89Tabela 5 - Resultados da anlise do cesto de compras por linha de produto, abordados por

    transao ________________________________________________________________ 89Tabela 6 - Resultados da anlise do cesto de compras por setor, abordados por transao 90Tabela 7 Exemplos de regras da anlise do cesto de compras abordado por transao, com

    uso de taxonomias entre os produtos ___________________________________________ 91

    Tabela 8 - Resultados da anlise do cesto de compras por produto, abordados por cliente 93Tabela 9 - Resultados da anlise do cesto de compras por linha de produto, abordados porcliente ___________________________________________________________________ 94Tabela 10 Lista de Linhas de Produtos relacionadas resultados preliminares________ 95Tabela 11 - Lista de Linhas de Produtos relacionadas _____________________________ 96Tabela 12 Centro de interesse detectado ______________________________________ 98Tabela 13 Principais variveis independentes usadas nos modelos de previso semanal_ 99Tabela 14 Transformaes aplicadas aos dados _______________________________ 102Tabela 15 Correlaes significativas detectadas entre as variveis independentes ____ 103Tabela 16 - Correlaes significativas entre as variveis independentes e a varivel

    dependente ______________________________________________________________ 103Tabela 17 Autocorrelaes e correlaes parciais verificadas ____________________ 104

    Tabela 18 Resultados das redes 1 e 2, comparando os efeitos das transformaes nos dados_______________________________________________________________________ 105Tabela 19 - Resultados da rede neural 6, sem a presena da varivel Grade ________ 106Tabela 20 - Resultados da rede neural 10, com as entradas numricas normalizadas e

    padronizadas ____________________________________________________________ 107Tabela 21 - Resultados da rede neural 26, com incorporao das vendas na semana anterior

    e missing values preenchidos ________________________________________________ 110Tabela 22 - Resultados da rede neural 108, com incorporao do total de vendas de produtos

    substitutos (missing values preenchidos) _______________________________________ 111Tabela 23 Resumo das redes neurais geradas e performance obtidas _______________ 112Tabela 24 Capacidade preditiva do Modelo Baseado em Redes Neurais (rede 108)____ 112Tabela 25 Capacidade preditiva da previso naive no ajustada __________________ 115Tabela 26 Equaes de regresso linear geradas ______________________________ 115Tabela 27 Capacidade preditiva das equaes de regresso linear_________________ 115Tabela 28 Performance comparativa das redes neurais__________________________ 116

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    7/150

    vii

    Lista de Siglas

    ARIMA Autoregressive Integrated Moving Averages, ou mtodos auto-regressivos

    MAPE Mean Absolute Percentage Error, ou Erro Percentual Absoluto Mdio

    MSE Mean Square Error, ou Erro Quadrado Mdio

    RMSE Root Mean Square Error, ou Raiz do Erro Quadrado Mdio

    SKU Stock Keeping Unit, ou Identificador nico do Produto

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    8/150

    1

    CAPTULO I O PROBLEMA DE PESQUISA

    1. IntroduoA gesto eficiente de qualquer corporao, seja ela do setor pblico ou privado,

    industrial ou varejista, requer planejamento. Para um planejamento efetivo necessrio que se

    tenha uma expectativa precisa das condies futuras em que a corporao ir operar, e de

    como se relacionam os elementos condicionantes desta expectativa.

    O governo de uma cidade deve saber qual a expectativa de crescimento populacional

    e qual o relacionamento deste com o aumento na demanda por servios para ampliar,

    entre outras coisas, sua infra-estrutura bsica, como redes de gua, luz e esgoto. Umaindstria deve antecipar qual a demanda de seus produtos para agendar sua produo, por

    exemplo. E deve saber tambm os principais fatores que afetam esta demanda, para tomar as

    decises corretas quando necessrio.

    Tanto decises estratgicas como operacionais de uma corporao requerem, portanto,

    explorar o relacionamento presente entre os elementos que compem a realidade em que a

    corporao est inserida. Para apoiar decises corporativas como as citadas acima, as

    empresas procuram criar sistemas e procedimentos a fim de explorar cenrios, com base em

    informaes quantitativas e/ou qualitativas. Com o avano da tecnologia e da capacidade de

    armazenagem e processamento dos sistemas computacionais, diversos modelos e tcnicas

    quantitativos de previso tm sido pesquisados, complementando e aprimorando as anlises

    qualitativas por uma srie de fatores, incluindo maior preciso.

    Modelos de previso quantitativos utilizam-se basicamente de dados histricos para

    detectar padres de comportamento e estim-los no futuro. Tais modelos empregam

    ferramental matemtico-estatstico para representar a realidade para a qual foram criados.

    Diversas tcnicas estatsticas tm sido usadas na criao dos modelos, baseadas em diferentes

    pressupostos assumidos.

    Este trabalho visa explorar o uso de tcnicas relativamente novas para criao de

    modelos voltados deteco de padres e previso de demanda no varejo. Estas tcnicas

    avanadas, comumente chamadas de data mining ou minerao de dados, incluem mtodos de

    inteligncia artificial (sistemas especialistas, lgica fuzzy, entre outros), rvores de deciso,

    mtodos de induo de regras, redes neurais, entre outras (GARGANO & RAGGAD, 1999).

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    9/150

    2

    Essas tcnicas consistem na descoberta de novas e importantes informaes, procurando em

    certos casos aprender a partir de relacionamentos escondidos, padres, correlaes e

    interdependncias existentes em grandes bases de dados. A evoluo do desempenho

    computacional para explorao e anlise de dados atravs de pacotes estatsticos permitiu o

    desenvolvimento e uso da minerao de dados de maneira crescente, com sucesso em muitas

    empresas (BERRY & LINOFF, 1997).

    2. Formulao da Situao Problema

    Toda previso uma tentativa de prognosticar o futuro atravs do exame do passado

    (HANKE & REITSCH, 1995). Consiste em gerar previses no enviesadas da magnitude de

    alguma varivel, como vendas, com base no conhecimento presente e passado acumulado em

    bases de dados e na experincia dos gestores e outros profissionais envolvidos. Muitas

    variveis so comumente previstas por gestores, analistas, acadmicos, instituies

    governamentais e outros, como renda, nvel de emprego, inflao, produo, criminalidade,

    custo de vida, gastos, vendas, e muitas outras.

    Segundo os autores, dois tipos de reao s previses podem ser identificados:

    1. Preparar-se para as conseqncias advindas das mudanas previstas. Por exemplo,

    se o gestor de uma empresa prev queda nas vendas devido a problemas

    macroeconmicos, ele deve preparar a organizao para enfrentar a contrao.

    2. Tomar medidas visando modificar as previses. Se o cenrio previsto de queda, o

    gestor pode decidir enfrent-la, incrementando aes de venda ou marketing, por

    exemplo.

    O planejamento de aes comumente realizado de uma forma interativa:

    planejamentos so utilizados como base para previses, que por sua vez mostram os

    resultados provveis se as aes planejadas forem tomadas. Com base nos resultados

    previstos, o gestor pode refazer seu planejamento, considerando novas decises, que por sua

    vez geram novos resultados, e assim sucessivamente, at estabelecer uma deciso final ideal.

    Ainda segundo os autores, a viso oposta planejar as aes aps as previses, como, por

    exemplo, planejar aes de marketing para enfrentar adversidades no realista, uma vez

    que os resultados dependem das aes tomadas. Assim, o planejamento das aes como o

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    10/150

    3

    nvel de preos ou aes de marketing planejadas devem ser levadas em considerao nas

    previses.

    As previses variam quanto sua aplicao em nveis agregados (como na economia)

    ou para um componente especfico (como para uma companhia individual). Tambm diferemquanto ao horizonte de previso curto, mdio ou longo prazo so conceitos flexveis, que

    variam conforme a aplicao. Previses de vendas podem ser construdas para toda a

    companhia, para produtos ou grupo de produtos particulares, para regies geogrficas ou

    territrios de vendas especficos, para clientes particulares, ou para combinaes dos

    elementos citados.

    Este trabalho est focado no processo acima descrito, de gerao de previses de

    demanda para tomada de decises no varejo. A preocupao central desta pesquisa na

    explorao de uma metodologia baseada em tcnicas de minerao de dados para

    identificao de relacionamentos entre a demanda de diversos produtos e os fatores de maior

    influncia destas. Vislumbrando estes relacionamentos com maior clareza, o gestor fica mais

    habilitado tomada de decises acertadas no gerenciamento de vendas e outras atividades

    conseqentes, como gerenciamento de estoques, de fluxo de caixa e outros.

    Para que o gestor possa tomar decises bastante especficas, os dados utilizados devem

    ser o mais atomizados (individuais) possvel, gerando previses com grande nvel de

    detalhamento, porm pequeno horizonte futuro. A metodologia explorada busca ser til,portanto, para tomada de decises operacionais no varejo e no estratgicas, de longo

    prazo. Situaes tpicas do setor varejista como: o que acontece com a demanda e o lucro de

    minha loja se aumentar o preo da linha de produtos X?, ou meu concorrente cortou preos

    da ordem de 30%; qual a melhor medida a ser tomada? podem ser vislumbradas e as

    possveis solues endereadas com o uso de uma metodologia de prospeco de cenrios

    como a aqui proposta.

    Previses de curto prazo so empregadas para auxiliar decises que devem ser feitas

    num futuro prximo, como a determinao do nvel de inventrio, nmero de funcionrios e

    produo necessrios, capital de giro, suprimentos a serem adquiridos, entre outras. Por outro

    lado, em situaes onde o impacto das decises tomadas pode influenciar a posio da

    companhia nos prximos anos, previses de longo prazo so requeridas. Tais situaes podem

    envolver decises a respeito da construo de uma nova fbrica, a entrada em novos

    mercados, exportar ou no seus produtos, modernizar as operaes, entre outras.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    11/150

    4

    Inmeros autores j pesquisaram sobre a adoo de modelos quantitativos de previso

    de vendas, utilizando-se de diferentes tcnicas e abordagens. Alguns autores, como TANG et

    al. (1991), LUXHOJ et al. (1996), ANSUJ et al. (1996), KUO & XUE (1998), e SPEDDING

    & CHAN (2000), pesquisaram a adoo de modelos de previso de vendas agregadas para

    toda uma corporao ou loja, por exemplo. Estes modelos foram desenvolvidos a partir de

    duas abordagens clssicas:

    (1) atravs da modelagem de sries temporais, onde se considera como varivel de

    entrada os valores histricos da varivel a ser prevista (a demanda agregada, no caso); ou

    (2) com o uso de variveis explicativas daquela a ser prevista como entrada de dados

    os provveis causadores da demanda. Esta abordagem conhecida como modelagem

    causal.

    A figura abaixo ilustra o desenvolvimento desses modelos.

    Figura 1 Abordagens de previso de vendas com uso de dados agregados

    Outros autores exploraram a previso da demanda de produtos de maneira

    individualizada, a partir de sries histricas das vendas de cada produto. Esses estudos, como

    o de BARASH & MITCHELL (1998), GORDON (1998), e ALIBAIG & LILLY (1999),

    utilizaram tcnicas de modelagem de sries temporais, tomando como entrada dos modelos os

    valores histricos das demandas de cada produto no tempo, construindo assim um modelo

    distinto para cada produto.

    A figura a seguir mostra o processo de desenvolvimento destes modelos.

    Modelo de Previso devendas agregadas

    Dados de entrada:1.Srie temporal2.Variveis

    explicativas(modelo causal)

    Demanda total dacorporao(agregada)

    Q

    TANG et al. 1991 LUXHOJ et al. 1996 ANSUJ et al. 1996 KUO & XUE 1998 SPEDDING & CHAN 2000

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    12/150

    5

    A figura abaixo ilustra o processo de construo destes modelos.

    Figura 2 Abordagens de previso de vendas com uso de dados individuais e modelagem de sriestemporais

    Ainda outros autores exploraram o impacto de diversas variveis na previso de

    demanda de um produto isolado, realizando, portanto, o que se costuma referir como previso

    causal, ou seja, a previso realizada tendo-se como base as variveis que possam explicar a

    previso. Esses autores, como MENTZER & KENT (1999) e SUBRAHMANYAN (2000),

    buscaram relacionar as variveis que possam estar relacionadas com a demanda individual de

    cada produto, desenvolvendo modelos de previso que tomam como entrada os valores destas

    variveis explicativas da demanda no tempo.

    A figura a seguir ilustra o desenvolvimento desses modelos.

    Figura 3 - Abordagens de previso de vendas com uso de dados individuais e modelagem causal

    Poucos autores, contudo, realizaram estudos a fim de desenvolver modelos que

    incorporassem o relacionamento existente entre os produtos. PARENTE (1997) mostra a

    importncia do conceito de centros de interesse grupo de produtos que tm alguma relao,

    seja concorrendo entre si ou complementando-se mutuamente e da sua utilizao na gesto

    da loja. Segundo o autor, a gesto por categorias de produtos (que representam centros de

    Modelos de Previso devendas individual

    Dados de entrada:1.Sries temporais

    de Q1, Q2, ... , Qn(demanda decada produto notempo)

    Demanda previstapara cada produto

    Q1, Q2, ... , Qn

    BARASH & MITCHELL, 1998; GORDON, 1998; ALIBAIG & LILLY, 1999

    Q1

    Q2

    Q3

    Qn

    Modelo para produto 1

    Modelo para produto 2

    Modelo para produto 3

    Modelo para produto n

    Dados de entrada:2.Variveis

    explicativas dademanda(modelo causal)

    Demanda previstapara cada produto

    Q1, Q2, ... , Qn

    MENTZER & KENT, 1999; SUBRAHMANYAN, 2000

    A

    B

    C

    Z

    Modelos de Previso devendas individual

    Modelo para produto 1Modelo para produto 2

    Modelo para produto 3

    Modelo para produto n

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    13/150

    6

    interesse dos consumidores) fundamental para o sucesso de um empreendimento de varejo,

    e costuma influenciar diretamente a disposio dos produtos na loja.

    Alguns autores, como BEN-AKIVA & GERSHENFELD (1998) e GUADAGNI &

    LITTLE (1998) investigaram sobre o relacionamento entre produtos na previso de vendas,mas nestes estudos pouco se utilizaram dados histricos sobre os produtos, baseando-se mais

    em anlises exploratrias e pesquisas de grupo. V-se ento uma lacuna na bibliografia sobre

    previso existente, que o estudo do relacionamento entre os produtos na previso de vendas,

    com a construo de modelos quantitativos que possam incorporar e utilizar-se de

    informaes acerca de mais de um produto simultaneamente.

    CHAKRABORTY et al. (1992) mostraram, com o uso de redes neurais artificiais, ser

    possvel melhorar a previso de sries temporais de variveis afins ao incorpor-las em um

    nico modelo, e no realizar as previses isoladamente. A exemplo da pesquisa de

    CHAKRABORTY et al. (1992), pretende-se neste estudo explorar uma metodologia de

    previso de vendas que, a partir de dados histricos da demanda individual de cada produto

    pertencente a um centro de interesse, levar em considerao o impacto da demanda (ou das

    aes sobre a demanda) de cada produto sobre a demanda dos demais. O modelo deve,

    portanto, incorporar os relacionamentos existentes entre os produtos de um centro de

    interesse, utilizando para tanto a tcnica de redes neurais artificiais.

    A figura a seguir descreve a abordagem a ser adotada neste trabalho.

    Figura 4 - Abordagem da presente pesquisa

    Como mostrado na figura acima, este trabalho visa investigar o relacionamento entre

    produtos afins na previso de vendas individual de produtos, e, atravs da adoo de um

    modelo causal, averiguar como esta previso pode ser utilizada para auxlio tomada de

    decises no varejo.

    O problema de investigao pode ser centrado na seguinte questo:

    Dados de entrada:2.Variveis

    explicativas dademanda(modelo causal)

    Demanda previstapara cada produto

    Q1, Q2, ... , Qn

    Abordagem da presente pesquisa

    A

    B

    C

    Z

    Modelo de Previso devendas individual, paraum grupo de produtosrelacionados (centro deinteresse)

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    14/150

    7

    Como utilizar o processo de minerao de dados para a descoberta de

    relacionamentos entre produtos e previso de vendas individual de produtos para apoio

    tomada de decises operacionais no varejo?

    3. Objetivos da Pesquisa

    O objetivo geral desta pesquisa explorar a possibilidade de usar uma metodologia

    capaz de identificar padres de relacionamento teis na previso de vendas individual no

    varejo, com o uso do processo de minerao de dados. Essas previses devem abordar grande

    parte das decises de curto prazo enfrentadas no cotidiano do gestor da loja, num nvel

    aprofundado detalhado quanto a produtos de decises. O objetivo explorar um modelo

    de previso de demanda para os produtos visando identificar um composto de marketing

    adequado (preos, produtos e promoes).

    Os seguintes objetivos especficos podem ser destacados:

    Explorar a tcnica de redes neurais artificiais para a criao de modelos de

    previso de vendas individualizadas no varejo.

    Desenvolver uma rede neural artificial para previso de vendas capaz de

    detectar relacionamentos entre variveis que impactam no volume de vendas

    de uma loja ou cadeia de lojas, de forma detalhada (por produto).

    4. Questes de Pesquisa

    Durante o desenvolvimento da metodologia de criao de modelos para previso de

    demanda, pretende-se explorar as seguintes questes:

    Como tratar os dados de vendas de maneira atomizada sem agregaes e de

    forma sistemtica para serem utilizados em um processo de minerao de

    dados. Em outras palavras, como realizar a coleta, filtragem, limpeza etransformaes necessrias a um adequado pr-processamento de dados para

    criao de modelos, em se tratando de dados no agregados?

    possvel utilizar as informaes a respeito dos centros de interesse de um

    grupo de produtos em modelos de previso? Em caso afirmativo, esse

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    15/150

    8

    procedimento, incorporando os relacionamentos entre as demandas de produtos

    afins melhora os resultados dos modelos de previso construdos?

    A tcnica de redes neurais artificiais adequada para gerao de modelos de

    previso no varejo?

    5. Delimitaes da Pesquisa

    Esta pesquisa est focada em anlises de dados de vendas no varejo, e, portanto, no

    trata de problemas referentes demanda em servios, na indstria primria ou mesmo outros

    elementos da cadeia de distribuio que no seja aquele de distribuio ao consumidor final.

    Outra delimitao importante diz respeito ao horizonte de previso: como os modelos

    gerados tratam de dados extremamente atomizados, sua utilizao em horizontes amplos

    torna-se invivel. A princpio, apenas decises operacionais do composto de marketing num

    horizonte de curto prazo so consideradas.

    No preocupao deste estudo, tambm, a comparao direta entre modelos de

    previso de vendas. Os modelos gerados foram confrontados com outras modelagens apenas

    para efeito de confirmao de sua capacidade preditiva mnima. A preocupao central deste

    trabalho com a metodologia utilizada para deteco de relacionamentos entre as variveis

    que afetam a demanda no varejo, a fim de dar uma melhor compreenso da realidade em que

    a loja est sujeita por meio de uma previso de vendas causal mais acertada.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    16/150

    9

    CAPTULO II FUNDAMENTAO TERICA

    Esta reviso bibliogrfica est dividida em trs partes. Na primeira parte, o problema

    de previso de vendas abordado; so mostradas as diversas iniciativas tomadas ao longo da

    evoluo do tema na tentativa de solucionar o problema, e a abordagem desta pesquisa

    situada perante as demais abordagens encontradas na literatura. Na segunda parte, o processo

    de minerao de dados abordado, mostrando algumas das tcnicas desenvolvidas at o

    presente momento e a metodologia de anlise envolvida em projetos de minerao de dados.

    Finalmente, a terceira parte traz uma reviso da literatura sobre a tcnica de redes neurais

    artificiais e sua aplicao para problemas de previso.

    1. O Problema de Previso de VendasThese hieroglyphics have evidently a meaning. If it is a purely arbitrary one, it may be

    impossible for us to solve it. If, on the other hand, it is systematic, I have no doubt that we shall get to

    the botton of it (DOYLE, 2002).

    Para aumentar a vantagem competitiva comercial em um ambiente de constantes

    mudanas, os gestores de uma organizao devem tomar a deciso correta no momento certo,

    com as informaes que tiverem em mos. Uma previso acertada tem papel fundamental

    nesse processo. Compreendendo melhor o comportamento do consumidor e sua resposta s

    alteraes nos fatores controlveis que o varejista articula (o composto de marketing), os

    gestores podem prever os resultados de suas aes e obter dados de diagnstico para se suprir

    de informaes que permitam aes acertadas no futuro.

    Previso, ou em ingls forecasting, pode ser definida como uma seqncia de passos

    que o tomador de decises realiza, seja implcita ou explicitamente, para antever

    satisfatoriamente um valor futuro. Entretanto, devido s complexidades do processo decisrio

    em ambientes no estruturados, no uma tarefa fcil saber quais passos tomar (LUXHOJ et

    al., 1996).MAKRIDAKIS et al. (1983) destacam os fatores que fizeram com que a importncia

    da previso aumentasse:

    Aumento na complexidade das organizaes (como o aumento do nmero de nichos

    de mercado e de produtos oferecidos) e de seu ambiente (mudanas tecnolgicas e na

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    17/150

    10

    estrutura da demanda), tornando mais difcil levar em considerao todos os fatores

    relacionados ao desenvolvimento futuro da organizao.

    As organizaes passaram a adotar procedimentos decisrios mais sistemticos, que

    envolvem justificativas explcitas para cada ao tomada. Ter uma previso de vendas

    formal uma forma de suportar tais procedimentos.

    O desenvolvimento contnuo das tcnicas de previso e suas aplicaes, permitindo

    que no s analistas especializados como tambm gerentes e outros tomadores de

    deciso entendessem e utilizassem tais tcnicas.

    Apesar do reconhecimento da importncia das previses entre executivos de todos os

    setores, sua implementao no universal existe uma lacuna entre o desenvolvimento

    terico das tcnicas de previso e sua aplicao prtica nas organizaes. De acordo com o

    que foi levantado nesta reviso bibliogrfica, o uso prtico das tcnicas de previso ainda est

    muito distante dos avanos tericos, fato comprovado pelo uso macio de tcnicas subjetivas

    ou de tcnicas quantitativas rudimentares.

    1.1. Estudos Empricos Sobre o Problema de Previso

    WINKLHOFER et al. (1996) propem um framework (estrutura) para organizar os

    estudos empricos relativos previso, que apresentado abaixo.

    Figura 5 -Frameworkpara anlise de mtodos de previso (WINKLHOFER et al., 1996)

    Oframeworkdistingue trs diferentes grupos de problemas:

    Questes metodolgicas Propsito/uso da previso Analistas Usurios Fontes de dados Horizonte de tempo e freqncia das previses Recursos dedicados Nvel de agregao das previses

    Questes de seleo e especificao Familiaridade com a tcnica de

    previso Critrio de seleo da tcnica Uso de mtodos alternativos

    Questes de avaliao Apresentao dos resultados aos

    gestores Reviso e uso de julgamento subjetivo Padres de avaliao Performance Problemas e melhorias

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    18/150

    11

    1. Questes metodolgicas(design issues) compreendem o propsito e o tipo de

    previso, os recursos envolvidos, as caractersticas dos analistas e usurios

    envolvidos e as fontes de dados utilizadas;

    2. Questes de seleo e especificao (selection/specification issues) dizemrespeito s tcnicas de previso e respondem as questes de familiaridade,

    seleo e uso de mtodos de previso alternativos;

    3. Questes de avaliao(evaluation issues) focam nos resultados das atividades

    de previso, como a apresentao e reviso das previses, medio da

    performance da previso e as foras queafetam sua acurcia.

    Os trs grupos so interligados de tal forma que cada um deles tem implicaes nos

    demais. As sees seguintes abordam o problema de previso segundo oframeworkproposto.

    1.1.1.Questes Metodolgicas

    Nvel de agregao das previses

    Para analisar o nvel de agregao dos dados, ROBERTS (1998) prope que as

    tcnicas de previso quantitativas existentes podem ser classificadas dentro de quatro

    categorias bsicas, que so:

    Nvel individual Nvel agregado

    Produtos existentes Modelos de varredura de dados do

    comportamento individual (I)

    Modelos economtricos de

    comportamento do mercado (II)

    Novos produtos Modelos de teste e pr-teste de

    mercado (III)

    Modelos de difuso da inovao

    (IV)

    Tabela 1 - Classificao das tcnicas de previso quantitativas segundo o nvel de agregao dos dados(ROBERTS, 1998)

    As tcnicas de modelagem voltadas para previso em marketing podem ser divididas,

    de acordo com o autor, segundo duas dimenses principais: (1) granularidade (individual ou

    agregada) e (2) se esto dirigidos ao estudo de novos produtos ou a sensibilidades a produtos

    j existentes. Segundo o prprio autor, as divises entre as categorias no so perfeitamente

    claras e precisas, mas elas de fato formam grupos bem distintos de modelos de previso.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    19/150

    12

    A seguir so apontadas as principais caractersticas dos modelos de previso de cada

    um dos quadrantes apresentados por ROBERTS (1998), e destacada a abordagem foco desta

    pesquisa (tipo I).

    Modelagens Tipo I - Modelos de Varredura de Dados

    H muito tempo os pesquisadores estudam sries histricas de dados de produtos

    existentes para compreender melhor as respostas s variveis do composto de marketing,

    particularmente preo e propaganda. Para realizar estudos sobre dados atomizados

    (individuais), faz-se necessria uma anlise longitudinal de uma grande quantidade de dados

    capazes de representar o comportamento dos consumidores, caracterizando o tipo de estudo

    que costuma ser referido como varredura de dados, ouscanner data analysis.

    Este tipo de anlise pode ser utilizado a fim de obter o composto de marketing

    otimizado (que resulta em maior faturamento ou lucro, por exemplo) em ambientes altamente

    competitivos, entender fontes de heterogeneidade de consumidores, e para estudar as relaes

    entre o ponto de venda e a indstria em diferentes segmentos (ROBERTS, 1998).

    Diversas tcnicas tm sido utilizadas neste tipo de modelagem, entre elas modelos de

    escolha discreta, rvore de decises, tcnicas de regresso linear mltipla e anlises de sries

    temporais. Todas elas demandam um grande esforo do analista para que possam ser

    adaptadas para trabalharem com dados individualizados, e os resultados nem sempre so

    satisfatrios (ROBERTS, 1998).

    Uma das tcnicas para previso desagregada que vem sendo utilizada com sucesso a

    modelagem com uso de redes neurais artificiais, tendo mostrado superioridade sobre vrias

    outras modelagens, em diversas reas do conhecimento (ANSUJ et al., 1996).

    Dentro da classificao proposta por ROBERTS (1998), este trabalho localiza-se nesta

    categoria de previso modelagens tipo I pois est focado no desenvolvimento e

    avaliao de modelos para o estudo individual das sensibilidades de mercado s variveis do

    composto de marketing para cada produto. Ou seja, dentro de um ambiente de varejo, este

    trabalho prope uma anlise longitudinal de grande quantidade de dados histricos, a fim de

    desenvolver um modelo quantitativo capaz de prever a demanda futura de um grupo de

    produtos de forma individualizada (no agregada).

    A fim de melhor localizar o presente projeto perante as demais abordagens de previso

    segundo o nvel de agregao dos dados, as demais tipologias so brevemente apresentadas.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    20/150

    13

    Modelagens Tipo II - Modelos Economtricos de Comportamento do Mercado

    Modelos economtricos e de anlise de sries de tempo so enquadrados nesta

    categoria. Apesar de os modelos de comportamento individual serem considerados modelos

    economtricos, e os modelos de difuso de inovaes serem baseados em sries de tempo,esta categoria voltada queles modelos mais genricos, desenvolvidos principalmente no

    campo da econometria e estatstica econmica, e ento utilizados na rea de marketing.

    Os modelos economtricos surgiram efetivamente para prever ndices econmicos,

    como o prprio nome diz, e foram posteriormente adaptados para previses microeconmicas,

    e baseiam-se principalmenteem tcnicas estatsticas de regresso. O uso deste tipo de modelo

    supe a construo das equaes matemticas que o regem, o que envolve a seleo a priori

    de todas as variveis a ser consideradas e do tipo de relacionamento existente entre elas.

    J a anlise de sries temporais o processo de avaliar os relacionamentos histricos

    entre uma varivel e o tempo. O propsito bsico identificar comportamentos peridicos e

    utiliz-los para prever sries futuras.

    Exemplos tpicos da utilizao destes modelos so a previso de tendncias de

    mercado como a taxa de retrao de uma indstria ou setor; de ndices macroeconmicos

    como inflao e crescimento do PIB; de vendas agregadas em uma empresa, como o total de

    demanda anual ou mensal; dos efeitos de variveis do composto de marketing na demanda

    total, exame de canais de distribuio, entre outros.

    Esta classe de modelagem foi revista por HANSSENS et al. (1990), e aplicaes e

    exemplos das tcnicas podem ser encontrados em BROWN (1959), KLEIN & YOUNG

    (1980) e GROSS & PETERSON (1983).

    Modelagens Tipo III - Modelos de Teste e Pr-teste de Mercado

    So modelos calibrados com dados de pr-lanamento, utilizando para tanto dados

    individualizados de respondentes selecionados. Os modelos assim desenvolvidos so

    geralmente voltados ao estudo daparticipao e penetrao no mercado para novos produtos,

    e se utilizam basicamente da anlise de escolhas discretas. Outras possibilidades so a

    estimao do tamanho de um novo mercado ou de sua transformao com a entrada de um

    novo produto ou marca.

    O uso tpico destes modelos a aplicao em experimentos coma finalidade de criar

    uma funo-utilidade para situaes de escolhas baseadas em menus, ou seja, em selees

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    21/150

    14

    pr-definidas de itens ou benefcios em um produto. Podem ser utilizadas tcnicas baseadas

    em julgamento, em tcnicas estatsticas como anlise conjoint ou modelos de escolha discreta

    economtricos tipo multinomial logit ou probit, desde que utilizem dados desagregados.

    Observam-se aplicaes destes modelos em diversas reas - alm da anlise depenetrao de mercado de novos produtos -, como na seleo de cesta de produtos para venda

    casada (BEN-AKIVA & GERSHENFELD, 1998), determinao de visitao a um evento

    (POWERS, 1998), e ainda na previso de demanda de transporte, para, por exemplo,

    selecionar qual infra-estrutura viria deve ser construda ou qual meio de transporte coletivo

    implantar (DAGANZO, 1979), entre outros.

    Modelagens Tipo IV - Modelos de Difuso de Inovao

    Os modelos para previso de difuso de inovaes surgiram na dcada de 60, com

    FOURT & WOODLOCK (1960), MANSFIELD (1961) e principalmente com o modelo

    proposto por BASS (1969), o mais conhecido e explorado modelo de difuso de inovaes.

    Esses modelos foram criados com base na analogia da idia de propagao de doenas

    aplicada ao lanamento de novos produtos ou tecnologias: a taxa de adoo inicialmente

    cresce rapidamente com o efeito de contgio provocado por aqueles que j adotaram a

    inovao, e posteriormente decresce com o efeito de saturao e diminuio do mercado

    disponvel.

    O processo de difuso consiste de quatro elementos bsicos: inovao, canais de

    comunicao, tempo e sistema social. Como uma teoria de comunicao, a teoria de difuso

    foca nos canais de comunicao. Estes consistem em dois meios fundamentais e distintos: (1)

    mdia de massa e (2) comunicaes pessoais, ou boca-a-boca. O modelo de Bass assume

    ento que os adotantes esto subdivididos em dois grupos: aqueles influenciados apenas pela

    mdia e aqueles influenciados apenas pelo boca-a-boca os inovadores e os imitadores,

    respectivamente.

    O modelo de Bass e suas formas revisadas tm sido usados para prever a difuso deinovaes no varejo, tecnologia industrial, agricultura, educao, farmcia e mercados de bens

    durveis. O objetivo de um modelo de difuso prever o nvel de uso de uma inovao ao

    longo do tempo em uma populao de possveis adotantes, e serve basicamente para prever as

    vendas de inovaes consideradas primeira compra.

    A principal equao do modelo de Bass pode ser escrita como:

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    22/150

    15

    Equao I: )]().[(.)](.[)(

    )( tNmtNm

    qtNmp

    dt

    tdNtn +==

    onde: n(t) o nmero de novos adotantes no perodo;p o coeficiente inovao ou coeficiente de influncia externa;q o coeficiente de imitao, ou coeficiente de influncia interna;m o potencial de adotantes totais.

    Na equao, nota-se que um dos termos representa a adoo por consumidores no

    influenciados pela imitao os inovadores e um segundo termo representando a adoo

    dos imitadores.

    Alm de permitir previses de venda antes do lanamento para os primeiros estgios

    do ciclo de vida quando as compras de reposio ainda no ocorreram estes modelos

    tambm so usados aps o lanamento da inovao, sendo este o maior desafio identificadona literatura. Quando calibrados com base em dados histricos, os modelos de difuso s so

    estveis aps o ponto de mximo absoluto da taxa de vendas (HEELER & HUSTAD, 1980).

    Entretanto, quando ajustados com dados externos, a calibrao pr-lanamento pode ser

    alcanada (LAWRENCE & LAWTON, 1981).

    interessante notar que, mesmo depois de mais de trinta anos de pesquisas e

    desenvolvimento dos modelos de inovao, um dos primeiros modelos aquele proposto por

    BASS (1969) continua a ser extensamente utilizado como referencial terico, e os

    resultados prticos de sua aplicao em previses tm-se mostrado com desempenho igual ou

    superior aos modelos mais recentes e sofisticados (PUTSIS, 1998; FILDES &

    BOTTOMLEY, 1998). MAHAJAN et al. (1990) trazem uma reviso completa dos modelos

    de inovao, seus avanos e concluses.

    Propsito, uso, freqncia e horizonte de tempo das previses

    Diversos estudos analisam o porqu de se realizar previses e seu uso. Em WHITE

    (1986), 64% dos respondentes afirmaram que o principal propsito das previses formularum objetivo, uma performance a ser alcanada, enquanto apenas 30% gostariam de obter uma

    medida realista do potencial do mercado. MENTZER & COX (1984) pesquisaram sobre as

    principais reas de aplicao das previses, e os resultados indicam planejamento de

    produo, inventrios e oramento como as reas decisrias mais influenciadas pelas

    previses. Este resultado coerente com aqueles encontrados por MCHUGH & SPARKES

    (1983) e PETERSON (1993). Em muitos casos, os gestores confundem previso com metas a

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    23/150

    16

    serem alcanadas, ou seja, previso de vendas com planejamento de vendas (FILDES &

    HASTINGS, 1994), o que gera freqentemente mudanas nos resultados das previses por

    motivos externos, como motivaes polticas e estratgicas da organizao (PETERSON,

    1993).

    O estudo de PETERSON (1993) vai mais alm, concluindo que grandes firmas de

    varejo utilizam tcnicas de previso de vendas com maior freqncia que os pequenos

    varejistas, resultado confirmado por PETERSON & JUN (1999), que mostraram que entre as

    empresas grandes, 100% afirma preparar previses ao menos uma vez por ano, nmero este

    que cai para 93,2% entre as empresas pequenas. As freqncias de preparao das previses

    so segundo os autores, nesta ordem: anual (a mais comum), quadrimestral, semestral e

    mensal (a menos comum), resultado compatvel com aqueles obtidos por CERULLO &

    AVILA (1975) e WHITE (1986).

    Quanto ao horizonte de tempo utilizado nas previses, h pouco consenso entre os

    autores, tanto no que se refere ao desempenho das tcnicas quanto s prprias definies de

    curto, mdio e longo prazos. Estudos j foram conduzidos para previses com horizonte de

    tempo de um dia (SAKAI et al., 1999) at 25 anos (NAYLOR, 1981). Os estudos

    relacionados ao horizonte de tempo e freqncia das previses confirmam, no entanto, a

    proposio de WHITE (1986), de que as companhias utilizam a freqncia que melhor se

    adapta aos seus produtos, mercado e mtodo de operao. No h uma freqncia de previso

    ideal.

    Analistas e Usurios das Previses

    Parece no haver um consenso sobre a responsabilidade na preparao das previses,

    isto , de maneira geral no h nas organizaes um cargo de analista de previses fixo. De

    acordo com DRURY (1990), apenas uma em cada cinco empresas possui equipe especfica

    para planejamento e previso; em metade das empresas essa funo est a cargo da alta

    administrao, e em cerca de 15% das companhias a responsabilidade no definida. Essa

    funo de analista, ou seja, quem prepara as previses combina as disciplinas de

    economia, matemtica, estatstica, contabilidade e, mais recentemente, computao; seu

    objetivo tentar explicitar atravs de equaes ou modelos matemtico-computacionais seus

    pressupostos (teorias) e processos lgicos sobre a realidade, tendo a vista a obteno de

    previses sobre determinadas grandezas.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    24/150

    17

    H observaes que indicam falta de comunicao entre usurios e analistas, e uma

    falta de preparo na elaborao de previses efetivas, mesmo com a crescente facilidade na

    obteno de anlises oferecida por pacotes estatsticos comerciais disposio atualmente

    (WINKLHOFER et al., 1996). H ainda grande disparidade na percepo do status e

    necessidades das previses entre os analistas e os usurios (WHEELWRIGHT & CLARKE,

    1976), o que causa anlises desconexas da necessidade real do gestor e, portanto,

    freqentemente ignoradas.

    SANDERS (1992) conclui que os gestores responsveis pelas previses em empresas

    de servio e varejo tendem a ter formao educacional mais baixa que aqueles de empresas

    industriais. O autor afirma ainda que os gestores de empresas industriais esto mais

    familiarizados com tcnicas quantitativas relativamente complexas que os gestores de

    empresas de servio e varejo. Outra concluso relacionada diz respeito correlao positivaencontrada entre o nvel de escolaridade dos analistas e o uso de tcnicas de previso mais

    sofisticadas (CERULLO & AVILA, 1975), o que ajuda a explicar a maior importncia e

    aplicao dada pelas empresas industriais previso de vendas, em comparao s empresas

    de varejo.

    PAN et al. (1977) concluem que grandes empresas industriais reconhecem a

    importncia da previso de vendas e empregam recursos na elaborao de previses formais e

    regulares. Ainda segundo PAN et al. (1997), as pequenas empresas tambm costumam utilizar

    com maior freqncia tcnicas subjetivas, em oposio s grandes companhias, que utilizam

    tcnicas quantitativas mais sofisticadas com maior freqncia.

    De acordo com CHASE (1999) os responsveis pelas previses tendem a ser analistas

    de negcios, ou seja, analistas com uma viso muito mais ampla do que simplesmente prover

    os gestores com nmeros relativos a previses acuradas. A combinao de apreciao

    estatstica e conhecimento do mercado necessria para tal anlise, o que resulta em uma

    previso de vendas que pode ser utilizada na confeco de planos de vendas, de marketing, de

    produo, de compras e finalmente de negcios.

    Essas concluses fortalecem a carncia latente dos segmentos ligados ao varejo em

    conhecimento sobre as tcnicas de planejamento e previso. Tambm corroboram para a idia

    de que o analista tem a funo de definir e medir os elementos do mercado que direcionam o

    negcio e no de simplesmente tentar adivinhar o futuro provendo a alta administrao

    com anlises de suporte deciso acionveis, capazes de influenciar os objetivos de vendas.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    25/150

    18

    Fontes de dados

    Uma expresso comum entre os analistas e estatsticos , em ingls, Garbage In,

    Garbage Out, ou entra lixo, sai lixo. Ela expressa bem o sentido de que nenhum modelo

    capaz de gerar boas previses sem a presena de dados confiveis e, principalmente, querepresentem o problema em questo. O problema reside no fato de que os sistemas voltados

    operao da empresa nem sempre enfatizam a presena de dados limpos e confiveis.

    Algumas vezes, os dados disponveis no so adequados ao que se quer prever; por exemplo,

    na previso de demanda, muitas vezes s se dispe de dados de entregas, e estas no so uma

    boa representao do fenmeno de interesse a demanda.

    A presena de dados confiveis e que representem o fenmeno estudado , segundo

    BROWN (1963), um dos fatores de maior ganho em acurcia. Normalmente, demanda-se um

    grande esforo de modelagem para um pequeno ganho de acurcia, porm dados que melhor

    representem o problema geram grandes ganhos, muitas vezes com pouco esforo.

    Para a preparao de previses tanto agregadas como individuais diversas fontes

    de dados podem ser utilizadas. Normalmente, elas so divididas em dois grandes grupos de

    fontes: internas e externas (WINKLHOFER et al., 1996).

    Fontes internas de dados so aquelas, como o prprio nome diz, internas companhia,

    e muitas vezes esto armazenadas em diversas bases de dados nos departamentos ou setores

    da empresa. Para ter uma fonte interna de dados macia, necessrio manter um registro de

    todas as atividades do composto de marketing, incluindo modificaes realizadas nos

    produtos, promoes, polticas internas, mudanas ambientais e da concorrncia, j que

    modelos quantitativos podem utilizar todos esses dados, muitas vezes com ganhos de acurcia

    aliados a pouco esforo adicional para coleta de tais informaes. Os dados internos podem

    ter origem nos canais de venda da companhia, como dados histricos de vendas; em

    informaes coletadas com a fora de vendas (quantitativas e qualitativas); em dados dos

    centros de distribuio e dos pontos de venda final. Naturalmente, estes ltimos so os mais

    indicados para previses de venda, j que refletem a demanda real dos produtos, sem

    distores devido a reposies de estoque, devolues, diferenas de tempo entre distribuio

    e demanda final, entre outras.

    As fontes externas de dados mais utilizadas so aquelas que dizem respeito aos fatores

    macroeconmicos que possam influenciar nas previses, como ndices governamentais,

    tendncias poltico-econmicas, estatsticas financeiras e scio-econmicas. Tambm

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    26/150

    19

    comum a compra de bases de dados externas para se obter dados da concorrncia, dados

    econmicos e do setor, promoes, tendncias de preos, de lanamento de produtos e

    tecnolgicas, entre outros.

    freqente a presena de distores nos dados disponveis, que podem ter vriasorigens, entre elas (GEURTS & WHITLARK, 1996):

    Presena de outliers. Podem ser resultado de aes de marketing

    extraordinrias, ou fenmenos externos com efeito apenas sobre alguns pontos da srie

    (de curta durao). Normalmente, a ao de outliers de difcil deteco pelos

    modelos.

    Presena de cotas de venda. Os vendedores manipulam suas vendas para

    atingir as cotas, e muitas vezes prorrogam as vendas para ficar mais fcil atingir ascotas do prximo perodo, ou realizam promoes agressivas para atingir as metas do

    perodo. Este fenmeno conhecido comogame playing.

    Sries de dados contaminadas com dados de fenmenos concorrentes, como o

    caso da demanda representada pelas entregas ou produo, ao invs de vendas

    propriamente ditas. Nestes casos as previses tero acurcia invariavelmente baixa, e a

    nica soluo tentar aproximar os dados do que se quer estudar de fato. Por exemplo,

    pode-se inserir o valor de pedidos atrasados ou adiantados a fim de aproximar os

    dados de entregas da demanda verdadeira.

    Vendas gerenciadas por contas. As contas podem no representar a demanda

    real, uma vez que tambm esto sujeitas aogame playing.

    Estratgias para fugir de taxas e impostos, como a produo acelerada no

    ltimo ms do ano. Estas devem ser detectadas e amenizadas.

    Polticas empresariais diversas, por questes legais, de marketing ou outras.

    1.1.2.Questes de Seleo e Especificao de Tcnicas de Previso

    Inmeras tcnicas de previso j foram desenvolvidas na tentativa de melhor elucidar

    o problema de previso de vendas. Tais tcnicas podem ser divididas em dois grupos

    principais de abordagem: quantitativo e qualitativo. Dentro de cada grupo, vrias subdivises

    distintas j foram propostas na literatura para classificar as tcnicas de previso; neste

    trabalho proposta uma nova taxonomia das tcnicas de previso, buscando classific-las

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    27/150

    20

    primeiramente de acordo com sua abordagem conceitual, em seguida por sua metodologia de

    coleta e tratamento dos dados, e finalmente distinguindo as diferentes tcnicas de anlise de

    dados dentro de cada abordagem.

    A figura a seguir mostra a taxonomia das tcnicas de previso proposta (a caixa emdestaque sinaliza a categoria de modelos foco desta pesquisa):

    Figura 6 - Taxonomia das tcnicas de previso

    Conforme mostra a figura, os mtodos quantitativos podem ser divididos em: 1)

    anlise de sries temporais, baseada na descoberta de padres nos dados histricos de uma

    Modelos Ba esianos

    ualitativas

    Tcnicas Ex loratriasPert-simplificado, teoria de utilidade, pesquisas demercado etc.

    Tcnicas de Gru oDelphi, opinies de jri executivo, composio dafora de vendas etc.

    uantitativas

    Anlises de Sries Tem orais

    Decomposio clssica, Decomposio Censo II.

    Averaging: mdia, tcnicas naive, moving average,double moving averag.

    Exponencial: exponential smoothing, ARRSES,double exponential smoothing de um e doisparmetros, triple exponential smoothing de um etrs parmetros.

    Mtodos de Suaviza o

    Mtodos de Decom osi o

    Mtodos Auto-re ressivos ARIMA

    Modelos baseados em Redes Neurais

    Tcnicas Causais

    Modelos de Re resso

    Modelos Economtricos

    Modelos baseados em Redes Neurais

    Modelos de Escolha Discreta

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    28/150

    21

    varivel; 2) mtodos causais, baseados em relacionamentos de causa e efeito, tentando

    descrever matematicamente o relacionamento de uma varivel dependente com uma ou mais

    variveis independentes; e 3) mtodos de escolha discreta, utilizados essencialmente em

    problemas de classificao. J os mtodos qualitativos podem ser divididos em: 1)

    exploratrios, como as pesquisas de mercado e teoria de utilidade; e 2) tcnicas de grupo,

    como as tcnicas Delphi e composio da fora de vendas.

    1.1.3.Questes de Avaliao

    O processo de previso pode ser decomposto em trs fases principais (LUXHOJ et al.,

    1996):

    1. Identificao do problema;

    2. Desenvolvimento de alternativas;

    3. Seleo da melhor alternativa baseada em um critrio definido.

    A partir do problema identificado como previso de vendas no varejo com uso de

    dados atomizados as alternativas de tcnicas so consideradas, como aquelas mostradas nas

    sees anteriores. A fase final do desenvolvimento de um modelo de previso passa pela

    avaliao dos modelos e seleo daquele mais apropriado ao problema, a partir de critrios

    bem definidos.

    Os critrios utilizados para seleo da melhor tcnica de previso so muito variados,e passam por:

    Acurcia. o critrio mais utilizado para seleo da melhor tcnica de

    previso, e muitas vezes o nico. Sem dvida um critrio primordial, dado

    que previses com grandes erros no suportam o gestor na tomada de decises;

    pelo contrrio, levam a decises danosas corporao.

    Custo. Envolve o custo de obteno, tratamento e preparao dos dados, o

    custo no desenvolvimento e avaliao dos modelos, e o custo de implantao

    do modelo na operao da empresa. Relaciona-se sempre aos elementos

    humano, de tempo e computacional.

    Habilidade do analista. Muitas vezes a falta de know-how sobre uma

    determinada tcnica de previso impede que ela seja sequer considerada. Uma

    familiaridade maior na aplicao de alguma tcnica influencia decisivamente a

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    29/150

    22

    escolha da mesma, at porque o analista tende a gerar modelos melhores do

    que ao utilizar tcnicas sobre as quais detm pouco conhecimento.

    Caractersticas desejadas na previso, como explicabilidade, incorporao de

    determinadas variveis, capacidade de realizar simulaes, entre outras.

    Caractersticas especficas do problema. Envolvem todo o sistema investigado:

    nmero e caractersticas das variveis relevantes, como elas se comportam

    alguns mtodos s podem ser aplicados a dados com determinados padres de

    comportamento, horizonte de tempo considerado, nmero de itens previstos,

    periodicidade das previses, entre outras.

    Facilidade de uso. Refere-se facilidade de uso da tcnica em si, na gerao do

    modelo, e da utilizao posterior deste modelo no contexto da organizao.

    Envolve: complexidade, tempo de desenvolvimento, nvel de conhecimentoexigido, e base conceitual aplicada.

    Requerimento de dados. A disponibilidade de dados dentro dos padres

    esperados por determinadas tcnicas pode pressionar a escolha das mesmas.

    Disponibilidade de softwares. A explorao das tcnicas de previso depende

    diretamente da disponibilidade de pacotes estatsticos que as suportem,

    sobretudo nas previses quantitativas.

    Velocidade. Refere-se agilidade e flexibilidade no desenvolvimento e

    aplicao de novos modelos.

    Facilidade de interpretao. Esta uma caracterstica fundamental de qualquer

    previso, uma vez que ela deve ser bem compreendida pelo gestor. Est

    relacionada com o poder explicativo dado pela tcnica, e alm de influenciar o

    modo como o administrador ir tomar decises a partir da previso, afeta

    tambm sua credibilidade.

    Eficincia. Capacidade de melhorar a performance com o passar do tempo,

    conforme assimila maior quantidade de dados. Tambm conhecida como taxa

    de aprendizado do modelo de previso.

    Enviesamento. Ausncia de respostas enviesadas; que tendem sempre para

    mais ou para menos.

    Capacidade de incorporar a experincia do gestor. Este tem sido o critrio mais

    usado para justificar o uso de mtodos qualitativos de previso (MCHUGH &

    SPARKES, 1983).

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    30/150

    23

    No h consenso na literatura sobre qual o critrio ou conjunto de critrios mais

    importante na seleo das tcnicas de previso. WHEELWRIGHT & CLARKE (1976) citam

    custo, habilidade do analista, caractersticas do problema e desejadas no mtodo como os

    critrios mais relevantes. J SANDERS (1992) obteve como respostas de gestores de

    empresas de manufatura: acurcia, requerimento de dados e facilidade de uso. Facilidade de

    uso tambm foi destacada por MCHUGH & SPARKES (1983), que adicionalmente

    encontraram a (falta de) habilidade do analista como o fator predominante para o no uso de

    tcnicas quantitativas mais formais. Finalmente, no estudo de NAYLOR (1981) os maiores

    obstculos para uso de tcnicas quantitativas foram enviesamento, falta de know-how

    (habilidade do analista) e tempo (velocidade) para construo dos modelos.

    Os resultados de WILSON & DAUBECK (1989), entretanto, mostram que h uma

    associao positiva entre a importncia percebida dos mtodos de previso e sua acurcia. Istosignifica que quanto maior a acurcia de um modelo, maior a importncia percebida dele. De

    fato, acurcia tem sido relatada como o critrio mais importante na seleo das tcnicas de

    previso (BROWN, 1963; LAWRENCE et al., 2000).

    importante distinguir os critrios de seleo de tcnicas com aqueles de avaliao

    das previses. Durante a seleo, a preocupao com a escolha da tcnica mais adequada ao

    problema, aquela capaz de modelar o fenmeno com maior preciso ou atingir outro critrio

    de seleo especificado. J durante o processo de avaliao, est-se preocupado com a

    performance do modelo criado a partir da tcnica selecionada, ou seja, com a medida da

    qualidade das previses efetuadas. Naturalmente, uma escolha acertada da tcnica de previso

    deve levar a uma melhor capacidade preditiva do modelo gerado.

    Acurcia , tambm no caso de avaliao de performance, o critrio mais utilizado

    (MENTZER & COX, 1984; SANDERS, 1992). Tal resultado natural que seja esperado,

    uma vez que a acurcia das previses de vendas tem um papel fundamental na tomada de

    decises, especialmente no que diz respeito ao planejamento financeiro e reposio de

    inventrios. Previses mal feitas podem levar a excesso de inventrio ou perda de vendas,problemas no agendamento da produo, decises de preo incorretas, falhas no atendimento

    ao cliente, entre outros todas situaes de perda financeira, ocasionando diminuio da

    lucratividade.

    Quanto aos resultados das previses, as empresas de bens de consumo (varejo)

    atingem previses otimistas (enviesadas para mais) com maior freqncia que as empresas

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    31/150

    24

    industriais, e tambm consideram a previso de vendas no importante com maior freqncia

    (SANDERS & MANRODT, 1994).

    Medidas de Desempenho dos Modelos de PrevisoUma vez que acurcia o critrio mais importante na seleo e avaliao das tcnicas

    de previso, ela deve ser definida matematicamente. A fim de avaliar o desempenho

    (acurcia) absoluto e relativo dos diversos modelos de previso, diversas ferramentas

    matemticas foram desenvolvidas com o tempo. Os principais mecanismos so (ACZEL,

    1993):

    ME.Mean Error, ou Erro Mdio, a medida mais simples de erro das previses,

    definida como o somatrio dos erros (erro total) dividido pelo nmero de

    observaes realizadas.

    Equao II:n

    e

    ME

    n

    i

    i== 1

    MAE.Mean Absolute Error, ou Erro Absoluto Mdio, o erro mdio tomado em

    termos absolutos, para que um erro positivo no seja anulado por outro negativo.

    Equao III:n

    e

    MAE

    n

    i

    i=

    =

    1

    MSE. Mean Square Error, ou Erro Quadrado Mdio, foi definido com a mesma

    finalidade de no anular os erros durante sua somatria.

    Equao IV:n

    e

    ME

    n

    i

    i== 1

    2

    MAPE.Mean Absolute Percentage Error, ou Erro Percentual Absoluto Mdio,

    uma medida do erro absoluto mdio em termos percentuais, para que se tenha uma

    viso do erro comparado com o valor previsto, e tambm para permitircomparaes entre modelos que utilizam dados diferentes.

    Equao V:n

    Xi

    FiXi

    MAPE

    n

    i

    =

    = 1.100

    Outras medidas de acurcia podem ainda ser definidas, apesar de no serem to

    comuns na prtica, como:

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    32/150

    25

    AE.Absolute Error, ou Erro Absoluto, o erro total acumulado, somado de forma

    absoluta (com o uso do mdulo do erro).

    SSE. Sum of Squared Erros, ou Soma Quadrada dos Erros, o total quadrado dos

    erros verificados. Ou seja, representa o MSE sem a medida da mdia.

    PE.Percentage Error, ou Erro Percentual, o erro total medido em porcentagem.

    MPE. Mean Percentage Error, ou Erro Percentual Mdio, medida percentual do

    erro mdio, ou seja, o PE medido em termo mdio.

    APE. Absolute Percentage Error, ou Erro Percentual Absoluto, o erro absoluto

    total medido em porcentagem. Em outras palavras, representa o MAPE sem a

    medida da mdia.

    RMSE. Root Mean Square Error, ou Raiz do Erro Quadrado Mdio, tomado a

    partir da raiz do MSE, para que a medida volte unidade original. SMAPE. Symetric Mean Absolute Percentage Error, ou Erro Percentual Absoluto

    Mdio Simtrico, uma adaptao do MAPE, evitando que grandes erros pontuais

    tenham peso exagerado na medida da acurcia. recomendado quando existirem

    falhas ou picos repentinos na demanda.

    YTD MAPE. a medida do MAPE para o ltimo ano corrido, isto , para as

    ltimas 52 semanas ou 12 meses at o momento, dependendo da freqncia

    tomada.

    CumRAE. Cumulative Relative Absolute Error, ou Erro Absoluto Relativo

    Acumulado, mede a capacidade preditiva de dois modelos, comparativamente.

    definido como a relao entre os erros totais verificados por dois modelos.

    MdCumRAE. Median Cumulative Relative Absolute Error, ou Erro Absoluto

    Relativo Acumulado Mediano, uma forma de usar o CumRAE na comparao de

    mais de dois modelos.

    A escolha do critrio a ser utilizado para medir a acurcia dos modelos no arbitrria

    ela deve ser feita baseada nas caractersticas do problema e das medidas citadas. Um dosmtodos mais utilizados o MSE, por ser um estimador no enviesado. Porm este e

    tambm sua raiz, RMSE so largamente afetados por outliers: grandes e possivelmente

    raros erros. Caso ocorram picos de erros, e o objetivo seja ter um modelo buscando acurcia

    ao longo do tempo, este critrio deve ser desconsiderado. A medida do MAPE pode ser a

    melhor medida nestes casos, por ser computada por medidas absolutas (e no quadradas) e em

    porcentagem do valor previsto. Outra vantagem da MAPE ter uma viso da amplitude do

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    33/150

    26

    erro: por exemplo, dizer que um modelo teve erro mdio de 8% (MAPE) fornece mais

    informaes do que dizer que seu MSE foi de 361, ou que seu MAE foi 147. No caso de se ter

    como objetivo um modelo de previso que respeite limites de erro mximo, a medida do

    MAE pode ser a mais indicada, assim como as medidas de AE e APE (HARDIE et al., 1998).

    Comparao e Seleo de Tcnicas de Previso

    No h, de maneira geral, uma concluso uniforme na literatura sobre o desempenho

    comparativo das tcnicas de previso. Geralmente as tcnicas so comparadas apenas com

    relao sua capacidade preditiva, e as concluses so dspares no h consenso sobre qual

    tcnica a mais apropriada para cada tipo de problema. Porm, fato que nenhuma tcnica

    supera as demais em todas as aplicaes. Algumas, entretanto, tm baixa performance

    sempre, como os mtodos de suavizao atravs de mdias estes so citados mais por

    questes histricas, e raramente empregados na prtica, a no ser para comparar o ganho de

    acurcia na adoo de uma nova tcnica de previso (MAKRIDAKIS et al., 1983).

    Outra concluso que parece ser consenso na literatura quanto baixa acurcia das

    tcnicas qualitativas (LUXHOJ et al., 1996; ALIBAIG & LILLY, 1999;

    SUBRAHMANYAN, 1998; SUBRAHMANYAN, 2000; LAWRENCE et al., 2000). Segundo

    MAKRIDAKIS et al. (1983), tais tcnicas s apresentam resultados equivalentes s

    quantitativas no longo prazo (mais que dois anos), e so freqentemente mais caras dado quedemandam muito tempo dos analistas e da alta administrao. J as tcnicas quantitativas

    podem ser aplicadas a qualquer horizonte de tempo, desde que os padres no se modifiquem.

    Uma importante ressalva deve ser feita quanto ao padro dos dados: muitas tcnicas,

    principalmente as de sries temporais, so aplicveis apenas a alguns padres, mostrando

    grandes erros se aplicadas em outros padres. De fato, a maior parte das tcnicas

    quantitativas, incluindo as tcnicas causais, requer uma anlise prvia do padro geral dos

    dados, a fim de formular um modelo adequado.

    Alm das diferenas estruturais nos inmeros problemas j estudados, outro fator que

    pode ter influenciado na disparidade das concluses acerca do desempenho das tcnicas a

    qualidade (representatividade e quantidade suficiente) e natureza (seleo das variveis) dos

    dados apresentados, independentemente do modelo utilizado. Os resultados dos estudos de

    CHURCH & CURRAM (1996) e GEURTS & WHITLARK (1996) confirmam que a

    qualidade dos dados fator preponderante na acurcia das previses.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    34/150

    27

    A tabela a seguir demonstra a disparidade nos resultados alcanados por diversos

    autores a respeito da acurcia das diferentes tcnicas de previso, quando comparadas entre si

    para um mesmo conjunto de dados:

    Autor Tcnicas Estudo Concluses(LAWRENCE etal., 2000)

    Tcnicasqualitativas Xnaivenoajustada

    Compararam a acurcia dos mtodos depreviso de 13 empresas de manufatura,todas utilizando mtodos de previsosubjetivos. Os resultados foramcomparados com uma previso naivenoajustada.

    Os resultados mostraram que as previsesqualitativas das empresas no foramconsistentemente melhores que a (simplria)tcnica naive. Este resultado poderia ser ainda piorse tivesse sido utilizada a tcnica naiveajustada,igualmente simples, mas que leva emconsiderao a sazonalidade.

    (SPEDDING &CHAN, 2000)

    Modelagembayesiana XARIMA

    Desenvolveram modelos de previso devendas para controle de inventrios. Ummodelo bayesiano baseado em sries detempo dinmicas lineares proposto para apreviso de demanda (agregada), e

    comparado com uma modelagem ARIMA.

    Os resultados obtidos indicam que a melhortcnica para previso de demanda agregada amodelagem bayesiana. O modelo bayesianotambm apresentou melhor resultado com ainsero de maior nmero de sries temporais,

    indicando maior eficincia no aprendizado.(BIDARKOTA,1998)

    Diferentesmtodosauto-regressivos,uni ebivariados

    Compara a performance de dois modelosde sries temporais na previso de taxas dejuros: um deles com o uso de uma srie dedados composta por valores de taxas dejuros reais, e outro composto por dados dejuros nominais e inflao. Duas variaesda modelagem ARIMA foram utilizadas.

    O modelo bivariado mostrou maior acurcia paradados fora da amostra, apesar de ambos osmodelos apresentarem grandes erros no longoprazo. Prova, at certo ponto, que prever atravsdos componentes tericos da srie (como umatcnica causal) tem resultado igual ou melhor quea previso a partir da srie temporal isolada.

    (NEWBOLD &GRANGER,1977)

    Sriestemporais eARIMA

    Compararam a acurcia de diversosmodelos baseados nas tcnicas desuavizao exponencial (mtodo de Holt),ARIMA (mtodo Box-Jenkins) e regresso

    stepwise.

    Os modelos gerados a partir da tcnica Box-Jenkins (ARIMA) mostraram-se superior em 73%dos casos. Com o aumento do horizonte de tempo,os modelos ARIMA continuaram superiores,porm em apenas 57% dos casos.

    (MAKRIDAKIS,1982)

    Sriestemporais

    Comparou a acurcia de trs tcnicas desries temporais: suavizao atravs demdias, suavizao exponencial e ARIMA.Para tanto, utilizou 1001 sries de dados devendas reais.

    A suavizao exponencial simples mostrou-se sera tcnica mais acurada, seguida da ARIMA e detcnicas de suavizao exponencial maiscomplexas.

    Tabela 2 Exemplos de comparao de desempenho das tcnicas de previso na literatura

    1.2. Tcnicas de Previso

    1.2.1.Tcnicas Qualitativas de Previso

    As tcnicas de previso qualitativas, tambm chamadas de tcnicas subjetivas ou

    baseadas em critrios de juzo, so aquelas que utilizam primordialmente a capacidade

    humana de estabelecer generalizaes e extrapolaes. Estas tcnicas pouco se utilizam ou

    simplesmente no se utilizam de sries de dados histricos, quantitativos.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    35/150

    28

    Uma concluso presente em vrios estudos indica que, em geral, as empresas parecem

    estar mais vontade com essas tcnicas que com mtodos quantitativos (WHEELWRIGHT &

    CLARKE, 1976; MCHUGH & SPARKES, 1983; MENTZER & COX, 1984; FILDES &

    HASTINGS, 1994). Contudo, um estudo recente conduzido por SANDERS & MANRODT

    (1994) sinaliza que a familiaridade com mtodos quantitativos crescente em sua pesquisa

    76% dos respondentes afirmaram possuir familiaridade com pelo menos uma tcnica

    quantitativa para previso de vendas, contra 61% obtidos no estudo de MENTZER & COX

    (1984).

    Talvez essa familiaridade com mtodos qualitativos seja devido ao fato de eles serem

    mais simples, e algumas vezes at intuitivos; fazendo com que sejam os mtodos mais

    utilizados nas empresas (SANDERS & MANDRODT, 1994; PETERSON & JUN, 1999). De

    fato, facilidade de uso e capacidade de incorporar a experincia do gestor so os principaisargumentos utilizados para justificar o uso intensivo de tcnicas de julgamento subjetivo nas

    previses, em detrimento de tcnicas quantitativas (WINKLHOFER et al., 1996).

    Entretanto, diversos estudos mostraram que os mtodos qualitativos oferecem baixa

    acurcia, e no raro, as previses subjetivas geram grandes erros, ocasionando distrbios no

    planejamento e resultado final das operaes corporativas (LUXHOJ et al., 1996; ALIBAIG

    & LILLY, 1999; SUBRAHMANYAN, 1998; SUBRAHMANYAN, 2000; LAWRENCE et

    al., 2000).

    LAWRENCE et al. (2000) sugerem alguns motivos pelos quais as previses

    subjetivas, apesar de serem muitas vezes realizadas por analistas experientes e com

    informaes contextuais do mercado, no possuem boa performance:

    As informaes contextuais podem no ter valor preditivo.

    Enviesamento e ineficincia na interpretao dos relacionamentos podem mascarar as

    informaes contextuais levadas em considerao.

    Excesso de dados a serem consideradas pelo analista, fazendo com que ele ignore ou

    d pesos errados s informaes contextuais recebidas.

    Perturbaes recentes na srie temporal podem ser entendidas pelo analista como um

    sinal de tendncia, confundindo a interpretao das informaes contextuais.

    Acurcia no o critrio mais importante nas previses das empresas.

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    36/150

    29

    Dada a baixa capacidade preditiva das tcnicas qualitativas, esta pesquisa est focada

    em mtodos quantitativos de previso, e, portanto, apenas apresenta brevemente algumas das

    tcnicas qualitativas mais utilizadas, sem detalhar seu funcionamento.

    Tcnicas Exploratrias

    Aqui esto classificadas todas as tcnicas qualitativas de explorao de dados e

    desenvolvimento de cenrios. No h grande formalidade na aplicao destes mtodos, por

    isso as variaes so incontveis.

    Algumas das tcnicas mais comuns e sistematizadas so:

    Pesquisas de mercado. Pesquisas e testes de mercado so instrumentos de

    previso teis especialmente quando dados histricos no estiveremdisponveis ou no forem confiveis. O lanamento de um novo produto o

    exemplo clssico. As desvantagens incluem baixa acurcia, alto custo e tempo

    dispensado.

    Mtodo Pert-modificado. Mtodo baseado em estimativas otimista, pessimista

    e realista dos acontecimentos futuros. s estimativas so associadas

    probabilidades de acontecimento, que so posteriormente avaliadas.

    Fundamentado na Teoria das Decises (teoria estatstica para avaliao de

    probabilidades consecutivas), porm simplificado quanto parte quantitativa.

    Teoria da utilidade. Refere-se otimizao de um parmetro ou funo

    utilidade, com base em probabilidades previstas por especialistas.

    Mtodos de extrapolao de grficos. A partir de grficos relacionados

    varivel de interesse, so traadas extrapolaes mo livre, com base no

    comportamento esperado da curva mais informaes externas, como

    crescimentos ou retraes esperados no setor, informaes da forca de vendas,

    entre outras.

    Tcnicas de Grupo

    Constituem tcnicas de previso onde as concluses so essencialmente provindas de

    anlises de mais de um especialista ou analista. As contribuies podem provir de: executivos

    da empresa, equipe de vendas, clientes e outros especialistas da rea. A maior parte desses

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    37/150

    30

    mtodos utiliza tcnicas estatsticas, com maior ou menor intensidade, para combinar as

    informaes provindas dos diversos especialistas.

    As tcnicas mais utilizadas so:

    Tcnica Delphi. Baseada em questionrios enviados para especialistas, que so

    revisados at que se chegue em consensos.

    Diagnstico de expectativas. Baseado em pesquisas de opinies de um jri

    executivo; utilizado principalmente para deteco de novas tendncias, e para

    combinar opinies sobre previses quantitativas previamente calculadas.

    Composio da fora de vendas. Uma fonte importante de dados qualitativos

    a fora de vendas de uma empresa. A percepo de futuro da equipe de vendas

    de particular importncia quando a demanda tiver um padro com muitospicos e vales (MOON & MENTZER, 1999). Existem duas condies primrias

    onde o uso da fora de vendas faz sentido na previso de vendas: (1) os

    vendedores tm bom discernimento das mudanas no padro da demanda e

    conhecimento profundo de seus clientes; e (2) os vendedores conhecem bem as

    probabilidades de garantir grandes vendas. A demanda de armamentos de

    guerra um bom exemplo de situao onde a modelagem matemtica

    virtualmente impossvel, mas a equipe de vendas tem boa expectativa do

    comportamento futuro da demanda.

    1.2.2.Modelos Bayesianos

    So modelos baseados na Teoria Bayesiana, combinando opinies subjetivas com

    procedimentos quantitativos para revisar as probabilidades previstas e por isso foram

    colocados em uma categoria prpria, dentro da classificao aqui proposta.

    O Teorema de Bayes deriva da Lei de Probabilidade Total, que afirma que dados dois

    eventos A e B, pode-se sempre dizer que a probabilidade de A igual probabilidade dainterseco de A e B mais a probabilidade da interseco de A e o complemento de B. Ou

    seja: ( ) ( ) ( )BAPBAPAP +=

    Ou, expressando em termos de probabilidade condicional:

    ( ) ( ) ( ) BPBAPBPBAPAP || +=

  • 7/21/2019 20-Explorao de Dados Atomizados Para Previsoa de Vendas Utilizando Redes Neurais

    38/150

    31

    O Teorema de Bayes permite reverter a condicionalidade dos eventos, ou, em outras

    palavras, obter a probabilidade deB dado Aa partir da probabilidade deA dado B. Segundo a

    definio de probabilidade condicional: ( ) ( )

    ( )APBAP

    ABP|

    | =

    O que, combinado com a Lei de Probabilidade Total, resulta em:

    Equao VI: ( ) ( ) ( )

    ( ) ( ) ( )BPBAPBAPBPBAP

    ABP||

    ||

    +=

    a qual o Teorema de Bayes. Ele pode ser entendido como uma forma de

    transformar uma probabilidade a priori P(B) em uma probabilidade a posteriori

    P(B|A). Convencionou-se, ento, em denominar as abordagens que utilizam informao a

    priorisobre um problema particular, combinando-a com resultados estatsticos, de bayesianas.

    Figura 7 - Modelo de inferncia bayesiana

    A informao a priori a ser utilizada pode ser um resultado estatstico anterior, ou,mais freqentemente, reflexo do conhecimento do especialista ou analista.

    Uma das grandes vantagens de se utilizar a abordagem bayesiana, alm da

    possibilidade de melhorar a acurcia com o uso de informao a priori, a anlise de forma

    seqencial que ela permite. Ou seja, informao obtida em uma anlise pode ser utilizada

    como informao a priori em uma nova anlise, quando novos dados estiverem disponveis.

    Assim, a segunda amostragem utilizada como dados, enquanto os resultados da primeira

    anlise so utilizados como informao a priori. Esta metodologia bastante utilizada em

    problemas de previso: os dados atuais so combinados com a