Softwares Miner a Cao Dad Os

7/25/2019 Softwares Miner a Cao Dad Os

1/45

Softwares de Minerao de Dados

Adalberto de Farias Falco Jr

Ana Isabel Bezerra Cavalcanti


2/45

Sumrio

1. Introduo

2. KDD e Data Mining

. !" es#ue"a de classi$icao %. & so$t'are Ba(esia)ab

*. Conclus+es


3/45

Introduo

Motivao ,ara o desenvolvi"entodas t-cnicas de KDD e Data Mining desa$io da to"ada de deciso $ace aoac/"ulo de u" grande volu"e de dados

0o$t'ares de KDD e Data Mining etrao auto"tica do con3eci"ento

estrat-gico e" grandes bases de dadosa4uda o analista na to"ada de deciso


4/45

Introduo

5" anos recentes so$t'ares deKDD e Data Mining usados,rinci,al"ente e" estgioe,eri"ental ou de ,es#uisa

Atual"ente cresci"ento e,ressivodo "ercado de so$t'ares de KDD eData Mining voltados ,ara a,lica+ese",resariais


5/45

Introduo

&b4etivos da a,resentao6 Discutir os ,rocessos de KDD e Data Mining Fornecer u" es#ue"a de classi$icao ,ara

o estudo dos so$t'ares de KDD e Data Mining Analisar $erra"entas eistentes 7 luz do

es#ue"a ,ro,osto Identi$icar as caracter8sticas #ue u" so$t'are

deve ,ossuir ,ara atender 7s necessidadesdos usurios


6/45

KDD e Data Mining

KDD ,rocesso de descoberta de,adr+es novos9 vlidos9 ,otencial"ente/teis e e" /lti"a anlise9 co",reens8veis9

e" u"a base de dados Data Mining etrao de ,adr+es ou

"odelos a ,artir de dados observados

Data Mining u"a eta,a :i",ortante; no,rocesso geral de KDD


7/45

KDD e Data Mining

Caracter8sticas a analisar ,onto de vista do,rocesso de KDD6

Ca,acidade de acesso a diversas $ontes de dados Acesso &n line/"ero "i"o de tabelas


8/45

KDD e Data Mining

Caracter8sticas a analisar ,onto de vistadas tare$as de Data Mining6

@rocessa"ento de dados

@reviso egresso Classi$icao Clustering

Anlise de associa+es isualizao 5DA :5,lorator( Data Anal(sis;


9/45

KDD e Data Mining

Caracter8sticas a analisar = ,onto de vista da"etodologia de Data Mining6

M-todos estat8sticos CB :Case=Based easoning;

edes neurais rvores de deciso Induo de regras edes ba(esianas Algor8t"os gen-ticos

Fuzz( 0ets oug3 0ets


10/45

Um Esquema de Classificao

Caracter8sticas gerais

Conectividade da base de dados

Caracter8sticas de Data Mining


11/45


Caracter8sticas gerais @roduto6 >o"e do vendedor 0tatus6 @ Co"ercial9 A Al,3a9 B Beta9 @rotEti,o de @es#uisa 0tatus )egal6 @D Do"8nio @/blico9 F Free'are9 0 03are'are9 C

Co"ercial

)icena Acad"ica De"o6 D verso de"o dis,on8vel ,ara do'nload9 verso de"o

dis,on8vel sob de"anda9 ! dis,onibilidade descon3ecida Ar#uitetura6 0 0tandalone9 C


12/45


Conectividade da base de dados For"atos6 ? A0CII :?eto;9 D Dbase9 @ @arado9 F Fo,ro9 I

In$or"i9 & &racle9 0( 0(base9 Ig Ingres9 A Access9 &C &,en Database Connection :&DBC;9 00 0G)

0erver9 5 5cel9 ) )otus 1=2= Conectividade6 &nl &n line9 &$$l &$$ line ?a"an3o6 0 @e#ueno :at- 1H.HHH registros;9 M M-dio :de 1H.HHH

a 1.HHH.HHH de registros;9 ) rande :"ais de 1.HHH.HHH deregistros;

Modelo6 elacional9 & &rientado a &b4etos9 1 ?abela

Atributos6 Co Cont8nuos9 Ca CategEricos9 0 0i"bElicos )inguage" de interrogao6 0 0G) ou derivados9 0,

linguage" de inter$ace es,ec8$ica 7 a,licao9 !I9 > >oa,licvel9 ! Descon3ecida


13/45


Caracter8sticas de Data Mining ?are$as de Descoberta6 @re @re,rocessa"ento9 @

@reviso9 egr egresso9 Cla Classi$icao9 Clu Clustering9 A Anlise de Associa+es9 is Modelo de

isualizao9 5DA 5,lorator( Data Anal(sis Metodologia de Descoberta6 >> edes >eurais9 A

Algor8t"os en-ticos9 F0 Fuzz( 0ets9 0 oug3 0ets90t M-todos 5stat8sticos9 D? rvores de Deciso9 I Induo de egras9 B> edes Ba(esianas9 CB Case=

Based easoning Interao u"ana6 A ,rocesso autno"o9 ,rocesso

guiado ,elo ser 3u"ano9 alta"ente interativo


14/45


Caracter8sticas gerais @roduto 0tatus de @rod. 0tatus )egal )ic. Acad. De"o Ar#. 0iste"a &,er. AutoClass C :>asa; @ @D = D 09@ !ni9Dos

Ba(esia)ab @ @D = D 0 Lin

BusinessMiner :Business &b4ects; , C > > 0 Lin

I>D :>asa; @ C D > 0 !ni

Intelligent Miner :IBM; @ C 0 C C > 0 !ni

i,,er :A?N?; @ C F D 0 !ni


15/45


Conectividade da base de dados @roduto For"atos Conectividade ?a"an3o Modelo Atributos Int. AutoClass C ?9D &$$l. ) 1 Co9Ca90 >

Ba(esia)ab ? &$$l. = 1 Co9Ca90

BusinessMiner ?95 &$$l. M Co9Ca90 09

I>D ? &$$l. 0 1 Co9Ca90 >

Intelligent Miner ?9D9&90(9 &nl.&$$l. ) Co9Ca90 09 Mine0et ?9I9&90( &nl.9&$$l. ) Co9Ca90 09

M)C ? &$$l. ) Co9Ca90 >

M0B> ? &$$l. 0 Co9Ca90

@5 ?9D9 &$$l. M 1 Co9Ca90 !

i,,er ? &$$l. ) 1 Co9Ca90 >


16/45


Caracter8sticas de Data Mining @roduto ?are$as M-todos Interao AutoClass C @re9 Cla9 Clu 0t. A

Ba(esia)ab @9 Cla B>

BusinessMiner @9 Cla9 A9 is D?

I>D @9 egr.9 Cla D? A

Intelligent Miner @re9 @9 egr.9 Cla >>9 D? Mine0et @re9 @9 Cla9 Clu9 A9 is9 5DA 0t.9 D?9 I9 CB

M)C @re9 @9 egr.9 Cla9 Clu9 A9 is 0t.9 D?9 I9 CB

M0B> @9 A9 is B>

@5 @re9 @9 egr.9 is9 5DA 0t.9

i,,er @9 egr.9 A I A


17/45

Bayesiaa!

Ferra"enta baseada e" redes de crenas ba(esianas. erso de"o dis,on8vel na Internet6

3tt,6


18/45

"edes !ayesianas

0o co",ostas de duas ,artes6 ra$o ac8clico direcionado6 os nEsre,resenta" variveis aleatEriasP osarcos re,resenta" de,endncias

,robabil8sticas.Arco de A at- B O A - ,redecessor direto de B.!"a varivel - condicional"ente inde,endentede seus no=descendentes no gra$o9 dado seus

,redecessores diretos. !"a tabela de ,robabilidade

condicional ,ara cada varivel.


19/45

"edes !ayesianas

5e",lo6

#a!ela de $ro!a!ilidadecondicional $ara o n%

&Bronc'its(

Estrutura da rede)


20/45

"edes !ayesianas

!"a rede ba(esiana - u"a "aneiraconveniente de re,resentar relaode causalidade.

56 Fu"ar causa bron#uite.


21/45

Bayesiaa!

A $erra"enta ,ossibilita duasabordagens6 In$erncia6 es,ecialista constrEi a rede

co" base e" con3eci"ento ,r-vio. Minerao6 etrao dos ,arQ"etros ou

de toda a estrutura da rede a ,artir de

ee",los.


22/45

Bayesiaa! * Infer+ncia

@ri"eiro ,asso6 construo da estruturada rede. e,resentao gr$ica do con3eci"ento

,r-vio sobre o do"8nio do ,roble"a. 0egundo ,asso6 edio das tabelas de

,robabilidade condicional. ?erceiro ,asso6 usar a rede constru8da

,ara in$erir o valor de u"a varivel alvo9dados os valores observados de outrasvariveis.


23/45


5e",lo6 a rede do regador de gua.


24/45


Construo da re,resentao gr$icano Ba(es)ab6


25/45


5dio da tabela de ,robabilidade

condicional ,ara o nE RLetrassS.


26/45


duas "aneiras di$erentes de se$azer in$erncia ,robabil8stica6

bottom-up: a ,artir dos e$eitos sein$ere" as causasP diagnEstico.

top-down6 dadas as causas9 co",utar

as ,robabilidades dos e$eitosP "odelosRgenerativosS.


27/45


5e",lo de racioc8nio bottom-up: 0u,ondo #ue saiba"os #ue a gra"a est

"ol3ada. duas ,oss8veis causas ,ara isso6a c3uva e o regador.

5sti"ar #ual a causa "ais ,rovvel.


28/45


@robabilidades a ,osteriori6C3uva H9THU egador H9%H

azo de verossi"il3ana 19V%T

, $riori , $osteriori


29/45


5e",lo de racioc8nio top-down6 Gual a ,robabilidade de a gra"a estar"ol3ada9 dado #ue o te",o est encobertoW

, $riori , $osteriori


30/45


erao de #uestionrio ada,tativo6 Fiada u"a varivel alvo9 esta

$uncionalidade ordena as variveis #ue

traze" "aior gan3o de in$or"ao ,araesta varivel a u" "enor custo.

A ordenao - $eita ,elo valor

decrescente da razo entre o gan3o dein$or"ao e o custo.


31/45


erencia"ento dos custos. @reo associado 7 observao do valor

de u" nE.


32/45


Guestionrio ada,tativo.


33/45

Bayesiaa! * Minerao 5e",lo6 etrair u"a rede ba(esiana de u"a base de

diagnEsticos de ,acientes co" doenas no ,ul"o. *HHH instQncias. X variveis6

VisitAsia: O paciente visitou a sia? NoVisit/Visit Tuberculosis: O paciente tem tuberculose? Absent/Present Smoking: O paciente fumante? Smoker/NonSmoker

Cancer: O paciente tem cncer? Absent/Present TbOrCa: ou!l"#ico cria$o para simpli%car a tabela $e

probabili$a$es XRay: &esulta$o $o raio'() Normal/Abnormal Bronchitis: O paciente tem bron*uite? Absent/Present Dyspnea: O paciente tem $i%cu$a$es respirat"rias?

Absent/Present

Age: +$a$e $o paciente) ,m valor numrico positivo)


34/45

Bayesiaa! * Minerao

I",ortao da base de dados.


35/45

Bayesiaa! * Minerao For"ato das variveis6

Cont8nuo Discreto

>o=distribu8do :no usadas na construo darede;


36/45

Bayesiaa! * Minerao

As variveis cont8nuas deve" serdiscretizadas.

?rs "-todos de discretizao6 Intervalos de "es"o co",ri"ento.

Intervalos co" a "es"a $re#Yncia.

rvore de deciso6 RInduo su,ervisionada

da discretizao "ais e$etiva co" relao au"a varivel alvo.S


37/45

Bayesiaa! * Minerao I",ortao conclu8da6 - criado u" nE ,ara cada

varivel do con4unto de dados.


38/45

Bayesiaa! * Minerao

Extrao da estrutura da rede6 a,rendizado nosu,ervisionado de rela+es ,robabil8sticas:descoberta de associa+es;.

?rs algorit"os dis,on8veis6 0o,)5G6 RBusca baseada nu"a caracterizao global

dos dados e na e,lorao das ,ro,riedades das redesba(esianas e#uivalentes :r,ido;.S

?aboo6 RA,rendizado estrutural atrav-s ?aboo searc3S.

?aboo&rder6 RA,rendizado atrav-s de ?aboo searc3co" ob4etivo de encontrar a "el3or orde" ,ara os nEs:busca "ais co",leta ,ortanto "ais de"orada;.


39/45

Bayesiaa!

esultado do 0o,)5G6

De ,osse da rede "inerada9 ,ode" se realizar asatividades de in$erncia descritas anterior"ente.


40/45

Bayesiaa! * Minerao

&utro ee",lo6 gerao de u"classi$icador >aive Ba(es. 5#uivalente a u"a rede ba(esiana onde o nE

alvo - o ,redecessor direto de todos os outrosnEs.

0aber o valor do nE alvo torna todos os outrosnEs inde,endentes entre si.


41/45

Bayesiaa! * Minerao

erao do classi$icador6


42/45

Bayesiaa! * Minerao

>aive Ba(es resultante6


43/45

Bayesiaa! * Minerao

!so do classi$icador6 Batch exploitation. 5s,eci$ica=se u"a base de ee",los. 0eleciona"=se as colunas co" as variveis #ue tero

seus valores observados.

Z gerado u" ar#uivo co" duas in$or"a+es ,ara cadaee",lo6 a classe "ais ,rovvel a$etada ,eloclassi$icador e a ,robabilidade desta classe.


44/45

Conclus-es

A,esar do seu r,ido cresci"ento9 KDD ainda -u"a rea de con3eci"ento e"ergente.

Ainda no eiste" $erra"entas #ue atenda"todos os re#uisitos do ,rocesso.

Alguns as,ectos onde se ,ode evoluir6 Integrao de di$erentes t-cnicas 5tensibilidade Integrao "aior co" banco de dados

0u,orte tanto ,ara es,ecialistas e" anlise#uanto ,ara usurios ine,erientes erencia"ento de dados e" constante

"udana ?i,os de dados no=triviais


45/45

"efer+ncias

A Brie$ Introduction to ra,3ical Models andBa(esian >et'or[s6 3tt,6e' ]or[6 Mcra'=

ill91XXT.
http://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.html

Documents

Softwares Miner a Cao Dad Os