Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do...

View
268
Download
0
Category

Science

Preview:

Citation preview

Uma Metodologia que utiliza princípios da Representação do Conhecimento

para Avaliação de ontologias

Judson Melo Bandeira

Orientação

Ig Ibert BittencourtPatricia Ospina

Judson Melo Bandeira jmb@ic.ufal.br

Agenda• Introdução• Problemática• Proposta• Validação• Conclusões• Artigos• Referências

Judson Melo Bandeira jmb@ic.ufal.br

Agenda

IntroduçãoJudson Melo Bandeira jmb@ic.ufal.br

Introdução

IntroduçãoJudson Melo Bandeira jmb@ic.ufal.br

Introdução

Introdução• Na Filosofia: [Thomasson, 2004]

• Entendida por “O estudo do ser”;

• Tentativa de filósofos de definir cada coisa existente no mundo;

• Categorias de Aristóteles e Kant: Questionamento e Julgamento;

• Filósofos Contemporâneos: Abstração Sucessiva.

Judson Melo Bandeira jmb@ic.ufal.br

Bicicleta

Veículo

Objeto

Coisa

Introdução

Introdução• Na computação:

• Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993];

• Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ;

• Consenso, Reúso;

• Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993]

Judson Melo Bandeira jmb@ic.ufal.br

Introdução

IntroduçãoJudson Melo Bandeira jmb@ic.ufal.br

ontologia

Substituto

Compromissos

Ontológicos

Raciocínio Inteligente

Computação Eficiente

Expressão Humana

fast

Introdução

Introdução• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo

das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners-Lee, 2001].

Judson Melo Bandeira jmb@ic.ufal.br

imagem

• Imagem de uma bicicleta,• Que tem a cor verde,• Que tem guidão de cor amarela, • Que não tem marchas...

Introdução

Problemática• Porém, modelar uma ontologia é uma tarefa

árdua, pois

• É necessário estudar o domínio profundamente;

• Evitar o problema da inconsistência (intersecção).

Judson Melo Bandeira jmb@ic.ufal.br

Problemática

ProblemáticaJudson Melo Bandeira jmb@ic.ufal.br

Problemática

Problemática• Assim, é necessário uma metodologia para

engenharia de ontologias. Porém...

Judson Melo Bandeira jmb@ic.ufal.br

[Cardoso, 2007]

Problemática

Problemática• E assim...

Judson Melo Bandeira jmb@ic.ufal.br

Complexidade

Qualidade

Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem.

Problemática

ProblemáticaJudson Melo Bandeira jmb@ic.ufal.br

[Obrst, 2007]

•Cobertura, •Complexidade, •Granularidade, •Casos de Uso, •Cenários, •Requisitos, •Aplicações, •Consistência e•Completude.

[Gangemi, 2006]

•Acordo, •Satisfação do usuário, •Tarefa, •Tópico e•Modularidade.

[Gruber, 1995]

•Clareza,•Coerência,•Estendibilidade,•Mínimo Viés de Codificação e•Compromisso ontológico mínimo.

[Gómez-Pérez, 2001]

•Completude,•Concisão,•Expansibilidade.

Problemática

Problemática• [Vrandečić, 2009] organizou todos esses

critérios em 8 principais, seguidos com questões:

• Precisão;• Adaptabilidade;• Clareza;• Completude;• Eficiência Computacional;• Concisão;• Consistência;• Aptidão Organizacional.

Judson Melo Bandeira jmb@ic.ufal.br

Problemática

Problemática• Porém, todos estes trabalhos apenas

apresentam os critérios;

• Poucos deles possuem um passo-a-passo de como executar esses critérios;

• Eles não possuem métricas para avaliar a ontologia.

Judson Melo Bandeira jmb@ic.ufal.br

Problemática

Problemática• Aumenta o esforço por parte do avaliador;

• Dependente da experiência do avaliador;

• Imprecisão sobre a qualidade da ontologia;

Judson Melo Bandeira jmb@ic.ufal.br

Problemática

Proposta

Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de

Ontologias

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

PropostaJudson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• A metodologia contribui para:

• Diminuir o esforço do avaliador;

• Útil para avaliadores com qualquer experiência;

• Tornar a avaliação mais precisa.

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 1: Verificação do Tipo da ontologia

Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009]

• Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta).

• Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador).

• Inspirado em [Guarino, 1998]

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

• É onde a avaliação ocorre de fato;

• Cada questão possui uma nota associada e um goal associado, com um passo-a-passo;

• Avaliação no formato G.Q.M [Basili, 1992].

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta- Goal 1: Verificar se a ontologia cumpre Substituto.

- Question 1: As competências da ontologia foram definidas?

- Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que

explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique:

• Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve

ser utilizada). Notas: 25, 50, 75, 100

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 2: Verificação das Questões e Mensurar

Judson Melo Bandeira jmb@ic.ufal.br

Proposta

Proposta• Passo 3: Verificação da Qualidade da ontologia

Judson Melo Bandeira jmb@ic.ufal.br

• Qualidade total;

• Qualidade parcial.

Proposta

Validação - Experimento• Foram modeladas quatro ontologias;

• Domínio: Sistema de Currículos Lattes;

• Foram selecionadas seis pessoas, de diferentes experiências;

• Vasta, Grande, Média, Pouca e Pouquíssima.

Judson Melo Bandeira jmb@ic.ufal.br

Validação

Validação - ExperimentoJudson Melo Bandeira jmb@ic.ufal.br

Validação

Validação• Todas as notas de todos os participantes foram

coletadas;

• Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada?

• Duas Hipóteses: • É possível criar um escore Global para a ontologia?• É possível criar um escore Parcial para a ontologia?

Judson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

Validação• Utilizar as notas subjetivas e objetivas para criar

um modelo de regressão;

• O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas;

• A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero.

Judson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

• Encontrar os BETAS (pesos);

• Estimar o valor de ;

• Fazer ee e observar os resíduos;

• Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia.

Judson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

ValidaçãoJudson Melo Bandeira jmb@ic.ufal.br

Validação

Substituindo os BETAS encontrados, temos:

Validação – Ameaças à Validade• Apenas um domínio poderia não ter sido o suficiente para o

experimento;

• Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento;

• Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles.

Judson Melo Bandeira jmb@ic.ufal.br

Validação

Conclusões - Vantagens• Foi possível criar os dois escores, validando a metodologia

estatisticamente;

• Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota;

• Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador.

Judson Melo Bandeira jmb@ic.ufal.br

Conclusões

Conclusões - Limitações• A metodologia não possui questões suficientes para diferenciar bem os

dois tipos de ontologia;

• A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo.

Judson Melo Bandeira jmb@ic.ufal.br

Conclusões

Conclusões – Trabalhos Futuros• Inserir o tipo Top Ontology, para completar os três tipos enunciados por

Guarino;

• Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos;

• Automatizar ou semi-automatizar o processo, para diminuir a exaustão.

Judson Melo Bandeira jmb@ic.ufal.br

Conclusões

Artigos• Capítulos de Livro:

• Dados Abertos Conectados para a Educação (JAIE – 2015);• Dados Abertos Conectados (SBTI – 2014);

• Artigos• Desafios no uso de Dados Abertos Conectados na Educação

Brasileira (DesafIE – 2015)

• Artigo Aceito (porém não publicado)• Lessons Learned About Ontology Development Using Methontology

(ICEIS – 2015)

• À submeter• Artigo da dissertação.

Judson Melo Bandeira jmb@ic.ufal.br

Conclusões

Referências• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition

5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84-

88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference

(FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international

conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5

(2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?."

International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3

(2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions."

Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction

Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992).

Judson Melo Bandeira jmb@ic.ufal.br

Referências

Muito Obrigado!Judson Melo Bandeira jmb@ic.ufal.br

Referências

Recommended