Upload
judson-melo-bandeira
View
268
Download
0
Embed Size (px)
Citation preview
Uma Metodologia que utiliza princípios da Representação do Conhecimento
para Avaliação de ontologias
Judson Melo Bandeira
Orientação
Ig Ibert BittencourtPatricia Ospina
Judson Melo Bandeira [email protected]
2
Agenda• Introdução• Problemática• Proposta• Validação• Conclusões• Artigos• Referências
Judson Melo Bandeira [email protected]
Agenda
5
Introdução• Na Filosofia: [Thomasson, 2004]
• Entendida por “O estudo do ser”;
• Tentativa de filósofos de definir cada coisa existente no mundo;
• Categorias de Aristóteles e Kant: Questionamento e Julgamento;
• Filósofos Contemporâneos: Abstração Sucessiva.
Judson Melo Bandeira [email protected]
Bicicleta
Veículo
Objeto
Coisa
Introdução
6
Introdução• Na computação:
• Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993];
• Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ;
• Consenso, Reúso;
• Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993]
Judson Melo Bandeira [email protected]
Introdução
7
IntroduçãoJudson Melo Bandeira [email protected]
ontologia
Substituto
Compromissos
Ontológicos
Raciocínio Inteligente
Computação Eficiente
Expressão Humana
fast
Introdução
8
Introdução• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo
das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners-Lee, 2001].
Judson Melo Bandeira [email protected]
imagem
• Imagem de uma bicicleta,• Que tem a cor verde,• Que tem guidão de cor amarela, • Que não tem marchas...
Introdução
9
Problemática• Porém, modelar uma ontologia é uma tarefa
árdua, pois
• É necessário estudar o domínio profundamente;
• Evitar o problema da inconsistência (intersecção).
Judson Melo Bandeira [email protected]
Problemática
11
Problemática• Assim, é necessário uma metodologia para
engenharia de ontologias. Porém...
Judson Melo Bandeira [email protected]
[Cardoso, 2007]
Problemática
12
Problemática• E assim...
Judson Melo Bandeira [email protected]
Complexidade
Qualidade
Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem.
Problemática
13
ProblemáticaJudson Melo Bandeira [email protected]
[Obrst, 2007]
•Cobertura, •Complexidade, •Granularidade, •Casos de Uso, •Cenários, •Requisitos, •Aplicações, •Consistência e•Completude.
[Gangemi, 2006]
•Acordo, •Satisfação do usuário, •Tarefa, •Tópico e•Modularidade.
[Gruber, 1995]
•Clareza,•Coerência,•Estendibilidade,•Mínimo Viés de Codificação e•Compromisso ontológico mínimo.
[Gómez-Pérez, 2001]
•Completude,•Concisão,•Expansibilidade.
Problemática
14
Problemática• [Vrandečić, 2009] organizou todos esses
critérios em 8 principais, seguidos com questões:
• Precisão;• Adaptabilidade;• Clareza;• Completude;• Eficiência Computacional;• Concisão;• Consistência;• Aptidão Organizacional.
Judson Melo Bandeira [email protected]
Problemática
15
Problemática• Porém, todos estes trabalhos apenas
apresentam os critérios;
• Poucos deles possuem um passo-a-passo de como executar esses critérios;
• Eles não possuem métricas para avaliar a ontologia.
Judson Melo Bandeira [email protected]
Problemática
16
Problemática• Aumenta o esforço por parte do avaliador;
• Dependente da experiência do avaliador;
• Imprecisão sobre a qualidade da ontologia;
Judson Melo Bandeira [email protected]
Problemática
17
Proposta
Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de
Ontologias
Judson Melo Bandeira [email protected]
Proposta
19
Proposta• A metodologia contribui para:
• Diminuir o esforço do avaliador;
• Útil para avaliadores com qualquer experiência;
• Tornar a avaliação mais precisa.
Judson Melo Bandeira [email protected]
Proposta
20
Proposta• Passo 1: Verificação do Tipo da ontologia
Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009]
• Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta).
• Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador).
• Inspirado em [Guarino, 1998]
Judson Melo Bandeira [email protected]
Proposta
21
Proposta• Passo 2: Verificação das Questões e Mensurar
• É onde a avaliação ocorre de fato;
• Cada questão possui uma nota associada e um goal associado, com um passo-a-passo;
• Avaliação no formato G.Q.M [Basili, 1992].
Judson Melo Bandeira [email protected]
Proposta
22
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
23
Proposta- Goal 1: Verificar se a ontologia cumpre Substituto.
- Question 1: As competências da ontologia foram definidas?
- Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que
explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique:
• Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve
ser utilizada). Notas: 25, 50, 75, 100
Judson Melo Bandeira [email protected]
Proposta
24
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
25
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
26
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
29
Proposta• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira [email protected]
Proposta
30
Proposta• Passo 3: Verificação da Qualidade da ontologia
Judson Melo Bandeira [email protected]
• Qualidade total;
• Qualidade parcial.
Proposta
31
Validação - Experimento• Foram modeladas quatro ontologias;
• Domínio: Sistema de Currículos Lattes;
• Foram selecionadas seis pessoas, de diferentes experiências;
• Vasta, Grande, Média, Pouca e Pouquíssima.
Judson Melo Bandeira [email protected]
Validação
33
Validação• Todas as notas de todos os participantes foram
coletadas;
• Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada?
• Duas Hipóteses: • É possível criar um escore Global para a ontologia?• É possível criar um escore Parcial para a ontologia?
Judson Melo Bandeira [email protected]
Validação
37
Validação• Utilizar as notas subjetivas e objetivas para criar
um modelo de regressão;
• O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas;
• A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero.
Judson Melo Bandeira [email protected]
Validação
39
Validação
• Encontrar os BETAS (pesos);
• Estimar o valor de ;
• Fazer ee e observar os resíduos;
• Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia.
Judson Melo Bandeira [email protected]
Validação
41
ValidaçãoJudson Melo Bandeira [email protected]
Validação
Substituindo os BETAS encontrados, temos:
42
Validação – Ameaças à Validade• Apenas um domínio poderia não ter sido o suficiente para o
experimento;
• Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento;
• Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles.
Judson Melo Bandeira [email protected]
Validação
43
Conclusões - Vantagens• Foi possível criar os dois escores, validando a metodologia
estatisticamente;
• Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota;
• Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador.
Judson Melo Bandeira [email protected]
Conclusões
44
Conclusões - Limitações• A metodologia não possui questões suficientes para diferenciar bem os
dois tipos de ontologia;
• A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo.
Judson Melo Bandeira [email protected]
Conclusões
45
Conclusões – Trabalhos Futuros• Inserir o tipo Top Ontology, para completar os três tipos enunciados por
Guarino;
• Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos;
• Automatizar ou semi-automatizar o processo, para diminuir a exaustão.
Judson Melo Bandeira [email protected]
Conclusões
46
Artigos• Capítulos de Livro:
• Dados Abertos Conectados para a Educação (JAIE – 2015);• Dados Abertos Conectados (SBTI – 2014);
• Artigos• Desafios no uso de Dados Abertos Conectados na Educação
Brasileira (DesafIE – 2015)
• Artigo Aceito (porém não publicado)• Lessons Learned About Ontology Development Using Methontology
(ICEIS – 2015)
• À submeter• Artigo da dissertação.
Judson Melo Bandeira [email protected]
Conclusões
47
Referências• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition
5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84-
88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference
(FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international
conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5
(2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?."
International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3
(2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions."
Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction
Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992).
Judson Melo Bandeira [email protected]
Referências