Avaliação de Ontologias

Ricardo de Almeida Falbo

Engenharia de Ontologias Departamento de Informática

Universidade Federal do Espírito Santo

Agenda

• Avaliação de Ontologias

• Processo de Avaliação da Qualidade de Ontologias

• Critérios para Avaliação de Ontologias

• Tipos de Técnicas de Avaliação de Ontologias

• Beleza em Ontologias

Avaliação de Ontologias

• Como qualquer artefato de engenharia, ontologias precisam ser avaliadas.

• Diferentes Perspectivas:

– Seleção de Ontologias Existentes

– Garantia da Qualidade no Desenvolvimento de Ontologias

Seleção de Ontologias Existentes

• A avaliação de ontologias é o problema de valorar uma dada ontologia a partir do ponto de vista de um particular critério de aplicação, tipicamente para determinar qual, dentre diversas ontologias, seria a mais adequada para um propósito específico (Brank et al., 2005).

• Usuários de ontologias, diante de uma variedade de ontologias, precisam ter um meio de avaliá-las (assess) e decidir qual melhor atende seus requisitos (Brank et al., 2005).

Seleção de Ontologias Existentes

• Usuário procurando por ontologias, muitas vezes, não têm ideia a cerca de:

– sua cobertura,

– sua inteligibilidade por usuários humanos,

– sua validade e solidez,

– sua consistência,

– os tipos de inferências que elas suportam,

– Sua habilidade de ser adaptada e reusada para propósitos variados.

(Obrst et al., 2007)

Garantia da Qualidade na EO

• Pessoas construindo ontologias necessitam de um modo de avaliar a ontologia resultante e possivelmente de guiar o processo de construção (Brank et al., 2005).

• Neste caso, avaliação de ontologias refere-se à atividade de checar a qualidade técnica de uma ontologia em relação a uma moldura de referência (Sabou; Fernandez, 2012).

Garantia de Qualidade na EO

• Envolve duas perspectivas principais (Sabou; Fernandez, 2012):

– Verificação: está-se construindo corretamente a ontologia?

– Validação: está-se construindo a ontologia correta?

• Validação é o único meio de assegurar a correção do conhecimento capturado em uma ontologia.

• Abordagens de validação requerem, portanto, a estreita cooperação com especialistas de domínio (Vrandecic, 2009).

Avaliação de Ontologias de Referência

• Engenharia de Software: artefatos não executáveis são avaliados tipicamente por meio de revisões técnicas ou inspeções.

• Esses mesmos procedimentos podem ser aplicados para a avaliação de ontologias de referência. A questão básica é definir o que avaliar em uma ontologia.

• Algumas abordagens simples:

– Verificação da Competência: elaboração de uma tabela relacionando elementos da ontologia (conceitos, relações, propriedades e axiomas) usados para responder cada questão de competência.

– Instanciação da Ontologia: elaboração de uma tabela mostrando instâncias dos conceitos, extraídas de situações de mundo real.

Avaliação de Ontologias de Referência

• Exemplo de Tabela de Verificação de Competência

Avaliação de Ontologias de Referência

• Exemplo de Tabela de Instanciação

Processo de Avaliação de Ontologias

Ontology Network

Processo de Avaliação de Ontologias

• Tarefa 1: Selecionar componentes individuais da network de ontologias: identificar os elementos críticos e quais deles podem ser realmente avaliados (existência de um frame de referência).

• Tarefa 2: Selecionar um objetivo e uma abordagem de avaliação.

– Possíveis objetivos de avaliação: • Cobertura do domínio

• Qualidade do Processo de Desenvolvimento da Ontologia e Critérios de Qualidade de Design de Ontologias

• Adequação a uma aplicação / tarefa

• Adoção e uso (para o caso de seleção de ontologias)

Processo de Avaliação de Ontologias

• Tarefa 3: Identificar um frame de referência e métricas de avaliação.

– Frame de referência: denota o conjunto de recursos representativos que estabelece uma baseline contra a qual a ontologia será comparada. Depende da abordagem a ser usada: gold standard, baseada em aplicação, dirigida a dados, avaliação por humanos, etc.

– Métricas de avaliação: Indicam como medir uma característica de qualidade da ontologia a ser comparada.

• Tarefa 4: Aplicar a abordagem de avaliação selecionada.

• Tarefa 5: Combinar e apresentar os resultados de avaliações individuais. Indicar ações corretivas, melhorias e indicações para futuras evoluções da ontologia.

Classificação de Abordagens de Avaliação de Ontologias segundo Brank et al.

• Comparação da ontologia a um “golden standard” (que pode ser ele mesmo uma ontologia). P.ex., uso do WordNet

• Baseada no uso da ontologia em uma aplicação (Application-based)

• Comparação com fontes de dados (p.ex. uma coleção de documentos) sobre o domínio a ser coberto pela ontologia (Data-driven)

• Feita por humanos que tentam avaliar quão bem a ontologia satisfaz um conjunto pré-definido de critérios, padrões, requisitos etc. (Assessment by humans)

(Brank et al., 2005)

Critérios para Avaliação de Ontologias

• Cobertura do domínio e riqueza, complexidade e granularidade dessa cobertura

• Casos de uso, cenários, requisitos, aplicações e fontes de dados que a ontologia procura endereçar

• Consistência e completude

• Linguagem de representação usada

• Mapeamento para uma ontologia de fundamentação / Teoria filosófica subjacente

• Tipos de métodos de raciocínio que podem ser aplicados

(Obrst et al., 2007)

Critérios para Avaliação de Ontologias

• Acurácia: A ontologia captura e representa corretamente aspectos do mundo real? Seus axiomas estão aderentes ao conhecimento dos especialistas de domínio?

• Adaptabilidade: A ontologia antecipa seus usos? Ela pode ser estendida ou especializada sem a necessidade de remover elementos? A ontologia está aderente a procedimentos de extensão, integração e adaptação?

• Clareza: A ontologia comunica efetivamente o significado pretendido de seus termos? As definições de termos são objetivas e independentes de contexto? As definições estão documentadas? A ontologia é compreensível?

(Vrandecic, 2009)

Critérios para Avaliação de Ontologias

• Completude / Competência: O domínio de interesse é adequadamente coberto? Questões de competência são definidas? A ontologia é capaz de respondê-las? A ontologia inclui todos os conceitos relevantes?

• Concisão: A ontologia inclui elementos irrelevantes ou redundantes? Ela define apenas os elementos essenciais (comprometimento ontológico mínimo)? Quão alinhada está a ontologia à teoria filosófica subjacente a ela?

• Eficiência Computacional: Quão fácil e bem sucedidamente um reasoner pode processar a ontologia? Quão rapidamente?

(Vrandecic, 2009)

Critérios para Avaliação de Ontologias

• Consistência / Coerência: Há contradições? As descrições formais e informais são consistentes? A ontologia incorpora aspectos de codificação, i.e., escolhas de representação são feitas puramente por conveniência de notação ou implementação (encoding bias)?

• Adequação à organização / Acessibilidade comercial: A ontologia é facilmente desenvolvida na organização? As ferramentas usadas na construção impõem restrições para a ontologia? Um processo adequado é usado em sua construção? A ontologia é certificada (quando requerido)? Ela satisfaz requisitos legais? É de fácil acesso? Está alinhada a outras ontologias em uso? É compartilhada por potenciais interessados?

(Vrandecic, 2009)

Critérios para Avaliação de Ontologias

• Esses critérios de qualidade definem uma boa ontologia. Eles são todos características desejáveis e, portanto, metas para guiar a construção e a avaliação de ontologias. Contudo, nenhum deles pode ser medido diretamente.

• Uma boa ontologia não vai satisfazer igualmente bem todos esses critérios, uma vez que alguns critérios são conflitantes.

• O avaliador precisa escolher os critérios relevantes para uma dada avaliação e então escolher os métodos de avaliação apropriados para avaliar quão bem a ontologia satisfaz os critérios escolhidos.

(Vrandecic, 2009)

Avaliação de Ontologias

• A avaliação de ontologias se mantém um importante problema em aberto.

• Não há uma abordagem única ou preferida para a avaliação de ontologias. Ao contrário, a escolha da abordagem mais adequada depende do propósito da avaliação, da aplicação na qual a ontologia será usada, e em relação a quais aspectos de uma ontologia estamos tentando avaliá-la (Brank et al., 2005).

Avaliação de Ontologias

• Nenhum dos métodos atualmente existentes, sozinhos ou combinados, pode garantir uma boa ontologia. Contudo, eles podem, pelo menos, reconhecer partes problemáticas de uma ontologia.

• Vários critérios de qualidade têm sido sugeridos na literatura, assim como métodos de avaliação. Entretanto, a real relação entre eles é apenas fracamente compreendida e superficialmente investigada, se tanto.

• A falta de evidência empírica casando métodos e critérios dificulta avaliações significativas de ontologias.

• Entender o efeito de certas características na qualidade de uma ontologia ainda permanece um desafio em aberto.

(Vrandecic, 2009)

Há beleza em Ontologias?

• A ideia é entender um pouco melhor como uma ontologia pode ser vista, não apenas sob a ótica de suas características formais e computacionais, mas também olhar o que a torna especialmente interessante e como ela pode se tornar uma solução elegante para um problema de modelagem.

• Beleza é uma noção subjetiva, que só pode ser compreendida em relação a exemplos concretos.

• Ser uma “boa ontologia” não necessariamente implica em ser uma “bela ontologia” – ainda que uma ontologia de má qualidade geralmente não será bela.

(d’Aquin; Gangemi, 2011)

Há beleza em Ontologias?

• d’Aquin e Gangemi revisaram 32 conjuntos de justificativas apoiando a inclusão de certas ontologias na página de “Ontologias Exemplares” do site ontologydesignpattern.org.

• Dimensões consideradas:

– Estrutura

– Cobertura Conceitual

– Tarefa Conceitual

– Sustentabilidade Social

– Sustentabilidade Pragmática

Beleza em Ontologias

• Estrutura:

– Reusar ontologias de fundamentação

– Ser formalmente rigoroso

– Implementar relações não taxonômicas

– Ser modular (ou estar embutida em um arcabouço modular)

– Ser projetada seguindo princípios

– Seguir estritamente um método de avaliação

Beleza em Ontologias

• Cobertura Conceitual:

– Ter uma boa cobertura do domínio

– Prover importantes distinções reutilizáveis

– Prover uma organização para domínios não estruturados ou pobremente estruturados

– Implementar um padrão internacional (p.ex., ISO)

Beleza em Ontologias

• Tarefa Conceitual:

– Ser explicitamente orientada a uma tarefa

– Ter requisitos obtidos a partir de cenários

– Ser baseada em questões de competência

• Sustentabilidade Social:

– Ser o resultado de evolução (muitas revisões)

– Ter uso ou aceitação ampla

– Ter impacto comercial

– Ser recomendada pela indústria

– Implementar conhecimento científico

Beleza em Ontologias

• Sustentabilidade Pragmática:

– Ter aplicações construídas utilizando a ontologia / haver experiências bem sucedidas na construção de aplicações usando a ontologia

– Projetada para responder questões eficientemente

– Manter a expressividade original dos dados e aperfeiçoar ou enriquecê-los

– Capaz de desfazer-se de construtos inadequados a quaisquer propósitos ou superar limitações de expressividade

– Ser bem documentada

– Resolver outros aspectos técnicos

Observações sobre Beleza em Ontologias

• Os critérios mais frequentemente usados nas justificativas foram aqueles relacionados à tarefa conceitual e sustentabilidade social, seguido de perto por requisitos estruturais.

Observações sobre Beleza em Ontologias

• Beleza e qualidade são conceitos diferentes, mas que se sobrepõe de alguma maneira. Neste sentido, não é fácil distinguir o que é um e o que é outro.

– Uma ontologia bela deve satisfazer alguns (possivelmente muitos) critérios de qualidade, mas pode faltar beleza a uma boa ontologia porque ela falha em algum importante critério de qualidade.

– Provavelmente nem todos os critérios de qualidade têm o mesmo impacto na beleza, pelo menos em um dado momento.

Observações sobre Beleza em Ontologias

• Beleza está relacionada a sucesso or aplicabilidade.

– Uma característica necessária de uma bela ontologia é que ela não é apenas um exercício de conceituação abstrata em completa desconexão com a prática. Muitas “ontologias leves” têm sido desenvolvidas focando de modo bem sucedido neste aspecto (p.ex., FOAF), implementando designs singelos e não especialmente elegantes.

• Beleza não vem diretamente do domínio.

– Não é o domínio que dita diretamente o modo como belas ontologias são construídas.

Conclusão

• Ontologias belas são ontologias que apresentam uma boa qualidade geral.

• Elas satisfazem requisitos relevantes, têm boa cobertura do domínio alvo, são frequentemente facilmente aplicáveis em algum contexto e são estruturalmente bem projetadas.

• Frequentemente, seus domínios também introduzem restrições que levam a soluções de modelagem não triviais.

Referências

• Sabou, M., Fernandez, M., Ontology (Network) Evaluation, In: Ontology Engineering in a Networked World. Springer, Berlin, 2012.

• Brank, J., Grobelnik, M., Mladenić, D., A Survey of Ontology Evaluation Techniques, In: Proceedings of the Conference on Data Mining and Data Warehouses (SiKDD 2005), 2005.

• Obrst, L., Ashpole, B., Ceusters, W., Mani, I., Ray, S., Smith, B., The Evaluation of Ontologies - Toward Improved Semantic Interoperability, In: Semantic Web: Revolutionizing Knowledge Discovery in the Life Sciences, Baker, C.J.O., Cheung, K-H. (eds), Springer, 2007.

• Vrandecic, D., Ontology Evaluation, In: Handbook on Ontologies, Second edition, Staab, S., Studer, R. (Eds.), Springer, 2009, pp. 293 – 313.

• d’Aquin, M., Gangemi, A., Is there beauty in ontologies? Applied Ontology, 6(3), 2011, pp. 165–175.