Non-Photorealistic Rendering

Ricardo Guerra Marroquim

Apresentação

• Motivação

• Detecção de Silhuetas

• Pen-and-Ink Illustration

• NPRQuake

• Watercolor

• WYSIWYG NPR

• Bibliografia

Motivação• Até então ....

– Técnicas de renderização realísticas– Criação de um modelo geométrico– Projeção do modelo 3D para 2D– Computar modelo de iluminação– Detalhamento (sombras, texturas)– .....

• É possível gerar uma imagem que seja confundida com uma imagem real, uma fotografia por exemplo?

Motivação

• Nem sempre imagens fotográficas são a melhor escolha de representação

• “De que serve a fotografia para um mecânico quando ele tem o motor em sua frente” [Landsdown]

• “Arquitetos rabiscam sobre as imagens computadorizadas para criar a impressão de esboço, assim os clientes não tem a falsa impressão de integralidade.” [Markosian]

Motivação• Em algumas situações realismo não é prioridade:

– Cartoons

– Pinturas artísticas

– Desenhos Técnicos

– Visualização Cientifica

• É possível gerar uma imagem que seja confundida com um desenho feito a mão por uma pessoa?

Motivação

• Menos detalhes -> Melhor visualização e entendimento das imagens

• Menos tempo para criar e renderizar

• Ocupa menos espaço

• Expressão artística

Exemplos

Detecção de Silhuetas

• Aaron Hertzmann – “Introduction to 3D Non-Photorealistic Rendering : Silhouettes and Outlines” – SigGraph 99 Course

• Algoritmos para detecção de contornos de objetos em 2D e 3D.

Detecção de Silhuetas• Maneira simples :

– Renderizar a cena de uma visão escolhida– Detectar as bordas da imagem– Desenhar as bordas

• Porém as bordas de uma fotografia geralmente não correspondem as silhuetas desejadas.

• Uma imagem muita detalhada pode produzir muitos contornos que são irrelevantes para o formato do objeto

• Nenhuma borda é detectada entre dois objetos sobrepostos com a mesma cor

Depth Map• Depth Map (Mapa de Profundidade) : imagem

onde a densidade de cada pixel é proporcional a profundidade daquele ponto na cena

• Uma maneira melhor de detecção de silhuetas:– Renderizar a imagem

– Extrair o mapa de profundidade

– Detectar as bordas no mapa de profundidade

• Problema : não detecta bordas entre dois objetos que estão na mesma profundidade.

Normal Map• Normal Map : Os valores RGB do ponto

correspondem aos valores XYZ da normal naquele ponto.

• Como calcular o mapa de normais : – Colocar cor branca no objeto– Colocar uma luz vermelha no eixo X, uma verde no eixo

Y e uma azul no eixo Z, todas apontando para o objeto.– Colocar luzes com intensidades negativas nos lados

opostos de cada eixo.– Cada luz irá iluminar um ponto no objeto proporcional

ao produto escalar da normal da superfície com o eixo da luz.

Combinando Depth Map e Normal Map

Combinando Depth Map e Normal Map

Detecção de Silhuetas em Malhas

• Em malhas a silhueta consiste em todas arestas que ligam uma face de um polígono invisível com uma de um polígono visível.

• Método mais simples percorre toda malha para verificar as normais cada vez que a visão é modificada.

• Outros algoritmos randômizados são mais eficientes.

Detecção de Silhuetas em Superfícies

• Em superfícies suaves a silhueta consiste nos pontos onde a normal da superfície e perpendicular ao vetor da câmera.

Detecção de Silhuetas em Superfícies

• As superfícies são geralmente aproximações ou interpolações de uma malha

Detecção de Silhuetas em Superfícies

• Primeiro deve-se computar o produto escalar normalizado da normal da superfície com o vetor da câmera em cada vértice da malha:

• Depois computa-se o sinal do produto em cada vértice:

• Encontra-se todos pares de vértices na malha com sinais diferentes. Para encontrar o ponto aproximado da silhueta faz-se uma interpolação linear dos vértices:

Detecção de Silhuetas em Superfícies

• Depois conecta-se todos os pontos encontrados formando uma curvas de silhuetas

Pen-and-Ink Illustration

• Georges Winkenbach e David Salesin - “Computer-Generated Pen-and-Ink Illustration” - SigGraph 94

• Propriedades das ilustrações “Pen and Ink”

• Stroke Textures

Pen-and-Ink Illustration• Propriedades dos desenhos:

– A pena não tem variação de cor ou tonalidade, todo sombreamento deve ser feito utilizando traços.

– É manualmente difícil e trabalhoso preencher grandes áreas.

– Ideal para contornos, cada traço pode ter variações na pressão da pena e irregularidades do traçado.

– Imagens simples e diretas.

Pen-and-Ink Illustration• Dualidade dos traços:

– Normalmente a renderização de textura e tonalidade são feitas separadamente.

– Neste caso é preciso que o mesmo traço seja utilizado para textura e tonalidade.

• Combina informações 2D e 3D:– Normalmente as informações utilizadas para renderizar

são 3D e depois projetadas em 2D.– Nas ilustrações pen-and-ink as informações da projeção

2D são tão importantes quanto as informações em 3D.• Precisamos considerar as áreas das projeções para computar a

densidade dos traços.• É preciso usar as adjacências em 2D para criar os contornos

Pen-and-Ink Illustration

Pen-and-Ink Illustration

• Strokes (Traços) :– Coleção de diferentes tipos de traços, cada um

com uma prioridade diferente.– A renderização é feita em ordem de prioridade,

quando se atinge uma tonalidade aceitável não precisa mais renderizar os traços de menor prioridade.

• A escolha da tonalidade certa é feita de acordo com a resolução e o tamanho da imagem.

Pen-and-Ink Illustration• Os traços são escolhidos para prover uma textura e

tonalidade de acordo com o tamanho da ilustração e da resolução da impressão.

• Para desenhos pequenos é preciso de apenas alguns traços sem muitos detalhes de sombreamento.

Pen-and-Ink Illustration• Indicação : Em uma ilustração é importante que a

idéia da textura seja passada sem que seja necessário desenhar todos os traços requeridos.– Desta forma a figura final é mais clara e econômica.

• Neste método o usuário deve escolher em que regiões o desenho deve ser mais detalhado. Nas outras áreas é utilizado o princípio de indicação.

• Cada região escolhida é projetada e associada a textura da superfície em 3D. Quando existem várias regiões de detalhe algumas perturbações são introduzidas para que os padrões não sejam repetidos.

Pen-and-Ink Illustration

Pen-and-Ink Illustration

• Existem também alguns efeitos para os esboços:– O esboço de contornos influenciam as texturas

aplicadas naquela área.– Algumas linhas de contorno são retiradas,

especialmente quando duas áreas adjacentes do desenho possuem texturas bem distintas.

– As texturas de sombras são aplicadas de acordo com a direção da luz.

Pen-and-Ink Illustration

NPRQuake

• Grupo sobre a orientação do professor Michael Gleicher da Universidade de Wisconsin

• Objetivo : Estilização do QuakeGL

• Substituição das rotinas de desenho para alterar traçados e sombreamento

• Três estilos : Sketch, BluePrint, Brush

NPR Quake

• Sketch:– Simulação de uma pessoa rascunhando o

cenário rapidamente– Primeiro desenha os polígonos da parede– Desenha um número arbitrário de retas

deslocadas aleatoriamente das bordas (impressão de rabiscos)

– Adiciona transparência as retas para aumentar realismo

NPR Quake

NPR Quake

• Blue Print :– Simulação de uma planta de construção– Desenhado de forma parecida com a do Sketch

mas sem os deslocamentos das retas– Adicionado alguns detalhes como setas

direcionais da planta e algumas medidas

NPR Quake

NPR Quake

• Brushstroke:– Substitui as bordas dos polígonos por traços de

pincel– Não tem sombreamento– Diferentes larguras e tipos de texturas para

representar os traços

NPR Quake

Aquarela

• Cassidy Curtis, Sean Anderson, Joshua Seims, Kurt Fleischer, David Salesin – “Computer-Generated Watercolor” – SigGraph 97

• Como simular os efeitos de uma aquarela automaticamente.

Aquarela

• Algumas propriedades da aquarela:– Em pinturas que utilizam tinta e água ao invés

do papel tradicional, utiliza-se um feito de pano prensado para absorver melhor o líquido.

– A aparência final de uma aquarela é o resultado do movimento do pigmentos no meio, da absorção do pigmento e da água, e da evaporação da água.

Aquarela• Modelo :

– A imagem é representada como várias pinceladas ordenadas em um pedaço de papel. Cada pincelada pode conter diferentes tipos de pigmentos em diferentes regiões da imagem.

– Uma estrutura de dados, “glaze”, é utilizada para guardar estas quantidades.

– Cada “glaze” é criada independentemente por uma simulação de fluidos para computar o fluxo da tinta pelo papel.

– Também são criadas mascaras para denotar as áreas que foram atingidas por água.

Aquarela

• A simulação do fluído é realizada em três camadas:

Aquarela• Os valores são discretizados em uma matriz

representando o plano do papel com os seguintes valores:– Máscara de Água : 1 se região está molhada, 0 se não– Velocidade u,v da água na direção x e y– Pressão p da água– Concentração gk de cada pigmento k na água– Concentração dk de cada pigmento k depositado– A inclinação do papel definida como o gradiente da

altura do papel.– Propriedades físicas do papel como viscosidade.

Aquarela• A superfície do papel é gerada por uma função

randômica. • Um processo pseudo-aleatório gera as alturas de

cada ponto no papel. 0 < h < 1

• Cada ponto do papel também terá associado um valor correspondente a sua capacidade de armazenamento de água.

Aquarela• Movendo água pelo papel:

– A mascara de água delimita a região onde ocorre o fluxo da água

– Quando uma região tem seu limite de água ultrapassado ela é transbordada para as regiões vizinhas.

– A textura do papel influência nos fluxos de água.

– As mudanças locais de uma região devem ter influências globais no modelo.

Aquarela• Efeitos aplicados na aquarela :

– a) Drybrush :• Quando o pincel está quase seco ele pode ser aplicado de

forma a aplicar tinta somente nas áreas mais altas do papel deixando alguns espaços na pincelada.

– b) Escurecimento das bordas – “Edge Darkening”:• Quando a tinta é aplicada em um papel seco os pigmentos

tendem a migrar para as bordas. A água evaporada na borda é reposta pela água do interior. Este movimento leva os pigmentos para as bordas escurecendo-as.

– c) Backrun :• Quando uma quantidade de água é espalhada em uma região

ainda humida o pigmento é empurrado para fora daquela região.

Aquarela• Efeitos (cont.) :

– d) Granulação :• Quando o pigmento utilizado é granulado ele realça as

variações de altura do papel.

– e) Flow patterns : • Quando a tinta é aplicada em um papel molhado a superfície

permite que o pigmento se espalhe livremente.

– g) Color Glazing : • Várias pinceladas muito finas sobrepostas. Cada pincelada é

aplicada depois que a anterior tenha secado. Mistura ótica das cores ao invés de física.

Aquarela

• Original :

• Simulação :

Aquarela• Os pigmentos são criados utilizando um coeficiente de

absorção e um de espalhamento para cada componente RGB.

• Estes coeficientes são escolhidos pelo usuário especificando a aparência de um pigmento sobre uma região branca e uma região preta.

Aquarela

• “Automatic image watercolorization”

• Primeiro deve-se destacar os elementos mais importantes da imagem e escolher um pigmento para cada.

• A conversão é feita em duas etapas:– Color separation– Brushstroke planning

Aquarela• Color Separation:

– Algoritmo força-bruta para encontrar um nível de densidade para cada pigmento.

– Dado uma lista ordenada de n pigmentos, a espessura de cada pigmento é divida em m faixas.

– Cada combinação mn é guardada em uma árvore 3D de acordo com seus valores RGB.

– Para cada pixel a separação de cores é computada procurando na árvore o pigmento mais próximo da cor desejada.

– Estes pixels computados são guardado na imagem “target glaze”

Aquarela

• Brushstroke planning:– Controla o glaze acrescentando novas

pinceladas– Controla o fluxo da água aumentando ou

diminuindo a pressão da água aonde o pigmento foi adicionado

Aquarela

Aquarela

WYSIWYG NPR• Robert Kalnins, Lee Markosian, Barbara Meier,

Michael Kowalski, Joseph Lee, Philip Davidson, Mathew Webb, John Hughes, Adam Finkelstein – “WYSIWYG NPR: Drawing Strokes Directly on 3D Models” – SigGraph 2002

• WYSIWYG – What You See Is What You Get• Estilização automática de um modelo de uma

malha triangular a partir de alguns traços de exemplo

WYSIWYG NPR

WYSIWYG NPR

• Background– Pode escolher a cor ou uma imagem de fundo

• Base coat– Um sombreamento que desenha os triângulos

em um determinado estilo• “Toon shader”

• Solid Color

WYSIWYG NPR• Traços :

– O caminho do traçado é representado como uma spline CatmullRom.

– Renderizados como “triangle strips” que seguem o traçado.

– Como os triangles strips geralmente se misturam um pouco com a superfície não é utilizado o z-buffer.

– A visibilidade é computada utilizando um ID de referencia. Cada face da malha, silhueta e borda é renderizada utilizando uma cor única.

WYSIWYG NPR• Papel

– Utiliza os campos de altura da aquarela

• Simulação de efeitos do papel– Pode ser aplicado efeito

em qualquer primitiva semi-transparente : imagem de fundo, toon shader, ou traço.

– Aonde a altura do papel é maior o pigmento é absorvido mais facilmente

WYSIWYG NPR• Decal Strokes :

– Desenha-se diretamente na superfície do desenho.

– Representado como “Spline Curves” com os pontos de controle projetados na superfície e renderizados como os outros traços.

• Outra forma seria de realizar o texture mapping:– Problemas:

• Seria necessário parametrizar a superfície

• O tamanho do traço dependeria da obliqüidade da superfície

WYSIWYG NPR• As bordas do objeto podem ser redesenhadas a

partir de alguns traços de exemplo.• Uma lista é gerada com cada vértice do traçado e

um deslocamento perpendicular ao pixel gerado.• Os deslocamentos são reduzidos quando a imagem

é distanciada da câmera.

WYSIWYG NPR• Rubber-stamping : Um traçado exemplo é repetido pelo resto

da figura• Geração de novos traços sintetizados a partir de alguns

exemplos– O algoritmo de síntese utiliza uma cadeia de Markov

aonde cada estado corresponde a um deslocamento do traço exemplo

WYSIWYG NPR

• Silhueta, diferentemente das dobras de um objeto, são dependentes do ângulo de visão.

• Um traço padrão de silhueta é desenhado, quando uma aparece ele é usado para desenha-la.

• Utiliza o algoritmo de detecção de silhuetas em malhas de Hertzmann.

WYSIWYG NPR• Structured Hatching

– Sombreamento utilizando linhas paralelas

– O tamanho e quantidade de linhas varia com a distância do objeto da câmera

• Free Hatching– Como não existe padrão

no sombreamento é necessário que seja feito para várias distancias diferentes do objeto

WYSIWYG NPR

• Mobile Hatching– O sombreamento se move na figura de acordo

com a posição da luz– Utiliza-se um modelo de “luz escura” para

calcular o sombreamento.

Bibliografia• C. Curtis, S. Anderson, J. Seims, K. Fleischer, and D. Salesin, 1997.

Computer-generated watercolor. SigGraph 97.

• G. Winkenbach and D. Salesin, 1994. Computer generated pen-and-ink illustration. SigGraph 94.

• J. Lansdown and S. Schofield. Expressive rendering: A review of nonphotorealistic techniques. IEEE Computer Graphics and Applications, 15(3):29-37, Maio 1995.

• R. Kalnins, L. Markosian, B. Meier, M. Kowalski, J. Lee, P. Davidson, M. Webb, J. Hughes, A. Finkelstein. Wysiwyg npr: drawing strokes directly on 3D models. SigGraph 2002.

• A. Mohr, E. Bakke, A. Gardner, C. Herrman, S. Dutcher. NPRQuake, http://www.cs.wisc.edu/graphics/Gallery/NPRQuake/whatIsIt.html

FIM