| Aluno: | Jesús P. Mena-Chalco |
| Orientador: | Prof. Dr. Roberto Marcondes Cesar Junior (IME-USP) |
| Co-orientador: | Prof. Dr. Luiz Velho (IMPA) |
Resumo
O processo de reconstrução de modelos faciais 3D (geometria facial) dada uma
fotografia 2D (textura facial) é um tópico relevante na área de Visão
Computacional, Computação Gráfica, e Reconhecimento de
Padrões, que vem recebendo especial atenção da comunidade científica.
Neste trabalho, apresentamos um método de fotografia facial 3D baseada
em um banco de dados de expressões faciais composto por geometria e textura
facial. O método proposto permite obter uma representação de geometria facial
3D dada apenas uma fotografia 2D e um conjunto de pontos característicos
faciais. Os dados correspondentes à fotografia 2D sofrem uma série de
transformações através de espaços de textura e geometria previamente estimados.
Na etapa de treinamento, pontos característicos faciais das amostras do banco
de dados e sua projeção em espaços de componentes principais são utilizados
para representar o banco de dados completo, definindo uma base ortonormal de
textura e outra de geometria. Na etapa de reconstrução de uma face, dada uma
fotografia 2D, a textura facial, limitada por seus pontos característicos
correspondentes, é utilizada para projetar a face de entrada na base de
geometria obtida no treinamento. Testes considerando um
banco de dados de faces 3D (especialmente criado para este trabalho),
conjuntamente com a adoção
de uma métrica, mostram bons resultados de reconstrução facial 3D, corroborando
assim a eficiência e aplicabilidade dada a baixa complexidade espacial e
temporal do método proposto.
Adicionalmente à reconstrução facial, neste trabalho foram exploradas duas
aplicações relacionadas à (i) transferência de expressões faciais 3D, e à (ii)
caricaturização de faces 3D utilizando uma abordagem baseada em proporções de
elementos faciais quando confrontadas a uma face média. Os resultados destas
aplicações mostram a rápida e simples síntese de novos modelos 3D com novas
expressões e novas proporções faciais exageradas, úteis para a animação facial
3D.
|
Baseado nos trabalhos de
Vlasic et al. (2005)
e
Macêdo et al. (2006), foi criado um método para a
reconstrução de faces 3D a partir de uma imagem 2D colorida, usando um conjunto
de treinamento composto por informações da forma geométrica da face associada
com sua informação de textura, i.e., os dados de treinamento contém informações
de textura e geometria registradas. Assim, um determinado valor de textura
está associado a cada vértice no dado de geometria (é interessante notar que
esses trabalhos prévios não exploram informação 3D).
O conjunto de treinamento é composto por um número pequeno de faces 3D
correspondentes à face neutra mais as seis expressões faciais universais. Veja
na seguinte figura um esquema de formação do conjunto de treinamento
Nossa abordagem usa análise de componentes principais (PCA) para representar
faces 3D através de espaços de textura e de forma geométrica (ambos
correlacionados mas analisados de forma separada). No método de reconstrução
criado faz-se uso de um modelo parametrizado da face 3D composto por duas
bases ortonormais separadas que representam a textura e a forma geométrica,
respectivamente.
Dada como entrada uma imagem colorida 2D de uma face frontal a ser reconstruída
em 3D, conjuntamente com seus marcos característicos faciais (modelo inicial),
são extraídas as informações de textura seguindo uma estratégia de subdivisão
triangular do modelo de face inicial em 2D, enquanto a forma geométrica da face
3D é reproduzida projetando a informação de textura sobre um espaço de
relação é factível pois intuitivamente uma face humana pode ser modelada por
uma combinação linear de faces de diferentes pessoas com diferentes expressões
faciais. Finalmente, a informação de textura é mapeada diretamente na forma
geométrica obtida.
Veja na seguinte figura o fluxograma do método proposto para as etapas de
treinamento e reconstrução de faces 3D. Para a etapa de treinamento são usadas
as fotografias 2D, suas correspondentes formas faciais 3D e os marcos
característicos faciais 3D. Já para a etapa de reconstrução é considerada
apenas uma fotografia 2D, com seus correspondentes marcos característicos
faciais 2D.
Por outro lado, a qualidade da reconstrução de faces 3D baseada em amostras
reais tem sido pouco explorada por pesquisadores da área. As avaliações das
reconstruções de modelos de face 3D geralmente são realizadas de forma
subjetiva e baseadas apenas no confronto ou inspeção visual das formas
geométricas da face 3D real e da face 3D reconstruída.
A medida proposta corresponde à similaridade entre o modelo
da face 3D real e o modelo da face 3D reconstruído. O procedimento definido
consiste de duas etapas:
(i) alinhamento dos modelos faciais a fim de
registrar as duas nuvens de pontos que compõem as faces 3D; e
(ii) estimação das distâncias locais entre os modelos de face real e
reconstruído. Para esta segunda etapa, consideramos o algoritmo de projeção dos
vetores normais do modelo reconstruído sobre o modelo de face real. Denominamos
esta medida como mapa de distâncias de projeção. Veja na seguinte
figura um exemplo de alinhamento de modelos faciais e criação de três mapas de
distâncias de projeção.
|
 |
 |
 |
 |
||||
|
|
|
|
||||
 |
 |
 |
 |
||||
|
|
|
|
Adicionalmente, foram realizados trabalhos em colaboração com diferentes pesquisadores:
