Testes e Resultados Preliminares

Foram realizados testes considerando variações no tamanho da bola utilizada na distância nebulosa (parâmetro $\tau$, que define a tolerância). Esses testes tiveram como objetivo a determinação do tamanho da bola que propiciasse os melhores resultados de seleção de características para o problema abordado. Para simples fim ilustrativo, os valores obtidos pela função critério com a variação do raio da bola $\tau$ são mostrados no gráfico da figura 5.7. Visando obter o melhor classificador de vizinhos mais próximos para esse problema, também foram realizados testes para verificar a variação do desempenho do classificador de K vizinhos mais próximos (KNN) para $K = 1, 2, 3, 4, 5$.

.63CRIT_FUN.eps Resultado da função critério com a variação de $\tau$.

As figuras 5.10 a 5.21) ilustram os resultados para cada valor de $K$. Nas figuras 5.8 e 5.9, são mostrados os resultados do classificador de distância ao protótipo aplicado no conjunto de características determinado pelo nosso método de seleção. Cada gráfico ilustra a variação da taxa de acerto de uma técnica de classificação em função do tamanho da bola utilizada na distância nebulosa. Mais especificamente, no eixo das abscissas, encontra-se o raio da bola $\tau$, enquanto no eixo das ordenadas, encontra-se a taxa de acerto dos classificadores em percentagem. Nos experimentos realizados, foi efetuada uma seleção de características em busca das 15 melhores características (eigeneyes). Os resultados foram comparados com o método mais tradicional de efetuar-se redução de dimensionalidade com PCA, ou seja, selecionando simplesmente os 15 primeiros componentes.

Para cada técnica de classificação são mostrados os resultados obtidos com a utilização dos 15 eigeneyes selecionados por nossa técnica (mostrados nas linhas contínuas) em comparação com o resultado obtido com a utilização dos 15 primeiros eigeneyes (mostrado na linha tracejada).

Foram realizados vários testes de classificação com os dois classificadores utilizados: $K$ vizinhos mais próximos (KNN) e distância ao protótipo. No caso do classificador de distância ao protótipo, os protótipos foram definidos através da média dos padrões de treinamento de cada classe.

.63DP_TT.eps Distância ao Protótipo, treinando e testando com todos os padrões disponíveis.

.63DP_TD.eps Distância ao Protótipo, treinando com 2/3 dos padrões e testando com os 1/3 restantes.

Conforme pode ser notado pelas figuras 5.8 e 5.9, foram realizadas duas baterias de testes com o classificador de distância ao protótipo. Na primeira, todos os padrões foram utilizados para treinar e testar o classificador (``treinamento=testes''). Na segunda, foram utilizados $2/3$ dos padrões disponíveis para treinar o classificador (determinar os protótipos) e o restante para testar.

O mesmo foi realizado com o classificador de $K$ vizinhos mais próximos. Além disso, foram realizados experimentos utilizando a estratégia leave-one-out (vide figuras 5.10 a 5.21). Nessa estratégia, para cada classe, o conjunto de treinamento inicialmente é composto por todos os padrões, menos o primeiro, o qual é utilizado para testar a classificação. Na segunda iteração de testes, o conjunto de treinamento é composto por todos os padrões menos o segundo, o qual é utilizado para teste. Esse processo repete-se até que todos os padrões de cada classe tenham sido utilizados para testar o classificador (com o restante sendo utilizado para treinar). Ao final, é calculada a taxa de acerto média, a qual é mostrada nos gráficos referidos (juntamente com os outros resultados).

.63K_TT.eps K vizinhos mais próximos (K=1), treinando e testando com todos os padrões disponíveis.

.63K_TD.eps K vizinhos mais próximos (K=1), treinando com 2/3 dos padrões e testando com os 1/3 restantes.

.63K_L1.eps K vizinhos mais próximos (K=1), leave-one-out.

.63K_TT3.eps K vizinhos mais próximos (K=3), treinando e testando com todos os padrões disponíveis.

.63K_TD3.eps K vizinhos mais próximos (K=3), treinando com 2/3 dos padrões e testando com os 1/3 restantes.

.63K_L13.eps K vizinhos mais próximos (K=3), leave-one-out.

.63K_TT4.eps K vizinhos mais próximos (K=4), treinando e testando com todos os padrões disponíveis.

.63K_TD4.eps K vizinhos mais próximos (K=4), treinando com 2/3 dos padrões e testando com os 1/3 restantes.

.63K_L14.eps K vizinhos mais próximos (K=4), leave-one-out.

.63K_TT5.eps K vizinhos mais próximos (K=5), treinando e testando com todos os padrões disponíveis.

.63K_TD5.eps K vizinhos mais próximos (K=5), treinando com 2/3 dos padrões e testando com os 1/3 restantes.

.63K_L15.eps K vizinhos mais próximos (K=5), leave-one-out.

Conforme mostrado nas figuras 5.10 a 5.21, foram realizados experimentos com o classificador de K vizinhos mais próximos variando o valor de K entre 1 e 5. Os resultados com K = 2 não foram mostrados, pois esses são idênticos aos obtidos com K = 1. É importante ressalvar que para evitar problemas de empate, os quais poderiam ocorrer quando o número de vizinhos próximos pertencentes a classes diferentes é igual, foi utilizada uma estratégia simples de desempate que dá prioridade à classe que possui um padrão mais próximo do elemento de teste.

Dentre os pontos mais importantes dos resultados obtidos, nota-se que ao se treinar o classificador com 2/3 dos padrões e testar com o restante, para vários valores de $\tau$, foram obtidos resultados superiores àqueles obtidos com a utilização dos 15 primeiros eigeneyes. Também é notável que, para $K=3$, o mesmo ocorreu ao treinar e testar o classificador com todos os padrões disponíveis. Os melhores resultados ocorreram algumas vezes quando foi utilizada uma bola de raio $\tau$ entre 1.2 e 2.8.

Um resultado notável é o que está ilustrado na figura 5.10, em que, para todos os valores de $\tau$, a taxa de acerto obtida foi de 100%, tanto para o subconjunto obtido pelo nosso método quando com a utilização das 15 primeiras características. Isso se deve ao fato de que, quando $K=1$, se o conjunto de testes tiver sido usado no treinamento, não há erro ao se utilizar a transformada de PCA com um número razoável de componentes principais.

.74HIST_ALL.eps Histograma das características selecionadas em todos os experimentos realizados.

O gráfico da figura 5.22 é o histograma dos componentes selecionados após todos os $32$ esperimentos. Analisando o histograma, pode-se verificar que, se for criado um sub-conjunto $\calY$ composto pelas características que foram selecionadas mais de 6 vezes, esse sub-conjunto teria as seguintes características:

$$\calY = \{ x_1, x_2, x_4, x_5, x_7, x_8, x_{10}, x_{11}, x... ..._{16}, x_{168}, x_{225}, x_{379}, x_{422}, x_{427}, x_{441})\}$$ (5.10)

Isso mostra que, segundo o critério utilizado (máxima função critério nebulosa), um conjunto formado pelas 15 primeiras características não é o melhor conjunto de características.