Regra dos K vizinhos mais próximos

A regra de classificação dos K vizinhos mais próximos é um método de classificação que não possui processamento na fase de treinamento, pois não é necessário estimar as distribuições de probabilidades das classes. Entretanto, é necessário um grande número de padrões de treinamento (padrões cuja classe é conhecida a priori), pois pode-se dizer que as tarefas de estimativa e de classificação são fundidas em uma única tarefa. O classificador dos K vizinhos mais próximos (KNN) é um classificador sub-ótimo que cria fronteiras de decisão complexas. Dado um padrão de teste (desconhecido) $2/3$, sua classificação é realizada da seguinte maneira:

• Inicialmente, calcula-se a distância entre $K$ e todos os padrões de treinamento;
• Verifica-se a quais classes pertencem os K padrões mais próximos;
• A classificação é feita associando-se o padrão de teste à classe que for mais freqüente entre os K padrões mais próximos de $\tau$.

Há duas distâncias que normalmente são adotadas para implementar esse classificador: