Desempenho de um Classificador

Um critério amplamente utilizado é o de erro de classificação de um subconjunto de características. Basicamente, quando não se dispõe de informações a respeito da distribuição dos dados, cada conjunto de características é utilizado para treinar e testar um classificador. A taxa de reconhecimento é utilizada como critério de decisão, de forma que, quanto maior a taxa de reconhecimento melhor é o conjunto de características. Segundo Kohn [55], deve-se tomar o cuidado de não empregar o conjunto de treinamento (utilizado para projetar o classificador) para estimar a probabilidade de erro, pois o classificador estará ajustado especificamente para o conjunto de treinamento e a estimativa da probabilidade de erro será muito otimista. Basicamente essa abordagem possui dois problemas. O primeiro é que o erro de classificação por si só não pode ser confiavelmente estimado quando a razão entre o tamanho do conjunto de exemplos e o do conjunto de características é pequena. O segundo e principal problema dessa abordagem é que a escolha de um classificador é um problema por si só, e o subconjunto selecionado ao final claramente depende do classificador [13].