Combinação de classificadores

(Última atualização em 27/02/2009)
  • Financiado pela FAPESP 04/11586-7
  • Perído: 01/julho/2005 a 30/junho/2007 (Concluído)

Resumo
    O presente projeto investigou técnicas de combinação de classificadores (abordagens para projeto de classificadores baseados em múltiplos classificadores). O objetivo consistia em investigar tais técnicas tanto do ponto de vista teórico quanto aplicado, visando adquirir uma visão sistêmica dos processos envolvidos nessas técnicas. Foram estudadas algumas das técnicas conhecidas, listadas abaixo. Os principais resultados obtidos até a presente data estão relacionados à aplicação de uma dessas técnicas, stacked generalization no projeto de operadores morfológicos binários.

Atividades realizadas
  • Estudo teórico:
    • Bagging
    • Boosting
    • Stacked generalization
    • Kernel based learning algorithms
    • Approaches for solving multiclass problems with binary classifiers
    • Uso de elementos da teoria da informação para seleção de características
  • Aplicações
    • Morphological Binary Image Operator Design Based on Stacked Generalization
  • Desenvolvimento de software
    • Extensão da toolbox PAC para incorporar funcionalidades relativas ao projeto multi-níveis de operadores binários
    • Porte de parte da toolbox PAC para o ambiente phyton

Resultados
Referências Bibliográficas

    BIB file com referências sobre combinação de classificadores e tópicos relacionados, compilado durante o projeto.

    E. L. Allwein, R. E. Schapire, and Y. Singer.
    Reducing multiclass to binary: A unifying approach for margin classifiers.
    Journal of Machine Learning Research, 1:113-141, 2000.

    L. Breiman.
    Bagging predictors.
    Machine Learning, 24(2):123-140, 1996.

    C. Burges.
    A tutorial on support vector machines for pattern recognition.
    Data Mining and Knowledge Discovery, 2:121-167, 1998.

    N. Cristianini and J. Shawe-Taylor.
    An Introduction to Support Vector Machines and other kernel-based learning methods.
    Cambridge University Press, 2000.

    T. G. Dietterich and G. Bakiri.
    Solving multiclass learning problems via error-correcting output codes.
    Artificial Intelligence Research, 1995.

    X. Fan.
    Efficient multiclass object detection by a hierarchy of classifiers.
    In Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.

    Y. Freund and R. E. Schapire.
    A decision-theoretic generalization of on-line learning and an application to boosting.
    Journal of Computer and System Sciences, 55:119-139, 1997.

    Y. Freund and R. E. Schapire.
    A short introduction to boosting.
    Journal of Japanese Society for Artificial Intelligence, 14(5):771-780, 1999.
    in Japanese, translation by N. Abe.

    N. S. T. Hirata and J. Barrera.
    A unifying view for stack filter design based on graph search methods.
    Pattern Recognition, 38:2088-2098, 2005.

    N. S. T. Hirata, E. R. Dougherty, and J. Barrera.
    Iterative Design of Morphological Binary Image Operators.
    Optical Engineering, 39(12):3106-3123, December 2000.

    N. S. T. Hirata.
    Binary image operator design based on stacked generalization.
    In A. C. Frery and M. A. F. Rodrigues, editors, Proceedings of the SIBGRAPI 2005, pages 63-70, 2005.

    T. Hastie, R. Tibshirani, and J. Friedman.
    The Elements of Statistical Learning.
    Springer-Verlag, 2001.

    J.-S. Lee and I.-S. Oh.
    Binary classification trees for multi-class classification problems.
    In Proceedings of the Seventh International Conference on Document Analysis and Recognition, 2003.

    K.-R. Muller, S. Mika, G. Ratsch, K. Tsuda, and B. Scholkopf.
    An introduction to kernel-based learning algorithms.
    IEEE Transactions on Neural Networks, 12(2):181-201, 2001.

    G. Ridgeway.
    The state of boosting.
    Computing Science and Statistics, 31:172-181, 1999.

    R. Rifkin and A. Klautau.
    In defense of one-vs-all classification.
    Journal of Machine Learning Research, 5:101-141, 2004.

    R. E. Schapire.
    Theoretical views of boosting and applications.
    In Proceedings of the 10th International Conference on Algorithmic Learning Theory, ALT, volume 1720, pages 13-25. Springer, 1999.

    D. Tsujinishi, Y. Koshiba, and S. Abe.
    Why pairwise is better than one-against-all or all-at-once.
    In Proc. of 2004 IEEE International Joint Conference on Neural Networks, pages 25-29, 2004.

    K. M. Ting and I. H. Witten.
    Stacked generalizations: When does it work?
    In IJCAI (2), pages 866-873, 1997.

    K. M. Ting and I. H. Witten.
    Issues in stacked generalization.
    Journal of Artificial Intelligence Research, 10:271-289, 1999.

    D. H. Wolpert.
    Stacked generalization.
    Neural Networks, 5(2):241-259, 1992.